1
0

0001-raspberry-pi-github.patch 4.1 MB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053105410551056105710581059106010611062106310641065106610671068106910701071107210731074107510761077107810791080108110821083108410851086108710881089109010911092109310941095109610971098109911001101110211031104110511061107110811091110111111121113111411151116111711181119112011211122112311241125112611271128112911301131113211331134113511361137113811391140114111421143114411451146114711481149115011511152115311541155115611571158115911601161116211631164116511661167116811691170117111721173117411751176117711781179118011811182118311841185118611871188118911901191119211931194119511961197119811991200120112021203120412051206120712081209121012111212121312141215121612171218121912201221122212231224122512261227122812291230123112321233123412351236123712381239124012411242124312441245124612471248124912501251125212531254125512561257125812591260126112621263126412651266126712681269127012711272127312741275127612771278127912801281128212831284128512861287128812891290129112921293129412951296129712981299130013011302130313041305130613071308130913101311131213131314131513161317131813191320132113221323132413251326132713281329133013311332133313341335133613371338133913401341134213431344134513461347134813491350135113521353135413551356135713581359136013611362136313641365136613671368136913701371137213731374137513761377137813791380138113821383138413851386138713881389139013911392139313941395139613971398139914001401140214031404140514061407140814091410141114121413141414151416141714181419142014211422142314241425142614271428142914301431143214331434143514361437143814391440144114421443144414451446144714481449145014511452145314541455145614571458145914601461146214631464146514661467146814691470147114721473147414751476147714781479148014811482148314841485148614871488148914901491149214931494149514961497149814991500150115021503150415051506150715081509151015111512151315141515151615171518151915201521152215231524152515261527152815291530153115321533153415351536153715381539154015411542154315441545154615471548154915501551155215531554155515561557155815591560156115621563156415651566156715681569157015711572157315741575157615771578157915801581158215831584158515861587158815891590159115921593159415951596159715981599160016011602160316041605160616071608160916101611161216131614161516161617161816191620162116221623162416251626162716281629163016311632163316341635163616371638163916401641164216431644164516461647164816491650165116521653165416551656165716581659166016611662166316641665166616671668166916701671167216731674167516761677167816791680168116821683168416851686168716881689169016911692169316941695169616971698169917001701170217031704170517061707170817091710171117121713171417151716171717181719172017211722172317241725172617271728172917301731173217331734173517361737173817391740174117421743174417451746174717481749175017511752175317541755175617571758175917601761176217631764176517661767176817691770177117721773177417751776177717781779178017811782178317841785178617871788178917901791179217931794179517961797179817991800180118021803180418051806180718081809181018111812181318141815181618171818181918201821182218231824182518261827182818291830183118321833183418351836183718381839184018411842184318441845184618471848184918501851185218531854185518561857185818591860186118621863186418651866186718681869187018711872187318741875187618771878187918801881188218831884188518861887188818891890189118921893189418951896189718981899190019011902190319041905190619071908190919101911191219131914191519161917191819191920192119221923192419251926192719281929193019311932193319341935193619371938193919401941194219431944194519461947194819491950195119521953195419551956195719581959196019611962196319641965196619671968196919701971197219731974197519761977197819791980198119821983198419851986198719881989199019911992199319941995199619971998199920002001200220032004200520062007200820092010201120122013201420152016201720182019202020212022202320242025202620272028202920302031203220332034203520362037203820392040204120422043204420452046204720482049205020512052205320542055205620572058205920602061206220632064206520662067206820692070207120722073207420752076207720782079208020812082208320842085208620872088208920902091209220932094209520962097209820992100210121022103210421052106210721082109211021112112211321142115211621172118211921202121212221232124212521262127212821292130213121322133213421352136213721382139214021412142214321442145214621472148214921502151215221532154215521562157215821592160216121622163216421652166216721682169217021712172217321742175217621772178217921802181218221832184218521862187218821892190219121922193219421952196219721982199220022012202220322042205220622072208220922102211221222132214221522162217221822192220222122222223222422252226222722282229223022312232223322342235223622372238223922402241224222432244224522462247224822492250225122522253225422552256225722582259226022612262226322642265226622672268226922702271227222732274227522762277227822792280228122822283228422852286228722882289229022912292229322942295229622972298229923002301230223032304230523062307230823092310231123122313231423152316231723182319232023212322232323242325232623272328232923302331233223332334233523362337233823392340234123422343234423452346234723482349235023512352235323542355235623572358235923602361236223632364236523662367236823692370237123722373237423752376237723782379238023812382238323842385238623872388238923902391239223932394239523962397239823992400240124022403240424052406240724082409241024112412241324142415241624172418241924202421242224232424242524262427242824292430243124322433243424352436243724382439244024412442244324442445244624472448244924502451245224532454245524562457245824592460246124622463246424652466246724682469247024712472247324742475247624772478247924802481248224832484248524862487248824892490249124922493249424952496249724982499250025012502250325042505250625072508250925102511251225132514251525162517251825192520252125222523252425252526252725282529253025312532253325342535253625372538253925402541254225432544254525462547254825492550255125522553255425552556255725582559256025612562256325642565256625672568256925702571257225732574257525762577257825792580258125822583258425852586258725882589259025912592259325942595259625972598259926002601260226032604260526062607260826092610261126122613261426152616261726182619262026212622262326242625262626272628262926302631263226332634263526362637263826392640264126422643264426452646264726482649265026512652265326542655265626572658265926602661266226632664266526662667266826692670267126722673267426752676267726782679268026812682268326842685268626872688268926902691269226932694269526962697269826992700270127022703270427052706270727082709271027112712271327142715271627172718271927202721272227232724272527262727272827292730273127322733273427352736273727382739274027412742274327442745274627472748274927502751275227532754275527562757275827592760276127622763276427652766276727682769277027712772277327742775277627772778277927802781278227832784278527862787278827892790279127922793279427952796279727982799280028012802280328042805280628072808280928102811281228132814281528162817281828192820282128222823282428252826282728282829283028312832283328342835283628372838283928402841284228432844284528462847284828492850285128522853285428552856285728582859286028612862286328642865286628672868286928702871287228732874287528762877287828792880288128822883288428852886288728882889289028912892289328942895289628972898289929002901290229032904290529062907290829092910291129122913291429152916291729182919292029212922292329242925292629272928292929302931293229332934293529362937293829392940294129422943294429452946294729482949295029512952295329542955295629572958295929602961296229632964296529662967296829692970297129722973297429752976297729782979298029812982298329842985298629872988298929902991299229932994299529962997299829993000300130023003300430053006300730083009301030113012301330143015301630173018301930203021302230233024302530263027302830293030303130323033303430353036303730383039304030413042304330443045304630473048304930503051305230533054305530563057305830593060306130623063306430653066306730683069307030713072307330743075307630773078307930803081308230833084308530863087308830893090309130923093309430953096309730983099310031013102310331043105310631073108310931103111311231133114311531163117311831193120312131223123312431253126312731283129313031313132313331343135313631373138313931403141314231433144314531463147314831493150315131523153315431553156315731583159316031613162316331643165316631673168316931703171317231733174317531763177317831793180318131823183318431853186318731883189319031913192319331943195319631973198319932003201320232033204320532063207320832093210321132123213321432153216321732183219322032213222322332243225322632273228322932303231323232333234323532363237323832393240324132423243324432453246324732483249325032513252325332543255325632573258325932603261326232633264326532663267326832693270327132723273327432753276327732783279328032813282328332843285328632873288328932903291329232933294329532963297329832993300330133023303330433053306330733083309331033113312331333143315331633173318331933203321332233233324332533263327332833293330333133323333333433353336333733383339334033413342334333443345334633473348334933503351335233533354335533563357335833593360336133623363336433653366336733683369337033713372337333743375337633773378337933803381338233833384338533863387338833893390339133923393339433953396339733983399340034013402340334043405340634073408340934103411341234133414341534163417341834193420342134223423342434253426342734283429343034313432343334343435343634373438343934403441344234433444344534463447344834493450345134523453345434553456345734583459346034613462346334643465346634673468346934703471347234733474347534763477347834793480348134823483348434853486348734883489349034913492349334943495349634973498349935003501350235033504350535063507350835093510351135123513351435153516351735183519352035213522352335243525352635273528352935303531353235333534353535363537353835393540354135423543354435453546354735483549355035513552355335543555355635573558355935603561356235633564356535663567356835693570357135723573357435753576357735783579358035813582358335843585358635873588358935903591359235933594359535963597359835993600360136023603360436053606360736083609361036113612361336143615361636173618361936203621362236233624362536263627362836293630363136323633363436353636363736383639364036413642364336443645364636473648364936503651365236533654365536563657365836593660366136623663366436653666366736683669367036713672367336743675367636773678367936803681368236833684368536863687368836893690369136923693369436953696369736983699370037013702370337043705370637073708370937103711371237133714371537163717371837193720372137223723372437253726372737283729373037313732373337343735373637373738373937403741374237433744374537463747374837493750375137523753375437553756375737583759376037613762376337643765376637673768376937703771377237733774377537763777377837793780378137823783378437853786378737883789379037913792379337943795379637973798379938003801380238033804380538063807380838093810381138123813381438153816381738183819382038213822382338243825382638273828382938303831383238333834383538363837383838393840384138423843384438453846384738483849385038513852385338543855385638573858385938603861386238633864386538663867386838693870387138723873387438753876387738783879388038813882388338843885388638873888388938903891389238933894389538963897389838993900390139023903390439053906390739083909391039113912391339143915391639173918391939203921392239233924392539263927392839293930393139323933393439353936393739383939394039413942394339443945394639473948394939503951395239533954395539563957395839593960396139623963396439653966396739683969397039713972397339743975397639773978397939803981398239833984398539863987398839893990399139923993399439953996399739983999400040014002400340044005400640074008400940104011401240134014401540164017401840194020402140224023402440254026402740284029403040314032403340344035403640374038403940404041404240434044404540464047404840494050405140524053405440554056405740584059406040614062406340644065406640674068406940704071407240734074407540764077407840794080408140824083408440854086408740884089409040914092409340944095409640974098409941004101410241034104410541064107410841094110411141124113411441154116411741184119412041214122412341244125412641274128412941304131413241334134413541364137413841394140414141424143414441454146414741484149415041514152415341544155415641574158415941604161416241634164416541664167416841694170417141724173417441754176417741784179418041814182418341844185418641874188418941904191419241934194419541964197419841994200420142024203420442054206420742084209421042114212421342144215421642174218421942204221422242234224422542264227422842294230423142324233423442354236423742384239424042414242424342444245424642474248424942504251425242534254425542564257425842594260426142624263426442654266426742684269427042714272427342744275427642774278427942804281428242834284428542864287428842894290429142924293429442954296429742984299430043014302430343044305430643074308430943104311431243134314431543164317431843194320432143224323432443254326432743284329433043314332433343344335433643374338433943404341434243434344434543464347434843494350435143524353435443554356435743584359436043614362436343644365436643674368436943704371437243734374437543764377437843794380438143824383438443854386438743884389439043914392439343944395439643974398439944004401440244034404440544064407440844094410441144124413441444154416441744184419442044214422442344244425442644274428442944304431443244334434443544364437443844394440444144424443444444454446444744484449445044514452445344544455445644574458445944604461446244634464446544664467446844694470447144724473447444754476447744784479448044814482448344844485448644874488448944904491449244934494449544964497449844994500450145024503450445054506450745084509451045114512451345144515451645174518451945204521452245234524452545264527452845294530453145324533453445354536453745384539454045414542454345444545454645474548454945504551455245534554455545564557455845594560456145624563456445654566456745684569457045714572457345744575457645774578457945804581458245834584458545864587458845894590459145924593459445954596459745984599460046014602460346044605460646074608460946104611461246134614461546164617461846194620462146224623462446254626462746284629463046314632463346344635463646374638463946404641464246434644464546464647464846494650465146524653465446554656465746584659466046614662466346644665466646674668466946704671467246734674467546764677467846794680468146824683468446854686468746884689469046914692469346944695469646974698469947004701470247034704470547064707470847094710471147124713471447154716471747184719472047214722472347244725472647274728472947304731473247334734473547364737473847394740474147424743474447454746474747484749475047514752475347544755475647574758475947604761476247634764476547664767476847694770477147724773477447754776477747784779478047814782478347844785478647874788478947904791479247934794479547964797479847994800480148024803480448054806480748084809481048114812481348144815481648174818481948204821482248234824482548264827482848294830483148324833483448354836483748384839484048414842484348444845484648474848484948504851485248534854485548564857485848594860486148624863486448654866486748684869487048714872487348744875487648774878487948804881488248834884488548864887488848894890489148924893489448954896489748984899490049014902490349044905490649074908490949104911491249134914491549164917491849194920492149224923492449254926492749284929493049314932493349344935493649374938493949404941494249434944494549464947494849494950495149524953495449554956495749584959496049614962496349644965496649674968496949704971497249734974497549764977497849794980498149824983498449854986498749884989499049914992499349944995499649974998499950005001500250035004500550065007500850095010501150125013501450155016501750185019502050215022502350245025502650275028502950305031503250335034503550365037503850395040504150425043504450455046504750485049505050515052505350545055505650575058505950605061506250635064506550665067506850695070507150725073507450755076507750785079508050815082508350845085508650875088508950905091509250935094509550965097509850995100510151025103510451055106510751085109511051115112511351145115511651175118511951205121512251235124512551265127512851295130513151325133513451355136513751385139514051415142514351445145514651475148514951505151515251535154515551565157515851595160516151625163516451655166516751685169517051715172517351745175517651775178517951805181518251835184518551865187518851895190519151925193519451955196519751985199520052015202520352045205520652075208520952105211521252135214521552165217521852195220522152225223522452255226522752285229523052315232523352345235523652375238523952405241524252435244524552465247524852495250525152525253525452555256525752585259526052615262526352645265526652675268526952705271527252735274527552765277527852795280528152825283528452855286528752885289529052915292529352945295529652975298529953005301530253035304530553065307530853095310531153125313531453155316531753185319532053215322532353245325532653275328532953305331533253335334533553365337533853395340534153425343534453455346534753485349535053515352535353545355535653575358535953605361536253635364536553665367536853695370537153725373537453755376537753785379538053815382538353845385538653875388538953905391539253935394539553965397539853995400540154025403540454055406540754085409541054115412541354145415541654175418541954205421542254235424542554265427542854295430543154325433543454355436543754385439544054415442544354445445544654475448544954505451545254535454545554565457545854595460546154625463546454655466546754685469547054715472547354745475547654775478547954805481548254835484548554865487548854895490549154925493549454955496549754985499550055015502550355045505550655075508550955105511551255135514551555165517551855195520552155225523552455255526552755285529553055315532553355345535553655375538553955405541554255435544554555465547554855495550555155525553555455555556555755585559556055615562556355645565556655675568556955705571557255735574557555765577557855795580558155825583558455855586558755885589559055915592559355945595559655975598559956005601560256035604560556065607560856095610561156125613561456155616561756185619562056215622562356245625562656275628562956305631563256335634563556365637563856395640564156425643564456455646564756485649565056515652565356545655565656575658565956605661566256635664566556665667566856695670567156725673567456755676567756785679568056815682568356845685568656875688568956905691569256935694569556965697569856995700570157025703570457055706570757085709571057115712571357145715571657175718571957205721572257235724572557265727572857295730573157325733573457355736573757385739574057415742574357445745574657475748574957505751575257535754575557565757575857595760576157625763576457655766576757685769577057715772577357745775577657775778577957805781578257835784578557865787578857895790579157925793579457955796579757985799580058015802580358045805580658075808580958105811581258135814581558165817581858195820582158225823582458255826582758285829583058315832583358345835583658375838583958405841584258435844584558465847584858495850585158525853585458555856585758585859586058615862586358645865586658675868586958705871587258735874587558765877587858795880588158825883588458855886588758885889589058915892589358945895589658975898589959005901590259035904590559065907590859095910591159125913591459155916591759185919592059215922592359245925592659275928592959305931593259335934593559365937593859395940594159425943594459455946594759485949595059515952595359545955595659575958595959605961596259635964596559665967596859695970597159725973597459755976597759785979598059815982598359845985598659875988598959905991599259935994599559965997599859996000600160026003600460056006600760086009601060116012601360146015601660176018601960206021602260236024602560266027602860296030603160326033603460356036603760386039604060416042604360446045604660476048604960506051605260536054605560566057605860596060606160626063606460656066606760686069607060716072607360746075607660776078607960806081608260836084608560866087608860896090609160926093609460956096609760986099610061016102610361046105610661076108610961106111611261136114611561166117611861196120612161226123612461256126612761286129613061316132613361346135613661376138613961406141614261436144614561466147614861496150615161526153615461556156615761586159616061616162616361646165616661676168616961706171617261736174617561766177617861796180618161826183618461856186618761886189619061916192619361946195619661976198619962006201620262036204620562066207620862096210621162126213621462156216621762186219622062216222622362246225622662276228622962306231623262336234623562366237623862396240624162426243624462456246624762486249625062516252625362546255625662576258625962606261626262636264626562666267626862696270627162726273627462756276627762786279628062816282628362846285628662876288628962906291629262936294629562966297629862996300630163026303630463056306630763086309631063116312631363146315631663176318631963206321632263236324632563266327632863296330633163326333633463356336633763386339634063416342634363446345634663476348634963506351635263536354635563566357635863596360636163626363636463656366636763686369637063716372637363746375637663776378637963806381638263836384638563866387638863896390639163926393639463956396639763986399640064016402640364046405640664076408640964106411641264136414641564166417641864196420642164226423642464256426642764286429643064316432643364346435643664376438643964406441644264436444644564466447644864496450645164526453645464556456645764586459646064616462646364646465646664676468646964706471647264736474647564766477647864796480648164826483648464856486648764886489649064916492649364946495649664976498649965006501650265036504650565066507650865096510651165126513651465156516651765186519652065216522652365246525652665276528652965306531653265336534653565366537653865396540654165426543654465456546654765486549655065516552655365546555655665576558655965606561656265636564656565666567656865696570657165726573657465756576657765786579658065816582658365846585658665876588658965906591659265936594659565966597659865996600660166026603660466056606660766086609661066116612661366146615661666176618661966206621662266236624662566266627662866296630663166326633663466356636663766386639664066416642664366446645664666476648664966506651665266536654665566566657665866596660666166626663666466656666666766686669667066716672667366746675667666776678667966806681668266836684668566866687668866896690669166926693669466956696669766986699670067016702670367046705670667076708670967106711671267136714671567166717671867196720672167226723672467256726672767286729673067316732673367346735673667376738673967406741674267436744674567466747674867496750675167526753675467556756675767586759676067616762676367646765676667676768676967706771677267736774677567766777677867796780678167826783678467856786678767886789679067916792679367946795679667976798679968006801680268036804680568066807680868096810681168126813681468156816681768186819682068216822682368246825682668276828682968306831683268336834683568366837683868396840684168426843684468456846684768486849685068516852685368546855685668576858685968606861686268636864686568666867686868696870687168726873687468756876687768786879688068816882688368846885688668876888688968906891689268936894689568966897689868996900690169026903690469056906690769086909691069116912691369146915691669176918691969206921692269236924692569266927692869296930693169326933693469356936693769386939694069416942694369446945694669476948694969506951695269536954695569566957695869596960696169626963696469656966696769686969697069716972697369746975697669776978697969806981698269836984698569866987698869896990699169926993699469956996699769986999700070017002700370047005700670077008700970107011701270137014701570167017701870197020702170227023702470257026702770287029703070317032703370347035703670377038703970407041704270437044704570467047704870497050705170527053705470557056705770587059706070617062706370647065706670677068706970707071707270737074707570767077707870797080708170827083708470857086708770887089709070917092709370947095709670977098709971007101710271037104710571067107710871097110711171127113711471157116711771187119712071217122712371247125712671277128712971307131713271337134713571367137713871397140714171427143714471457146714771487149715071517152715371547155715671577158715971607161716271637164716571667167716871697170717171727173717471757176717771787179718071817182718371847185718671877188718971907191719271937194719571967197719871997200720172027203720472057206720772087209721072117212721372147215721672177218721972207221722272237224722572267227722872297230723172327233723472357236723772387239724072417242724372447245724672477248724972507251725272537254725572567257725872597260726172627263726472657266726772687269727072717272727372747275727672777278727972807281728272837284728572867287728872897290729172927293729472957296729772987299730073017302730373047305730673077308730973107311731273137314731573167317731873197320732173227323732473257326732773287329733073317332733373347335733673377338733973407341734273437344734573467347734873497350735173527353735473557356735773587359736073617362736373647365736673677368736973707371737273737374737573767377737873797380738173827383738473857386738773887389739073917392739373947395739673977398739974007401740274037404740574067407740874097410741174127413741474157416741774187419742074217422742374247425742674277428742974307431743274337434743574367437743874397440744174427443744474457446744774487449745074517452745374547455745674577458745974607461746274637464746574667467746874697470747174727473747474757476747774787479748074817482748374847485748674877488748974907491749274937494749574967497749874997500750175027503750475057506750775087509751075117512751375147515751675177518751975207521752275237524752575267527752875297530753175327533753475357536753775387539754075417542754375447545754675477548754975507551755275537554755575567557755875597560756175627563756475657566756775687569757075717572757375747575757675777578757975807581758275837584758575867587758875897590759175927593759475957596759775987599760076017602760376047605760676077608760976107611761276137614761576167617761876197620762176227623762476257626762776287629763076317632763376347635763676377638763976407641764276437644764576467647764876497650765176527653765476557656765776587659766076617662766376647665766676677668766976707671767276737674767576767677767876797680768176827683768476857686768776887689769076917692769376947695769676977698769977007701770277037704770577067707770877097710771177127713771477157716771777187719772077217722772377247725772677277728772977307731773277337734773577367737773877397740774177427743774477457746774777487749775077517752775377547755775677577758775977607761776277637764776577667767776877697770777177727773777477757776777777787779778077817782778377847785778677877788778977907791779277937794779577967797779877997800780178027803780478057806780778087809781078117812781378147815781678177818781978207821782278237824782578267827782878297830783178327833783478357836783778387839784078417842784378447845784678477848784978507851785278537854785578567857785878597860786178627863786478657866786778687869787078717872787378747875787678777878787978807881788278837884788578867887788878897890789178927893789478957896789778987899790079017902790379047905790679077908790979107911791279137914791579167917791879197920792179227923792479257926792779287929793079317932793379347935793679377938793979407941794279437944794579467947794879497950795179527953795479557956795779587959796079617962796379647965796679677968796979707971797279737974797579767977797879797980798179827983798479857986798779887989799079917992799379947995799679977998799980008001800280038004800580068007800880098010801180128013801480158016801780188019802080218022802380248025802680278028802980308031803280338034803580368037803880398040804180428043804480458046804780488049805080518052805380548055805680578058805980608061806280638064806580668067806880698070807180728073807480758076807780788079808080818082808380848085808680878088808980908091809280938094809580968097809880998100810181028103810481058106810781088109811081118112811381148115811681178118811981208121812281238124812581268127812881298130813181328133813481358136813781388139814081418142814381448145814681478148814981508151815281538154815581568157815881598160816181628163816481658166816781688169817081718172817381748175817681778178817981808181818281838184818581868187818881898190819181928193819481958196819781988199820082018202820382048205820682078208820982108211821282138214821582168217821882198220822182228223822482258226822782288229823082318232823382348235823682378238823982408241824282438244824582468247824882498250825182528253825482558256825782588259826082618262826382648265826682678268826982708271827282738274827582768277827882798280828182828283828482858286828782888289829082918292829382948295829682978298829983008301830283038304830583068307830883098310831183128313831483158316831783188319832083218322832383248325832683278328832983308331833283338334833583368337833883398340834183428343834483458346834783488349835083518352835383548355835683578358835983608361836283638364836583668367836883698370837183728373837483758376837783788379838083818382838383848385838683878388838983908391839283938394839583968397839883998400840184028403840484058406840784088409841084118412841384148415841684178418841984208421842284238424842584268427842884298430843184328433843484358436843784388439844084418442844384448445844684478448844984508451845284538454845584568457845884598460846184628463846484658466846784688469847084718472847384748475847684778478847984808481848284838484848584868487848884898490849184928493849484958496849784988499850085018502850385048505850685078508850985108511851285138514851585168517851885198520852185228523852485258526852785288529853085318532853385348535853685378538853985408541854285438544854585468547854885498550855185528553855485558556855785588559856085618562856385648565856685678568856985708571857285738574857585768577857885798580858185828583858485858586858785888589859085918592859385948595859685978598859986008601860286038604860586068607860886098610861186128613861486158616861786188619862086218622862386248625862686278628862986308631863286338634863586368637863886398640864186428643864486458646864786488649865086518652865386548655865686578658865986608661866286638664866586668667866886698670867186728673867486758676867786788679868086818682868386848685868686878688868986908691869286938694869586968697869886998700870187028703870487058706870787088709871087118712871387148715871687178718871987208721872287238724872587268727872887298730873187328733873487358736873787388739874087418742874387448745874687478748874987508751875287538754875587568757875887598760876187628763876487658766876787688769877087718772877387748775877687778778877987808781878287838784878587868787878887898790879187928793879487958796879787988799880088018802880388048805880688078808880988108811881288138814881588168817881888198820882188228823882488258826882788288829883088318832883388348835883688378838883988408841884288438844884588468847884888498850885188528853885488558856885788588859886088618862886388648865886688678868886988708871887288738874887588768877887888798880888188828883888488858886888788888889889088918892889388948895889688978898889989008901890289038904890589068907890889098910891189128913891489158916891789188919892089218922892389248925892689278928892989308931893289338934893589368937893889398940894189428943894489458946894789488949895089518952895389548955895689578958895989608961896289638964896589668967896889698970897189728973897489758976897789788979898089818982898389848985898689878988898989908991899289938994899589968997899889999000900190029003900490059006900790089009901090119012901390149015901690179018901990209021902290239024902590269027902890299030903190329033903490359036903790389039904090419042904390449045904690479048904990509051905290539054905590569057905890599060906190629063906490659066906790689069907090719072907390749075907690779078907990809081908290839084908590869087908890899090909190929093909490959096909790989099910091019102910391049105910691079108910991109111911291139114911591169117911891199120912191229123912491259126912791289129913091319132913391349135913691379138913991409141914291439144914591469147914891499150915191529153915491559156915791589159916091619162916391649165916691679168916991709171917291739174917591769177917891799180918191829183918491859186918791889189919091919192919391949195919691979198919992009201920292039204920592069207920892099210921192129213921492159216921792189219922092219222922392249225922692279228922992309231923292339234923592369237923892399240924192429243924492459246924792489249925092519252925392549255925692579258925992609261926292639264926592669267926892699270927192729273927492759276927792789279928092819282928392849285928692879288928992909291929292939294929592969297929892999300930193029303930493059306930793089309931093119312931393149315931693179318931993209321932293239324932593269327932893299330933193329333933493359336933793389339934093419342934393449345934693479348934993509351935293539354935593569357935893599360936193629363936493659366936793689369937093719372937393749375937693779378937993809381938293839384938593869387938893899390939193929393939493959396939793989399940094019402940394049405940694079408940994109411941294139414941594169417941894199420942194229423942494259426942794289429943094319432943394349435943694379438943994409441944294439444944594469447944894499450945194529453945494559456945794589459946094619462946394649465946694679468946994709471947294739474947594769477947894799480948194829483948494859486948794889489949094919492949394949495949694979498949995009501950295039504950595069507950895099510951195129513951495159516951795189519952095219522952395249525952695279528952995309531953295339534953595369537953895399540954195429543954495459546954795489549955095519552955395549555955695579558955995609561956295639564956595669567956895699570957195729573957495759576957795789579958095819582958395849585958695879588958995909591959295939594959595969597959895999600960196029603960496059606960796089609961096119612961396149615961696179618961996209621962296239624962596269627962896299630963196329633963496359636963796389639964096419642964396449645964696479648964996509651965296539654965596569657965896599660966196629663966496659666966796689669967096719672967396749675967696779678967996809681968296839684968596869687968896899690969196929693969496959696969796989699970097019702970397049705970697079708970997109711971297139714971597169717971897199720972197229723972497259726972797289729973097319732973397349735973697379738973997409741974297439744974597469747974897499750975197529753975497559756975797589759976097619762976397649765976697679768976997709771977297739774977597769777977897799780978197829783978497859786978797889789979097919792979397949795979697979798979998009801980298039804980598069807980898099810981198129813981498159816981798189819982098219822982398249825982698279828982998309831983298339834983598369837983898399840984198429843984498459846984798489849985098519852985398549855985698579858985998609861986298639864986598669867986898699870987198729873987498759876987798789879988098819882988398849885988698879888988998909891989298939894989598969897989898999900990199029903990499059906990799089909991099119912991399149915991699179918991999209921992299239924992599269927992899299930993199329933993499359936993799389939994099419942994399449945994699479948994999509951995299539954995599569957995899599960996199629963996499659966996799689969997099719972997399749975997699779978997999809981998299839984998599869987998899899990999199929993999499959996999799989999100001000110002100031000410005100061000710008100091001010011100121001310014100151001610017100181001910020100211002210023100241002510026100271002810029100301003110032100331003410035100361003710038100391004010041100421004310044100451004610047100481004910050100511005210053100541005510056100571005810059100601006110062100631006410065100661006710068100691007010071100721007310074100751007610077100781007910080100811008210083100841008510086100871008810089100901009110092100931009410095100961009710098100991010010101101021010310104101051010610107101081010910110101111011210113101141011510116101171011810119101201012110122101231012410125101261012710128101291013010131101321013310134101351013610137101381013910140101411014210143101441014510146101471014810149101501015110152101531015410155101561015710158101591016010161101621016310164101651016610167101681016910170101711017210173101741017510176101771017810179101801018110182101831018410185101861018710188101891019010191101921019310194101951019610197101981019910200102011020210203102041020510206102071020810209102101021110212102131021410215102161021710218102191022010221102221022310224102251022610227102281022910230102311023210233102341023510236102371023810239102401024110242102431024410245102461024710248102491025010251102521025310254102551025610257102581025910260102611026210263102641026510266102671026810269102701027110272102731027410275102761027710278102791028010281102821028310284102851028610287102881028910290102911029210293102941029510296102971029810299103001030110302103031030410305103061030710308103091031010311103121031310314103151031610317103181031910320103211032210323103241032510326103271032810329103301033110332103331033410335103361033710338103391034010341103421034310344103451034610347103481034910350103511035210353103541035510356103571035810359103601036110362103631036410365103661036710368103691037010371103721037310374103751037610377103781037910380103811038210383103841038510386103871038810389103901039110392103931039410395103961039710398103991040010401104021040310404104051040610407104081040910410104111041210413104141041510416104171041810419104201042110422104231042410425104261042710428104291043010431104321043310434104351043610437104381043910440104411044210443104441044510446104471044810449104501045110452104531045410455104561045710458104591046010461104621046310464104651046610467104681046910470104711047210473104741047510476104771047810479104801048110482104831048410485104861048710488104891049010491104921049310494104951049610497104981049910500105011050210503105041050510506105071050810509105101051110512105131051410515105161051710518105191052010521105221052310524105251052610527105281052910530105311053210533105341053510536105371053810539105401054110542105431054410545105461054710548105491055010551105521055310554105551055610557105581055910560105611056210563105641056510566105671056810569105701057110572105731057410575105761057710578105791058010581105821058310584105851058610587105881058910590105911059210593105941059510596105971059810599106001060110602106031060410605106061060710608106091061010611106121061310614106151061610617106181061910620106211062210623106241062510626106271062810629106301063110632106331063410635106361063710638106391064010641106421064310644106451064610647106481064910650106511065210653106541065510656106571065810659106601066110662106631066410665106661066710668106691067010671106721067310674106751067610677106781067910680106811068210683106841068510686106871068810689106901069110692106931069410695106961069710698106991070010701107021070310704107051070610707107081070910710107111071210713107141071510716107171071810719107201072110722107231072410725107261072710728107291073010731107321073310734107351073610737107381073910740107411074210743107441074510746107471074810749107501075110752107531075410755107561075710758107591076010761107621076310764107651076610767107681076910770107711077210773107741077510776107771077810779107801078110782107831078410785107861078710788107891079010791107921079310794107951079610797107981079910800108011080210803108041080510806108071080810809108101081110812108131081410815108161081710818108191082010821108221082310824108251082610827108281082910830108311083210833108341083510836108371083810839108401084110842108431084410845108461084710848108491085010851108521085310854108551085610857108581085910860108611086210863108641086510866108671086810869108701087110872108731087410875108761087710878108791088010881108821088310884108851088610887108881088910890108911089210893108941089510896108971089810899109001090110902109031090410905109061090710908109091091010911109121091310914109151091610917109181091910920109211092210923109241092510926109271092810929109301093110932109331093410935109361093710938109391094010941109421094310944109451094610947109481094910950109511095210953109541095510956109571095810959109601096110962109631096410965109661096710968109691097010971109721097310974109751097610977109781097910980109811098210983109841098510986109871098810989109901099110992109931099410995109961099710998109991100011001110021100311004110051100611007110081100911010110111101211013110141101511016110171101811019110201102111022110231102411025110261102711028110291103011031110321103311034110351103611037110381103911040110411104211043110441104511046110471104811049110501105111052110531105411055110561105711058110591106011061110621106311064110651106611067110681106911070110711107211073110741107511076110771107811079110801108111082110831108411085110861108711088110891109011091110921109311094110951109611097110981109911100111011110211103111041110511106111071110811109111101111111112111131111411115111161111711118111191112011121111221112311124111251112611127111281112911130111311113211133111341113511136111371113811139111401114111142111431114411145111461114711148111491115011151111521115311154111551115611157111581115911160111611116211163111641116511166111671116811169111701117111172111731117411175111761117711178111791118011181111821118311184111851118611187111881118911190111911119211193111941119511196111971119811199112001120111202112031120411205112061120711208112091121011211112121121311214112151121611217112181121911220112211122211223112241122511226112271122811229112301123111232112331123411235112361123711238112391124011241112421124311244112451124611247112481124911250112511125211253112541125511256112571125811259112601126111262112631126411265112661126711268112691127011271112721127311274112751127611277112781127911280112811128211283112841128511286112871128811289112901129111292112931129411295112961129711298112991130011301113021130311304113051130611307113081130911310113111131211313113141131511316113171131811319113201132111322113231132411325113261132711328113291133011331113321133311334113351133611337113381133911340113411134211343113441134511346113471134811349113501135111352113531135411355113561135711358113591136011361113621136311364113651136611367113681136911370113711137211373113741137511376113771137811379113801138111382113831138411385113861138711388113891139011391113921139311394113951139611397113981139911400114011140211403114041140511406114071140811409114101141111412114131141411415114161141711418114191142011421114221142311424114251142611427114281142911430114311143211433114341143511436114371143811439114401144111442114431144411445114461144711448114491145011451114521145311454114551145611457114581145911460114611146211463114641146511466114671146811469114701147111472114731147411475114761147711478114791148011481114821148311484114851148611487114881148911490114911149211493114941149511496114971149811499115001150111502115031150411505115061150711508115091151011511115121151311514115151151611517115181151911520115211152211523115241152511526115271152811529115301153111532115331153411535115361153711538115391154011541115421154311544115451154611547115481154911550115511155211553115541155511556115571155811559115601156111562115631156411565115661156711568115691157011571115721157311574115751157611577115781157911580115811158211583115841158511586115871158811589115901159111592115931159411595115961159711598115991160011601116021160311604116051160611607116081160911610116111161211613116141161511616116171161811619116201162111622116231162411625116261162711628116291163011631116321163311634116351163611637116381163911640116411164211643116441164511646116471164811649116501165111652116531165411655116561165711658116591166011661116621166311664116651166611667116681166911670116711167211673116741167511676116771167811679116801168111682116831168411685116861168711688116891169011691116921169311694116951169611697116981169911700117011170211703117041170511706117071170811709117101171111712117131171411715117161171711718117191172011721117221172311724117251172611727117281172911730117311173211733117341173511736117371173811739117401174111742117431174411745117461174711748117491175011751117521175311754117551175611757117581175911760117611176211763117641176511766117671176811769117701177111772117731177411775117761177711778117791178011781117821178311784117851178611787117881178911790117911179211793117941179511796117971179811799118001180111802118031180411805118061180711808118091181011811118121181311814118151181611817118181181911820118211182211823118241182511826118271182811829118301183111832118331183411835118361183711838118391184011841118421184311844118451184611847118481184911850118511185211853118541185511856118571185811859118601186111862118631186411865118661186711868118691187011871118721187311874118751187611877118781187911880118811188211883118841188511886118871188811889118901189111892118931189411895118961189711898118991190011901119021190311904119051190611907119081190911910119111191211913119141191511916119171191811919119201192111922119231192411925119261192711928119291193011931119321193311934119351193611937119381193911940119411194211943119441194511946119471194811949119501195111952119531195411955119561195711958119591196011961119621196311964119651196611967119681196911970119711197211973119741197511976119771197811979119801198111982119831198411985119861198711988119891199011991119921199311994119951199611997119981199912000120011200212003120041200512006120071200812009120101201112012120131201412015120161201712018120191202012021120221202312024120251202612027120281202912030120311203212033120341203512036120371203812039120401204112042120431204412045120461204712048120491205012051120521205312054120551205612057120581205912060120611206212063120641206512066120671206812069120701207112072120731207412075120761207712078120791208012081120821208312084120851208612087120881208912090120911209212093120941209512096120971209812099121001210112102121031210412105121061210712108121091211012111121121211312114121151211612117121181211912120121211212212123121241212512126121271212812129121301213112132121331213412135121361213712138121391214012141121421214312144121451214612147121481214912150121511215212153121541215512156121571215812159121601216112162121631216412165121661216712168121691217012171121721217312174121751217612177121781217912180121811218212183121841218512186121871218812189121901219112192121931219412195121961219712198121991220012201122021220312204122051220612207122081220912210122111221212213122141221512216122171221812219122201222112222122231222412225122261222712228122291223012231122321223312234122351223612237122381223912240122411224212243122441224512246122471224812249122501225112252122531225412255122561225712258122591226012261122621226312264122651226612267122681226912270122711227212273122741227512276122771227812279122801228112282122831228412285122861228712288122891229012291122921229312294122951229612297122981229912300123011230212303123041230512306123071230812309123101231112312123131231412315123161231712318123191232012321123221232312324123251232612327123281232912330123311233212333123341233512336123371233812339123401234112342123431234412345123461234712348123491235012351123521235312354123551235612357123581235912360123611236212363123641236512366123671236812369123701237112372123731237412375123761237712378123791238012381123821238312384123851238612387123881238912390123911239212393123941239512396123971239812399124001240112402124031240412405124061240712408124091241012411124121241312414124151241612417124181241912420124211242212423124241242512426124271242812429124301243112432124331243412435124361243712438124391244012441124421244312444124451244612447124481244912450124511245212453124541245512456124571245812459124601246112462124631246412465124661246712468124691247012471124721247312474124751247612477124781247912480124811248212483124841248512486124871248812489124901249112492124931249412495124961249712498124991250012501125021250312504125051250612507125081250912510125111251212513125141251512516125171251812519125201252112522125231252412525125261252712528125291253012531125321253312534125351253612537125381253912540125411254212543125441254512546125471254812549125501255112552125531255412555125561255712558125591256012561125621256312564125651256612567125681256912570125711257212573125741257512576125771257812579125801258112582125831258412585125861258712588125891259012591125921259312594125951259612597125981259912600126011260212603126041260512606126071260812609126101261112612126131261412615126161261712618126191262012621126221262312624126251262612627126281262912630126311263212633126341263512636126371263812639126401264112642126431264412645126461264712648126491265012651126521265312654126551265612657126581265912660126611266212663126641266512666126671266812669126701267112672126731267412675126761267712678126791268012681126821268312684126851268612687126881268912690126911269212693126941269512696126971269812699127001270112702127031270412705127061270712708127091271012711127121271312714127151271612717127181271912720127211272212723127241272512726127271272812729127301273112732127331273412735127361273712738127391274012741127421274312744127451274612747127481274912750127511275212753127541275512756127571275812759127601276112762127631276412765127661276712768127691277012771127721277312774127751277612777127781277912780127811278212783127841278512786127871278812789127901279112792127931279412795127961279712798127991280012801128021280312804128051280612807128081280912810128111281212813128141281512816128171281812819128201282112822128231282412825128261282712828128291283012831128321283312834128351283612837128381283912840128411284212843128441284512846128471284812849128501285112852128531285412855128561285712858128591286012861128621286312864128651286612867128681286912870128711287212873128741287512876128771287812879128801288112882128831288412885128861288712888128891289012891128921289312894128951289612897128981289912900129011290212903129041290512906129071290812909129101291112912129131291412915129161291712918129191292012921129221292312924129251292612927129281292912930129311293212933129341293512936129371293812939129401294112942129431294412945129461294712948129491295012951129521295312954129551295612957129581295912960129611296212963129641296512966129671296812969129701297112972129731297412975129761297712978129791298012981129821298312984129851298612987129881298912990129911299212993129941299512996129971299812999130001300113002130031300413005130061300713008130091301013011130121301313014130151301613017130181301913020130211302213023130241302513026130271302813029130301303113032130331303413035130361303713038130391304013041130421304313044130451304613047130481304913050130511305213053130541305513056130571305813059130601306113062130631306413065130661306713068130691307013071130721307313074130751307613077130781307913080130811308213083130841308513086130871308813089130901309113092130931309413095130961309713098130991310013101131021310313104131051310613107131081310913110131111311213113131141311513116131171311813119131201312113122131231312413125131261312713128131291313013131131321313313134131351313613137131381313913140131411314213143131441314513146131471314813149131501315113152131531315413155131561315713158131591316013161131621316313164131651316613167131681316913170131711317213173131741317513176131771317813179131801318113182131831318413185131861318713188131891319013191131921319313194131951319613197131981319913200132011320213203132041320513206132071320813209132101321113212132131321413215132161321713218132191322013221132221322313224132251322613227132281322913230132311323213233132341323513236132371323813239132401324113242132431324413245132461324713248132491325013251132521325313254132551325613257132581325913260132611326213263132641326513266132671326813269132701327113272132731327413275132761327713278132791328013281132821328313284132851328613287132881328913290132911329213293132941329513296132971329813299133001330113302133031330413305133061330713308133091331013311133121331313314133151331613317133181331913320133211332213323133241332513326133271332813329133301333113332133331333413335133361333713338133391334013341133421334313344133451334613347133481334913350133511335213353133541335513356133571335813359133601336113362133631336413365133661336713368133691337013371133721337313374133751337613377133781337913380133811338213383133841338513386133871338813389133901339113392133931339413395133961339713398133991340013401134021340313404134051340613407134081340913410134111341213413134141341513416134171341813419134201342113422134231342413425134261342713428134291343013431134321343313434134351343613437134381343913440134411344213443134441344513446134471344813449134501345113452134531345413455134561345713458134591346013461134621346313464134651346613467134681346913470134711347213473134741347513476134771347813479134801348113482134831348413485134861348713488134891349013491134921349313494134951349613497134981349913500135011350213503135041350513506135071350813509135101351113512135131351413515135161351713518135191352013521135221352313524135251352613527135281352913530135311353213533135341353513536135371353813539135401354113542135431354413545135461354713548135491355013551135521355313554135551355613557135581355913560135611356213563135641356513566135671356813569135701357113572135731357413575135761357713578135791358013581135821358313584135851358613587135881358913590135911359213593135941359513596135971359813599136001360113602136031360413605136061360713608136091361013611136121361313614136151361613617136181361913620136211362213623136241362513626136271362813629136301363113632136331363413635136361363713638136391364013641136421364313644136451364613647136481364913650136511365213653136541365513656136571365813659136601366113662136631366413665136661366713668136691367013671136721367313674136751367613677136781367913680136811368213683136841368513686136871368813689136901369113692136931369413695136961369713698136991370013701137021370313704137051370613707137081370913710137111371213713137141371513716137171371813719137201372113722137231372413725137261372713728137291373013731137321373313734137351373613737137381373913740137411374213743137441374513746137471374813749137501375113752137531375413755137561375713758137591376013761137621376313764137651376613767137681376913770137711377213773137741377513776137771377813779137801378113782137831378413785137861378713788137891379013791137921379313794137951379613797137981379913800138011380213803138041380513806138071380813809138101381113812138131381413815138161381713818138191382013821138221382313824138251382613827138281382913830138311383213833138341383513836138371383813839138401384113842138431384413845138461384713848138491385013851138521385313854138551385613857138581385913860138611386213863138641386513866138671386813869138701387113872138731387413875138761387713878138791388013881138821388313884138851388613887138881388913890138911389213893138941389513896138971389813899139001390113902139031390413905139061390713908139091391013911139121391313914139151391613917139181391913920139211392213923139241392513926139271392813929139301393113932139331393413935139361393713938139391394013941139421394313944139451394613947139481394913950139511395213953139541395513956139571395813959139601396113962139631396413965139661396713968139691397013971139721397313974139751397613977139781397913980139811398213983139841398513986139871398813989139901399113992139931399413995139961399713998139991400014001140021400314004140051400614007140081400914010140111401214013140141401514016140171401814019140201402114022140231402414025140261402714028140291403014031140321403314034140351403614037140381403914040140411404214043140441404514046140471404814049140501405114052140531405414055140561405714058140591406014061140621406314064140651406614067140681406914070140711407214073140741407514076140771407814079140801408114082140831408414085140861408714088140891409014091140921409314094140951409614097140981409914100141011410214103141041410514106141071410814109141101411114112141131411414115141161411714118141191412014121141221412314124141251412614127141281412914130141311413214133141341413514136141371413814139141401414114142141431414414145141461414714148141491415014151141521415314154141551415614157141581415914160141611416214163141641416514166141671416814169141701417114172141731417414175141761417714178141791418014181141821418314184141851418614187141881418914190141911419214193141941419514196141971419814199142001420114202142031420414205142061420714208142091421014211142121421314214142151421614217142181421914220142211422214223142241422514226142271422814229142301423114232142331423414235142361423714238142391424014241142421424314244142451424614247142481424914250142511425214253142541425514256142571425814259142601426114262142631426414265142661426714268142691427014271142721427314274142751427614277142781427914280142811428214283142841428514286142871428814289142901429114292142931429414295142961429714298142991430014301143021430314304143051430614307143081430914310143111431214313143141431514316143171431814319143201432114322143231432414325143261432714328143291433014331143321433314334143351433614337143381433914340143411434214343143441434514346143471434814349143501435114352143531435414355143561435714358143591436014361143621436314364143651436614367143681436914370143711437214373143741437514376143771437814379143801438114382143831438414385143861438714388143891439014391143921439314394143951439614397143981439914400144011440214403144041440514406144071440814409144101441114412144131441414415144161441714418144191442014421144221442314424144251442614427144281442914430144311443214433144341443514436144371443814439144401444114442144431444414445144461444714448144491445014451144521445314454144551445614457144581445914460144611446214463144641446514466144671446814469144701447114472144731447414475144761447714478144791448014481144821448314484144851448614487144881448914490144911449214493144941449514496144971449814499145001450114502145031450414505145061450714508145091451014511145121451314514145151451614517145181451914520145211452214523145241452514526145271452814529145301453114532145331453414535145361453714538145391454014541145421454314544145451454614547145481454914550145511455214553145541455514556145571455814559145601456114562145631456414565145661456714568145691457014571145721457314574145751457614577145781457914580145811458214583145841458514586145871458814589145901459114592145931459414595145961459714598145991460014601146021460314604146051460614607146081460914610146111461214613146141461514616146171461814619146201462114622146231462414625146261462714628146291463014631146321463314634146351463614637146381463914640146411464214643146441464514646146471464814649146501465114652146531465414655146561465714658146591466014661146621466314664146651466614667146681466914670146711467214673146741467514676146771467814679146801468114682146831468414685146861468714688146891469014691146921469314694146951469614697146981469914700147011470214703147041470514706147071470814709147101471114712147131471414715147161471714718147191472014721147221472314724147251472614727147281472914730147311473214733147341473514736147371473814739147401474114742147431474414745147461474714748147491475014751147521475314754147551475614757147581475914760147611476214763147641476514766147671476814769147701477114772147731477414775147761477714778147791478014781147821478314784147851478614787147881478914790147911479214793147941479514796147971479814799148001480114802148031480414805148061480714808148091481014811148121481314814148151481614817148181481914820148211482214823148241482514826148271482814829148301483114832148331483414835148361483714838148391484014841148421484314844148451484614847148481484914850148511485214853148541485514856148571485814859148601486114862148631486414865148661486714868148691487014871148721487314874148751487614877148781487914880148811488214883148841488514886148871488814889148901489114892148931489414895148961489714898148991490014901149021490314904149051490614907149081490914910149111491214913149141491514916149171491814919149201492114922149231492414925149261492714928149291493014931149321493314934149351493614937149381493914940149411494214943149441494514946149471494814949149501495114952149531495414955149561495714958149591496014961149621496314964149651496614967149681496914970149711497214973149741497514976149771497814979149801498114982149831498414985149861498714988149891499014991149921499314994149951499614997149981499915000150011500215003150041500515006150071500815009150101501115012150131501415015150161501715018150191502015021150221502315024150251502615027150281502915030150311503215033150341503515036150371503815039150401504115042150431504415045150461504715048150491505015051150521505315054150551505615057150581505915060150611506215063150641506515066150671506815069150701507115072150731507415075150761507715078150791508015081150821508315084150851508615087150881508915090150911509215093150941509515096150971509815099151001510115102151031510415105151061510715108151091511015111151121511315114151151511615117151181511915120151211512215123151241512515126151271512815129151301513115132151331513415135151361513715138151391514015141151421514315144151451514615147151481514915150151511515215153151541515515156151571515815159151601516115162151631516415165151661516715168151691517015171151721517315174151751517615177151781517915180151811518215183151841518515186151871518815189151901519115192151931519415195151961519715198151991520015201152021520315204152051520615207152081520915210152111521215213152141521515216152171521815219152201522115222152231522415225152261522715228152291523015231152321523315234152351523615237152381523915240152411524215243152441524515246152471524815249152501525115252152531525415255152561525715258152591526015261152621526315264152651526615267152681526915270152711527215273152741527515276152771527815279152801528115282152831528415285152861528715288152891529015291152921529315294152951529615297152981529915300153011530215303153041530515306153071530815309153101531115312153131531415315153161531715318153191532015321153221532315324153251532615327153281532915330153311533215333153341533515336153371533815339153401534115342153431534415345153461534715348153491535015351153521535315354153551535615357153581535915360153611536215363153641536515366153671536815369153701537115372153731537415375153761537715378153791538015381153821538315384153851538615387153881538915390153911539215393153941539515396153971539815399154001540115402154031540415405154061540715408154091541015411154121541315414154151541615417154181541915420154211542215423154241542515426154271542815429154301543115432154331543415435154361543715438154391544015441154421544315444154451544615447154481544915450154511545215453154541545515456154571545815459154601546115462154631546415465154661546715468154691547015471154721547315474154751547615477154781547915480154811548215483154841548515486154871548815489154901549115492154931549415495154961549715498154991550015501155021550315504155051550615507155081550915510155111551215513155141551515516155171551815519155201552115522155231552415525155261552715528155291553015531155321553315534155351553615537155381553915540155411554215543155441554515546155471554815549155501555115552155531555415555155561555715558155591556015561155621556315564155651556615567155681556915570155711557215573155741557515576155771557815579155801558115582155831558415585155861558715588155891559015591155921559315594155951559615597155981559915600156011560215603156041560515606156071560815609156101561115612156131561415615156161561715618156191562015621156221562315624156251562615627156281562915630156311563215633156341563515636156371563815639156401564115642156431564415645156461564715648156491565015651156521565315654156551565615657156581565915660156611566215663156641566515666156671566815669156701567115672156731567415675156761567715678156791568015681156821568315684156851568615687156881568915690156911569215693156941569515696156971569815699157001570115702157031570415705157061570715708157091571015711157121571315714157151571615717157181571915720157211572215723157241572515726157271572815729157301573115732157331573415735157361573715738157391574015741157421574315744157451574615747157481574915750157511575215753157541575515756157571575815759157601576115762157631576415765157661576715768157691577015771157721577315774157751577615777157781577915780157811578215783157841578515786157871578815789157901579115792157931579415795157961579715798157991580015801158021580315804158051580615807158081580915810158111581215813158141581515816158171581815819158201582115822158231582415825158261582715828158291583015831158321583315834158351583615837158381583915840158411584215843158441584515846158471584815849158501585115852158531585415855158561585715858158591586015861158621586315864158651586615867158681586915870158711587215873158741587515876158771587815879158801588115882158831588415885158861588715888158891589015891158921589315894158951589615897158981589915900159011590215903159041590515906159071590815909159101591115912159131591415915159161591715918159191592015921159221592315924159251592615927159281592915930159311593215933159341593515936159371593815939159401594115942159431594415945159461594715948159491595015951159521595315954159551595615957159581595915960159611596215963159641596515966159671596815969159701597115972159731597415975159761597715978159791598015981159821598315984159851598615987159881598915990159911599215993159941599515996159971599815999160001600116002160031600416005160061600716008160091601016011160121601316014160151601616017160181601916020160211602216023160241602516026160271602816029160301603116032160331603416035160361603716038160391604016041160421604316044160451604616047160481604916050160511605216053160541605516056160571605816059160601606116062160631606416065160661606716068160691607016071160721607316074160751607616077160781607916080160811608216083160841608516086160871608816089160901609116092160931609416095160961609716098160991610016101161021610316104161051610616107161081610916110161111611216113161141611516116161171611816119161201612116122161231612416125161261612716128161291613016131161321613316134161351613616137161381613916140161411614216143161441614516146161471614816149161501615116152161531615416155161561615716158161591616016161161621616316164161651616616167161681616916170161711617216173161741617516176161771617816179161801618116182161831618416185161861618716188161891619016191161921619316194161951619616197161981619916200162011620216203162041620516206162071620816209162101621116212162131621416215162161621716218162191622016221162221622316224162251622616227162281622916230162311623216233162341623516236162371623816239162401624116242162431624416245162461624716248162491625016251162521625316254162551625616257162581625916260162611626216263162641626516266162671626816269162701627116272162731627416275162761627716278162791628016281162821628316284162851628616287162881628916290162911629216293162941629516296162971629816299163001630116302163031630416305163061630716308163091631016311163121631316314163151631616317163181631916320163211632216323163241632516326163271632816329163301633116332163331633416335163361633716338163391634016341163421634316344163451634616347163481634916350163511635216353163541635516356163571635816359163601636116362163631636416365163661636716368163691637016371163721637316374163751637616377163781637916380163811638216383163841638516386163871638816389163901639116392163931639416395163961639716398163991640016401164021640316404164051640616407164081640916410164111641216413164141641516416164171641816419164201642116422164231642416425164261642716428164291643016431164321643316434164351643616437164381643916440164411644216443164441644516446164471644816449164501645116452164531645416455164561645716458164591646016461164621646316464164651646616467164681646916470164711647216473164741647516476164771647816479164801648116482164831648416485164861648716488164891649016491164921649316494164951649616497164981649916500165011650216503165041650516506165071650816509165101651116512165131651416515165161651716518165191652016521165221652316524165251652616527165281652916530165311653216533165341653516536165371653816539165401654116542165431654416545165461654716548165491655016551165521655316554165551655616557165581655916560165611656216563165641656516566165671656816569165701657116572165731657416575165761657716578165791658016581165821658316584165851658616587165881658916590165911659216593165941659516596165971659816599166001660116602166031660416605166061660716608166091661016611166121661316614166151661616617166181661916620166211662216623166241662516626166271662816629166301663116632166331663416635166361663716638166391664016641166421664316644166451664616647166481664916650166511665216653166541665516656166571665816659166601666116662166631666416665166661666716668166691667016671166721667316674166751667616677166781667916680166811668216683166841668516686166871668816689166901669116692166931669416695166961669716698166991670016701167021670316704167051670616707167081670916710167111671216713167141671516716167171671816719167201672116722167231672416725167261672716728167291673016731167321673316734167351673616737167381673916740167411674216743167441674516746167471674816749167501675116752167531675416755167561675716758167591676016761167621676316764167651676616767167681676916770167711677216773167741677516776167771677816779167801678116782167831678416785167861678716788167891679016791167921679316794167951679616797167981679916800168011680216803168041680516806168071680816809168101681116812168131681416815168161681716818168191682016821168221682316824168251682616827168281682916830168311683216833168341683516836168371683816839168401684116842168431684416845168461684716848168491685016851168521685316854168551685616857168581685916860168611686216863168641686516866168671686816869168701687116872168731687416875168761687716878168791688016881168821688316884168851688616887168881688916890168911689216893168941689516896168971689816899169001690116902169031690416905169061690716908169091691016911169121691316914169151691616917169181691916920169211692216923169241692516926169271692816929169301693116932169331693416935169361693716938169391694016941169421694316944169451694616947169481694916950169511695216953169541695516956169571695816959169601696116962169631696416965169661696716968169691697016971169721697316974169751697616977169781697916980169811698216983169841698516986169871698816989169901699116992169931699416995169961699716998169991700017001170021700317004170051700617007170081700917010170111701217013170141701517016170171701817019170201702117022170231702417025170261702717028170291703017031170321703317034170351703617037170381703917040170411704217043170441704517046170471704817049170501705117052170531705417055170561705717058170591706017061170621706317064170651706617067170681706917070170711707217073170741707517076170771707817079170801708117082170831708417085170861708717088170891709017091170921709317094170951709617097170981709917100171011710217103171041710517106171071710817109171101711117112171131711417115171161711717118171191712017121171221712317124171251712617127171281712917130171311713217133171341713517136171371713817139171401714117142171431714417145171461714717148171491715017151171521715317154171551715617157171581715917160171611716217163171641716517166171671716817169171701717117172171731717417175171761717717178171791718017181171821718317184171851718617187171881718917190171911719217193171941719517196171971719817199172001720117202172031720417205172061720717208172091721017211172121721317214172151721617217172181721917220172211722217223172241722517226172271722817229172301723117232172331723417235172361723717238172391724017241172421724317244172451724617247172481724917250172511725217253172541725517256172571725817259172601726117262172631726417265172661726717268172691727017271172721727317274172751727617277172781727917280172811728217283172841728517286172871728817289172901729117292172931729417295172961729717298172991730017301173021730317304173051730617307173081730917310173111731217313173141731517316173171731817319173201732117322173231732417325173261732717328173291733017331173321733317334173351733617337173381733917340173411734217343173441734517346173471734817349173501735117352173531735417355173561735717358173591736017361173621736317364173651736617367173681736917370173711737217373173741737517376173771737817379173801738117382173831738417385173861738717388173891739017391173921739317394173951739617397173981739917400174011740217403174041740517406174071740817409174101741117412174131741417415174161741717418174191742017421174221742317424174251742617427174281742917430174311743217433174341743517436174371743817439174401744117442174431744417445174461744717448174491745017451174521745317454174551745617457174581745917460174611746217463174641746517466174671746817469174701747117472174731747417475174761747717478174791748017481174821748317484174851748617487174881748917490174911749217493174941749517496174971749817499175001750117502175031750417505175061750717508175091751017511175121751317514175151751617517175181751917520175211752217523175241752517526175271752817529175301753117532175331753417535175361753717538175391754017541175421754317544175451754617547175481754917550175511755217553175541755517556175571755817559175601756117562175631756417565175661756717568175691757017571175721757317574175751757617577175781757917580175811758217583175841758517586175871758817589175901759117592175931759417595175961759717598175991760017601176021760317604176051760617607176081760917610176111761217613176141761517616176171761817619176201762117622176231762417625176261762717628176291763017631176321763317634176351763617637176381763917640176411764217643176441764517646176471764817649176501765117652176531765417655176561765717658176591766017661176621766317664176651766617667176681766917670176711767217673176741767517676176771767817679176801768117682176831768417685176861768717688176891769017691176921769317694176951769617697176981769917700177011770217703177041770517706177071770817709177101771117712177131771417715177161771717718177191772017721177221772317724177251772617727177281772917730177311773217733177341773517736177371773817739177401774117742177431774417745177461774717748177491775017751177521775317754177551775617757177581775917760177611776217763177641776517766177671776817769177701777117772177731777417775177761777717778177791778017781177821778317784177851778617787177881778917790177911779217793177941779517796177971779817799178001780117802178031780417805178061780717808178091781017811178121781317814178151781617817178181781917820178211782217823178241782517826178271782817829178301783117832178331783417835178361783717838178391784017841178421784317844178451784617847178481784917850178511785217853178541785517856178571785817859178601786117862178631786417865178661786717868178691787017871178721787317874178751787617877178781787917880178811788217883178841788517886178871788817889178901789117892178931789417895178961789717898178991790017901179021790317904179051790617907179081790917910179111791217913179141791517916179171791817919179201792117922179231792417925179261792717928179291793017931179321793317934179351793617937179381793917940179411794217943179441794517946179471794817949179501795117952179531795417955179561795717958179591796017961179621796317964179651796617967179681796917970179711797217973179741797517976179771797817979179801798117982179831798417985179861798717988179891799017991179921799317994179951799617997179981799918000180011800218003180041800518006180071800818009180101801118012180131801418015180161801718018180191802018021180221802318024180251802618027180281802918030180311803218033180341803518036180371803818039180401804118042180431804418045180461804718048180491805018051180521805318054180551805618057180581805918060180611806218063180641806518066180671806818069180701807118072180731807418075180761807718078180791808018081180821808318084180851808618087180881808918090180911809218093180941809518096180971809818099181001810118102181031810418105181061810718108181091811018111181121811318114181151811618117181181811918120181211812218123181241812518126181271812818129181301813118132181331813418135181361813718138181391814018141181421814318144181451814618147181481814918150181511815218153181541815518156181571815818159181601816118162181631816418165181661816718168181691817018171181721817318174181751817618177181781817918180181811818218183181841818518186181871818818189181901819118192181931819418195181961819718198181991820018201182021820318204182051820618207182081820918210182111821218213182141821518216182171821818219182201822118222182231822418225182261822718228182291823018231182321823318234182351823618237182381823918240182411824218243182441824518246182471824818249182501825118252182531825418255182561825718258182591826018261182621826318264182651826618267182681826918270182711827218273182741827518276182771827818279182801828118282182831828418285182861828718288182891829018291182921829318294182951829618297182981829918300183011830218303183041830518306183071830818309183101831118312183131831418315183161831718318183191832018321183221832318324183251832618327183281832918330183311833218333183341833518336183371833818339183401834118342183431834418345183461834718348183491835018351183521835318354183551835618357183581835918360183611836218363183641836518366183671836818369183701837118372183731837418375183761837718378183791838018381183821838318384183851838618387183881838918390183911839218393183941839518396183971839818399184001840118402184031840418405184061840718408184091841018411184121841318414184151841618417184181841918420184211842218423184241842518426184271842818429184301843118432184331843418435184361843718438184391844018441184421844318444184451844618447184481844918450184511845218453184541845518456184571845818459184601846118462184631846418465184661846718468184691847018471184721847318474184751847618477184781847918480184811848218483184841848518486184871848818489184901849118492184931849418495184961849718498184991850018501185021850318504185051850618507185081850918510185111851218513185141851518516185171851818519185201852118522185231852418525185261852718528185291853018531185321853318534185351853618537185381853918540185411854218543185441854518546185471854818549185501855118552185531855418555185561855718558185591856018561185621856318564185651856618567185681856918570185711857218573185741857518576185771857818579185801858118582185831858418585185861858718588185891859018591185921859318594185951859618597185981859918600186011860218603186041860518606186071860818609186101861118612186131861418615186161861718618186191862018621186221862318624186251862618627186281862918630186311863218633186341863518636186371863818639186401864118642186431864418645186461864718648186491865018651186521865318654186551865618657186581865918660186611866218663186641866518666186671866818669186701867118672186731867418675186761867718678186791868018681186821868318684186851868618687186881868918690186911869218693186941869518696186971869818699187001870118702187031870418705187061870718708187091871018711187121871318714187151871618717187181871918720187211872218723187241872518726187271872818729187301873118732187331873418735187361873718738187391874018741187421874318744187451874618747187481874918750187511875218753187541875518756187571875818759187601876118762187631876418765187661876718768187691877018771187721877318774187751877618777187781877918780187811878218783187841878518786187871878818789187901879118792187931879418795187961879718798187991880018801188021880318804188051880618807188081880918810188111881218813188141881518816188171881818819188201882118822188231882418825188261882718828188291883018831188321883318834188351883618837188381883918840188411884218843188441884518846188471884818849188501885118852188531885418855188561885718858188591886018861188621886318864188651886618867188681886918870188711887218873188741887518876188771887818879188801888118882188831888418885188861888718888188891889018891188921889318894188951889618897188981889918900189011890218903189041890518906189071890818909189101891118912189131891418915189161891718918189191892018921189221892318924189251892618927189281892918930189311893218933189341893518936189371893818939189401894118942189431894418945189461894718948189491895018951189521895318954189551895618957189581895918960189611896218963189641896518966189671896818969189701897118972189731897418975189761897718978189791898018981189821898318984189851898618987189881898918990189911899218993189941899518996189971899818999190001900119002190031900419005190061900719008190091901019011190121901319014190151901619017190181901919020190211902219023190241902519026190271902819029190301903119032190331903419035190361903719038190391904019041190421904319044190451904619047190481904919050190511905219053190541905519056190571905819059190601906119062190631906419065190661906719068190691907019071190721907319074190751907619077190781907919080190811908219083190841908519086190871908819089190901909119092190931909419095190961909719098190991910019101191021910319104191051910619107191081910919110191111911219113191141911519116191171911819119191201912119122191231912419125191261912719128191291913019131191321913319134191351913619137191381913919140191411914219143191441914519146191471914819149191501915119152191531915419155191561915719158191591916019161191621916319164191651916619167191681916919170191711917219173191741917519176191771917819179191801918119182191831918419185191861918719188191891919019191191921919319194191951919619197191981919919200192011920219203192041920519206192071920819209192101921119212192131921419215192161921719218192191922019221192221922319224192251922619227192281922919230192311923219233192341923519236192371923819239192401924119242192431924419245192461924719248192491925019251192521925319254192551925619257192581925919260192611926219263192641926519266192671926819269192701927119272192731927419275192761927719278192791928019281192821928319284192851928619287192881928919290192911929219293192941929519296192971929819299193001930119302193031930419305193061930719308193091931019311193121931319314193151931619317193181931919320193211932219323193241932519326193271932819329193301933119332193331933419335193361933719338193391934019341193421934319344193451934619347193481934919350193511935219353193541935519356193571935819359193601936119362193631936419365193661936719368193691937019371193721937319374193751937619377193781937919380193811938219383193841938519386193871938819389193901939119392193931939419395193961939719398193991940019401194021940319404194051940619407194081940919410194111941219413194141941519416194171941819419194201942119422194231942419425194261942719428194291943019431194321943319434194351943619437194381943919440194411944219443194441944519446194471944819449194501945119452194531945419455194561945719458194591946019461194621946319464194651946619467194681946919470194711947219473194741947519476194771947819479194801948119482194831948419485194861948719488194891949019491194921949319494194951949619497194981949919500195011950219503195041950519506195071950819509195101951119512195131951419515195161951719518195191952019521195221952319524195251952619527195281952919530195311953219533195341953519536195371953819539195401954119542195431954419545195461954719548195491955019551195521955319554195551955619557195581955919560195611956219563195641956519566195671956819569195701957119572195731957419575195761957719578195791958019581195821958319584195851958619587195881958919590195911959219593195941959519596195971959819599196001960119602196031960419605196061960719608196091961019611196121961319614196151961619617196181961919620196211962219623196241962519626196271962819629196301963119632196331963419635196361963719638196391964019641196421964319644196451964619647196481964919650196511965219653196541965519656196571965819659196601966119662196631966419665196661966719668196691967019671196721967319674196751967619677196781967919680196811968219683196841968519686196871968819689196901969119692196931969419695196961969719698196991970019701197021970319704197051970619707197081970919710197111971219713197141971519716197171971819719197201972119722197231972419725197261972719728197291973019731197321973319734197351973619737197381973919740197411974219743197441974519746197471974819749197501975119752197531975419755197561975719758197591976019761197621976319764197651976619767197681976919770197711977219773197741977519776197771977819779197801978119782197831978419785197861978719788197891979019791197921979319794197951979619797197981979919800198011980219803198041980519806198071980819809198101981119812198131981419815198161981719818198191982019821198221982319824198251982619827198281982919830198311983219833198341983519836198371983819839198401984119842198431984419845198461984719848198491985019851198521985319854198551985619857198581985919860198611986219863198641986519866198671986819869198701987119872198731987419875198761987719878198791988019881198821988319884198851988619887198881988919890198911989219893198941989519896198971989819899199001990119902199031990419905199061990719908199091991019911199121991319914199151991619917199181991919920199211992219923199241992519926199271992819929199301993119932199331993419935199361993719938199391994019941199421994319944199451994619947199481994919950199511995219953199541995519956199571995819959199601996119962199631996419965199661996719968199691997019971199721997319974199751997619977199781997919980199811998219983199841998519986199871998819989199901999119992199931999419995199961999719998199992000020001200022000320004200052000620007200082000920010200112001220013200142001520016200172001820019200202002120022200232002420025200262002720028200292003020031200322003320034200352003620037200382003920040200412004220043200442004520046200472004820049200502005120052200532005420055200562005720058200592006020061200622006320064200652006620067200682006920070200712007220073200742007520076200772007820079200802008120082200832008420085200862008720088200892009020091200922009320094200952009620097200982009920100201012010220103201042010520106201072010820109201102011120112201132011420115201162011720118201192012020121201222012320124201252012620127201282012920130201312013220133201342013520136201372013820139201402014120142201432014420145201462014720148201492015020151201522015320154201552015620157201582015920160201612016220163201642016520166201672016820169201702017120172201732017420175201762017720178201792018020181201822018320184201852018620187201882018920190201912019220193201942019520196201972019820199202002020120202202032020420205202062020720208202092021020211202122021320214202152021620217202182021920220202212022220223202242022520226202272022820229202302023120232202332023420235202362023720238202392024020241202422024320244202452024620247202482024920250202512025220253202542025520256202572025820259202602026120262202632026420265202662026720268202692027020271202722027320274202752027620277202782027920280202812028220283202842028520286202872028820289202902029120292202932029420295202962029720298202992030020301203022030320304203052030620307203082030920310203112031220313203142031520316203172031820319203202032120322203232032420325203262032720328203292033020331203322033320334203352033620337203382033920340203412034220343203442034520346203472034820349203502035120352203532035420355203562035720358203592036020361203622036320364203652036620367203682036920370203712037220373203742037520376203772037820379203802038120382203832038420385203862038720388203892039020391203922039320394203952039620397203982039920400204012040220403204042040520406204072040820409204102041120412204132041420415204162041720418204192042020421204222042320424204252042620427204282042920430204312043220433204342043520436204372043820439204402044120442204432044420445204462044720448204492045020451204522045320454204552045620457204582045920460204612046220463204642046520466204672046820469204702047120472204732047420475204762047720478204792048020481204822048320484204852048620487204882048920490204912049220493204942049520496204972049820499205002050120502205032050420505205062050720508205092051020511205122051320514205152051620517205182051920520205212052220523205242052520526205272052820529205302053120532205332053420535205362053720538205392054020541205422054320544205452054620547205482054920550205512055220553205542055520556205572055820559205602056120562205632056420565205662056720568205692057020571205722057320574205752057620577205782057920580205812058220583205842058520586205872058820589205902059120592205932059420595205962059720598205992060020601206022060320604206052060620607206082060920610206112061220613206142061520616206172061820619206202062120622206232062420625206262062720628206292063020631206322063320634206352063620637206382063920640206412064220643206442064520646206472064820649206502065120652206532065420655206562065720658206592066020661206622066320664206652066620667206682066920670206712067220673206742067520676206772067820679206802068120682206832068420685206862068720688206892069020691206922069320694206952069620697206982069920700207012070220703207042070520706207072070820709207102071120712207132071420715207162071720718207192072020721207222072320724207252072620727207282072920730207312073220733207342073520736207372073820739207402074120742207432074420745207462074720748207492075020751207522075320754207552075620757207582075920760207612076220763207642076520766207672076820769207702077120772207732077420775207762077720778207792078020781207822078320784207852078620787207882078920790207912079220793207942079520796207972079820799208002080120802208032080420805208062080720808208092081020811208122081320814208152081620817208182081920820208212082220823208242082520826208272082820829208302083120832208332083420835208362083720838208392084020841208422084320844208452084620847208482084920850208512085220853208542085520856208572085820859208602086120862208632086420865208662086720868208692087020871208722087320874208752087620877208782087920880208812088220883208842088520886208872088820889208902089120892208932089420895208962089720898208992090020901209022090320904209052090620907209082090920910209112091220913209142091520916209172091820919209202092120922209232092420925209262092720928209292093020931209322093320934209352093620937209382093920940209412094220943209442094520946209472094820949209502095120952209532095420955209562095720958209592096020961209622096320964209652096620967209682096920970209712097220973209742097520976209772097820979209802098120982209832098420985209862098720988209892099020991209922099320994209952099620997209982099921000210012100221003210042100521006210072100821009210102101121012210132101421015210162101721018210192102021021210222102321024210252102621027210282102921030210312103221033210342103521036210372103821039210402104121042210432104421045210462104721048210492105021051210522105321054210552105621057210582105921060210612106221063210642106521066210672106821069210702107121072210732107421075210762107721078210792108021081210822108321084210852108621087210882108921090210912109221093210942109521096210972109821099211002110121102211032110421105211062110721108211092111021111211122111321114211152111621117211182111921120211212112221123211242112521126211272112821129211302113121132211332113421135211362113721138211392114021141211422114321144211452114621147211482114921150211512115221153211542115521156211572115821159211602116121162211632116421165211662116721168211692117021171211722117321174211752117621177211782117921180211812118221183211842118521186211872118821189211902119121192211932119421195211962119721198211992120021201212022120321204212052120621207212082120921210212112121221213212142121521216212172121821219212202122121222212232122421225212262122721228212292123021231212322123321234212352123621237212382123921240212412124221243212442124521246212472124821249212502125121252212532125421255212562125721258212592126021261212622126321264212652126621267212682126921270212712127221273212742127521276212772127821279212802128121282212832128421285212862128721288212892129021291212922129321294212952129621297212982129921300213012130221303213042130521306213072130821309213102131121312213132131421315213162131721318213192132021321213222132321324213252132621327213282132921330213312133221333213342133521336213372133821339213402134121342213432134421345213462134721348213492135021351213522135321354213552135621357213582135921360213612136221363213642136521366213672136821369213702137121372213732137421375213762137721378213792138021381213822138321384213852138621387213882138921390213912139221393213942139521396213972139821399214002140121402214032140421405214062140721408214092141021411214122141321414214152141621417214182141921420214212142221423214242142521426214272142821429214302143121432214332143421435214362143721438214392144021441214422144321444214452144621447214482144921450214512145221453214542145521456214572145821459214602146121462214632146421465214662146721468214692147021471214722147321474214752147621477214782147921480214812148221483214842148521486214872148821489214902149121492214932149421495214962149721498214992150021501215022150321504215052150621507215082150921510215112151221513215142151521516215172151821519215202152121522215232152421525215262152721528215292153021531215322153321534215352153621537215382153921540215412154221543215442154521546215472154821549215502155121552215532155421555215562155721558215592156021561215622156321564215652156621567215682156921570215712157221573215742157521576215772157821579215802158121582215832158421585215862158721588215892159021591215922159321594215952159621597215982159921600216012160221603216042160521606216072160821609216102161121612216132161421615216162161721618216192162021621216222162321624216252162621627216282162921630216312163221633216342163521636216372163821639216402164121642216432164421645216462164721648216492165021651216522165321654216552165621657216582165921660216612166221663216642166521666216672166821669216702167121672216732167421675216762167721678216792168021681216822168321684216852168621687216882168921690216912169221693216942169521696216972169821699217002170121702217032170421705217062170721708217092171021711217122171321714217152171621717217182171921720217212172221723217242172521726217272172821729217302173121732217332173421735217362173721738217392174021741217422174321744217452174621747217482174921750217512175221753217542175521756217572175821759217602176121762217632176421765217662176721768217692177021771217722177321774217752177621777217782177921780217812178221783217842178521786217872178821789217902179121792217932179421795217962179721798217992180021801218022180321804218052180621807218082180921810218112181221813218142181521816218172181821819218202182121822218232182421825218262182721828218292183021831218322183321834218352183621837218382183921840218412184221843218442184521846218472184821849218502185121852218532185421855218562185721858218592186021861218622186321864218652186621867218682186921870218712187221873218742187521876218772187821879218802188121882218832188421885218862188721888218892189021891218922189321894218952189621897218982189921900219012190221903219042190521906219072190821909219102191121912219132191421915219162191721918219192192021921219222192321924219252192621927219282192921930219312193221933219342193521936219372193821939219402194121942219432194421945219462194721948219492195021951219522195321954219552195621957219582195921960219612196221963219642196521966219672196821969219702197121972219732197421975219762197721978219792198021981219822198321984219852198621987219882198921990219912199221993219942199521996219972199821999220002200122002220032200422005220062200722008220092201022011220122201322014220152201622017220182201922020220212202222023220242202522026220272202822029220302203122032220332203422035220362203722038220392204022041220422204322044220452204622047220482204922050220512205222053220542205522056220572205822059220602206122062220632206422065220662206722068220692207022071220722207322074220752207622077220782207922080220812208222083220842208522086220872208822089220902209122092220932209422095220962209722098220992210022101221022210322104221052210622107221082210922110221112211222113221142211522116221172211822119221202212122122221232212422125221262212722128221292213022131221322213322134221352213622137221382213922140221412214222143221442214522146221472214822149221502215122152221532215422155221562215722158221592216022161221622216322164221652216622167221682216922170221712217222173221742217522176221772217822179221802218122182221832218422185221862218722188221892219022191221922219322194221952219622197221982219922200222012220222203222042220522206222072220822209222102221122212222132221422215222162221722218222192222022221222222222322224222252222622227222282222922230222312223222233222342223522236222372223822239222402224122242222432224422245222462224722248222492225022251222522225322254222552225622257222582225922260222612226222263222642226522266222672226822269222702227122272222732227422275222762227722278222792228022281222822228322284222852228622287222882228922290222912229222293222942229522296222972229822299223002230122302223032230422305223062230722308223092231022311223122231322314223152231622317223182231922320223212232222323223242232522326223272232822329223302233122332223332233422335223362233722338223392234022341223422234322344223452234622347223482234922350223512235222353223542235522356223572235822359223602236122362223632236422365223662236722368223692237022371223722237322374223752237622377223782237922380223812238222383223842238522386223872238822389223902239122392223932239422395223962239722398223992240022401224022240322404224052240622407224082240922410224112241222413224142241522416224172241822419224202242122422224232242422425224262242722428224292243022431224322243322434224352243622437224382243922440224412244222443224442244522446224472244822449224502245122452224532245422455224562245722458224592246022461224622246322464224652246622467224682246922470224712247222473224742247522476224772247822479224802248122482224832248422485224862248722488224892249022491224922249322494224952249622497224982249922500225012250222503225042250522506225072250822509225102251122512225132251422515225162251722518225192252022521225222252322524225252252622527225282252922530225312253222533225342253522536225372253822539225402254122542225432254422545225462254722548225492255022551225522255322554225552255622557225582255922560225612256222563225642256522566225672256822569225702257122572225732257422575225762257722578225792258022581225822258322584225852258622587225882258922590225912259222593225942259522596225972259822599226002260122602226032260422605226062260722608226092261022611226122261322614226152261622617226182261922620226212262222623226242262522626226272262822629226302263122632226332263422635226362263722638226392264022641226422264322644226452264622647226482264922650226512265222653226542265522656226572265822659226602266122662226632266422665226662266722668226692267022671226722267322674226752267622677226782267922680226812268222683226842268522686226872268822689226902269122692226932269422695226962269722698226992270022701227022270322704227052270622707227082270922710227112271222713227142271522716227172271822719227202272122722227232272422725227262272722728227292273022731227322273322734227352273622737227382273922740227412274222743227442274522746227472274822749227502275122752227532275422755227562275722758227592276022761227622276322764227652276622767227682276922770227712277222773227742277522776227772277822779227802278122782227832278422785227862278722788227892279022791227922279322794227952279622797227982279922800228012280222803228042280522806228072280822809228102281122812228132281422815228162281722818228192282022821228222282322824228252282622827228282282922830228312283222833228342283522836228372283822839228402284122842228432284422845228462284722848228492285022851228522285322854228552285622857228582285922860228612286222863228642286522866228672286822869228702287122872228732287422875228762287722878228792288022881228822288322884228852288622887228882288922890228912289222893228942289522896228972289822899229002290122902229032290422905229062290722908229092291022911229122291322914229152291622917229182291922920229212292222923229242292522926229272292822929229302293122932229332293422935229362293722938229392294022941229422294322944229452294622947229482294922950229512295222953229542295522956229572295822959229602296122962229632296422965229662296722968229692297022971229722297322974229752297622977229782297922980229812298222983229842298522986229872298822989229902299122992229932299422995229962299722998229992300023001230022300323004230052300623007230082300923010230112301223013230142301523016230172301823019230202302123022230232302423025230262302723028230292303023031230322303323034230352303623037230382303923040230412304223043230442304523046230472304823049230502305123052230532305423055230562305723058230592306023061230622306323064230652306623067230682306923070230712307223073230742307523076230772307823079230802308123082230832308423085230862308723088230892309023091230922309323094230952309623097230982309923100231012310223103231042310523106231072310823109231102311123112231132311423115231162311723118231192312023121231222312323124231252312623127231282312923130231312313223133231342313523136231372313823139231402314123142231432314423145231462314723148231492315023151231522315323154231552315623157231582315923160231612316223163231642316523166231672316823169231702317123172231732317423175231762317723178231792318023181231822318323184231852318623187231882318923190231912319223193231942319523196231972319823199232002320123202232032320423205232062320723208232092321023211232122321323214232152321623217232182321923220232212322223223232242322523226232272322823229232302323123232232332323423235232362323723238232392324023241232422324323244232452324623247232482324923250232512325223253232542325523256232572325823259232602326123262232632326423265232662326723268232692327023271232722327323274232752327623277232782327923280232812328223283232842328523286232872328823289232902329123292232932329423295232962329723298232992330023301233022330323304233052330623307233082330923310233112331223313233142331523316233172331823319233202332123322233232332423325233262332723328233292333023331233322333323334233352333623337233382333923340233412334223343233442334523346233472334823349233502335123352233532335423355233562335723358233592336023361233622336323364233652336623367233682336923370233712337223373233742337523376233772337823379233802338123382233832338423385233862338723388233892339023391233922339323394233952339623397233982339923400234012340223403234042340523406234072340823409234102341123412234132341423415234162341723418234192342023421234222342323424234252342623427234282342923430234312343223433234342343523436234372343823439234402344123442234432344423445234462344723448234492345023451234522345323454234552345623457234582345923460234612346223463234642346523466234672346823469234702347123472234732347423475234762347723478234792348023481234822348323484234852348623487234882348923490234912349223493234942349523496234972349823499235002350123502235032350423505235062350723508235092351023511235122351323514235152351623517235182351923520235212352223523235242352523526235272352823529235302353123532235332353423535235362353723538235392354023541235422354323544235452354623547235482354923550235512355223553235542355523556235572355823559235602356123562235632356423565235662356723568235692357023571235722357323574235752357623577235782357923580235812358223583235842358523586235872358823589235902359123592235932359423595235962359723598235992360023601236022360323604236052360623607236082360923610236112361223613236142361523616236172361823619236202362123622236232362423625236262362723628236292363023631236322363323634236352363623637236382363923640236412364223643236442364523646236472364823649236502365123652236532365423655236562365723658236592366023661236622366323664236652366623667236682366923670236712367223673236742367523676236772367823679236802368123682236832368423685236862368723688236892369023691236922369323694236952369623697236982369923700237012370223703237042370523706237072370823709237102371123712237132371423715237162371723718237192372023721237222372323724237252372623727237282372923730237312373223733237342373523736237372373823739237402374123742237432374423745237462374723748237492375023751237522375323754237552375623757237582375923760237612376223763237642376523766237672376823769237702377123772237732377423775237762377723778237792378023781237822378323784237852378623787237882378923790237912379223793237942379523796237972379823799238002380123802238032380423805238062380723808238092381023811238122381323814238152381623817238182381923820238212382223823238242382523826238272382823829238302383123832238332383423835238362383723838238392384023841238422384323844238452384623847238482384923850238512385223853238542385523856238572385823859238602386123862238632386423865238662386723868238692387023871238722387323874238752387623877238782387923880238812388223883238842388523886238872388823889238902389123892238932389423895238962389723898238992390023901239022390323904239052390623907239082390923910239112391223913239142391523916239172391823919239202392123922239232392423925239262392723928239292393023931239322393323934239352393623937239382393923940239412394223943239442394523946239472394823949239502395123952239532395423955239562395723958239592396023961239622396323964239652396623967239682396923970239712397223973239742397523976239772397823979239802398123982239832398423985239862398723988239892399023991239922399323994239952399623997239982399924000240012400224003240042400524006240072400824009240102401124012240132401424015240162401724018240192402024021240222402324024240252402624027240282402924030240312403224033240342403524036240372403824039240402404124042240432404424045240462404724048240492405024051240522405324054240552405624057240582405924060240612406224063240642406524066240672406824069240702407124072240732407424075240762407724078240792408024081240822408324084240852408624087240882408924090240912409224093240942409524096240972409824099241002410124102241032410424105241062410724108241092411024111241122411324114241152411624117241182411924120241212412224123241242412524126241272412824129241302413124132241332413424135241362413724138241392414024141241422414324144241452414624147241482414924150241512415224153241542415524156241572415824159241602416124162241632416424165241662416724168241692417024171241722417324174241752417624177241782417924180241812418224183241842418524186241872418824189241902419124192241932419424195241962419724198241992420024201242022420324204242052420624207242082420924210242112421224213242142421524216242172421824219242202422124222242232422424225242262422724228242292423024231242322423324234242352423624237242382423924240242412424224243242442424524246242472424824249242502425124252242532425424255242562425724258242592426024261242622426324264242652426624267242682426924270242712427224273242742427524276242772427824279242802428124282242832428424285242862428724288242892429024291242922429324294242952429624297242982429924300243012430224303243042430524306243072430824309243102431124312243132431424315243162431724318243192432024321243222432324324243252432624327243282432924330243312433224333243342433524336243372433824339243402434124342243432434424345243462434724348243492435024351243522435324354243552435624357243582435924360243612436224363243642436524366243672436824369243702437124372243732437424375243762437724378243792438024381243822438324384243852438624387243882438924390243912439224393243942439524396243972439824399244002440124402244032440424405244062440724408244092441024411244122441324414244152441624417244182441924420244212442224423244242442524426244272442824429244302443124432244332443424435244362443724438244392444024441244422444324444244452444624447244482444924450244512445224453244542445524456244572445824459244602446124462244632446424465244662446724468244692447024471244722447324474244752447624477244782447924480244812448224483244842448524486244872448824489244902449124492244932449424495244962449724498244992450024501245022450324504245052450624507245082450924510245112451224513245142451524516245172451824519245202452124522245232452424525245262452724528245292453024531245322453324534245352453624537245382453924540245412454224543245442454524546245472454824549245502455124552245532455424555245562455724558245592456024561245622456324564245652456624567245682456924570245712457224573245742457524576245772457824579245802458124582245832458424585245862458724588245892459024591245922459324594245952459624597245982459924600246012460224603246042460524606246072460824609246102461124612246132461424615246162461724618246192462024621246222462324624246252462624627246282462924630246312463224633246342463524636246372463824639246402464124642246432464424645246462464724648246492465024651246522465324654246552465624657246582465924660246612466224663246642466524666246672466824669246702467124672246732467424675246762467724678246792468024681246822468324684246852468624687246882468924690246912469224693246942469524696246972469824699247002470124702247032470424705247062470724708247092471024711247122471324714247152471624717247182471924720247212472224723247242472524726247272472824729247302473124732247332473424735247362473724738247392474024741247422474324744247452474624747247482474924750247512475224753247542475524756247572475824759247602476124762247632476424765247662476724768247692477024771247722477324774247752477624777247782477924780247812478224783247842478524786247872478824789247902479124792247932479424795247962479724798247992480024801248022480324804248052480624807248082480924810248112481224813248142481524816248172481824819248202482124822248232482424825248262482724828248292483024831248322483324834248352483624837248382483924840248412484224843248442484524846248472484824849248502485124852248532485424855248562485724858248592486024861248622486324864248652486624867248682486924870248712487224873248742487524876248772487824879248802488124882248832488424885248862488724888248892489024891248922489324894248952489624897248982489924900249012490224903249042490524906249072490824909249102491124912249132491424915249162491724918249192492024921249222492324924249252492624927249282492924930249312493224933249342493524936249372493824939249402494124942249432494424945249462494724948249492495024951249522495324954249552495624957249582495924960249612496224963249642496524966249672496824969249702497124972249732497424975249762497724978249792498024981249822498324984249852498624987249882498924990249912499224993249942499524996249972499824999250002500125002250032500425005250062500725008250092501025011250122501325014250152501625017250182501925020250212502225023250242502525026250272502825029250302503125032250332503425035250362503725038250392504025041250422504325044250452504625047250482504925050250512505225053250542505525056250572505825059250602506125062250632506425065250662506725068250692507025071250722507325074250752507625077250782507925080250812508225083250842508525086250872508825089250902509125092250932509425095250962509725098250992510025101251022510325104251052510625107251082510925110251112511225113251142511525116251172511825119251202512125122251232512425125251262512725128251292513025131251322513325134251352513625137251382513925140251412514225143251442514525146251472514825149251502515125152251532515425155251562515725158251592516025161251622516325164251652516625167251682516925170251712517225173251742517525176251772517825179251802518125182251832518425185251862518725188251892519025191251922519325194251952519625197251982519925200252012520225203252042520525206252072520825209252102521125212252132521425215252162521725218252192522025221252222522325224252252522625227252282522925230252312523225233252342523525236252372523825239252402524125242252432524425245252462524725248252492525025251252522525325254252552525625257252582525925260252612526225263252642526525266252672526825269252702527125272252732527425275252762527725278252792528025281252822528325284252852528625287252882528925290252912529225293252942529525296252972529825299253002530125302253032530425305253062530725308253092531025311253122531325314253152531625317253182531925320253212532225323253242532525326253272532825329253302533125332253332533425335253362533725338253392534025341253422534325344253452534625347253482534925350253512535225353253542535525356253572535825359253602536125362253632536425365253662536725368253692537025371253722537325374253752537625377253782537925380253812538225383253842538525386253872538825389253902539125392253932539425395253962539725398253992540025401254022540325404254052540625407254082540925410254112541225413254142541525416254172541825419254202542125422254232542425425254262542725428254292543025431254322543325434254352543625437254382543925440254412544225443254442544525446254472544825449254502545125452254532545425455254562545725458254592546025461254622546325464254652546625467254682546925470254712547225473254742547525476254772547825479254802548125482254832548425485254862548725488254892549025491254922549325494254952549625497254982549925500255012550225503255042550525506255072550825509255102551125512255132551425515255162551725518255192552025521255222552325524255252552625527255282552925530255312553225533255342553525536255372553825539255402554125542255432554425545255462554725548255492555025551255522555325554255552555625557255582555925560255612556225563255642556525566255672556825569255702557125572255732557425575255762557725578255792558025581255822558325584255852558625587255882558925590255912559225593255942559525596255972559825599256002560125602256032560425605256062560725608256092561025611256122561325614256152561625617256182561925620256212562225623256242562525626256272562825629256302563125632256332563425635256362563725638256392564025641256422564325644256452564625647256482564925650256512565225653256542565525656256572565825659256602566125662256632566425665256662566725668256692567025671256722567325674256752567625677256782567925680256812568225683256842568525686256872568825689256902569125692256932569425695256962569725698256992570025701257022570325704257052570625707257082570925710257112571225713257142571525716257172571825719257202572125722257232572425725257262572725728257292573025731257322573325734257352573625737257382573925740257412574225743257442574525746257472574825749257502575125752257532575425755257562575725758257592576025761257622576325764257652576625767257682576925770257712577225773257742577525776257772577825779257802578125782257832578425785257862578725788257892579025791257922579325794257952579625797257982579925800258012580225803258042580525806258072580825809258102581125812258132581425815258162581725818258192582025821258222582325824258252582625827258282582925830258312583225833258342583525836258372583825839258402584125842258432584425845258462584725848258492585025851258522585325854258552585625857258582585925860258612586225863258642586525866258672586825869258702587125872258732587425875258762587725878258792588025881258822588325884258852588625887258882588925890258912589225893258942589525896258972589825899259002590125902259032590425905259062590725908259092591025911259122591325914259152591625917259182591925920259212592225923259242592525926259272592825929259302593125932259332593425935259362593725938259392594025941259422594325944259452594625947259482594925950259512595225953259542595525956259572595825959259602596125962259632596425965259662596725968259692597025971259722597325974259752597625977259782597925980259812598225983259842598525986259872598825989259902599125992259932599425995259962599725998259992600026001260022600326004260052600626007260082600926010260112601226013260142601526016260172601826019260202602126022260232602426025260262602726028260292603026031260322603326034260352603626037260382603926040260412604226043260442604526046260472604826049260502605126052260532605426055260562605726058260592606026061260622606326064260652606626067260682606926070260712607226073260742607526076260772607826079260802608126082260832608426085260862608726088260892609026091260922609326094260952609626097260982609926100261012610226103261042610526106261072610826109261102611126112261132611426115261162611726118261192612026121261222612326124261252612626127261282612926130261312613226133261342613526136261372613826139261402614126142261432614426145261462614726148261492615026151261522615326154261552615626157261582615926160261612616226163261642616526166261672616826169261702617126172261732617426175261762617726178261792618026181261822618326184261852618626187261882618926190261912619226193261942619526196261972619826199262002620126202262032620426205262062620726208262092621026211262122621326214262152621626217262182621926220262212622226223262242622526226262272622826229262302623126232262332623426235262362623726238262392624026241262422624326244262452624626247262482624926250262512625226253262542625526256262572625826259262602626126262262632626426265262662626726268262692627026271262722627326274262752627626277262782627926280262812628226283262842628526286262872628826289262902629126292262932629426295262962629726298262992630026301263022630326304263052630626307263082630926310263112631226313263142631526316263172631826319263202632126322263232632426325263262632726328263292633026331263322633326334263352633626337263382633926340263412634226343263442634526346263472634826349263502635126352263532635426355263562635726358263592636026361263622636326364263652636626367263682636926370263712637226373263742637526376263772637826379263802638126382263832638426385263862638726388263892639026391263922639326394263952639626397263982639926400264012640226403264042640526406264072640826409264102641126412264132641426415264162641726418264192642026421264222642326424264252642626427264282642926430264312643226433264342643526436264372643826439264402644126442264432644426445264462644726448264492645026451264522645326454264552645626457264582645926460264612646226463264642646526466264672646826469264702647126472264732647426475264762647726478264792648026481264822648326484264852648626487264882648926490264912649226493264942649526496264972649826499265002650126502265032650426505265062650726508265092651026511265122651326514265152651626517265182651926520265212652226523265242652526526265272652826529265302653126532265332653426535265362653726538265392654026541265422654326544265452654626547265482654926550265512655226553265542655526556265572655826559265602656126562265632656426565265662656726568265692657026571265722657326574265752657626577265782657926580265812658226583265842658526586265872658826589265902659126592265932659426595265962659726598265992660026601266022660326604266052660626607266082660926610266112661226613266142661526616266172661826619266202662126622266232662426625266262662726628266292663026631266322663326634266352663626637266382663926640266412664226643266442664526646266472664826649266502665126652266532665426655266562665726658266592666026661266622666326664266652666626667266682666926670266712667226673266742667526676266772667826679266802668126682266832668426685266862668726688266892669026691266922669326694266952669626697266982669926700267012670226703267042670526706267072670826709267102671126712267132671426715267162671726718267192672026721267222672326724267252672626727267282672926730267312673226733267342673526736267372673826739267402674126742267432674426745267462674726748267492675026751267522675326754267552675626757267582675926760267612676226763267642676526766267672676826769267702677126772267732677426775267762677726778267792678026781267822678326784267852678626787267882678926790267912679226793267942679526796267972679826799268002680126802268032680426805268062680726808268092681026811268122681326814268152681626817268182681926820268212682226823268242682526826268272682826829268302683126832268332683426835268362683726838268392684026841268422684326844268452684626847268482684926850268512685226853268542685526856268572685826859268602686126862268632686426865268662686726868268692687026871268722687326874268752687626877268782687926880268812688226883268842688526886268872688826889268902689126892268932689426895268962689726898268992690026901269022690326904269052690626907269082690926910269112691226913269142691526916269172691826919269202692126922269232692426925269262692726928269292693026931269322693326934269352693626937269382693926940269412694226943269442694526946269472694826949269502695126952269532695426955269562695726958269592696026961269622696326964269652696626967269682696926970269712697226973269742697526976269772697826979269802698126982269832698426985269862698726988269892699026991269922699326994269952699626997269982699927000270012700227003270042700527006270072700827009270102701127012270132701427015270162701727018270192702027021270222702327024270252702627027270282702927030270312703227033270342703527036270372703827039270402704127042270432704427045270462704727048270492705027051270522705327054270552705627057270582705927060270612706227063270642706527066270672706827069270702707127072270732707427075270762707727078270792708027081270822708327084270852708627087270882708927090270912709227093270942709527096270972709827099271002710127102271032710427105271062710727108271092711027111271122711327114271152711627117271182711927120271212712227123271242712527126271272712827129271302713127132271332713427135271362713727138271392714027141271422714327144271452714627147271482714927150271512715227153271542715527156271572715827159271602716127162271632716427165271662716727168271692717027171271722717327174271752717627177271782717927180271812718227183271842718527186271872718827189271902719127192271932719427195271962719727198271992720027201272022720327204272052720627207272082720927210272112721227213272142721527216272172721827219272202722127222272232722427225272262722727228272292723027231272322723327234272352723627237272382723927240272412724227243272442724527246272472724827249272502725127252272532725427255272562725727258272592726027261272622726327264272652726627267272682726927270272712727227273272742727527276272772727827279272802728127282272832728427285272862728727288272892729027291272922729327294272952729627297272982729927300273012730227303273042730527306273072730827309273102731127312273132731427315273162731727318273192732027321273222732327324273252732627327273282732927330273312733227333273342733527336273372733827339273402734127342273432734427345273462734727348273492735027351273522735327354273552735627357273582735927360273612736227363273642736527366273672736827369273702737127372273732737427375273762737727378273792738027381273822738327384273852738627387273882738927390273912739227393273942739527396273972739827399274002740127402274032740427405274062740727408274092741027411274122741327414274152741627417274182741927420274212742227423274242742527426274272742827429274302743127432274332743427435274362743727438274392744027441274422744327444274452744627447274482744927450274512745227453274542745527456274572745827459274602746127462274632746427465274662746727468274692747027471274722747327474274752747627477274782747927480274812748227483274842748527486274872748827489274902749127492274932749427495274962749727498274992750027501275022750327504275052750627507275082750927510275112751227513275142751527516275172751827519275202752127522275232752427525275262752727528275292753027531275322753327534275352753627537275382753927540275412754227543275442754527546275472754827549275502755127552275532755427555275562755727558275592756027561275622756327564275652756627567275682756927570275712757227573275742757527576275772757827579275802758127582275832758427585275862758727588275892759027591275922759327594275952759627597275982759927600276012760227603276042760527606276072760827609276102761127612276132761427615276162761727618276192762027621276222762327624276252762627627276282762927630276312763227633276342763527636276372763827639276402764127642276432764427645276462764727648276492765027651276522765327654276552765627657276582765927660276612766227663276642766527666276672766827669276702767127672276732767427675276762767727678276792768027681276822768327684276852768627687276882768927690276912769227693276942769527696276972769827699277002770127702277032770427705277062770727708277092771027711277122771327714277152771627717277182771927720277212772227723277242772527726277272772827729277302773127732277332773427735277362773727738277392774027741277422774327744277452774627747277482774927750277512775227753277542775527756277572775827759277602776127762277632776427765277662776727768277692777027771277722777327774277752777627777277782777927780277812778227783277842778527786277872778827789277902779127792277932779427795277962779727798277992780027801278022780327804278052780627807278082780927810278112781227813278142781527816278172781827819278202782127822278232782427825278262782727828278292783027831278322783327834278352783627837278382783927840278412784227843278442784527846278472784827849278502785127852278532785427855278562785727858278592786027861278622786327864278652786627867278682786927870278712787227873278742787527876278772787827879278802788127882278832788427885278862788727888278892789027891278922789327894278952789627897278982789927900279012790227903279042790527906279072790827909279102791127912279132791427915279162791727918279192792027921279222792327924279252792627927279282792927930279312793227933279342793527936279372793827939279402794127942279432794427945279462794727948279492795027951279522795327954279552795627957279582795927960279612796227963279642796527966279672796827969279702797127972279732797427975279762797727978279792798027981279822798327984279852798627987279882798927990279912799227993279942799527996279972799827999280002800128002280032800428005280062800728008280092801028011280122801328014280152801628017280182801928020280212802228023280242802528026280272802828029280302803128032280332803428035280362803728038280392804028041280422804328044280452804628047280482804928050280512805228053280542805528056280572805828059280602806128062280632806428065280662806728068280692807028071280722807328074280752807628077280782807928080280812808228083280842808528086280872808828089280902809128092280932809428095280962809728098280992810028101281022810328104281052810628107281082810928110281112811228113281142811528116281172811828119281202812128122281232812428125281262812728128281292813028131281322813328134281352813628137281382813928140281412814228143281442814528146281472814828149281502815128152281532815428155281562815728158281592816028161281622816328164281652816628167281682816928170281712817228173281742817528176281772817828179281802818128182281832818428185281862818728188281892819028191281922819328194281952819628197281982819928200282012820228203282042820528206282072820828209282102821128212282132821428215282162821728218282192822028221282222822328224282252822628227282282822928230282312823228233282342823528236282372823828239282402824128242282432824428245282462824728248282492825028251282522825328254282552825628257282582825928260282612826228263282642826528266282672826828269282702827128272282732827428275282762827728278282792828028281282822828328284282852828628287282882828928290282912829228293282942829528296282972829828299283002830128302283032830428305283062830728308283092831028311283122831328314283152831628317283182831928320283212832228323283242832528326283272832828329283302833128332283332833428335283362833728338283392834028341283422834328344283452834628347283482834928350283512835228353283542835528356283572835828359283602836128362283632836428365283662836728368283692837028371283722837328374283752837628377283782837928380283812838228383283842838528386283872838828389283902839128392283932839428395283962839728398283992840028401284022840328404284052840628407284082840928410284112841228413284142841528416284172841828419284202842128422284232842428425284262842728428284292843028431284322843328434284352843628437284382843928440284412844228443284442844528446284472844828449284502845128452284532845428455284562845728458284592846028461284622846328464284652846628467284682846928470284712847228473284742847528476284772847828479284802848128482284832848428485284862848728488284892849028491284922849328494284952849628497284982849928500285012850228503285042850528506285072850828509285102851128512285132851428515285162851728518285192852028521285222852328524285252852628527285282852928530285312853228533285342853528536285372853828539285402854128542285432854428545285462854728548285492855028551285522855328554285552855628557285582855928560285612856228563285642856528566285672856828569285702857128572285732857428575285762857728578285792858028581285822858328584285852858628587285882858928590285912859228593285942859528596285972859828599286002860128602286032860428605286062860728608286092861028611286122861328614286152861628617286182861928620286212862228623286242862528626286272862828629286302863128632286332863428635286362863728638286392864028641286422864328644286452864628647286482864928650286512865228653286542865528656286572865828659286602866128662286632866428665286662866728668286692867028671286722867328674286752867628677286782867928680286812868228683286842868528686286872868828689286902869128692286932869428695286962869728698286992870028701287022870328704287052870628707287082870928710287112871228713287142871528716287172871828719287202872128722287232872428725287262872728728287292873028731287322873328734287352873628737287382873928740287412874228743287442874528746287472874828749287502875128752287532875428755287562875728758287592876028761287622876328764287652876628767287682876928770287712877228773287742877528776287772877828779287802878128782287832878428785287862878728788287892879028791287922879328794287952879628797287982879928800288012880228803288042880528806288072880828809288102881128812288132881428815288162881728818288192882028821288222882328824288252882628827288282882928830288312883228833288342883528836288372883828839288402884128842288432884428845288462884728848288492885028851288522885328854288552885628857288582885928860288612886228863288642886528866288672886828869288702887128872288732887428875288762887728878288792888028881288822888328884288852888628887288882888928890288912889228893288942889528896288972889828899289002890128902289032890428905289062890728908289092891028911289122891328914289152891628917289182891928920289212892228923289242892528926289272892828929289302893128932289332893428935289362893728938289392894028941289422894328944289452894628947289482894928950289512895228953289542895528956289572895828959289602896128962289632896428965289662896728968289692897028971289722897328974289752897628977289782897928980289812898228983289842898528986289872898828989289902899128992289932899428995289962899728998289992900029001290022900329004290052900629007290082900929010290112901229013290142901529016290172901829019290202902129022290232902429025290262902729028290292903029031290322903329034290352903629037290382903929040290412904229043290442904529046290472904829049290502905129052290532905429055290562905729058290592906029061290622906329064290652906629067290682906929070290712907229073290742907529076290772907829079290802908129082290832908429085290862908729088290892909029091290922909329094290952909629097290982909929100291012910229103291042910529106291072910829109291102911129112291132911429115291162911729118291192912029121291222912329124291252912629127291282912929130291312913229133291342913529136291372913829139291402914129142291432914429145291462914729148291492915029151291522915329154291552915629157291582915929160291612916229163291642916529166291672916829169291702917129172291732917429175291762917729178291792918029181291822918329184291852918629187291882918929190291912919229193291942919529196291972919829199292002920129202292032920429205292062920729208292092921029211292122921329214292152921629217292182921929220292212922229223292242922529226292272922829229292302923129232292332923429235292362923729238292392924029241292422924329244292452924629247292482924929250292512925229253292542925529256292572925829259292602926129262292632926429265292662926729268292692927029271292722927329274292752927629277292782927929280292812928229283292842928529286292872928829289292902929129292292932929429295292962929729298292992930029301293022930329304293052930629307293082930929310293112931229313293142931529316293172931829319293202932129322293232932429325293262932729328293292933029331293322933329334293352933629337293382933929340293412934229343293442934529346293472934829349293502935129352293532935429355293562935729358293592936029361293622936329364293652936629367293682936929370293712937229373293742937529376293772937829379293802938129382293832938429385293862938729388293892939029391293922939329394293952939629397293982939929400294012940229403294042940529406294072940829409294102941129412294132941429415294162941729418294192942029421294222942329424294252942629427294282942929430294312943229433294342943529436294372943829439294402944129442294432944429445294462944729448294492945029451294522945329454294552945629457294582945929460294612946229463294642946529466294672946829469294702947129472294732947429475294762947729478294792948029481294822948329484294852948629487294882948929490294912949229493294942949529496294972949829499295002950129502295032950429505295062950729508295092951029511295122951329514295152951629517295182951929520295212952229523295242952529526295272952829529295302953129532295332953429535295362953729538295392954029541295422954329544295452954629547295482954929550295512955229553295542955529556295572955829559295602956129562295632956429565295662956729568295692957029571295722957329574295752957629577295782957929580295812958229583295842958529586295872958829589295902959129592295932959429595295962959729598295992960029601296022960329604296052960629607296082960929610296112961229613296142961529616296172961829619296202962129622296232962429625296262962729628296292963029631296322963329634296352963629637296382963929640296412964229643296442964529646296472964829649296502965129652296532965429655296562965729658296592966029661296622966329664296652966629667296682966929670296712967229673296742967529676296772967829679296802968129682296832968429685296862968729688296892969029691296922969329694296952969629697296982969929700297012970229703297042970529706297072970829709297102971129712297132971429715297162971729718297192972029721297222972329724297252972629727297282972929730297312973229733297342973529736297372973829739297402974129742297432974429745297462974729748297492975029751297522975329754297552975629757297582975929760297612976229763297642976529766297672976829769297702977129772297732977429775297762977729778297792978029781297822978329784297852978629787297882978929790297912979229793297942979529796297972979829799298002980129802298032980429805298062980729808298092981029811298122981329814298152981629817298182981929820298212982229823298242982529826298272982829829298302983129832298332983429835298362983729838298392984029841298422984329844298452984629847298482984929850298512985229853298542985529856298572985829859298602986129862298632986429865298662986729868298692987029871298722987329874298752987629877298782987929880298812988229883298842988529886298872988829889298902989129892298932989429895298962989729898298992990029901299022990329904299052990629907299082990929910299112991229913299142991529916299172991829919299202992129922299232992429925299262992729928299292993029931299322993329934299352993629937299382993929940299412994229943299442994529946299472994829949299502995129952299532995429955299562995729958299592996029961299622996329964299652996629967299682996929970299712997229973299742997529976299772997829979299802998129982299832998429985299862998729988299892999029991299922999329994299952999629997299982999930000300013000230003300043000530006300073000830009300103001130012300133001430015300163001730018300193002030021300223002330024300253002630027300283002930030300313003230033300343003530036300373003830039300403004130042300433004430045300463004730048300493005030051300523005330054300553005630057300583005930060300613006230063300643006530066300673006830069300703007130072300733007430075300763007730078300793008030081300823008330084300853008630087300883008930090300913009230093300943009530096300973009830099301003010130102301033010430105301063010730108301093011030111301123011330114301153011630117301183011930120301213012230123301243012530126301273012830129301303013130132301333013430135301363013730138301393014030141301423014330144301453014630147301483014930150301513015230153301543015530156301573015830159301603016130162301633016430165301663016730168301693017030171301723017330174301753017630177301783017930180301813018230183301843018530186301873018830189301903019130192301933019430195301963019730198301993020030201302023020330204302053020630207302083020930210302113021230213302143021530216302173021830219302203022130222302233022430225302263022730228302293023030231302323023330234302353023630237302383023930240302413024230243302443024530246302473024830249302503025130252302533025430255302563025730258302593026030261302623026330264302653026630267302683026930270302713027230273302743027530276302773027830279302803028130282302833028430285302863028730288302893029030291302923029330294302953029630297302983029930300303013030230303303043030530306303073030830309303103031130312303133031430315303163031730318303193032030321303223032330324303253032630327303283032930330303313033230333303343033530336303373033830339303403034130342303433034430345303463034730348303493035030351303523035330354303553035630357303583035930360303613036230363303643036530366303673036830369303703037130372303733037430375303763037730378303793038030381303823038330384303853038630387303883038930390303913039230393303943039530396303973039830399304003040130402304033040430405304063040730408304093041030411304123041330414304153041630417304183041930420304213042230423304243042530426304273042830429304303043130432304333043430435304363043730438304393044030441304423044330444304453044630447304483044930450304513045230453304543045530456304573045830459304603046130462304633046430465304663046730468304693047030471304723047330474304753047630477304783047930480304813048230483304843048530486304873048830489304903049130492304933049430495304963049730498304993050030501305023050330504305053050630507305083050930510305113051230513305143051530516305173051830519305203052130522305233052430525305263052730528305293053030531305323053330534305353053630537305383053930540305413054230543305443054530546305473054830549305503055130552305533055430555305563055730558305593056030561305623056330564305653056630567305683056930570305713057230573305743057530576305773057830579305803058130582305833058430585305863058730588305893059030591305923059330594305953059630597305983059930600306013060230603306043060530606306073060830609306103061130612306133061430615306163061730618306193062030621306223062330624306253062630627306283062930630306313063230633306343063530636306373063830639306403064130642306433064430645306463064730648306493065030651306523065330654306553065630657306583065930660306613066230663306643066530666306673066830669306703067130672306733067430675306763067730678306793068030681306823068330684306853068630687306883068930690306913069230693306943069530696306973069830699307003070130702307033070430705307063070730708307093071030711307123071330714307153071630717307183071930720307213072230723307243072530726307273072830729307303073130732307333073430735307363073730738307393074030741307423074330744307453074630747307483074930750307513075230753307543075530756307573075830759307603076130762307633076430765307663076730768307693077030771307723077330774307753077630777307783077930780307813078230783307843078530786307873078830789307903079130792307933079430795307963079730798307993080030801308023080330804308053080630807308083080930810308113081230813308143081530816308173081830819308203082130822308233082430825308263082730828308293083030831308323083330834308353083630837308383083930840308413084230843308443084530846308473084830849308503085130852308533085430855308563085730858308593086030861308623086330864308653086630867308683086930870308713087230873308743087530876308773087830879308803088130882308833088430885308863088730888308893089030891308923089330894308953089630897308983089930900309013090230903309043090530906309073090830909309103091130912309133091430915309163091730918309193092030921309223092330924309253092630927309283092930930309313093230933309343093530936309373093830939309403094130942309433094430945309463094730948309493095030951309523095330954309553095630957309583095930960309613096230963309643096530966309673096830969309703097130972309733097430975309763097730978309793098030981309823098330984309853098630987309883098930990309913099230993309943099530996309973099830999310003100131002310033100431005310063100731008310093101031011310123101331014310153101631017310183101931020310213102231023310243102531026310273102831029310303103131032310333103431035310363103731038310393104031041310423104331044310453104631047310483104931050310513105231053310543105531056310573105831059310603106131062310633106431065310663106731068310693107031071310723107331074310753107631077310783107931080310813108231083310843108531086310873108831089310903109131092310933109431095310963109731098310993110031101311023110331104311053110631107311083110931110311113111231113311143111531116311173111831119311203112131122311233112431125311263112731128311293113031131311323113331134311353113631137311383113931140311413114231143311443114531146311473114831149311503115131152311533115431155311563115731158311593116031161311623116331164311653116631167311683116931170311713117231173311743117531176311773117831179311803118131182311833118431185311863118731188311893119031191311923119331194311953119631197311983119931200312013120231203312043120531206312073120831209312103121131212312133121431215312163121731218312193122031221312223122331224312253122631227312283122931230312313123231233312343123531236312373123831239312403124131242312433124431245312463124731248312493125031251312523125331254312553125631257312583125931260312613126231263312643126531266312673126831269312703127131272312733127431275312763127731278312793128031281312823128331284312853128631287312883128931290312913129231293312943129531296312973129831299313003130131302313033130431305313063130731308313093131031311313123131331314313153131631317313183131931320313213132231323313243132531326313273132831329313303133131332313333133431335313363133731338313393134031341313423134331344313453134631347313483134931350313513135231353313543135531356313573135831359313603136131362313633136431365313663136731368313693137031371313723137331374313753137631377313783137931380313813138231383313843138531386313873138831389313903139131392313933139431395313963139731398313993140031401314023140331404314053140631407314083140931410314113141231413314143141531416314173141831419314203142131422314233142431425314263142731428314293143031431314323143331434314353143631437314383143931440314413144231443314443144531446314473144831449314503145131452314533145431455314563145731458314593146031461314623146331464314653146631467314683146931470314713147231473314743147531476314773147831479314803148131482314833148431485314863148731488314893149031491314923149331494314953149631497314983149931500315013150231503315043150531506315073150831509315103151131512315133151431515315163151731518315193152031521315223152331524315253152631527315283152931530315313153231533315343153531536315373153831539315403154131542315433154431545315463154731548315493155031551315523155331554315553155631557315583155931560315613156231563315643156531566315673156831569315703157131572315733157431575315763157731578315793158031581315823158331584315853158631587315883158931590315913159231593315943159531596315973159831599316003160131602316033160431605316063160731608316093161031611316123161331614316153161631617316183161931620316213162231623316243162531626316273162831629316303163131632316333163431635316363163731638316393164031641316423164331644316453164631647316483164931650316513165231653316543165531656316573165831659316603166131662316633166431665316663166731668316693167031671316723167331674316753167631677316783167931680316813168231683316843168531686316873168831689316903169131692316933169431695316963169731698316993170031701317023170331704317053170631707317083170931710317113171231713317143171531716317173171831719317203172131722317233172431725317263172731728317293173031731317323173331734317353173631737317383173931740317413174231743317443174531746317473174831749317503175131752317533175431755317563175731758317593176031761317623176331764317653176631767317683176931770317713177231773317743177531776317773177831779317803178131782317833178431785317863178731788317893179031791317923179331794317953179631797317983179931800318013180231803318043180531806318073180831809318103181131812318133181431815318163181731818318193182031821318223182331824318253182631827318283182931830318313183231833318343183531836318373183831839318403184131842318433184431845318463184731848318493185031851318523185331854318553185631857318583185931860318613186231863318643186531866318673186831869318703187131872318733187431875318763187731878318793188031881318823188331884318853188631887318883188931890318913189231893318943189531896318973189831899319003190131902319033190431905319063190731908319093191031911319123191331914319153191631917319183191931920319213192231923319243192531926319273192831929319303193131932319333193431935319363193731938319393194031941319423194331944319453194631947319483194931950319513195231953319543195531956319573195831959319603196131962319633196431965319663196731968319693197031971319723197331974319753197631977319783197931980319813198231983319843198531986319873198831989319903199131992319933199431995319963199731998319993200032001320023200332004320053200632007320083200932010320113201232013320143201532016320173201832019320203202132022320233202432025320263202732028320293203032031320323203332034320353203632037320383203932040320413204232043320443204532046320473204832049320503205132052320533205432055320563205732058320593206032061320623206332064320653206632067320683206932070320713207232073320743207532076320773207832079320803208132082320833208432085320863208732088320893209032091320923209332094320953209632097320983209932100321013210232103321043210532106321073210832109321103211132112321133211432115321163211732118321193212032121321223212332124321253212632127321283212932130321313213232133321343213532136321373213832139321403214132142321433214432145321463214732148321493215032151321523215332154321553215632157321583215932160321613216232163321643216532166321673216832169321703217132172321733217432175321763217732178321793218032181321823218332184321853218632187321883218932190321913219232193321943219532196321973219832199322003220132202322033220432205322063220732208322093221032211322123221332214322153221632217322183221932220322213222232223322243222532226322273222832229322303223132232322333223432235322363223732238322393224032241322423224332244322453224632247322483224932250322513225232253322543225532256322573225832259322603226132262322633226432265322663226732268322693227032271322723227332274322753227632277322783227932280322813228232283322843228532286322873228832289322903229132292322933229432295322963229732298322993230032301323023230332304323053230632307323083230932310323113231232313323143231532316323173231832319323203232132322323233232432325323263232732328323293233032331323323233332334323353233632337323383233932340323413234232343323443234532346323473234832349323503235132352323533235432355323563235732358323593236032361323623236332364323653236632367323683236932370323713237232373323743237532376323773237832379323803238132382323833238432385323863238732388323893239032391323923239332394323953239632397323983239932400324013240232403324043240532406324073240832409324103241132412324133241432415324163241732418324193242032421324223242332424324253242632427324283242932430324313243232433324343243532436324373243832439324403244132442324433244432445324463244732448324493245032451324523245332454324553245632457324583245932460324613246232463324643246532466324673246832469324703247132472324733247432475324763247732478324793248032481324823248332484324853248632487324883248932490324913249232493324943249532496324973249832499325003250132502325033250432505325063250732508325093251032511325123251332514325153251632517325183251932520325213252232523325243252532526325273252832529325303253132532325333253432535325363253732538325393254032541325423254332544325453254632547325483254932550325513255232553325543255532556325573255832559325603256132562325633256432565325663256732568325693257032571325723257332574325753257632577325783257932580325813258232583325843258532586325873258832589325903259132592325933259432595325963259732598325993260032601326023260332604326053260632607326083260932610326113261232613326143261532616326173261832619326203262132622326233262432625326263262732628326293263032631326323263332634326353263632637326383263932640326413264232643326443264532646326473264832649326503265132652326533265432655326563265732658326593266032661326623266332664326653266632667326683266932670326713267232673326743267532676326773267832679326803268132682326833268432685326863268732688326893269032691326923269332694326953269632697326983269932700327013270232703327043270532706327073270832709327103271132712327133271432715327163271732718327193272032721327223272332724327253272632727327283272932730327313273232733327343273532736327373273832739327403274132742327433274432745327463274732748327493275032751327523275332754327553275632757327583275932760327613276232763327643276532766327673276832769327703277132772327733277432775327763277732778327793278032781327823278332784327853278632787327883278932790327913279232793327943279532796327973279832799328003280132802328033280432805328063280732808328093281032811328123281332814328153281632817328183281932820328213282232823328243282532826328273282832829328303283132832328333283432835328363283732838328393284032841328423284332844328453284632847328483284932850328513285232853328543285532856328573285832859328603286132862328633286432865328663286732868328693287032871328723287332874328753287632877328783287932880328813288232883328843288532886328873288832889328903289132892328933289432895328963289732898328993290032901329023290332904329053290632907329083290932910329113291232913329143291532916329173291832919329203292132922329233292432925329263292732928329293293032931329323293332934329353293632937329383293932940329413294232943329443294532946329473294832949329503295132952329533295432955329563295732958329593296032961329623296332964329653296632967329683296932970329713297232973329743297532976329773297832979329803298132982329833298432985329863298732988329893299032991329923299332994329953299632997329983299933000330013300233003330043300533006330073300833009330103301133012330133301433015330163301733018330193302033021330223302333024330253302633027330283302933030330313303233033330343303533036330373303833039330403304133042330433304433045330463304733048330493305033051330523305333054330553305633057330583305933060330613306233063330643306533066330673306833069330703307133072330733307433075330763307733078330793308033081330823308333084330853308633087330883308933090330913309233093330943309533096330973309833099331003310133102331033310433105331063310733108331093311033111331123311333114331153311633117331183311933120331213312233123331243312533126331273312833129331303313133132331333313433135331363313733138331393314033141331423314333144331453314633147331483314933150331513315233153331543315533156331573315833159331603316133162331633316433165331663316733168331693317033171331723317333174331753317633177331783317933180331813318233183331843318533186331873318833189331903319133192331933319433195331963319733198331993320033201332023320333204332053320633207332083320933210332113321233213332143321533216332173321833219332203322133222332233322433225332263322733228332293323033231332323323333234332353323633237332383323933240332413324233243332443324533246332473324833249332503325133252332533325433255332563325733258332593326033261332623326333264332653326633267332683326933270332713327233273332743327533276332773327833279332803328133282332833328433285332863328733288332893329033291332923329333294332953329633297332983329933300333013330233303333043330533306333073330833309333103331133312333133331433315333163331733318333193332033321333223332333324333253332633327333283332933330333313333233333333343333533336333373333833339333403334133342333433334433345333463334733348333493335033351333523335333354333553335633357333583335933360333613336233363333643336533366333673336833369333703337133372333733337433375333763337733378333793338033381333823338333384333853338633387333883338933390333913339233393333943339533396333973339833399334003340133402334033340433405334063340733408334093341033411334123341333414334153341633417334183341933420334213342233423334243342533426334273342833429334303343133432334333343433435334363343733438334393344033441334423344333444334453344633447334483344933450334513345233453334543345533456334573345833459334603346133462334633346433465334663346733468334693347033471334723347333474334753347633477334783347933480334813348233483334843348533486334873348833489334903349133492334933349433495334963349733498334993350033501335023350333504335053350633507335083350933510335113351233513335143351533516335173351833519335203352133522335233352433525335263352733528335293353033531335323353333534335353353633537335383353933540335413354233543335443354533546335473354833549335503355133552335533355433555335563355733558335593356033561335623356333564335653356633567335683356933570335713357233573335743357533576335773357833579335803358133582335833358433585335863358733588335893359033591335923359333594335953359633597335983359933600336013360233603336043360533606336073360833609336103361133612336133361433615336163361733618336193362033621336223362333624336253362633627336283362933630336313363233633336343363533636336373363833639336403364133642336433364433645336463364733648336493365033651336523365333654336553365633657336583365933660336613366233663336643366533666336673366833669336703367133672336733367433675336763367733678336793368033681336823368333684336853368633687336883368933690336913369233693336943369533696336973369833699337003370133702337033370433705337063370733708337093371033711337123371333714337153371633717337183371933720337213372233723337243372533726337273372833729337303373133732337333373433735337363373733738337393374033741337423374333744337453374633747337483374933750337513375233753337543375533756337573375833759337603376133762337633376433765337663376733768337693377033771337723377333774337753377633777337783377933780337813378233783337843378533786337873378833789337903379133792337933379433795337963379733798337993380033801338023380333804338053380633807338083380933810338113381233813338143381533816338173381833819338203382133822338233382433825338263382733828338293383033831338323383333834338353383633837338383383933840338413384233843338443384533846338473384833849338503385133852338533385433855338563385733858338593386033861338623386333864338653386633867338683386933870338713387233873338743387533876338773387833879338803388133882338833388433885338863388733888338893389033891338923389333894338953389633897338983389933900339013390233903339043390533906339073390833909339103391133912339133391433915339163391733918339193392033921339223392333924339253392633927339283392933930339313393233933339343393533936339373393833939339403394133942339433394433945339463394733948339493395033951339523395333954339553395633957339583395933960339613396233963339643396533966339673396833969339703397133972339733397433975339763397733978339793398033981339823398333984339853398633987339883398933990339913399233993339943399533996339973399833999340003400134002340033400434005340063400734008340093401034011340123401334014340153401634017340183401934020340213402234023340243402534026340273402834029340303403134032340333403434035340363403734038340393404034041340423404334044340453404634047340483404934050340513405234053340543405534056340573405834059340603406134062340633406434065340663406734068340693407034071340723407334074340753407634077340783407934080340813408234083340843408534086340873408834089340903409134092340933409434095340963409734098340993410034101341023410334104341053410634107341083410934110341113411234113341143411534116341173411834119341203412134122341233412434125341263412734128341293413034131341323413334134341353413634137341383413934140341413414234143341443414534146341473414834149341503415134152341533415434155341563415734158341593416034161341623416334164341653416634167341683416934170341713417234173341743417534176341773417834179341803418134182341833418434185341863418734188341893419034191341923419334194341953419634197341983419934200342013420234203342043420534206342073420834209342103421134212342133421434215342163421734218342193422034221342223422334224342253422634227342283422934230342313423234233342343423534236342373423834239342403424134242342433424434245342463424734248342493425034251342523425334254342553425634257342583425934260342613426234263342643426534266342673426834269342703427134272342733427434275342763427734278342793428034281342823428334284342853428634287342883428934290342913429234293342943429534296342973429834299343003430134302343033430434305343063430734308343093431034311343123431334314343153431634317343183431934320343213432234323343243432534326343273432834329343303433134332343333433434335343363433734338343393434034341343423434334344343453434634347343483434934350343513435234353343543435534356343573435834359343603436134362343633436434365343663436734368343693437034371343723437334374343753437634377343783437934380343813438234383343843438534386343873438834389343903439134392343933439434395343963439734398343993440034401344023440334404344053440634407344083440934410344113441234413344143441534416344173441834419344203442134422344233442434425344263442734428344293443034431344323443334434344353443634437344383443934440344413444234443344443444534446344473444834449344503445134452344533445434455344563445734458344593446034461344623446334464344653446634467344683446934470344713447234473344743447534476344773447834479344803448134482344833448434485344863448734488344893449034491344923449334494344953449634497344983449934500345013450234503345043450534506345073450834509345103451134512345133451434515345163451734518345193452034521345223452334524345253452634527345283452934530345313453234533345343453534536345373453834539345403454134542345433454434545345463454734548345493455034551345523455334554345553455634557345583455934560345613456234563345643456534566345673456834569345703457134572345733457434575345763457734578345793458034581345823458334584345853458634587345883458934590345913459234593345943459534596345973459834599346003460134602346033460434605346063460734608346093461034611346123461334614346153461634617346183461934620346213462234623346243462534626346273462834629346303463134632346333463434635346363463734638346393464034641346423464334644346453464634647346483464934650346513465234653346543465534656346573465834659346603466134662346633466434665346663466734668346693467034671346723467334674346753467634677346783467934680346813468234683346843468534686346873468834689346903469134692346933469434695346963469734698346993470034701347023470334704347053470634707347083470934710347113471234713347143471534716347173471834719347203472134722347233472434725347263472734728347293473034731347323473334734347353473634737347383473934740347413474234743347443474534746347473474834749347503475134752347533475434755347563475734758347593476034761347623476334764347653476634767347683476934770347713477234773347743477534776347773477834779347803478134782347833478434785347863478734788347893479034791347923479334794347953479634797347983479934800348013480234803348043480534806348073480834809348103481134812348133481434815348163481734818348193482034821348223482334824348253482634827348283482934830348313483234833348343483534836348373483834839348403484134842348433484434845348463484734848348493485034851348523485334854348553485634857348583485934860348613486234863348643486534866348673486834869348703487134872348733487434875348763487734878348793488034881348823488334884348853488634887348883488934890348913489234893348943489534896348973489834899349003490134902349033490434905349063490734908349093491034911349123491334914349153491634917349183491934920349213492234923349243492534926349273492834929349303493134932349333493434935349363493734938349393494034941349423494334944349453494634947349483494934950349513495234953349543495534956349573495834959349603496134962349633496434965349663496734968349693497034971349723497334974349753497634977349783497934980349813498234983349843498534986349873498834989349903499134992349933499434995349963499734998349993500035001350023500335004350053500635007350083500935010350113501235013350143501535016350173501835019350203502135022350233502435025350263502735028350293503035031350323503335034350353503635037350383503935040350413504235043350443504535046350473504835049350503505135052350533505435055350563505735058350593506035061350623506335064350653506635067350683506935070350713507235073350743507535076350773507835079350803508135082350833508435085350863508735088350893509035091350923509335094350953509635097350983509935100351013510235103351043510535106351073510835109351103511135112351133511435115351163511735118351193512035121351223512335124351253512635127351283512935130351313513235133351343513535136351373513835139351403514135142351433514435145351463514735148351493515035151351523515335154351553515635157351583515935160351613516235163351643516535166351673516835169351703517135172351733517435175351763517735178351793518035181351823518335184351853518635187351883518935190351913519235193351943519535196351973519835199352003520135202352033520435205352063520735208352093521035211352123521335214352153521635217352183521935220352213522235223352243522535226352273522835229352303523135232352333523435235352363523735238352393524035241352423524335244352453524635247352483524935250352513525235253352543525535256352573525835259352603526135262352633526435265352663526735268352693527035271352723527335274352753527635277352783527935280352813528235283352843528535286352873528835289352903529135292352933529435295352963529735298352993530035301353023530335304353053530635307353083530935310353113531235313353143531535316353173531835319353203532135322353233532435325353263532735328353293533035331353323533335334353353533635337353383533935340353413534235343353443534535346353473534835349353503535135352353533535435355353563535735358353593536035361353623536335364353653536635367353683536935370353713537235373353743537535376353773537835379353803538135382353833538435385353863538735388353893539035391353923539335394353953539635397353983539935400354013540235403354043540535406354073540835409354103541135412354133541435415354163541735418354193542035421354223542335424354253542635427354283542935430354313543235433354343543535436354373543835439354403544135442354433544435445354463544735448354493545035451354523545335454354553545635457354583545935460354613546235463354643546535466354673546835469354703547135472354733547435475354763547735478354793548035481354823548335484354853548635487354883548935490354913549235493354943549535496354973549835499355003550135502355033550435505355063550735508355093551035511355123551335514355153551635517355183551935520355213552235523355243552535526355273552835529355303553135532355333553435535355363553735538355393554035541355423554335544355453554635547355483554935550355513555235553355543555535556355573555835559355603556135562355633556435565355663556735568355693557035571355723557335574355753557635577355783557935580355813558235583355843558535586355873558835589355903559135592355933559435595355963559735598355993560035601356023560335604356053560635607356083560935610356113561235613356143561535616356173561835619356203562135622356233562435625356263562735628356293563035631356323563335634356353563635637356383563935640356413564235643356443564535646356473564835649356503565135652356533565435655356563565735658356593566035661356623566335664356653566635667356683566935670356713567235673356743567535676356773567835679356803568135682356833568435685356863568735688356893569035691356923569335694356953569635697356983569935700357013570235703357043570535706357073570835709357103571135712357133571435715357163571735718357193572035721357223572335724357253572635727357283572935730357313573235733357343573535736357373573835739357403574135742357433574435745357463574735748357493575035751357523575335754357553575635757357583575935760357613576235763357643576535766357673576835769357703577135772357733577435775357763577735778357793578035781357823578335784357853578635787357883578935790357913579235793357943579535796357973579835799358003580135802358033580435805358063580735808358093581035811358123581335814358153581635817358183581935820358213582235823358243582535826358273582835829358303583135832358333583435835358363583735838358393584035841358423584335844358453584635847358483584935850358513585235853358543585535856358573585835859358603586135862358633586435865358663586735868358693587035871358723587335874358753587635877358783587935880358813588235883358843588535886358873588835889358903589135892358933589435895358963589735898358993590035901359023590335904359053590635907359083590935910359113591235913359143591535916359173591835919359203592135922359233592435925359263592735928359293593035931359323593335934359353593635937359383593935940359413594235943359443594535946359473594835949359503595135952359533595435955359563595735958359593596035961359623596335964359653596635967359683596935970359713597235973359743597535976359773597835979359803598135982359833598435985359863598735988359893599035991359923599335994359953599635997359983599936000360013600236003360043600536006360073600836009360103601136012360133601436015360163601736018360193602036021360223602336024360253602636027360283602936030360313603236033360343603536036360373603836039360403604136042360433604436045360463604736048360493605036051360523605336054360553605636057360583605936060360613606236063360643606536066360673606836069360703607136072360733607436075360763607736078360793608036081360823608336084360853608636087360883608936090360913609236093360943609536096360973609836099361003610136102361033610436105361063610736108361093611036111361123611336114361153611636117361183611936120361213612236123361243612536126361273612836129361303613136132361333613436135361363613736138361393614036141361423614336144361453614636147361483614936150361513615236153361543615536156361573615836159361603616136162361633616436165361663616736168361693617036171361723617336174361753617636177361783617936180361813618236183361843618536186361873618836189361903619136192361933619436195361963619736198361993620036201362023620336204362053620636207362083620936210362113621236213362143621536216362173621836219362203622136222362233622436225362263622736228362293623036231362323623336234362353623636237362383623936240362413624236243362443624536246362473624836249362503625136252362533625436255362563625736258362593626036261362623626336264362653626636267362683626936270362713627236273362743627536276362773627836279362803628136282362833628436285362863628736288362893629036291362923629336294362953629636297362983629936300363013630236303363043630536306363073630836309363103631136312363133631436315363163631736318363193632036321363223632336324363253632636327363283632936330363313633236333363343633536336363373633836339363403634136342363433634436345363463634736348363493635036351363523635336354363553635636357363583635936360363613636236363363643636536366363673636836369363703637136372363733637436375363763637736378363793638036381363823638336384363853638636387363883638936390363913639236393363943639536396363973639836399364003640136402364033640436405364063640736408364093641036411364123641336414364153641636417364183641936420364213642236423364243642536426364273642836429364303643136432364333643436435364363643736438364393644036441364423644336444364453644636447364483644936450364513645236453364543645536456364573645836459364603646136462364633646436465364663646736468364693647036471364723647336474364753647636477364783647936480364813648236483364843648536486364873648836489364903649136492364933649436495364963649736498364993650036501365023650336504365053650636507365083650936510365113651236513365143651536516365173651836519365203652136522365233652436525365263652736528365293653036531365323653336534365353653636537365383653936540365413654236543365443654536546365473654836549365503655136552365533655436555365563655736558365593656036561365623656336564365653656636567365683656936570365713657236573365743657536576365773657836579365803658136582365833658436585365863658736588365893659036591365923659336594365953659636597365983659936600366013660236603366043660536606366073660836609366103661136612366133661436615366163661736618366193662036621366223662336624366253662636627366283662936630366313663236633366343663536636366373663836639366403664136642366433664436645366463664736648366493665036651366523665336654366553665636657366583665936660366613666236663366643666536666366673666836669366703667136672366733667436675366763667736678366793668036681366823668336684366853668636687366883668936690366913669236693366943669536696366973669836699367003670136702367033670436705367063670736708367093671036711367123671336714367153671636717367183671936720367213672236723367243672536726367273672836729367303673136732367333673436735367363673736738367393674036741367423674336744367453674636747367483674936750367513675236753367543675536756367573675836759367603676136762367633676436765367663676736768367693677036771367723677336774367753677636777367783677936780367813678236783367843678536786367873678836789367903679136792367933679436795367963679736798367993680036801368023680336804368053680636807368083680936810368113681236813368143681536816368173681836819368203682136822368233682436825368263682736828368293683036831368323683336834368353683636837368383683936840368413684236843368443684536846368473684836849368503685136852368533685436855368563685736858368593686036861368623686336864368653686636867368683686936870368713687236873368743687536876368773687836879368803688136882368833688436885368863688736888368893689036891368923689336894368953689636897368983689936900369013690236903369043690536906369073690836909369103691136912369133691436915369163691736918369193692036921369223692336924369253692636927369283692936930369313693236933369343693536936369373693836939369403694136942369433694436945369463694736948369493695036951369523695336954369553695636957369583695936960369613696236963369643696536966369673696836969369703697136972369733697436975369763697736978369793698036981369823698336984369853698636987369883698936990369913699236993369943699536996369973699836999370003700137002370033700437005370063700737008370093701037011370123701337014370153701637017370183701937020370213702237023370243702537026370273702837029370303703137032370333703437035370363703737038370393704037041370423704337044370453704637047370483704937050370513705237053370543705537056370573705837059370603706137062370633706437065370663706737068370693707037071370723707337074370753707637077370783707937080370813708237083370843708537086370873708837089370903709137092370933709437095370963709737098370993710037101371023710337104371053710637107371083710937110371113711237113371143711537116371173711837119371203712137122371233712437125371263712737128371293713037131371323713337134371353713637137371383713937140371413714237143371443714537146371473714837149371503715137152371533715437155371563715737158371593716037161371623716337164371653716637167371683716937170371713717237173371743717537176371773717837179371803718137182371833718437185371863718737188371893719037191371923719337194371953719637197371983719937200372013720237203372043720537206372073720837209372103721137212372133721437215372163721737218372193722037221372223722337224372253722637227372283722937230372313723237233372343723537236372373723837239372403724137242372433724437245372463724737248372493725037251372523725337254372553725637257372583725937260372613726237263372643726537266372673726837269372703727137272372733727437275372763727737278372793728037281372823728337284372853728637287372883728937290372913729237293372943729537296372973729837299373003730137302373033730437305373063730737308373093731037311373123731337314373153731637317373183731937320373213732237323373243732537326373273732837329373303733137332373333733437335373363733737338373393734037341373423734337344373453734637347373483734937350373513735237353373543735537356373573735837359373603736137362373633736437365373663736737368373693737037371373723737337374373753737637377373783737937380373813738237383373843738537386373873738837389373903739137392373933739437395373963739737398373993740037401374023740337404374053740637407374083740937410374113741237413374143741537416374173741837419374203742137422374233742437425374263742737428374293743037431374323743337434374353743637437374383743937440374413744237443374443744537446374473744837449374503745137452374533745437455374563745737458374593746037461374623746337464374653746637467374683746937470374713747237473374743747537476374773747837479374803748137482374833748437485374863748737488374893749037491374923749337494374953749637497374983749937500375013750237503375043750537506375073750837509375103751137512375133751437515375163751737518375193752037521375223752337524375253752637527375283752937530375313753237533375343753537536375373753837539375403754137542375433754437545375463754737548375493755037551375523755337554375553755637557375583755937560375613756237563375643756537566375673756837569375703757137572375733757437575375763757737578375793758037581375823758337584375853758637587375883758937590375913759237593375943759537596375973759837599376003760137602376033760437605376063760737608376093761037611376123761337614376153761637617376183761937620376213762237623376243762537626376273762837629376303763137632376333763437635376363763737638376393764037641376423764337644376453764637647376483764937650376513765237653376543765537656376573765837659376603766137662376633766437665376663766737668376693767037671376723767337674376753767637677376783767937680376813768237683376843768537686376873768837689376903769137692376933769437695376963769737698376993770037701377023770337704377053770637707377083770937710377113771237713377143771537716377173771837719377203772137722377233772437725377263772737728377293773037731377323773337734377353773637737377383773937740377413774237743377443774537746377473774837749377503775137752377533775437755377563775737758377593776037761377623776337764377653776637767377683776937770377713777237773377743777537776377773777837779377803778137782377833778437785377863778737788377893779037791377923779337794377953779637797377983779937800378013780237803378043780537806378073780837809378103781137812378133781437815378163781737818378193782037821378223782337824378253782637827378283782937830378313783237833378343783537836378373783837839378403784137842378433784437845378463784737848378493785037851378523785337854378553785637857378583785937860378613786237863378643786537866378673786837869378703787137872378733787437875378763787737878378793788037881378823788337884378853788637887378883788937890378913789237893378943789537896378973789837899379003790137902379033790437905379063790737908379093791037911379123791337914379153791637917379183791937920379213792237923379243792537926379273792837929379303793137932379333793437935379363793737938379393794037941379423794337944379453794637947379483794937950379513795237953379543795537956379573795837959379603796137962379633796437965379663796737968379693797037971379723797337974379753797637977379783797937980379813798237983379843798537986379873798837989379903799137992379933799437995379963799737998379993800038001380023800338004380053800638007380083800938010380113801238013380143801538016380173801838019380203802138022380233802438025380263802738028380293803038031380323803338034380353803638037380383803938040380413804238043380443804538046380473804838049380503805138052380533805438055380563805738058380593806038061380623806338064380653806638067380683806938070380713807238073380743807538076380773807838079380803808138082380833808438085380863808738088380893809038091380923809338094380953809638097380983809938100381013810238103381043810538106381073810838109381103811138112381133811438115381163811738118381193812038121381223812338124381253812638127381283812938130381313813238133381343813538136381373813838139381403814138142381433814438145381463814738148381493815038151381523815338154381553815638157381583815938160381613816238163381643816538166381673816838169381703817138172381733817438175381763817738178381793818038181381823818338184381853818638187381883818938190381913819238193381943819538196381973819838199382003820138202382033820438205382063820738208382093821038211382123821338214382153821638217382183821938220382213822238223382243822538226382273822838229382303823138232382333823438235382363823738238382393824038241382423824338244382453824638247382483824938250382513825238253382543825538256382573825838259382603826138262382633826438265382663826738268382693827038271382723827338274382753827638277382783827938280382813828238283382843828538286382873828838289382903829138292382933829438295382963829738298382993830038301383023830338304383053830638307383083830938310383113831238313383143831538316383173831838319383203832138322383233832438325383263832738328383293833038331383323833338334383353833638337383383833938340383413834238343383443834538346383473834838349383503835138352383533835438355383563835738358383593836038361383623836338364383653836638367383683836938370383713837238373383743837538376383773837838379383803838138382383833838438385383863838738388383893839038391383923839338394383953839638397383983839938400384013840238403384043840538406384073840838409384103841138412384133841438415384163841738418384193842038421384223842338424384253842638427384283842938430384313843238433384343843538436384373843838439384403844138442384433844438445384463844738448384493845038451384523845338454384553845638457384583845938460384613846238463384643846538466384673846838469384703847138472384733847438475384763847738478384793848038481384823848338484384853848638487384883848938490384913849238493384943849538496384973849838499385003850138502385033850438505385063850738508385093851038511385123851338514385153851638517385183851938520385213852238523385243852538526385273852838529385303853138532385333853438535385363853738538385393854038541385423854338544385453854638547385483854938550385513855238553385543855538556385573855838559385603856138562385633856438565385663856738568385693857038571385723857338574385753857638577385783857938580385813858238583385843858538586385873858838589385903859138592385933859438595385963859738598385993860038601386023860338604386053860638607386083860938610386113861238613386143861538616386173861838619386203862138622386233862438625386263862738628386293863038631386323863338634386353863638637386383863938640386413864238643386443864538646386473864838649386503865138652386533865438655386563865738658386593866038661386623866338664386653866638667386683866938670386713867238673386743867538676386773867838679386803868138682386833868438685386863868738688386893869038691386923869338694386953869638697386983869938700387013870238703387043870538706387073870838709387103871138712387133871438715387163871738718387193872038721387223872338724387253872638727387283872938730387313873238733387343873538736387373873838739387403874138742387433874438745387463874738748387493875038751387523875338754387553875638757387583875938760387613876238763387643876538766387673876838769387703877138772387733877438775387763877738778387793878038781387823878338784387853878638787387883878938790387913879238793387943879538796387973879838799388003880138802388033880438805388063880738808388093881038811388123881338814388153881638817388183881938820388213882238823388243882538826388273882838829388303883138832388333883438835388363883738838388393884038841388423884338844388453884638847388483884938850388513885238853388543885538856388573885838859388603886138862388633886438865388663886738868388693887038871388723887338874388753887638877388783887938880388813888238883388843888538886388873888838889388903889138892388933889438895388963889738898388993890038901389023890338904389053890638907389083890938910389113891238913389143891538916389173891838919389203892138922389233892438925389263892738928389293893038931389323893338934389353893638937389383893938940389413894238943389443894538946389473894838949389503895138952389533895438955389563895738958389593896038961389623896338964389653896638967389683896938970389713897238973389743897538976389773897838979389803898138982389833898438985389863898738988389893899038991389923899338994389953899638997389983899939000390013900239003390043900539006390073900839009390103901139012390133901439015390163901739018390193902039021390223902339024390253902639027390283902939030390313903239033390343903539036390373903839039390403904139042390433904439045390463904739048390493905039051390523905339054390553905639057390583905939060390613906239063390643906539066390673906839069390703907139072390733907439075390763907739078390793908039081390823908339084390853908639087390883908939090390913909239093390943909539096390973909839099391003910139102391033910439105391063910739108391093911039111391123911339114391153911639117391183911939120391213912239123391243912539126391273912839129391303913139132391333913439135391363913739138391393914039141391423914339144391453914639147391483914939150391513915239153391543915539156391573915839159391603916139162391633916439165391663916739168391693917039171391723917339174391753917639177391783917939180391813918239183391843918539186391873918839189391903919139192391933919439195391963919739198391993920039201392023920339204392053920639207392083920939210392113921239213392143921539216392173921839219392203922139222392233922439225392263922739228392293923039231392323923339234392353923639237392383923939240392413924239243392443924539246392473924839249392503925139252392533925439255392563925739258392593926039261392623926339264392653926639267392683926939270392713927239273392743927539276392773927839279392803928139282392833928439285392863928739288392893929039291392923929339294392953929639297392983929939300393013930239303393043930539306393073930839309393103931139312393133931439315393163931739318393193932039321393223932339324393253932639327393283932939330393313933239333393343933539336393373933839339393403934139342393433934439345393463934739348393493935039351393523935339354393553935639357393583935939360393613936239363393643936539366393673936839369393703937139372393733937439375393763937739378393793938039381393823938339384393853938639387393883938939390393913939239393393943939539396393973939839399394003940139402394033940439405394063940739408394093941039411394123941339414394153941639417394183941939420394213942239423394243942539426394273942839429394303943139432394333943439435394363943739438394393944039441394423944339444394453944639447394483944939450394513945239453394543945539456394573945839459394603946139462394633946439465394663946739468394693947039471394723947339474394753947639477394783947939480394813948239483394843948539486394873948839489394903949139492394933949439495394963949739498394993950039501395023950339504395053950639507395083950939510395113951239513395143951539516395173951839519395203952139522395233952439525395263952739528395293953039531395323953339534395353953639537395383953939540395413954239543395443954539546395473954839549395503955139552395533955439555395563955739558395593956039561395623956339564395653956639567395683956939570395713957239573395743957539576395773957839579395803958139582395833958439585395863958739588395893959039591395923959339594395953959639597395983959939600396013960239603396043960539606396073960839609396103961139612396133961439615396163961739618396193962039621396223962339624396253962639627396283962939630396313963239633396343963539636396373963839639396403964139642396433964439645396463964739648396493965039651396523965339654396553965639657396583965939660396613966239663396643966539666396673966839669396703967139672396733967439675396763967739678396793968039681396823968339684396853968639687396883968939690396913969239693396943969539696396973969839699397003970139702397033970439705397063970739708397093971039711397123971339714397153971639717397183971939720397213972239723397243972539726397273972839729397303973139732397333973439735397363973739738397393974039741397423974339744397453974639747397483974939750397513975239753397543975539756397573975839759397603976139762397633976439765397663976739768397693977039771397723977339774397753977639777397783977939780397813978239783397843978539786397873978839789397903979139792397933979439795397963979739798397993980039801398023980339804398053980639807398083980939810398113981239813398143981539816398173981839819398203982139822398233982439825398263982739828398293983039831398323983339834398353983639837398383983939840398413984239843398443984539846398473984839849398503985139852398533985439855398563985739858398593986039861398623986339864398653986639867398683986939870398713987239873398743987539876398773987839879398803988139882398833988439885398863988739888398893989039891398923989339894398953989639897398983989939900399013990239903399043990539906399073990839909399103991139912399133991439915399163991739918399193992039921399223992339924399253992639927399283992939930399313993239933399343993539936399373993839939399403994139942399433994439945399463994739948399493995039951399523995339954399553995639957399583995939960399613996239963399643996539966399673996839969399703997139972399733997439975399763997739978399793998039981399823998339984399853998639987399883998939990399913999239993399943999539996399973999839999400004000140002400034000440005400064000740008400094001040011400124001340014400154001640017400184001940020400214002240023400244002540026400274002840029400304003140032400334003440035400364003740038400394004040041400424004340044400454004640047400484004940050400514005240053400544005540056400574005840059400604006140062400634006440065400664006740068400694007040071400724007340074400754007640077400784007940080400814008240083400844008540086400874008840089400904009140092400934009440095400964009740098400994010040101401024010340104401054010640107401084010940110401114011240113401144011540116401174011840119401204012140122401234012440125401264012740128401294013040131401324013340134401354013640137401384013940140401414014240143401444014540146401474014840149401504015140152401534015440155401564015740158401594016040161401624016340164401654016640167401684016940170401714017240173401744017540176401774017840179401804018140182401834018440185401864018740188401894019040191401924019340194401954019640197401984019940200402014020240203402044020540206402074020840209402104021140212402134021440215402164021740218402194022040221402224022340224402254022640227402284022940230402314023240233402344023540236402374023840239402404024140242402434024440245402464024740248402494025040251402524025340254402554025640257402584025940260402614026240263402644026540266402674026840269402704027140272402734027440275402764027740278402794028040281402824028340284402854028640287402884028940290402914029240293402944029540296402974029840299403004030140302403034030440305403064030740308403094031040311403124031340314403154031640317403184031940320403214032240323403244032540326403274032840329403304033140332403334033440335403364033740338403394034040341403424034340344403454034640347403484034940350403514035240353403544035540356403574035840359403604036140362403634036440365403664036740368403694037040371403724037340374403754037640377403784037940380403814038240383403844038540386403874038840389403904039140392403934039440395403964039740398403994040040401404024040340404404054040640407404084040940410404114041240413404144041540416404174041840419404204042140422404234042440425404264042740428404294043040431404324043340434404354043640437404384043940440404414044240443404444044540446404474044840449404504045140452404534045440455404564045740458404594046040461404624046340464404654046640467404684046940470404714047240473404744047540476404774047840479404804048140482404834048440485404864048740488404894049040491404924049340494404954049640497404984049940500405014050240503405044050540506405074050840509405104051140512405134051440515405164051740518405194052040521405224052340524405254052640527405284052940530405314053240533405344053540536405374053840539405404054140542405434054440545405464054740548405494055040551405524055340554405554055640557405584055940560405614056240563405644056540566405674056840569405704057140572405734057440575405764057740578405794058040581405824058340584405854058640587405884058940590405914059240593405944059540596405974059840599406004060140602406034060440605406064060740608406094061040611406124061340614406154061640617406184061940620406214062240623406244062540626406274062840629406304063140632406334063440635406364063740638406394064040641406424064340644406454064640647406484064940650406514065240653406544065540656406574065840659406604066140662406634066440665406664066740668406694067040671406724067340674406754067640677406784067940680406814068240683406844068540686406874068840689406904069140692406934069440695406964069740698406994070040701407024070340704407054070640707407084070940710407114071240713407144071540716407174071840719407204072140722407234072440725407264072740728407294073040731407324073340734407354073640737407384073940740407414074240743407444074540746407474074840749407504075140752407534075440755407564075740758407594076040761407624076340764407654076640767407684076940770407714077240773407744077540776407774077840779407804078140782407834078440785407864078740788407894079040791407924079340794407954079640797407984079940800408014080240803408044080540806408074080840809408104081140812408134081440815408164081740818408194082040821408224082340824408254082640827408284082940830408314083240833408344083540836408374083840839408404084140842408434084440845408464084740848408494085040851408524085340854408554085640857408584085940860408614086240863408644086540866408674086840869408704087140872408734087440875408764087740878408794088040881408824088340884408854088640887408884088940890408914089240893408944089540896408974089840899409004090140902409034090440905409064090740908409094091040911409124091340914409154091640917409184091940920409214092240923409244092540926409274092840929409304093140932409334093440935409364093740938409394094040941409424094340944409454094640947409484094940950409514095240953409544095540956409574095840959409604096140962409634096440965409664096740968409694097040971409724097340974409754097640977409784097940980409814098240983409844098540986409874098840989409904099140992409934099440995409964099740998409994100041001410024100341004410054100641007410084100941010410114101241013410144101541016410174101841019410204102141022410234102441025410264102741028410294103041031410324103341034410354103641037410384103941040410414104241043410444104541046410474104841049410504105141052410534105441055410564105741058410594106041061410624106341064410654106641067410684106941070410714107241073410744107541076410774107841079410804108141082410834108441085410864108741088410894109041091410924109341094410954109641097410984109941100411014110241103411044110541106411074110841109411104111141112411134111441115411164111741118411194112041121411224112341124411254112641127411284112941130411314113241133411344113541136411374113841139411404114141142411434114441145411464114741148411494115041151411524115341154411554115641157411584115941160411614116241163411644116541166411674116841169411704117141172411734117441175411764117741178411794118041181411824118341184411854118641187411884118941190411914119241193411944119541196411974119841199412004120141202412034120441205412064120741208412094121041211412124121341214412154121641217412184121941220412214122241223412244122541226412274122841229412304123141232412334123441235412364123741238412394124041241412424124341244412454124641247412484124941250412514125241253412544125541256412574125841259412604126141262412634126441265412664126741268412694127041271412724127341274412754127641277412784127941280412814128241283412844128541286412874128841289412904129141292412934129441295412964129741298412994130041301413024130341304413054130641307413084130941310413114131241313413144131541316413174131841319413204132141322413234132441325413264132741328413294133041331413324133341334413354133641337413384133941340413414134241343413444134541346413474134841349413504135141352413534135441355413564135741358413594136041361413624136341364413654136641367413684136941370413714137241373413744137541376413774137841379413804138141382413834138441385413864138741388413894139041391413924139341394413954139641397413984139941400414014140241403414044140541406414074140841409414104141141412414134141441415414164141741418414194142041421414224142341424414254142641427414284142941430414314143241433414344143541436414374143841439414404144141442414434144441445414464144741448414494145041451414524145341454414554145641457414584145941460414614146241463414644146541466414674146841469414704147141472414734147441475414764147741478414794148041481414824148341484414854148641487414884148941490414914149241493414944149541496414974149841499415004150141502415034150441505415064150741508415094151041511415124151341514415154151641517415184151941520415214152241523415244152541526415274152841529415304153141532415334153441535415364153741538415394154041541415424154341544415454154641547415484154941550415514155241553415544155541556415574155841559415604156141562415634156441565415664156741568415694157041571415724157341574415754157641577415784157941580415814158241583415844158541586415874158841589415904159141592415934159441595415964159741598415994160041601416024160341604416054160641607416084160941610416114161241613416144161541616416174161841619416204162141622416234162441625416264162741628416294163041631416324163341634416354163641637416384163941640416414164241643416444164541646416474164841649416504165141652416534165441655416564165741658416594166041661416624166341664416654166641667416684166941670416714167241673416744167541676416774167841679416804168141682416834168441685416864168741688416894169041691416924169341694416954169641697416984169941700417014170241703417044170541706417074170841709417104171141712417134171441715417164171741718417194172041721417224172341724417254172641727417284172941730417314173241733417344173541736417374173841739417404174141742417434174441745417464174741748417494175041751417524175341754417554175641757417584175941760417614176241763417644176541766417674176841769417704177141772417734177441775417764177741778417794178041781417824178341784417854178641787417884178941790417914179241793417944179541796417974179841799418004180141802418034180441805418064180741808418094181041811418124181341814418154181641817418184181941820418214182241823418244182541826418274182841829418304183141832418334183441835418364183741838418394184041841418424184341844418454184641847418484184941850418514185241853418544185541856418574185841859418604186141862418634186441865418664186741868418694187041871418724187341874418754187641877418784187941880418814188241883418844188541886418874188841889418904189141892418934189441895418964189741898418994190041901419024190341904419054190641907419084190941910419114191241913419144191541916419174191841919419204192141922419234192441925419264192741928419294193041931419324193341934419354193641937419384193941940419414194241943419444194541946419474194841949419504195141952419534195441955419564195741958419594196041961419624196341964419654196641967419684196941970419714197241973419744197541976419774197841979419804198141982419834198441985419864198741988419894199041991419924199341994419954199641997419984199942000420014200242003420044200542006420074200842009420104201142012420134201442015420164201742018420194202042021420224202342024420254202642027420284202942030420314203242033420344203542036420374203842039420404204142042420434204442045420464204742048420494205042051420524205342054420554205642057420584205942060420614206242063420644206542066420674206842069420704207142072420734207442075420764207742078420794208042081420824208342084420854208642087420884208942090420914209242093420944209542096420974209842099421004210142102421034210442105421064210742108421094211042111421124211342114421154211642117421184211942120421214212242123421244212542126421274212842129421304213142132421334213442135421364213742138421394214042141421424214342144421454214642147421484214942150421514215242153421544215542156421574215842159421604216142162421634216442165421664216742168421694217042171421724217342174421754217642177421784217942180421814218242183421844218542186421874218842189421904219142192421934219442195421964219742198421994220042201422024220342204422054220642207422084220942210422114221242213422144221542216422174221842219422204222142222422234222442225422264222742228422294223042231422324223342234422354223642237422384223942240422414224242243422444224542246422474224842249422504225142252422534225442255422564225742258422594226042261422624226342264422654226642267422684226942270422714227242273422744227542276422774227842279422804228142282422834228442285422864228742288422894229042291422924229342294422954229642297422984229942300423014230242303423044230542306423074230842309423104231142312423134231442315423164231742318423194232042321423224232342324423254232642327423284232942330423314233242333423344233542336423374233842339423404234142342423434234442345423464234742348423494235042351423524235342354423554235642357423584235942360423614236242363423644236542366423674236842369423704237142372423734237442375423764237742378423794238042381423824238342384423854238642387423884238942390423914239242393423944239542396423974239842399424004240142402424034240442405424064240742408424094241042411424124241342414424154241642417424184241942420424214242242423424244242542426424274242842429424304243142432424334243442435424364243742438424394244042441424424244342444424454244642447424484244942450424514245242453424544245542456424574245842459424604246142462424634246442465424664246742468424694247042471424724247342474424754247642477424784247942480424814248242483424844248542486424874248842489424904249142492424934249442495424964249742498424994250042501425024250342504425054250642507425084250942510425114251242513425144251542516425174251842519425204252142522425234252442525425264252742528425294253042531425324253342534425354253642537425384253942540425414254242543425444254542546425474254842549425504255142552425534255442555425564255742558425594256042561425624256342564425654256642567425684256942570425714257242573425744257542576425774257842579425804258142582425834258442585425864258742588425894259042591425924259342594425954259642597425984259942600426014260242603426044260542606426074260842609426104261142612426134261442615426164261742618426194262042621426224262342624426254262642627426284262942630426314263242633426344263542636426374263842639426404264142642426434264442645426464264742648426494265042651426524265342654426554265642657426584265942660426614266242663426644266542666426674266842669426704267142672426734267442675426764267742678426794268042681426824268342684426854268642687426884268942690426914269242693426944269542696426974269842699427004270142702427034270442705427064270742708427094271042711427124271342714427154271642717427184271942720427214272242723427244272542726427274272842729427304273142732427334273442735427364273742738427394274042741427424274342744427454274642747427484274942750427514275242753427544275542756427574275842759427604276142762427634276442765427664276742768427694277042771427724277342774427754277642777427784277942780427814278242783427844278542786427874278842789427904279142792427934279442795427964279742798427994280042801428024280342804428054280642807428084280942810428114281242813428144281542816428174281842819428204282142822428234282442825428264282742828428294283042831428324283342834428354283642837428384283942840428414284242843428444284542846428474284842849428504285142852428534285442855428564285742858428594286042861428624286342864428654286642867428684286942870428714287242873428744287542876428774287842879428804288142882428834288442885428864288742888428894289042891428924289342894428954289642897428984289942900429014290242903429044290542906429074290842909429104291142912429134291442915429164291742918429194292042921429224292342924429254292642927429284292942930429314293242933429344293542936429374293842939429404294142942429434294442945429464294742948429494295042951429524295342954429554295642957429584295942960429614296242963429644296542966429674296842969429704297142972429734297442975429764297742978429794298042981429824298342984429854298642987429884298942990429914299242993429944299542996429974299842999430004300143002430034300443005430064300743008430094301043011430124301343014430154301643017430184301943020430214302243023430244302543026430274302843029430304303143032430334303443035430364303743038430394304043041430424304343044430454304643047430484304943050430514305243053430544305543056430574305843059430604306143062430634306443065430664306743068430694307043071430724307343074430754307643077430784307943080430814308243083430844308543086430874308843089430904309143092430934309443095430964309743098430994310043101431024310343104431054310643107431084310943110431114311243113431144311543116431174311843119431204312143122431234312443125431264312743128431294313043131431324313343134431354313643137431384313943140431414314243143431444314543146431474314843149431504315143152431534315443155431564315743158431594316043161431624316343164431654316643167431684316943170431714317243173431744317543176431774317843179431804318143182431834318443185431864318743188431894319043191431924319343194431954319643197431984319943200432014320243203432044320543206432074320843209432104321143212432134321443215432164321743218432194322043221432224322343224432254322643227432284322943230432314323243233432344323543236432374323843239432404324143242432434324443245432464324743248432494325043251432524325343254432554325643257432584325943260432614326243263432644326543266432674326843269432704327143272432734327443275432764327743278432794328043281432824328343284432854328643287432884328943290432914329243293432944329543296432974329843299433004330143302433034330443305433064330743308433094331043311433124331343314433154331643317433184331943320433214332243323433244332543326433274332843329433304333143332433334333443335433364333743338433394334043341433424334343344433454334643347433484334943350433514335243353433544335543356433574335843359433604336143362433634336443365433664336743368433694337043371433724337343374433754337643377433784337943380433814338243383433844338543386433874338843389433904339143392433934339443395433964339743398433994340043401434024340343404434054340643407434084340943410434114341243413434144341543416434174341843419434204342143422434234342443425434264342743428434294343043431434324343343434434354343643437434384343943440434414344243443434444344543446434474344843449434504345143452434534345443455434564345743458434594346043461434624346343464434654346643467434684346943470434714347243473434744347543476434774347843479434804348143482434834348443485434864348743488434894349043491434924349343494434954349643497434984349943500435014350243503435044350543506435074350843509435104351143512435134351443515435164351743518435194352043521435224352343524435254352643527435284352943530435314353243533435344353543536435374353843539435404354143542435434354443545435464354743548435494355043551435524355343554435554355643557435584355943560435614356243563435644356543566435674356843569435704357143572435734357443575435764357743578435794358043581435824358343584435854358643587435884358943590435914359243593435944359543596435974359843599436004360143602436034360443605436064360743608436094361043611436124361343614436154361643617436184361943620436214362243623436244362543626436274362843629436304363143632436334363443635436364363743638436394364043641436424364343644436454364643647436484364943650436514365243653436544365543656436574365843659436604366143662436634366443665436664366743668436694367043671436724367343674436754367643677436784367943680436814368243683436844368543686436874368843689436904369143692436934369443695436964369743698436994370043701437024370343704437054370643707437084370943710437114371243713437144371543716437174371843719437204372143722437234372443725437264372743728437294373043731437324373343734437354373643737437384373943740437414374243743437444374543746437474374843749437504375143752437534375443755437564375743758437594376043761437624376343764437654376643767437684376943770437714377243773437744377543776437774377843779437804378143782437834378443785437864378743788437894379043791437924379343794437954379643797437984379943800438014380243803438044380543806438074380843809438104381143812438134381443815438164381743818438194382043821438224382343824438254382643827438284382943830438314383243833438344383543836438374383843839438404384143842438434384443845438464384743848438494385043851438524385343854438554385643857438584385943860438614386243863438644386543866438674386843869438704387143872438734387443875438764387743878438794388043881438824388343884438854388643887438884388943890438914389243893438944389543896438974389843899439004390143902439034390443905439064390743908439094391043911439124391343914439154391643917439184391943920439214392243923439244392543926439274392843929439304393143932439334393443935439364393743938439394394043941439424394343944439454394643947439484394943950439514395243953439544395543956439574395843959439604396143962439634396443965439664396743968439694397043971439724397343974439754397643977439784397943980439814398243983439844398543986439874398843989439904399143992439934399443995439964399743998439994400044001440024400344004440054400644007440084400944010440114401244013440144401544016440174401844019440204402144022440234402444025440264402744028440294403044031440324403344034440354403644037440384403944040440414404244043440444404544046440474404844049440504405144052440534405444055440564405744058440594406044061440624406344064440654406644067440684406944070440714407244073440744407544076440774407844079440804408144082440834408444085440864408744088440894409044091440924409344094440954409644097440984409944100441014410244103441044410544106441074410844109441104411144112441134411444115441164411744118441194412044121441224412344124441254412644127441284412944130441314413244133441344413544136441374413844139441404414144142441434414444145441464414744148441494415044151441524415344154441554415644157441584415944160441614416244163441644416544166441674416844169441704417144172441734417444175441764417744178441794418044181441824418344184441854418644187441884418944190441914419244193441944419544196441974419844199442004420144202442034420444205442064420744208442094421044211442124421344214442154421644217442184421944220442214422244223442244422544226442274422844229442304423144232442334423444235442364423744238442394424044241442424424344244442454424644247442484424944250442514425244253442544425544256442574425844259442604426144262442634426444265442664426744268442694427044271442724427344274442754427644277442784427944280442814428244283442844428544286442874428844289442904429144292442934429444295442964429744298442994430044301443024430344304443054430644307443084430944310443114431244313443144431544316443174431844319443204432144322443234432444325443264432744328443294433044331443324433344334443354433644337443384433944340443414434244343443444434544346443474434844349443504435144352443534435444355443564435744358443594436044361443624436344364443654436644367443684436944370443714437244373443744437544376443774437844379443804438144382443834438444385443864438744388443894439044391443924439344394443954439644397443984439944400444014440244403444044440544406444074440844409444104441144412444134441444415444164441744418444194442044421444224442344424444254442644427444284442944430444314443244433444344443544436444374443844439444404444144442444434444444445444464444744448444494445044451444524445344454444554445644457444584445944460444614446244463444644446544466444674446844469444704447144472444734447444475444764447744478444794448044481444824448344484444854448644487444884448944490444914449244493444944449544496444974449844499445004450144502445034450444505445064450744508445094451044511445124451344514445154451644517445184451944520445214452244523445244452544526445274452844529445304453144532445334453444535445364453744538445394454044541445424454344544445454454644547445484454944550445514455244553445544455544556445574455844559445604456144562445634456444565445664456744568445694457044571445724457344574445754457644577445784457944580445814458244583445844458544586445874458844589445904459144592445934459444595445964459744598445994460044601446024460344604446054460644607446084460944610446114461244613446144461544616446174461844619446204462144622446234462444625446264462744628446294463044631446324463344634446354463644637446384463944640446414464244643446444464544646446474464844649446504465144652446534465444655446564465744658446594466044661446624466344664446654466644667446684466944670446714467244673446744467544676446774467844679446804468144682446834468444685446864468744688446894469044691446924469344694446954469644697446984469944700447014470244703447044470544706447074470844709447104471144712447134471444715447164471744718447194472044721447224472344724447254472644727447284472944730447314473244733447344473544736447374473844739447404474144742447434474444745447464474744748447494475044751447524475344754447554475644757447584475944760447614476244763447644476544766447674476844769447704477144772447734477444775447764477744778447794478044781447824478344784447854478644787447884478944790447914479244793447944479544796447974479844799448004480144802448034480444805448064480744808448094481044811448124481344814448154481644817448184481944820448214482244823448244482544826448274482844829448304483144832448334483444835448364483744838448394484044841448424484344844448454484644847448484484944850448514485244853448544485544856448574485844859448604486144862448634486444865448664486744868448694487044871448724487344874448754487644877448784487944880448814488244883448844488544886448874488844889448904489144892448934489444895448964489744898448994490044901449024490344904449054490644907449084490944910449114491244913449144491544916449174491844919449204492144922449234492444925449264492744928449294493044931449324493344934449354493644937449384493944940449414494244943449444494544946449474494844949449504495144952449534495444955449564495744958449594496044961449624496344964449654496644967449684496944970449714497244973449744497544976449774497844979449804498144982449834498444985449864498744988449894499044991449924499344994449954499644997449984499945000450014500245003450044500545006450074500845009450104501145012450134501445015450164501745018450194502045021450224502345024450254502645027450284502945030450314503245033450344503545036450374503845039450404504145042450434504445045450464504745048450494505045051450524505345054450554505645057450584505945060450614506245063450644506545066450674506845069450704507145072450734507445075450764507745078450794508045081450824508345084450854508645087450884508945090450914509245093450944509545096450974509845099451004510145102451034510445105451064510745108451094511045111451124511345114451154511645117451184511945120451214512245123451244512545126451274512845129451304513145132451334513445135451364513745138451394514045141451424514345144451454514645147451484514945150451514515245153451544515545156451574515845159451604516145162451634516445165451664516745168451694517045171451724517345174451754517645177451784517945180451814518245183451844518545186451874518845189451904519145192451934519445195451964519745198451994520045201452024520345204452054520645207452084520945210452114521245213452144521545216452174521845219452204522145222452234522445225452264522745228452294523045231452324523345234452354523645237452384523945240452414524245243452444524545246452474524845249452504525145252452534525445255452564525745258452594526045261452624526345264452654526645267452684526945270452714527245273452744527545276452774527845279452804528145282452834528445285452864528745288452894529045291452924529345294452954529645297452984529945300453014530245303453044530545306453074530845309453104531145312453134531445315453164531745318453194532045321453224532345324453254532645327453284532945330453314533245333453344533545336453374533845339453404534145342453434534445345453464534745348453494535045351453524535345354453554535645357453584535945360453614536245363453644536545366453674536845369453704537145372453734537445375453764537745378453794538045381453824538345384453854538645387453884538945390453914539245393453944539545396453974539845399454004540145402454034540445405454064540745408454094541045411454124541345414454154541645417454184541945420454214542245423454244542545426454274542845429454304543145432454334543445435454364543745438454394544045441454424544345444454454544645447454484544945450454514545245453454544545545456454574545845459454604546145462454634546445465454664546745468454694547045471454724547345474454754547645477454784547945480454814548245483454844548545486454874548845489454904549145492454934549445495454964549745498454994550045501455024550345504455054550645507455084550945510455114551245513455144551545516455174551845519455204552145522455234552445525455264552745528455294553045531455324553345534455354553645537455384553945540455414554245543455444554545546455474554845549455504555145552455534555445555455564555745558455594556045561455624556345564455654556645567455684556945570455714557245573455744557545576455774557845579455804558145582455834558445585455864558745588455894559045591455924559345594455954559645597455984559945600456014560245603456044560545606456074560845609456104561145612456134561445615456164561745618456194562045621456224562345624456254562645627456284562945630456314563245633456344563545636456374563845639456404564145642456434564445645456464564745648456494565045651456524565345654456554565645657456584565945660456614566245663456644566545666456674566845669456704567145672456734567445675456764567745678456794568045681456824568345684456854568645687456884568945690456914569245693456944569545696456974569845699457004570145702457034570445705457064570745708457094571045711457124571345714457154571645717457184571945720457214572245723457244572545726457274572845729457304573145732457334573445735457364573745738457394574045741457424574345744457454574645747457484574945750457514575245753457544575545756457574575845759457604576145762457634576445765457664576745768457694577045771457724577345774457754577645777457784577945780457814578245783457844578545786457874578845789457904579145792457934579445795457964579745798457994580045801458024580345804458054580645807458084580945810458114581245813458144581545816458174581845819458204582145822458234582445825458264582745828458294583045831458324583345834458354583645837458384583945840458414584245843458444584545846458474584845849458504585145852458534585445855458564585745858458594586045861458624586345864458654586645867458684586945870458714587245873458744587545876458774587845879458804588145882458834588445885458864588745888458894589045891458924589345894458954589645897458984589945900459014590245903459044590545906459074590845909459104591145912459134591445915459164591745918459194592045921459224592345924459254592645927459284592945930459314593245933459344593545936459374593845939459404594145942459434594445945459464594745948459494595045951459524595345954459554595645957459584595945960459614596245963459644596545966459674596845969459704597145972459734597445975459764597745978459794598045981459824598345984459854598645987459884598945990459914599245993459944599545996459974599845999460004600146002460034600446005460064600746008460094601046011460124601346014460154601646017460184601946020460214602246023460244602546026460274602846029460304603146032460334603446035460364603746038460394604046041460424604346044460454604646047460484604946050460514605246053460544605546056460574605846059460604606146062460634606446065460664606746068460694607046071460724607346074460754607646077460784607946080460814608246083460844608546086460874608846089460904609146092460934609446095460964609746098460994610046101461024610346104461054610646107461084610946110461114611246113461144611546116461174611846119461204612146122461234612446125461264612746128461294613046131461324613346134461354613646137461384613946140461414614246143461444614546146461474614846149461504615146152461534615446155461564615746158461594616046161461624616346164461654616646167461684616946170461714617246173461744617546176461774617846179461804618146182461834618446185461864618746188461894619046191461924619346194461954619646197461984619946200462014620246203462044620546206462074620846209462104621146212462134621446215462164621746218462194622046221462224622346224462254622646227462284622946230462314623246233462344623546236462374623846239462404624146242462434624446245462464624746248462494625046251462524625346254462554625646257462584625946260462614626246263462644626546266462674626846269462704627146272462734627446275462764627746278462794628046281462824628346284462854628646287462884628946290462914629246293462944629546296462974629846299463004630146302463034630446305463064630746308463094631046311463124631346314463154631646317463184631946320463214632246323463244632546326463274632846329463304633146332463334633446335463364633746338463394634046341463424634346344463454634646347463484634946350463514635246353463544635546356463574635846359463604636146362463634636446365463664636746368463694637046371463724637346374463754637646377463784637946380463814638246383463844638546386463874638846389463904639146392463934639446395463964639746398463994640046401464024640346404464054640646407464084640946410464114641246413464144641546416464174641846419464204642146422464234642446425464264642746428464294643046431464324643346434464354643646437464384643946440464414644246443464444644546446464474644846449464504645146452464534645446455464564645746458464594646046461464624646346464464654646646467464684646946470464714647246473464744647546476464774647846479464804648146482464834648446485464864648746488464894649046491464924649346494464954649646497464984649946500465014650246503465044650546506465074650846509465104651146512465134651446515465164651746518465194652046521465224652346524465254652646527465284652946530465314653246533465344653546536465374653846539465404654146542465434654446545465464654746548465494655046551465524655346554465554655646557465584655946560465614656246563465644656546566465674656846569465704657146572465734657446575465764657746578465794658046581465824658346584465854658646587465884658946590465914659246593465944659546596465974659846599466004660146602466034660446605466064660746608466094661046611466124661346614466154661646617466184661946620466214662246623466244662546626466274662846629466304663146632466334663446635466364663746638466394664046641466424664346644466454664646647466484664946650466514665246653466544665546656466574665846659466604666146662466634666446665466664666746668466694667046671466724667346674466754667646677466784667946680466814668246683466844668546686466874668846689466904669146692466934669446695466964669746698466994670046701467024670346704467054670646707467084670946710467114671246713467144671546716467174671846719467204672146722467234672446725467264672746728467294673046731467324673346734467354673646737467384673946740467414674246743467444674546746467474674846749467504675146752467534675446755467564675746758467594676046761467624676346764467654676646767467684676946770467714677246773467744677546776467774677846779467804678146782467834678446785467864678746788467894679046791467924679346794467954679646797467984679946800468014680246803468044680546806468074680846809468104681146812468134681446815468164681746818468194682046821468224682346824468254682646827468284682946830468314683246833468344683546836468374683846839468404684146842468434684446845468464684746848468494685046851468524685346854468554685646857468584685946860468614686246863468644686546866468674686846869468704687146872468734687446875468764687746878468794688046881468824688346884468854688646887468884688946890468914689246893468944689546896468974689846899469004690146902469034690446905469064690746908469094691046911469124691346914469154691646917469184691946920469214692246923469244692546926469274692846929469304693146932469334693446935469364693746938469394694046941469424694346944469454694646947469484694946950469514695246953469544695546956469574695846959469604696146962469634696446965469664696746968469694697046971469724697346974469754697646977469784697946980469814698246983469844698546986469874698846989469904699146992469934699446995469964699746998469994700047001470024700347004470054700647007470084700947010470114701247013470144701547016470174701847019470204702147022470234702447025470264702747028470294703047031470324703347034470354703647037470384703947040470414704247043470444704547046470474704847049470504705147052470534705447055470564705747058470594706047061470624706347064470654706647067470684706947070470714707247073470744707547076470774707847079470804708147082470834708447085470864708747088470894709047091470924709347094470954709647097470984709947100471014710247103471044710547106471074710847109471104711147112471134711447115471164711747118471194712047121471224712347124471254712647127471284712947130471314713247133471344713547136471374713847139471404714147142471434714447145471464714747148471494715047151471524715347154471554715647157471584715947160471614716247163471644716547166471674716847169471704717147172471734717447175471764717747178471794718047181471824718347184471854718647187471884718947190471914719247193471944719547196471974719847199472004720147202472034720447205472064720747208472094721047211472124721347214472154721647217472184721947220472214722247223472244722547226472274722847229472304723147232472334723447235472364723747238472394724047241472424724347244472454724647247472484724947250472514725247253472544725547256472574725847259472604726147262472634726447265472664726747268472694727047271472724727347274472754727647277472784727947280472814728247283472844728547286472874728847289472904729147292472934729447295472964729747298472994730047301473024730347304473054730647307473084730947310473114731247313473144731547316473174731847319473204732147322473234732447325473264732747328473294733047331473324733347334473354733647337473384733947340473414734247343473444734547346473474734847349473504735147352473534735447355473564735747358473594736047361473624736347364473654736647367473684736947370473714737247373473744737547376473774737847379473804738147382473834738447385473864738747388473894739047391473924739347394473954739647397473984739947400474014740247403474044740547406474074740847409474104741147412474134741447415474164741747418474194742047421474224742347424474254742647427474284742947430474314743247433474344743547436474374743847439474404744147442474434744447445474464744747448474494745047451474524745347454474554745647457474584745947460474614746247463474644746547466474674746847469474704747147472474734747447475474764747747478474794748047481474824748347484474854748647487474884748947490474914749247493474944749547496474974749847499475004750147502475034750447505475064750747508475094751047511475124751347514475154751647517475184751947520475214752247523475244752547526475274752847529475304753147532475334753447535475364753747538475394754047541475424754347544475454754647547475484754947550475514755247553475544755547556475574755847559475604756147562475634756447565475664756747568475694757047571475724757347574475754757647577475784757947580475814758247583475844758547586475874758847589475904759147592475934759447595475964759747598475994760047601476024760347604476054760647607476084760947610476114761247613476144761547616476174761847619476204762147622476234762447625476264762747628476294763047631476324763347634476354763647637476384763947640476414764247643476444764547646476474764847649476504765147652476534765447655476564765747658476594766047661476624766347664476654766647667476684766947670476714767247673476744767547676476774767847679476804768147682476834768447685476864768747688476894769047691476924769347694476954769647697476984769947700477014770247703477044770547706477074770847709477104771147712477134771447715477164771747718477194772047721477224772347724477254772647727477284772947730477314773247733477344773547736477374773847739477404774147742477434774447745477464774747748477494775047751477524775347754477554775647757477584775947760477614776247763477644776547766477674776847769477704777147772477734777447775477764777747778477794778047781477824778347784477854778647787477884778947790477914779247793477944779547796477974779847799478004780147802478034780447805478064780747808478094781047811478124781347814478154781647817478184781947820478214782247823478244782547826478274782847829478304783147832478334783447835478364783747838478394784047841478424784347844478454784647847478484784947850478514785247853478544785547856478574785847859478604786147862478634786447865478664786747868478694787047871478724787347874478754787647877478784787947880478814788247883478844788547886478874788847889478904789147892478934789447895478964789747898478994790047901479024790347904479054790647907479084790947910479114791247913479144791547916479174791847919479204792147922479234792447925479264792747928479294793047931479324793347934479354793647937479384793947940479414794247943479444794547946479474794847949479504795147952479534795447955479564795747958479594796047961479624796347964479654796647967479684796947970479714797247973479744797547976479774797847979479804798147982479834798447985479864798747988479894799047991479924799347994479954799647997479984799948000480014800248003480044800548006480074800848009480104801148012480134801448015480164801748018480194802048021480224802348024480254802648027480284802948030480314803248033480344803548036480374803848039480404804148042480434804448045480464804748048480494805048051480524805348054480554805648057480584805948060480614806248063480644806548066480674806848069480704807148072480734807448075480764807748078480794808048081480824808348084480854808648087480884808948090480914809248093480944809548096480974809848099481004810148102481034810448105481064810748108481094811048111481124811348114481154811648117481184811948120481214812248123481244812548126481274812848129481304813148132481334813448135481364813748138481394814048141481424814348144481454814648147481484814948150481514815248153481544815548156481574815848159481604816148162481634816448165481664816748168481694817048171481724817348174481754817648177481784817948180481814818248183481844818548186481874818848189481904819148192481934819448195481964819748198481994820048201482024820348204482054820648207482084820948210482114821248213482144821548216482174821848219482204822148222482234822448225482264822748228482294823048231482324823348234482354823648237482384823948240482414824248243482444824548246482474824848249482504825148252482534825448255482564825748258482594826048261482624826348264482654826648267482684826948270482714827248273482744827548276482774827848279482804828148282482834828448285482864828748288482894829048291482924829348294482954829648297482984829948300483014830248303483044830548306483074830848309483104831148312483134831448315483164831748318483194832048321483224832348324483254832648327483284832948330483314833248333483344833548336483374833848339483404834148342483434834448345483464834748348483494835048351483524835348354483554835648357483584835948360483614836248363483644836548366483674836848369483704837148372483734837448375483764837748378483794838048381483824838348384483854838648387483884838948390483914839248393483944839548396483974839848399484004840148402484034840448405484064840748408484094841048411484124841348414484154841648417484184841948420484214842248423484244842548426484274842848429484304843148432484334843448435484364843748438484394844048441484424844348444484454844648447484484844948450484514845248453484544845548456484574845848459484604846148462484634846448465484664846748468484694847048471484724847348474484754847648477484784847948480484814848248483484844848548486484874848848489484904849148492484934849448495484964849748498484994850048501485024850348504485054850648507485084850948510485114851248513485144851548516485174851848519485204852148522485234852448525485264852748528485294853048531485324853348534485354853648537485384853948540485414854248543485444854548546485474854848549485504855148552485534855448555485564855748558485594856048561485624856348564485654856648567485684856948570485714857248573485744857548576485774857848579485804858148582485834858448585485864858748588485894859048591485924859348594485954859648597485984859948600486014860248603486044860548606486074860848609486104861148612486134861448615486164861748618486194862048621486224862348624486254862648627486284862948630486314863248633486344863548636486374863848639486404864148642486434864448645486464864748648486494865048651486524865348654486554865648657486584865948660486614866248663486644866548666486674866848669486704867148672486734867448675486764867748678486794868048681486824868348684486854868648687486884868948690486914869248693486944869548696486974869848699487004870148702487034870448705487064870748708487094871048711487124871348714487154871648717487184871948720487214872248723487244872548726487274872848729487304873148732487334873448735487364873748738487394874048741487424874348744487454874648747487484874948750487514875248753487544875548756487574875848759487604876148762487634876448765487664876748768487694877048771487724877348774487754877648777487784877948780487814878248783487844878548786487874878848789487904879148792487934879448795487964879748798487994880048801488024880348804488054880648807488084880948810488114881248813488144881548816488174881848819488204882148822488234882448825488264882748828488294883048831488324883348834488354883648837488384883948840488414884248843488444884548846488474884848849488504885148852488534885448855488564885748858488594886048861488624886348864488654886648867488684886948870488714887248873488744887548876488774887848879488804888148882488834888448885488864888748888488894889048891488924889348894488954889648897488984889948900489014890248903489044890548906489074890848909489104891148912489134891448915489164891748918489194892048921489224892348924489254892648927489284892948930489314893248933489344893548936489374893848939489404894148942489434894448945489464894748948489494895048951489524895348954489554895648957489584895948960489614896248963489644896548966489674896848969489704897148972489734897448975489764897748978489794898048981489824898348984489854898648987489884898948990489914899248993489944899548996489974899848999490004900149002490034900449005490064900749008490094901049011490124901349014490154901649017490184901949020490214902249023490244902549026490274902849029490304903149032490334903449035490364903749038490394904049041490424904349044490454904649047490484904949050490514905249053490544905549056490574905849059490604906149062490634906449065490664906749068490694907049071490724907349074490754907649077490784907949080490814908249083490844908549086490874908849089490904909149092490934909449095490964909749098490994910049101491024910349104491054910649107491084910949110491114911249113491144911549116491174911849119491204912149122491234912449125491264912749128491294913049131491324913349134491354913649137491384913949140491414914249143491444914549146491474914849149491504915149152491534915449155491564915749158491594916049161491624916349164491654916649167491684916949170491714917249173491744917549176491774917849179491804918149182491834918449185491864918749188491894919049191491924919349194491954919649197491984919949200492014920249203492044920549206492074920849209492104921149212492134921449215492164921749218492194922049221492224922349224492254922649227492284922949230492314923249233492344923549236492374923849239492404924149242492434924449245492464924749248492494925049251492524925349254492554925649257492584925949260492614926249263492644926549266492674926849269492704927149272492734927449275492764927749278492794928049281492824928349284492854928649287492884928949290492914929249293492944929549296492974929849299493004930149302493034930449305493064930749308493094931049311493124931349314493154931649317493184931949320493214932249323493244932549326493274932849329493304933149332493334933449335493364933749338493394934049341493424934349344493454934649347493484934949350493514935249353493544935549356493574935849359493604936149362493634936449365493664936749368493694937049371493724937349374493754937649377493784937949380493814938249383493844938549386493874938849389493904939149392493934939449395493964939749398493994940049401494024940349404494054940649407494084940949410494114941249413494144941549416494174941849419494204942149422494234942449425494264942749428494294943049431494324943349434494354943649437494384943949440494414944249443494444944549446494474944849449494504945149452494534945449455494564945749458494594946049461494624946349464494654946649467494684946949470494714947249473494744947549476494774947849479494804948149482494834948449485494864948749488494894949049491494924949349494494954949649497494984949949500495014950249503495044950549506495074950849509495104951149512495134951449515495164951749518495194952049521495224952349524495254952649527495284952949530495314953249533495344953549536495374953849539495404954149542495434954449545495464954749548495494955049551495524955349554495554955649557495584955949560495614956249563495644956549566495674956849569495704957149572495734957449575495764957749578495794958049581495824958349584495854958649587495884958949590495914959249593495944959549596495974959849599496004960149602496034960449605496064960749608496094961049611496124961349614496154961649617496184961949620496214962249623496244962549626496274962849629496304963149632496334963449635496364963749638496394964049641496424964349644496454964649647496484964949650496514965249653496544965549656496574965849659496604966149662496634966449665496664966749668496694967049671496724967349674496754967649677496784967949680496814968249683496844968549686496874968849689496904969149692496934969449695496964969749698496994970049701497024970349704497054970649707497084970949710497114971249713497144971549716497174971849719497204972149722497234972449725497264972749728497294973049731497324973349734497354973649737497384973949740497414974249743497444974549746497474974849749497504975149752497534975449755497564975749758497594976049761497624976349764497654976649767497684976949770497714977249773497744977549776497774977849779497804978149782497834978449785497864978749788497894979049791497924979349794497954979649797497984979949800498014980249803498044980549806498074980849809498104981149812498134981449815498164981749818498194982049821498224982349824498254982649827498284982949830498314983249833498344983549836498374983849839498404984149842498434984449845498464984749848498494985049851498524985349854498554985649857498584985949860498614986249863498644986549866498674986849869498704987149872498734987449875498764987749878498794988049881498824988349884498854988649887498884988949890498914989249893498944989549896498974989849899499004990149902499034990449905499064990749908499094991049911499124991349914499154991649917499184991949920499214992249923499244992549926499274992849929499304993149932499334993449935499364993749938499394994049941499424994349944499454994649947499484994949950499514995249953499544995549956499574995849959499604996149962499634996449965499664996749968499694997049971499724997349974499754997649977499784997949980499814998249983499844998549986499874998849989499904999149992499934999449995499964999749998499995000050001500025000350004500055000650007500085000950010500115001250013500145001550016500175001850019500205002150022500235002450025500265002750028500295003050031500325003350034500355003650037500385003950040500415004250043500445004550046500475004850049500505005150052500535005450055500565005750058500595006050061500625006350064500655006650067500685006950070500715007250073500745007550076500775007850079500805008150082500835008450085500865008750088500895009050091500925009350094500955009650097500985009950100501015010250103501045010550106501075010850109501105011150112501135011450115501165011750118501195012050121501225012350124501255012650127501285012950130501315013250133501345013550136501375013850139501405014150142501435014450145501465014750148501495015050151501525015350154501555015650157501585015950160501615016250163501645016550166501675016850169501705017150172501735017450175501765017750178501795018050181501825018350184501855018650187501885018950190501915019250193501945019550196501975019850199502005020150202502035020450205502065020750208502095021050211502125021350214502155021650217502185021950220502215022250223502245022550226502275022850229502305023150232502335023450235502365023750238502395024050241502425024350244502455024650247502485024950250502515025250253502545025550256502575025850259502605026150262502635026450265502665026750268502695027050271502725027350274502755027650277502785027950280502815028250283502845028550286502875028850289502905029150292502935029450295502965029750298502995030050301503025030350304503055030650307503085030950310503115031250313503145031550316503175031850319503205032150322503235032450325503265032750328503295033050331503325033350334503355033650337503385033950340503415034250343503445034550346503475034850349503505035150352503535035450355503565035750358503595036050361503625036350364503655036650367503685036950370503715037250373503745037550376503775037850379503805038150382503835038450385503865038750388503895039050391503925039350394503955039650397503985039950400504015040250403504045040550406504075040850409504105041150412504135041450415504165041750418504195042050421504225042350424504255042650427504285042950430504315043250433504345043550436504375043850439504405044150442504435044450445504465044750448504495045050451504525045350454504555045650457504585045950460504615046250463504645046550466504675046850469504705047150472504735047450475504765047750478504795048050481504825048350484504855048650487504885048950490504915049250493504945049550496504975049850499505005050150502505035050450505505065050750508505095051050511505125051350514505155051650517505185051950520505215052250523505245052550526505275052850529505305053150532505335053450535505365053750538505395054050541505425054350544505455054650547505485054950550505515055250553505545055550556505575055850559505605056150562505635056450565505665056750568505695057050571505725057350574505755057650577505785057950580505815058250583505845058550586505875058850589505905059150592505935059450595505965059750598505995060050601506025060350604506055060650607506085060950610506115061250613506145061550616506175061850619506205062150622506235062450625506265062750628506295063050631506325063350634506355063650637506385063950640506415064250643506445064550646506475064850649506505065150652506535065450655506565065750658506595066050661506625066350664506655066650667506685066950670506715067250673506745067550676506775067850679506805068150682506835068450685506865068750688506895069050691506925069350694506955069650697506985069950700507015070250703507045070550706507075070850709507105071150712507135071450715507165071750718507195072050721507225072350724507255072650727507285072950730507315073250733507345073550736507375073850739507405074150742507435074450745507465074750748507495075050751507525075350754507555075650757507585075950760507615076250763507645076550766507675076850769507705077150772507735077450775507765077750778507795078050781507825078350784507855078650787507885078950790507915079250793507945079550796507975079850799508005080150802508035080450805508065080750808508095081050811508125081350814508155081650817508185081950820508215082250823508245082550826508275082850829508305083150832508335083450835508365083750838508395084050841508425084350844508455084650847508485084950850508515085250853508545085550856508575085850859508605086150862508635086450865508665086750868508695087050871508725087350874508755087650877508785087950880508815088250883508845088550886508875088850889508905089150892508935089450895508965089750898508995090050901509025090350904509055090650907509085090950910509115091250913509145091550916509175091850919509205092150922509235092450925509265092750928509295093050931509325093350934509355093650937509385093950940509415094250943509445094550946509475094850949509505095150952509535095450955509565095750958509595096050961509625096350964509655096650967509685096950970509715097250973509745097550976509775097850979509805098150982509835098450985509865098750988509895099050991509925099350994509955099650997509985099951000510015100251003510045100551006510075100851009510105101151012510135101451015510165101751018510195102051021510225102351024510255102651027510285102951030510315103251033510345103551036510375103851039510405104151042510435104451045510465104751048510495105051051510525105351054510555105651057510585105951060510615106251063510645106551066510675106851069510705107151072510735107451075510765107751078510795108051081510825108351084510855108651087510885108951090510915109251093510945109551096510975109851099511005110151102511035110451105511065110751108511095111051111511125111351114511155111651117511185111951120511215112251123511245112551126511275112851129511305113151132511335113451135511365113751138511395114051141511425114351144511455114651147511485114951150511515115251153511545115551156511575115851159511605116151162511635116451165511665116751168511695117051171511725117351174511755117651177511785117951180511815118251183511845118551186511875118851189511905119151192511935119451195511965119751198511995120051201512025120351204512055120651207512085120951210512115121251213512145121551216512175121851219512205122151222512235122451225512265122751228512295123051231512325123351234512355123651237512385123951240512415124251243512445124551246512475124851249512505125151252512535125451255512565125751258512595126051261512625126351264512655126651267512685126951270512715127251273512745127551276512775127851279512805128151282512835128451285512865128751288512895129051291512925129351294512955129651297512985129951300513015130251303513045130551306513075130851309513105131151312513135131451315513165131751318513195132051321513225132351324513255132651327513285132951330513315133251333513345133551336513375133851339513405134151342513435134451345513465134751348513495135051351513525135351354513555135651357513585135951360513615136251363513645136551366513675136851369513705137151372513735137451375513765137751378513795138051381513825138351384513855138651387513885138951390513915139251393513945139551396513975139851399514005140151402514035140451405514065140751408514095141051411514125141351414514155141651417514185141951420514215142251423514245142551426514275142851429514305143151432514335143451435514365143751438514395144051441514425144351444514455144651447514485144951450514515145251453514545145551456514575145851459514605146151462514635146451465514665146751468514695147051471514725147351474514755147651477514785147951480514815148251483514845148551486514875148851489514905149151492514935149451495514965149751498514995150051501515025150351504515055150651507515085150951510515115151251513515145151551516515175151851519515205152151522515235152451525515265152751528515295153051531515325153351534515355153651537515385153951540515415154251543515445154551546515475154851549515505155151552515535155451555515565155751558515595156051561515625156351564515655156651567515685156951570515715157251573515745157551576515775157851579515805158151582515835158451585515865158751588515895159051591515925159351594515955159651597515985159951600516015160251603516045160551606516075160851609516105161151612516135161451615516165161751618516195162051621516225162351624516255162651627516285162951630516315163251633516345163551636516375163851639516405164151642516435164451645516465164751648516495165051651516525165351654516555165651657516585165951660516615166251663516645166551666516675166851669516705167151672516735167451675516765167751678516795168051681516825168351684516855168651687516885168951690516915169251693516945169551696516975169851699517005170151702517035170451705517065170751708517095171051711517125171351714517155171651717517185171951720517215172251723517245172551726517275172851729517305173151732517335173451735517365173751738517395174051741517425174351744517455174651747517485174951750517515175251753517545175551756517575175851759517605176151762517635176451765517665176751768517695177051771517725177351774517755177651777517785177951780517815178251783517845178551786517875178851789517905179151792517935179451795517965179751798517995180051801518025180351804518055180651807518085180951810518115181251813518145181551816518175181851819518205182151822518235182451825518265182751828518295183051831518325183351834518355183651837518385183951840518415184251843518445184551846518475184851849518505185151852518535185451855518565185751858518595186051861518625186351864518655186651867518685186951870518715187251873518745187551876518775187851879518805188151882518835188451885518865188751888518895189051891518925189351894518955189651897518985189951900519015190251903519045190551906519075190851909519105191151912519135191451915519165191751918519195192051921519225192351924519255192651927519285192951930519315193251933519345193551936519375193851939519405194151942519435194451945519465194751948519495195051951519525195351954519555195651957519585195951960519615196251963519645196551966519675196851969519705197151972519735197451975519765197751978519795198051981519825198351984519855198651987519885198951990519915199251993519945199551996519975199851999520005200152002520035200452005520065200752008520095201052011520125201352014520155201652017520185201952020520215202252023520245202552026520275202852029520305203152032520335203452035520365203752038520395204052041520425204352044520455204652047520485204952050520515205252053520545205552056520575205852059520605206152062520635206452065520665206752068520695207052071520725207352074520755207652077520785207952080520815208252083520845208552086520875208852089520905209152092520935209452095520965209752098520995210052101521025210352104521055210652107521085210952110521115211252113521145211552116521175211852119521205212152122521235212452125521265212752128521295213052131521325213352134521355213652137521385213952140521415214252143521445214552146521475214852149521505215152152521535215452155521565215752158521595216052161521625216352164521655216652167521685216952170521715217252173521745217552176521775217852179521805218152182521835218452185521865218752188521895219052191521925219352194521955219652197521985219952200522015220252203522045220552206522075220852209522105221152212522135221452215522165221752218522195222052221522225222352224522255222652227522285222952230522315223252233522345223552236522375223852239522405224152242522435224452245522465224752248522495225052251522525225352254522555225652257522585225952260522615226252263522645226552266522675226852269522705227152272522735227452275522765227752278522795228052281522825228352284522855228652287522885228952290522915229252293522945229552296522975229852299523005230152302523035230452305523065230752308523095231052311523125231352314523155231652317523185231952320523215232252323523245232552326523275232852329523305233152332523335233452335523365233752338523395234052341523425234352344523455234652347523485234952350523515235252353523545235552356523575235852359523605236152362523635236452365523665236752368523695237052371523725237352374523755237652377523785237952380523815238252383523845238552386523875238852389523905239152392523935239452395523965239752398523995240052401524025240352404524055240652407524085240952410524115241252413524145241552416524175241852419524205242152422524235242452425524265242752428524295243052431524325243352434524355243652437524385243952440524415244252443524445244552446524475244852449524505245152452524535245452455524565245752458524595246052461524625246352464524655246652467524685246952470524715247252473524745247552476524775247852479524805248152482524835248452485524865248752488524895249052491524925249352494524955249652497524985249952500525015250252503525045250552506525075250852509525105251152512525135251452515525165251752518525195252052521525225252352524525255252652527525285252952530525315253252533525345253552536525375253852539525405254152542525435254452545525465254752548525495255052551525525255352554525555255652557525585255952560525615256252563525645256552566525675256852569525705257152572525735257452575525765257752578525795258052581525825258352584525855258652587525885258952590525915259252593525945259552596525975259852599526005260152602526035260452605526065260752608526095261052611526125261352614526155261652617526185261952620526215262252623526245262552626526275262852629526305263152632526335263452635526365263752638526395264052641526425264352644526455264652647526485264952650526515265252653526545265552656526575265852659526605266152662526635266452665526665266752668526695267052671526725267352674526755267652677526785267952680526815268252683526845268552686526875268852689526905269152692526935269452695526965269752698526995270052701527025270352704527055270652707527085270952710527115271252713527145271552716527175271852719527205272152722527235272452725527265272752728527295273052731527325273352734527355273652737527385273952740527415274252743527445274552746527475274852749527505275152752527535275452755527565275752758527595276052761527625276352764527655276652767527685276952770527715277252773527745277552776527775277852779527805278152782527835278452785527865278752788527895279052791527925279352794527955279652797527985279952800528015280252803528045280552806528075280852809528105281152812528135281452815528165281752818528195282052821528225282352824528255282652827528285282952830528315283252833528345283552836528375283852839528405284152842528435284452845528465284752848528495285052851528525285352854528555285652857528585285952860528615286252863528645286552866528675286852869528705287152872528735287452875528765287752878528795288052881528825288352884528855288652887528885288952890528915289252893528945289552896528975289852899529005290152902529035290452905529065290752908529095291052911529125291352914529155291652917529185291952920529215292252923529245292552926529275292852929529305293152932529335293452935529365293752938529395294052941529425294352944529455294652947529485294952950529515295252953529545295552956529575295852959529605296152962529635296452965529665296752968529695297052971529725297352974529755297652977529785297952980529815298252983529845298552986529875298852989529905299152992529935299452995529965299752998529995300053001530025300353004530055300653007530085300953010530115301253013530145301553016530175301853019530205302153022530235302453025530265302753028530295303053031530325303353034530355303653037530385303953040530415304253043530445304553046530475304853049530505305153052530535305453055530565305753058530595306053061530625306353064530655306653067530685306953070530715307253073530745307553076530775307853079530805308153082530835308453085530865308753088530895309053091530925309353094530955309653097530985309953100531015310253103531045310553106531075310853109531105311153112531135311453115531165311753118531195312053121531225312353124531255312653127531285312953130531315313253133531345313553136531375313853139531405314153142531435314453145531465314753148531495315053151531525315353154531555315653157531585315953160531615316253163531645316553166531675316853169531705317153172531735317453175531765317753178531795318053181531825318353184531855318653187531885318953190531915319253193531945319553196531975319853199532005320153202532035320453205532065320753208532095321053211532125321353214532155321653217532185321953220532215322253223532245322553226532275322853229532305323153232532335323453235532365323753238532395324053241532425324353244532455324653247532485324953250532515325253253532545325553256532575325853259532605326153262532635326453265532665326753268532695327053271532725327353274532755327653277532785327953280532815328253283532845328553286532875328853289532905329153292532935329453295532965329753298532995330053301533025330353304533055330653307533085330953310533115331253313533145331553316533175331853319533205332153322533235332453325533265332753328533295333053331533325333353334533355333653337533385333953340533415334253343533445334553346533475334853349533505335153352533535335453355533565335753358533595336053361533625336353364533655336653367533685336953370533715337253373533745337553376533775337853379533805338153382533835338453385533865338753388533895339053391533925339353394533955339653397533985339953400534015340253403534045340553406534075340853409534105341153412534135341453415534165341753418534195342053421534225342353424534255342653427534285342953430534315343253433534345343553436534375343853439534405344153442534435344453445534465344753448534495345053451534525345353454534555345653457534585345953460534615346253463534645346553466534675346853469534705347153472534735347453475534765347753478534795348053481534825348353484534855348653487534885348953490534915349253493534945349553496534975349853499535005350153502535035350453505535065350753508535095351053511535125351353514535155351653517535185351953520535215352253523535245352553526535275352853529535305353153532535335353453535535365353753538535395354053541535425354353544535455354653547535485354953550535515355253553535545355553556535575355853559535605356153562535635356453565535665356753568535695357053571535725357353574535755357653577535785357953580535815358253583535845358553586535875358853589535905359153592535935359453595535965359753598535995360053601536025360353604536055360653607536085360953610536115361253613536145361553616536175361853619536205362153622536235362453625536265362753628536295363053631536325363353634536355363653637536385363953640536415364253643536445364553646536475364853649536505365153652536535365453655536565365753658536595366053661536625366353664536655366653667536685366953670536715367253673536745367553676536775367853679536805368153682536835368453685536865368753688536895369053691536925369353694536955369653697536985369953700537015370253703537045370553706537075370853709537105371153712537135371453715537165371753718537195372053721537225372353724537255372653727537285372953730537315373253733537345373553736537375373853739537405374153742537435374453745537465374753748537495375053751537525375353754537555375653757537585375953760537615376253763537645376553766537675376853769537705377153772537735377453775537765377753778537795378053781537825378353784537855378653787537885378953790537915379253793537945379553796537975379853799538005380153802538035380453805538065380753808538095381053811538125381353814538155381653817538185381953820538215382253823538245382553826538275382853829538305383153832538335383453835538365383753838538395384053841538425384353844538455384653847538485384953850538515385253853538545385553856538575385853859538605386153862538635386453865538665386753868538695387053871538725387353874538755387653877538785387953880538815388253883538845388553886538875388853889538905389153892538935389453895538965389753898538995390053901539025390353904539055390653907539085390953910539115391253913539145391553916539175391853919539205392153922539235392453925539265392753928539295393053931539325393353934539355393653937539385393953940539415394253943539445394553946539475394853949539505395153952539535395453955539565395753958539595396053961539625396353964539655396653967539685396953970539715397253973539745397553976539775397853979539805398153982539835398453985539865398753988539895399053991539925399353994539955399653997539985399954000540015400254003540045400554006540075400854009540105401154012540135401454015540165401754018540195402054021540225402354024540255402654027540285402954030540315403254033540345403554036540375403854039540405404154042540435404454045540465404754048540495405054051540525405354054540555405654057540585405954060540615406254063540645406554066540675406854069540705407154072540735407454075540765407754078540795408054081540825408354084540855408654087540885408954090540915409254093540945409554096540975409854099541005410154102541035410454105541065410754108541095411054111541125411354114541155411654117541185411954120541215412254123541245412554126541275412854129541305413154132541335413454135541365413754138541395414054141541425414354144541455414654147541485414954150541515415254153541545415554156541575415854159541605416154162541635416454165541665416754168541695417054171541725417354174541755417654177541785417954180541815418254183541845418554186541875418854189541905419154192541935419454195541965419754198541995420054201542025420354204542055420654207542085420954210542115421254213542145421554216542175421854219542205422154222542235422454225542265422754228542295423054231542325423354234542355423654237542385423954240542415424254243542445424554246542475424854249542505425154252542535425454255542565425754258542595426054261542625426354264542655426654267542685426954270542715427254273542745427554276542775427854279542805428154282542835428454285542865428754288542895429054291542925429354294542955429654297542985429954300543015430254303543045430554306543075430854309543105431154312543135431454315543165431754318543195432054321543225432354324543255432654327543285432954330543315433254333543345433554336543375433854339543405434154342543435434454345543465434754348543495435054351543525435354354543555435654357543585435954360543615436254363543645436554366543675436854369543705437154372543735437454375543765437754378543795438054381543825438354384543855438654387543885438954390543915439254393543945439554396543975439854399544005440154402544035440454405544065440754408544095441054411544125441354414544155441654417544185441954420544215442254423544245442554426544275442854429544305443154432544335443454435544365443754438544395444054441544425444354444544455444654447544485444954450544515445254453544545445554456544575445854459544605446154462544635446454465544665446754468544695447054471544725447354474544755447654477544785447954480544815448254483544845448554486544875448854489544905449154492544935449454495544965449754498544995450054501545025450354504545055450654507545085450954510545115451254513545145451554516545175451854519545205452154522545235452454525545265452754528545295453054531545325453354534545355453654537545385453954540545415454254543545445454554546545475454854549545505455154552545535455454555545565455754558545595456054561545625456354564545655456654567545685456954570545715457254573545745457554576545775457854579545805458154582545835458454585545865458754588545895459054591545925459354594545955459654597545985459954600546015460254603546045460554606546075460854609546105461154612546135461454615546165461754618546195462054621546225462354624546255462654627546285462954630546315463254633546345463554636546375463854639546405464154642546435464454645546465464754648546495465054651546525465354654546555465654657546585465954660546615466254663546645466554666546675466854669546705467154672546735467454675546765467754678546795468054681546825468354684546855468654687546885468954690546915469254693546945469554696546975469854699547005470154702547035470454705547065470754708547095471054711547125471354714547155471654717547185471954720547215472254723547245472554726547275472854729547305473154732547335473454735547365473754738547395474054741547425474354744547455474654747547485474954750547515475254753547545475554756547575475854759547605476154762547635476454765547665476754768547695477054771547725477354774547755477654777547785477954780547815478254783547845478554786547875478854789547905479154792547935479454795547965479754798547995480054801548025480354804548055480654807548085480954810548115481254813548145481554816548175481854819548205482154822548235482454825548265482754828548295483054831548325483354834548355483654837548385483954840548415484254843548445484554846548475484854849548505485154852548535485454855548565485754858548595486054861548625486354864548655486654867548685486954870548715487254873548745487554876548775487854879548805488154882548835488454885548865488754888548895489054891548925489354894548955489654897548985489954900549015490254903549045490554906549075490854909549105491154912549135491454915549165491754918549195492054921549225492354924549255492654927549285492954930549315493254933549345493554936549375493854939549405494154942549435494454945549465494754948549495495054951549525495354954549555495654957549585495954960549615496254963549645496554966549675496854969549705497154972549735497454975549765497754978549795498054981549825498354984549855498654987549885498954990549915499254993549945499554996549975499854999550005500155002550035500455005550065500755008550095501055011550125501355014550155501655017550185501955020550215502255023550245502555026550275502855029550305503155032550335503455035550365503755038550395504055041550425504355044550455504655047550485504955050550515505255053550545505555056550575505855059550605506155062550635506455065550665506755068550695507055071550725507355074550755507655077550785507955080550815508255083550845508555086550875508855089550905509155092550935509455095550965509755098550995510055101551025510355104551055510655107551085510955110551115511255113551145511555116551175511855119551205512155122551235512455125551265512755128551295513055131551325513355134551355513655137551385513955140551415514255143551445514555146551475514855149551505515155152551535515455155551565515755158551595516055161551625516355164551655516655167551685516955170551715517255173551745517555176551775517855179551805518155182551835518455185551865518755188551895519055191551925519355194551955519655197551985519955200552015520255203552045520555206552075520855209552105521155212552135521455215552165521755218552195522055221552225522355224552255522655227552285522955230552315523255233552345523555236552375523855239552405524155242552435524455245552465524755248552495525055251552525525355254552555525655257552585525955260552615526255263552645526555266552675526855269552705527155272552735527455275552765527755278552795528055281552825528355284552855528655287552885528955290552915529255293552945529555296552975529855299553005530155302553035530455305553065530755308553095531055311553125531355314553155531655317553185531955320553215532255323553245532555326553275532855329553305533155332553335533455335553365533755338553395534055341553425534355344553455534655347553485534955350553515535255353553545535555356553575535855359553605536155362553635536455365553665536755368553695537055371553725537355374553755537655377553785537955380553815538255383553845538555386553875538855389553905539155392553935539455395553965539755398553995540055401554025540355404554055540655407554085540955410554115541255413554145541555416554175541855419554205542155422554235542455425554265542755428554295543055431554325543355434554355543655437554385543955440554415544255443554445544555446554475544855449554505545155452554535545455455554565545755458554595546055461554625546355464554655546655467554685546955470554715547255473554745547555476554775547855479554805548155482554835548455485554865548755488554895549055491554925549355494554955549655497554985549955500555015550255503555045550555506555075550855509555105551155512555135551455515555165551755518555195552055521555225552355524555255552655527555285552955530555315553255533555345553555536555375553855539555405554155542555435554455545555465554755548555495555055551555525555355554555555555655557555585555955560555615556255563555645556555566555675556855569555705557155572555735557455575555765557755578555795558055581555825558355584555855558655587555885558955590555915559255593555945559555596555975559855599556005560155602556035560455605556065560755608556095561055611556125561355614556155561655617556185561955620556215562255623556245562555626556275562855629556305563155632556335563455635556365563755638556395564055641556425564355644556455564655647556485564955650556515565255653556545565555656556575565855659556605566155662556635566455665556665566755668556695567055671556725567355674556755567655677556785567955680556815568255683556845568555686556875568855689556905569155692556935569455695556965569755698556995570055701557025570355704557055570655707557085570955710557115571255713557145571555716557175571855719557205572155722557235572455725557265572755728557295573055731557325573355734557355573655737557385573955740557415574255743557445574555746557475574855749557505575155752557535575455755557565575755758557595576055761557625576355764557655576655767557685576955770557715577255773557745577555776557775577855779557805578155782557835578455785557865578755788557895579055791557925579355794557955579655797557985579955800558015580255803558045580555806558075580855809558105581155812558135581455815558165581755818558195582055821558225582355824558255582655827558285582955830558315583255833558345583555836558375583855839558405584155842558435584455845558465584755848558495585055851558525585355854558555585655857558585585955860558615586255863558645586555866558675586855869558705587155872558735587455875558765587755878558795588055881558825588355884558855588655887558885588955890558915589255893558945589555896558975589855899559005590155902559035590455905559065590755908559095591055911559125591355914559155591655917559185591955920559215592255923559245592555926559275592855929559305593155932559335593455935559365593755938559395594055941559425594355944559455594655947559485594955950559515595255953559545595555956559575595855959559605596155962559635596455965559665596755968559695597055971559725597355974559755597655977559785597955980559815598255983559845598555986559875598855989559905599155992559935599455995559965599755998559995600056001560025600356004560055600656007560085600956010560115601256013560145601556016560175601856019560205602156022560235602456025560265602756028560295603056031560325603356034560355603656037560385603956040560415604256043560445604556046560475604856049560505605156052560535605456055560565605756058560595606056061560625606356064560655606656067560685606956070560715607256073560745607556076560775607856079560805608156082560835608456085560865608756088560895609056091560925609356094560955609656097560985609956100561015610256103561045610556106561075610856109561105611156112561135611456115561165611756118561195612056121561225612356124561255612656127561285612956130561315613256133561345613556136561375613856139561405614156142561435614456145561465614756148561495615056151561525615356154561555615656157561585615956160561615616256163561645616556166561675616856169561705617156172561735617456175561765617756178561795618056181561825618356184561855618656187561885618956190561915619256193561945619556196561975619856199562005620156202562035620456205562065620756208562095621056211562125621356214562155621656217562185621956220562215622256223562245622556226562275622856229562305623156232562335623456235562365623756238562395624056241562425624356244562455624656247562485624956250562515625256253562545625556256562575625856259562605626156262562635626456265562665626756268562695627056271562725627356274562755627656277562785627956280562815628256283562845628556286562875628856289562905629156292562935629456295562965629756298562995630056301563025630356304563055630656307563085630956310563115631256313563145631556316563175631856319563205632156322563235632456325563265632756328563295633056331563325633356334563355633656337563385633956340563415634256343563445634556346563475634856349563505635156352563535635456355563565635756358563595636056361563625636356364563655636656367563685636956370563715637256373563745637556376563775637856379563805638156382563835638456385563865638756388563895639056391563925639356394563955639656397563985639956400564015640256403564045640556406564075640856409564105641156412564135641456415564165641756418564195642056421564225642356424564255642656427564285642956430564315643256433564345643556436564375643856439564405644156442564435644456445564465644756448564495645056451564525645356454564555645656457564585645956460564615646256463564645646556466564675646856469564705647156472564735647456475564765647756478564795648056481564825648356484564855648656487564885648956490564915649256493564945649556496564975649856499565005650156502565035650456505565065650756508565095651056511565125651356514565155651656517565185651956520565215652256523565245652556526565275652856529565305653156532565335653456535565365653756538565395654056541565425654356544565455654656547565485654956550565515655256553565545655556556565575655856559565605656156562565635656456565565665656756568565695657056571565725657356574565755657656577565785657956580565815658256583565845658556586565875658856589565905659156592565935659456595565965659756598565995660056601566025660356604566055660656607566085660956610566115661256613566145661556616566175661856619566205662156622566235662456625566265662756628566295663056631566325663356634566355663656637566385663956640566415664256643566445664556646566475664856649566505665156652566535665456655566565665756658566595666056661566625666356664566655666656667566685666956670566715667256673566745667556676566775667856679566805668156682566835668456685566865668756688566895669056691566925669356694566955669656697566985669956700567015670256703567045670556706567075670856709567105671156712567135671456715567165671756718567195672056721567225672356724567255672656727567285672956730567315673256733567345673556736567375673856739567405674156742567435674456745567465674756748567495675056751567525675356754567555675656757567585675956760567615676256763567645676556766567675676856769567705677156772567735677456775567765677756778567795678056781567825678356784567855678656787567885678956790567915679256793567945679556796567975679856799568005680156802568035680456805568065680756808568095681056811568125681356814568155681656817568185681956820568215682256823568245682556826568275682856829568305683156832568335683456835568365683756838568395684056841568425684356844568455684656847568485684956850568515685256853568545685556856568575685856859568605686156862568635686456865568665686756868568695687056871568725687356874568755687656877568785687956880568815688256883568845688556886568875688856889568905689156892568935689456895568965689756898568995690056901569025690356904569055690656907569085690956910569115691256913569145691556916569175691856919569205692156922569235692456925569265692756928569295693056931569325693356934569355693656937569385693956940569415694256943569445694556946569475694856949569505695156952569535695456955569565695756958569595696056961569625696356964569655696656967569685696956970569715697256973569745697556976569775697856979569805698156982569835698456985569865698756988569895699056991569925699356994569955699656997569985699957000570015700257003570045700557006570075700857009570105701157012570135701457015570165701757018570195702057021570225702357024570255702657027570285702957030570315703257033570345703557036570375703857039570405704157042570435704457045570465704757048570495705057051570525705357054570555705657057570585705957060570615706257063570645706557066570675706857069570705707157072570735707457075570765707757078570795708057081570825708357084570855708657087570885708957090570915709257093570945709557096570975709857099571005710157102571035710457105571065710757108571095711057111571125711357114571155711657117571185711957120571215712257123571245712557126571275712857129571305713157132571335713457135571365713757138571395714057141571425714357144571455714657147571485714957150571515715257153571545715557156571575715857159571605716157162571635716457165571665716757168571695717057171571725717357174571755717657177571785717957180571815718257183571845718557186571875718857189571905719157192571935719457195571965719757198571995720057201572025720357204572055720657207572085720957210572115721257213572145721557216572175721857219572205722157222572235722457225572265722757228572295723057231572325723357234572355723657237572385723957240572415724257243572445724557246572475724857249572505725157252572535725457255572565725757258572595726057261572625726357264572655726657267572685726957270572715727257273572745727557276572775727857279572805728157282572835728457285572865728757288572895729057291572925729357294572955729657297572985729957300573015730257303573045730557306573075730857309573105731157312573135731457315573165731757318573195732057321573225732357324573255732657327573285732957330573315733257333573345733557336573375733857339573405734157342573435734457345573465734757348573495735057351573525735357354573555735657357573585735957360573615736257363573645736557366573675736857369573705737157372573735737457375573765737757378573795738057381573825738357384573855738657387573885738957390573915739257393573945739557396573975739857399574005740157402574035740457405574065740757408574095741057411574125741357414574155741657417574185741957420574215742257423574245742557426574275742857429574305743157432574335743457435574365743757438574395744057441574425744357444574455744657447574485744957450574515745257453574545745557456574575745857459574605746157462574635746457465574665746757468574695747057471574725747357474574755747657477574785747957480574815748257483574845748557486574875748857489574905749157492574935749457495574965749757498574995750057501575025750357504575055750657507575085750957510575115751257513575145751557516575175751857519575205752157522575235752457525575265752757528575295753057531575325753357534575355753657537575385753957540575415754257543575445754557546575475754857549575505755157552575535755457555575565755757558575595756057561575625756357564575655756657567575685756957570575715757257573575745757557576575775757857579575805758157582575835758457585575865758757588575895759057591575925759357594575955759657597575985759957600576015760257603576045760557606576075760857609576105761157612576135761457615576165761757618576195762057621576225762357624576255762657627576285762957630576315763257633576345763557636576375763857639576405764157642576435764457645576465764757648576495765057651576525765357654576555765657657576585765957660576615766257663576645766557666576675766857669576705767157672576735767457675576765767757678576795768057681576825768357684576855768657687576885768957690576915769257693576945769557696576975769857699577005770157702577035770457705577065770757708577095771057711577125771357714577155771657717577185771957720577215772257723577245772557726577275772857729577305773157732577335773457735577365773757738577395774057741577425774357744577455774657747577485774957750577515775257753577545775557756577575775857759577605776157762577635776457765577665776757768577695777057771577725777357774577755777657777577785777957780577815778257783577845778557786577875778857789577905779157792577935779457795577965779757798577995780057801578025780357804578055780657807578085780957810578115781257813578145781557816578175781857819578205782157822578235782457825578265782757828578295783057831578325783357834578355783657837578385783957840578415784257843578445784557846578475784857849578505785157852578535785457855578565785757858578595786057861578625786357864578655786657867578685786957870578715787257873578745787557876578775787857879578805788157882578835788457885578865788757888578895789057891578925789357894578955789657897578985789957900579015790257903579045790557906579075790857909579105791157912579135791457915579165791757918579195792057921579225792357924579255792657927579285792957930579315793257933579345793557936579375793857939579405794157942579435794457945579465794757948579495795057951579525795357954579555795657957579585795957960579615796257963579645796557966579675796857969579705797157972579735797457975579765797757978579795798057981579825798357984579855798657987579885798957990579915799257993579945799557996579975799857999580005800158002580035800458005580065800758008580095801058011580125801358014580155801658017580185801958020580215802258023580245802558026580275802858029580305803158032580335803458035580365803758038580395804058041580425804358044580455804658047580485804958050580515805258053580545805558056580575805858059580605806158062580635806458065580665806758068580695807058071580725807358074580755807658077580785807958080580815808258083580845808558086580875808858089580905809158092580935809458095580965809758098580995810058101581025810358104581055810658107581085810958110581115811258113581145811558116581175811858119581205812158122581235812458125581265812758128581295813058131581325813358134581355813658137581385813958140581415814258143581445814558146581475814858149581505815158152581535815458155581565815758158581595816058161581625816358164581655816658167581685816958170581715817258173581745817558176581775817858179581805818158182581835818458185581865818758188581895819058191581925819358194581955819658197581985819958200582015820258203582045820558206582075820858209582105821158212582135821458215582165821758218582195822058221582225822358224582255822658227582285822958230582315823258233582345823558236582375823858239582405824158242582435824458245582465824758248582495825058251582525825358254582555825658257582585825958260582615826258263582645826558266582675826858269582705827158272582735827458275582765827758278582795828058281582825828358284582855828658287582885828958290582915829258293582945829558296582975829858299583005830158302583035830458305583065830758308583095831058311583125831358314583155831658317583185831958320583215832258323583245832558326583275832858329583305833158332583335833458335583365833758338583395834058341583425834358344583455834658347583485834958350583515835258353583545835558356583575835858359583605836158362583635836458365583665836758368583695837058371583725837358374583755837658377583785837958380583815838258383583845838558386583875838858389583905839158392583935839458395583965839758398583995840058401584025840358404584055840658407584085840958410584115841258413584145841558416584175841858419584205842158422584235842458425584265842758428584295843058431584325843358434584355843658437584385843958440584415844258443584445844558446584475844858449584505845158452584535845458455584565845758458584595846058461584625846358464584655846658467584685846958470584715847258473584745847558476584775847858479584805848158482584835848458485584865848758488584895849058491584925849358494584955849658497584985849958500585015850258503585045850558506585075850858509585105851158512585135851458515585165851758518585195852058521585225852358524585255852658527585285852958530585315853258533585345853558536585375853858539585405854158542585435854458545585465854758548585495855058551585525855358554585555855658557585585855958560585615856258563585645856558566585675856858569585705857158572585735857458575585765857758578585795858058581585825858358584585855858658587585885858958590585915859258593585945859558596585975859858599586005860158602586035860458605586065860758608586095861058611586125861358614586155861658617586185861958620586215862258623586245862558626586275862858629586305863158632586335863458635586365863758638586395864058641586425864358644586455864658647586485864958650586515865258653586545865558656586575865858659586605866158662586635866458665586665866758668586695867058671586725867358674586755867658677586785867958680586815868258683586845868558686586875868858689586905869158692586935869458695586965869758698586995870058701587025870358704587055870658707587085870958710587115871258713587145871558716587175871858719587205872158722587235872458725587265872758728587295873058731587325873358734587355873658737587385873958740587415874258743587445874558746587475874858749587505875158752587535875458755587565875758758587595876058761587625876358764587655876658767587685876958770587715877258773587745877558776587775877858779587805878158782587835878458785587865878758788587895879058791587925879358794587955879658797587985879958800588015880258803588045880558806588075880858809588105881158812588135881458815588165881758818588195882058821588225882358824588255882658827588285882958830588315883258833588345883558836588375883858839588405884158842588435884458845588465884758848588495885058851588525885358854588555885658857588585885958860588615886258863588645886558866588675886858869588705887158872588735887458875588765887758878588795888058881588825888358884588855888658887588885888958890588915889258893588945889558896588975889858899589005890158902589035890458905589065890758908589095891058911589125891358914589155891658917589185891958920589215892258923589245892558926589275892858929589305893158932589335893458935589365893758938589395894058941589425894358944589455894658947589485894958950589515895258953589545895558956589575895858959589605896158962589635896458965589665896758968589695897058971589725897358974589755897658977589785897958980589815898258983589845898558986589875898858989589905899158992589935899458995589965899758998589995900059001590025900359004590055900659007590085900959010590115901259013590145901559016590175901859019590205902159022590235902459025590265902759028590295903059031590325903359034590355903659037590385903959040590415904259043590445904559046590475904859049590505905159052590535905459055590565905759058590595906059061590625906359064590655906659067590685906959070590715907259073590745907559076590775907859079590805908159082590835908459085590865908759088590895909059091590925909359094590955909659097590985909959100591015910259103591045910559106591075910859109591105911159112591135911459115591165911759118591195912059121591225912359124591255912659127591285912959130591315913259133591345913559136591375913859139591405914159142591435914459145591465914759148591495915059151591525915359154591555915659157591585915959160591615916259163591645916559166591675916859169591705917159172591735917459175591765917759178591795918059181591825918359184591855918659187591885918959190591915919259193591945919559196591975919859199592005920159202592035920459205592065920759208592095921059211592125921359214592155921659217592185921959220592215922259223592245922559226592275922859229592305923159232592335923459235592365923759238592395924059241592425924359244592455924659247592485924959250592515925259253592545925559256592575925859259592605926159262592635926459265592665926759268592695927059271592725927359274592755927659277592785927959280592815928259283592845928559286592875928859289592905929159292592935929459295592965929759298592995930059301593025930359304593055930659307593085930959310593115931259313593145931559316593175931859319593205932159322593235932459325593265932759328593295933059331593325933359334593355933659337593385933959340593415934259343593445934559346593475934859349593505935159352593535935459355593565935759358593595936059361593625936359364593655936659367593685936959370593715937259373593745937559376593775937859379593805938159382593835938459385593865938759388593895939059391593925939359394593955939659397593985939959400594015940259403594045940559406594075940859409594105941159412594135941459415594165941759418594195942059421594225942359424594255942659427594285942959430594315943259433594345943559436594375943859439594405944159442594435944459445594465944759448594495945059451594525945359454594555945659457594585945959460594615946259463594645946559466594675946859469594705947159472594735947459475594765947759478594795948059481594825948359484594855948659487594885948959490594915949259493594945949559496594975949859499595005950159502595035950459505595065950759508595095951059511595125951359514595155951659517595185951959520595215952259523595245952559526595275952859529595305953159532595335953459535595365953759538595395954059541595425954359544595455954659547595485954959550595515955259553595545955559556595575955859559595605956159562595635956459565595665956759568595695957059571595725957359574595755957659577595785957959580595815958259583595845958559586595875958859589595905959159592595935959459595595965959759598595995960059601596025960359604596055960659607596085960959610596115961259613596145961559616596175961859619596205962159622596235962459625596265962759628596295963059631596325963359634596355963659637596385963959640596415964259643596445964559646596475964859649596505965159652596535965459655596565965759658596595966059661596625966359664596655966659667596685966959670596715967259673596745967559676596775967859679596805968159682596835968459685596865968759688596895969059691596925969359694596955969659697596985969959700597015970259703597045970559706597075970859709597105971159712597135971459715597165971759718597195972059721597225972359724597255972659727597285972959730597315973259733597345973559736597375973859739597405974159742597435974459745597465974759748597495975059751597525975359754597555975659757597585975959760597615976259763597645976559766597675976859769597705977159772597735977459775597765977759778597795978059781597825978359784597855978659787597885978959790597915979259793597945979559796597975979859799598005980159802598035980459805598065980759808598095981059811598125981359814598155981659817598185981959820598215982259823598245982559826598275982859829598305983159832598335983459835598365983759838598395984059841598425984359844598455984659847598485984959850598515985259853598545985559856598575985859859598605986159862598635986459865598665986759868598695987059871598725987359874598755987659877598785987959880598815988259883598845988559886598875988859889598905989159892598935989459895598965989759898598995990059901599025990359904599055990659907599085990959910599115991259913599145991559916599175991859919599205992159922599235992459925599265992759928599295993059931599325993359934599355993659937599385993959940599415994259943599445994559946599475994859949599505995159952599535995459955599565995759958599595996059961599625996359964599655996659967599685996959970599715997259973599745997559976599775997859979599805998159982599835998459985599865998759988599895999059991599925999359994599955999659997599985999960000600016000260003600046000560006600076000860009600106001160012600136001460015600166001760018600196002060021600226002360024600256002660027600286002960030600316003260033600346003560036600376003860039600406004160042600436004460045600466004760048600496005060051600526005360054600556005660057600586005960060600616006260063600646006560066600676006860069600706007160072600736007460075600766007760078600796008060081600826008360084600856008660087600886008960090600916009260093600946009560096600976009860099601006010160102601036010460105601066010760108601096011060111601126011360114601156011660117601186011960120601216012260123601246012560126601276012860129601306013160132601336013460135601366013760138601396014060141601426014360144601456014660147601486014960150601516015260153601546015560156601576015860159601606016160162601636016460165601666016760168601696017060171601726017360174601756017660177601786017960180601816018260183601846018560186601876018860189601906019160192601936019460195601966019760198601996020060201602026020360204602056020660207602086020960210602116021260213602146021560216602176021860219602206022160222602236022460225602266022760228602296023060231602326023360234602356023660237602386023960240602416024260243602446024560246602476024860249602506025160252602536025460255602566025760258602596026060261602626026360264602656026660267602686026960270602716027260273602746027560276602776027860279602806028160282602836028460285602866028760288602896029060291602926029360294602956029660297602986029960300603016030260303603046030560306603076030860309603106031160312603136031460315603166031760318603196032060321603226032360324603256032660327603286032960330603316033260333603346033560336603376033860339603406034160342603436034460345603466034760348603496035060351603526035360354603556035660357603586035960360603616036260363603646036560366603676036860369603706037160372603736037460375603766037760378603796038060381603826038360384603856038660387603886038960390603916039260393603946039560396603976039860399604006040160402604036040460405604066040760408604096041060411604126041360414604156041660417604186041960420604216042260423604246042560426604276042860429604306043160432604336043460435604366043760438604396044060441604426044360444604456044660447604486044960450604516045260453604546045560456604576045860459604606046160462604636046460465604666046760468604696047060471604726047360474604756047660477604786047960480604816048260483604846048560486604876048860489604906049160492604936049460495604966049760498604996050060501605026050360504605056050660507605086050960510605116051260513605146051560516605176051860519605206052160522605236052460525605266052760528605296053060531605326053360534605356053660537605386053960540605416054260543605446054560546605476054860549605506055160552605536055460555605566055760558605596056060561605626056360564605656056660567605686056960570605716057260573605746057560576605776057860579605806058160582605836058460585605866058760588605896059060591605926059360594605956059660597605986059960600606016060260603606046060560606606076060860609606106061160612606136061460615606166061760618606196062060621606226062360624606256062660627606286062960630606316063260633606346063560636606376063860639606406064160642606436064460645606466064760648606496065060651606526065360654606556065660657606586065960660606616066260663606646066560666606676066860669606706067160672606736067460675606766067760678606796068060681606826068360684606856068660687606886068960690606916069260693606946069560696606976069860699607006070160702607036070460705607066070760708607096071060711607126071360714607156071660717607186071960720607216072260723607246072560726607276072860729607306073160732607336073460735607366073760738607396074060741607426074360744607456074660747607486074960750607516075260753607546075560756607576075860759607606076160762607636076460765607666076760768607696077060771607726077360774607756077660777607786077960780607816078260783607846078560786607876078860789607906079160792607936079460795607966079760798607996080060801608026080360804608056080660807608086080960810608116081260813608146081560816608176081860819608206082160822608236082460825608266082760828608296083060831608326083360834608356083660837608386083960840608416084260843608446084560846608476084860849608506085160852608536085460855608566085760858608596086060861608626086360864608656086660867608686086960870608716087260873608746087560876608776087860879608806088160882608836088460885608866088760888608896089060891608926089360894608956089660897608986089960900609016090260903609046090560906609076090860909609106091160912609136091460915609166091760918609196092060921609226092360924609256092660927609286092960930609316093260933609346093560936609376093860939609406094160942609436094460945609466094760948609496095060951609526095360954609556095660957609586095960960609616096260963609646096560966609676096860969609706097160972609736097460975609766097760978609796098060981609826098360984609856098660987609886098960990609916099260993609946099560996609976099860999610006100161002610036100461005610066100761008610096101061011610126101361014610156101661017610186101961020610216102261023610246102561026610276102861029610306103161032610336103461035610366103761038610396104061041610426104361044610456104661047610486104961050610516105261053610546105561056610576105861059610606106161062610636106461065610666106761068610696107061071610726107361074610756107661077610786107961080610816108261083610846108561086610876108861089610906109161092610936109461095610966109761098610996110061101611026110361104611056110661107611086110961110611116111261113611146111561116611176111861119611206112161122611236112461125611266112761128611296113061131611326113361134611356113661137611386113961140611416114261143611446114561146611476114861149611506115161152611536115461155611566115761158611596116061161611626116361164611656116661167611686116961170611716117261173611746117561176611776117861179611806118161182611836118461185611866118761188611896119061191611926119361194611956119661197611986119961200612016120261203612046120561206612076120861209612106121161212612136121461215612166121761218612196122061221612226122361224612256122661227612286122961230612316123261233612346123561236612376123861239612406124161242612436124461245612466124761248612496125061251612526125361254612556125661257612586125961260612616126261263612646126561266612676126861269612706127161272612736127461275612766127761278612796128061281612826128361284612856128661287612886128961290612916129261293612946129561296612976129861299613006130161302613036130461305613066130761308613096131061311613126131361314613156131661317613186131961320613216132261323613246132561326613276132861329613306133161332613336133461335613366133761338613396134061341613426134361344613456134661347613486134961350613516135261353613546135561356613576135861359613606136161362613636136461365613666136761368613696137061371613726137361374613756137661377613786137961380613816138261383613846138561386613876138861389613906139161392613936139461395613966139761398613996140061401614026140361404614056140661407614086140961410614116141261413614146141561416614176141861419614206142161422614236142461425614266142761428614296143061431614326143361434614356143661437614386143961440614416144261443614446144561446614476144861449614506145161452614536145461455614566145761458614596146061461614626146361464614656146661467614686146961470614716147261473614746147561476614776147861479614806148161482614836148461485614866148761488614896149061491614926149361494614956149661497614986149961500615016150261503615046150561506615076150861509615106151161512615136151461515615166151761518615196152061521615226152361524615256152661527615286152961530615316153261533615346153561536615376153861539615406154161542615436154461545615466154761548615496155061551615526155361554615556155661557615586155961560615616156261563615646156561566615676156861569615706157161572615736157461575615766157761578615796158061581615826158361584615856158661587615886158961590615916159261593615946159561596615976159861599616006160161602616036160461605616066160761608616096161061611616126161361614616156161661617616186161961620616216162261623616246162561626616276162861629616306163161632616336163461635616366163761638616396164061641616426164361644616456164661647616486164961650616516165261653616546165561656616576165861659616606166161662616636166461665616666166761668616696167061671616726167361674616756167661677616786167961680616816168261683616846168561686616876168861689616906169161692616936169461695616966169761698616996170061701617026170361704617056170661707617086170961710617116171261713617146171561716617176171861719617206172161722617236172461725617266172761728617296173061731617326173361734617356173661737617386173961740617416174261743617446174561746617476174861749617506175161752617536175461755617566175761758617596176061761617626176361764617656176661767617686176961770617716177261773617746177561776617776177861779617806178161782617836178461785617866178761788617896179061791617926179361794617956179661797617986179961800618016180261803618046180561806618076180861809618106181161812618136181461815618166181761818618196182061821618226182361824618256182661827618286182961830618316183261833618346183561836618376183861839618406184161842618436184461845618466184761848618496185061851618526185361854618556185661857618586185961860618616186261863618646186561866618676186861869618706187161872618736187461875618766187761878618796188061881618826188361884618856188661887618886188961890618916189261893618946189561896618976189861899619006190161902619036190461905619066190761908619096191061911619126191361914619156191661917619186191961920619216192261923619246192561926619276192861929619306193161932619336193461935619366193761938619396194061941619426194361944619456194661947619486194961950619516195261953619546195561956619576195861959619606196161962619636196461965619666196761968619696197061971619726197361974619756197661977619786197961980619816198261983619846198561986619876198861989619906199161992619936199461995619966199761998619996200062001620026200362004620056200662007620086200962010620116201262013620146201562016620176201862019620206202162022620236202462025620266202762028620296203062031620326203362034620356203662037620386203962040620416204262043620446204562046620476204862049620506205162052620536205462055620566205762058620596206062061620626206362064620656206662067620686206962070620716207262073620746207562076620776207862079620806208162082620836208462085620866208762088620896209062091620926209362094620956209662097620986209962100621016210262103621046210562106621076210862109621106211162112621136211462115621166211762118621196212062121621226212362124621256212662127621286212962130621316213262133621346213562136621376213862139621406214162142621436214462145621466214762148621496215062151621526215362154621556215662157621586215962160621616216262163621646216562166621676216862169621706217162172621736217462175621766217762178621796218062181621826218362184621856218662187621886218962190621916219262193621946219562196621976219862199622006220162202622036220462205622066220762208622096221062211622126221362214622156221662217622186221962220622216222262223622246222562226622276222862229622306223162232622336223462235622366223762238622396224062241622426224362244622456224662247622486224962250622516225262253622546225562256622576225862259622606226162262622636226462265622666226762268622696227062271622726227362274622756227662277622786227962280622816228262283622846228562286622876228862289622906229162292622936229462295622966229762298622996230062301623026230362304623056230662307623086230962310623116231262313623146231562316623176231862319623206232162322623236232462325623266232762328623296233062331623326233362334623356233662337623386233962340623416234262343623446234562346623476234862349623506235162352623536235462355623566235762358623596236062361623626236362364623656236662367623686236962370623716237262373623746237562376623776237862379623806238162382623836238462385623866238762388623896239062391623926239362394623956239662397623986239962400624016240262403624046240562406624076240862409624106241162412624136241462415624166241762418624196242062421624226242362424624256242662427624286242962430624316243262433624346243562436624376243862439624406244162442624436244462445624466244762448624496245062451624526245362454624556245662457624586245962460624616246262463624646246562466624676246862469624706247162472624736247462475624766247762478624796248062481624826248362484624856248662487624886248962490624916249262493624946249562496624976249862499625006250162502625036250462505625066250762508625096251062511625126251362514625156251662517625186251962520625216252262523625246252562526625276252862529625306253162532625336253462535625366253762538625396254062541625426254362544625456254662547625486254962550625516255262553625546255562556625576255862559625606256162562625636256462565625666256762568625696257062571625726257362574625756257662577625786257962580625816258262583625846258562586625876258862589625906259162592625936259462595625966259762598625996260062601626026260362604626056260662607626086260962610626116261262613626146261562616626176261862619626206262162622626236262462625626266262762628626296263062631626326263362634626356263662637626386263962640626416264262643626446264562646626476264862649626506265162652626536265462655626566265762658626596266062661626626266362664626656266662667626686266962670626716267262673626746267562676626776267862679626806268162682626836268462685626866268762688626896269062691626926269362694626956269662697626986269962700627016270262703627046270562706627076270862709627106271162712627136271462715627166271762718627196272062721627226272362724627256272662727627286272962730627316273262733627346273562736627376273862739627406274162742627436274462745627466274762748627496275062751627526275362754627556275662757627586275962760627616276262763627646276562766627676276862769627706277162772627736277462775627766277762778627796278062781627826278362784627856278662787627886278962790627916279262793627946279562796627976279862799628006280162802628036280462805628066280762808628096281062811628126281362814628156281662817628186281962820628216282262823628246282562826628276282862829628306283162832628336283462835628366283762838628396284062841628426284362844628456284662847628486284962850628516285262853628546285562856628576285862859628606286162862628636286462865628666286762868628696287062871628726287362874628756287662877628786287962880628816288262883628846288562886628876288862889628906289162892628936289462895628966289762898628996290062901629026290362904629056290662907629086290962910629116291262913629146291562916629176291862919629206292162922629236292462925629266292762928629296293062931629326293362934629356293662937629386293962940629416294262943629446294562946629476294862949629506295162952629536295462955629566295762958629596296062961629626296362964629656296662967629686296962970629716297262973629746297562976629776297862979629806298162982629836298462985629866298762988629896299062991629926299362994629956299662997629986299963000630016300263003630046300563006630076300863009630106301163012630136301463015630166301763018630196302063021630226302363024630256302663027630286302963030630316303263033630346303563036630376303863039630406304163042630436304463045630466304763048630496305063051630526305363054630556305663057630586305963060630616306263063630646306563066630676306863069630706307163072630736307463075630766307763078630796308063081630826308363084630856308663087630886308963090630916309263093630946309563096630976309863099631006310163102631036310463105631066310763108631096311063111631126311363114631156311663117631186311963120631216312263123631246312563126631276312863129631306313163132631336313463135631366313763138631396314063141631426314363144631456314663147631486314963150631516315263153631546315563156631576315863159631606316163162631636316463165631666316763168631696317063171631726317363174631756317663177631786317963180631816318263183631846318563186631876318863189631906319163192631936319463195631966319763198631996320063201632026320363204632056320663207632086320963210632116321263213632146321563216632176321863219632206322163222632236322463225632266322763228632296323063231632326323363234632356323663237632386323963240632416324263243632446324563246632476324863249632506325163252632536325463255632566325763258632596326063261632626326363264632656326663267632686326963270632716327263273632746327563276632776327863279632806328163282632836328463285632866328763288632896329063291632926329363294632956329663297632986329963300633016330263303633046330563306633076330863309633106331163312633136331463315633166331763318633196332063321633226332363324633256332663327633286332963330633316333263333633346333563336633376333863339633406334163342633436334463345633466334763348633496335063351633526335363354633556335663357633586335963360633616336263363633646336563366633676336863369633706337163372633736337463375633766337763378633796338063381633826338363384633856338663387633886338963390633916339263393633946339563396633976339863399634006340163402634036340463405634066340763408634096341063411634126341363414634156341663417634186341963420634216342263423634246342563426634276342863429634306343163432634336343463435634366343763438634396344063441634426344363444634456344663447634486344963450634516345263453634546345563456634576345863459634606346163462634636346463465634666346763468634696347063471634726347363474634756347663477634786347963480634816348263483634846348563486634876348863489634906349163492634936349463495634966349763498634996350063501635026350363504635056350663507635086350963510635116351263513635146351563516635176351863519635206352163522635236352463525635266352763528635296353063531635326353363534635356353663537635386353963540635416354263543635446354563546635476354863549635506355163552635536355463555635566355763558635596356063561635626356363564635656356663567635686356963570635716357263573635746357563576635776357863579635806358163582635836358463585635866358763588635896359063591635926359363594635956359663597635986359963600636016360263603636046360563606636076360863609636106361163612636136361463615636166361763618636196362063621636226362363624636256362663627636286362963630636316363263633636346363563636636376363863639636406364163642636436364463645636466364763648636496365063651636526365363654636556365663657636586365963660636616366263663636646366563666636676366863669636706367163672636736367463675636766367763678636796368063681636826368363684636856368663687636886368963690636916369263693636946369563696636976369863699637006370163702637036370463705637066370763708637096371063711637126371363714637156371663717637186371963720637216372263723637246372563726637276372863729637306373163732637336373463735637366373763738637396374063741637426374363744637456374663747637486374963750637516375263753637546375563756637576375863759637606376163762637636376463765637666376763768637696377063771637726377363774637756377663777637786377963780637816378263783637846378563786637876378863789637906379163792637936379463795637966379763798637996380063801638026380363804638056380663807638086380963810638116381263813638146381563816638176381863819638206382163822638236382463825638266382763828638296383063831638326383363834638356383663837638386383963840638416384263843638446384563846638476384863849638506385163852638536385463855638566385763858638596386063861638626386363864638656386663867638686386963870638716387263873638746387563876638776387863879638806388163882638836388463885638866388763888638896389063891638926389363894638956389663897638986389963900639016390263903639046390563906639076390863909639106391163912639136391463915639166391763918639196392063921639226392363924639256392663927639286392963930639316393263933639346393563936639376393863939639406394163942639436394463945639466394763948639496395063951639526395363954639556395663957639586395963960639616396263963639646396563966639676396863969639706397163972639736397463975639766397763978639796398063981639826398363984639856398663987639886398963990639916399263993639946399563996639976399863999640006400164002640036400464005640066400764008640096401064011640126401364014640156401664017640186401964020640216402264023640246402564026640276402864029640306403164032640336403464035640366403764038640396404064041640426404364044640456404664047640486404964050640516405264053640546405564056640576405864059640606406164062640636406464065640666406764068640696407064071640726407364074640756407664077640786407964080640816408264083640846408564086640876408864089640906409164092640936409464095640966409764098640996410064101641026410364104641056410664107641086410964110641116411264113641146411564116641176411864119641206412164122641236412464125641266412764128641296413064131641326413364134641356413664137641386413964140641416414264143641446414564146641476414864149641506415164152641536415464155641566415764158641596416064161641626416364164641656416664167641686416964170641716417264173641746417564176641776417864179641806418164182641836418464185641866418764188641896419064191641926419364194641956419664197641986419964200642016420264203642046420564206642076420864209642106421164212642136421464215642166421764218642196422064221642226422364224642256422664227642286422964230642316423264233642346423564236642376423864239642406424164242642436424464245642466424764248642496425064251642526425364254642556425664257642586425964260642616426264263642646426564266642676426864269642706427164272642736427464275642766427764278642796428064281642826428364284642856428664287642886428964290642916429264293642946429564296642976429864299643006430164302643036430464305643066430764308643096431064311643126431364314643156431664317643186431964320643216432264323643246432564326643276432864329643306433164332643336433464335643366433764338643396434064341643426434364344643456434664347643486434964350643516435264353643546435564356643576435864359643606436164362643636436464365643666436764368643696437064371643726437364374643756437664377643786437964380643816438264383643846438564386643876438864389643906439164392643936439464395643966439764398643996440064401644026440364404644056440664407644086440964410644116441264413644146441564416644176441864419644206442164422644236442464425644266442764428644296443064431644326443364434644356443664437644386443964440644416444264443644446444564446644476444864449644506445164452644536445464455644566445764458644596446064461644626446364464644656446664467644686446964470644716447264473644746447564476644776447864479644806448164482644836448464485644866448764488644896449064491644926449364494644956449664497644986449964500645016450264503645046450564506645076450864509645106451164512645136451464515645166451764518645196452064521645226452364524645256452664527645286452964530645316453264533645346453564536645376453864539645406454164542645436454464545645466454764548645496455064551645526455364554645556455664557645586455964560645616456264563645646456564566645676456864569645706457164572645736457464575645766457764578645796458064581645826458364584645856458664587645886458964590645916459264593645946459564596645976459864599646006460164602646036460464605646066460764608646096461064611646126461364614646156461664617646186461964620646216462264623646246462564626646276462864629646306463164632646336463464635646366463764638646396464064641646426464364644646456464664647646486464964650646516465264653646546465564656646576465864659646606466164662646636466464665646666466764668646696467064671646726467364674646756467664677646786467964680646816468264683646846468564686646876468864689646906469164692646936469464695646966469764698646996470064701647026470364704647056470664707647086470964710647116471264713647146471564716647176471864719647206472164722647236472464725647266472764728647296473064731647326473364734647356473664737647386473964740647416474264743647446474564746647476474864749647506475164752647536475464755647566475764758647596476064761647626476364764647656476664767647686476964770647716477264773647746477564776647776477864779647806478164782647836478464785647866478764788647896479064791647926479364794647956479664797647986479964800648016480264803648046480564806648076480864809648106481164812648136481464815648166481764818648196482064821648226482364824648256482664827648286482964830648316483264833648346483564836648376483864839648406484164842648436484464845648466484764848648496485064851648526485364854648556485664857648586485964860648616486264863648646486564866648676486864869648706487164872648736487464875648766487764878648796488064881648826488364884648856488664887648886488964890648916489264893648946489564896648976489864899649006490164902649036490464905649066490764908649096491064911649126491364914649156491664917649186491964920649216492264923649246492564926649276492864929649306493164932649336493464935649366493764938649396494064941649426494364944649456494664947649486494964950649516495264953649546495564956649576495864959649606496164962649636496464965649666496764968649696497064971649726497364974649756497664977649786497964980649816498264983649846498564986649876498864989649906499164992649936499464995649966499764998649996500065001650026500365004650056500665007650086500965010650116501265013650146501565016650176501865019650206502165022650236502465025650266502765028650296503065031650326503365034650356503665037650386503965040650416504265043650446504565046650476504865049650506505165052650536505465055650566505765058650596506065061650626506365064650656506665067650686506965070650716507265073650746507565076650776507865079650806508165082650836508465085650866508765088650896509065091650926509365094650956509665097650986509965100651016510265103651046510565106651076510865109651106511165112651136511465115651166511765118651196512065121651226512365124651256512665127651286512965130651316513265133651346513565136651376513865139651406514165142651436514465145651466514765148651496515065151651526515365154651556515665157651586515965160651616516265163651646516565166651676516865169651706517165172651736517465175651766517765178651796518065181651826518365184651856518665187651886518965190651916519265193651946519565196651976519865199652006520165202652036520465205652066520765208652096521065211652126521365214652156521665217652186521965220652216522265223652246522565226652276522865229652306523165232652336523465235652366523765238652396524065241652426524365244652456524665247652486524965250652516525265253652546525565256652576525865259652606526165262652636526465265652666526765268652696527065271652726527365274652756527665277652786527965280652816528265283652846528565286652876528865289652906529165292652936529465295652966529765298652996530065301653026530365304653056530665307653086530965310653116531265313653146531565316653176531865319653206532165322653236532465325653266532765328653296533065331653326533365334653356533665337653386533965340653416534265343653446534565346653476534865349653506535165352653536535465355653566535765358653596536065361653626536365364653656536665367653686536965370653716537265373653746537565376653776537865379653806538165382653836538465385653866538765388653896539065391653926539365394653956539665397653986539965400654016540265403654046540565406654076540865409654106541165412654136541465415654166541765418654196542065421654226542365424654256542665427654286542965430654316543265433654346543565436654376543865439654406544165442654436544465445654466544765448654496545065451654526545365454654556545665457654586545965460654616546265463654646546565466654676546865469654706547165472654736547465475654766547765478654796548065481654826548365484654856548665487654886548965490654916549265493654946549565496654976549865499655006550165502655036550465505655066550765508655096551065511655126551365514655156551665517655186551965520655216552265523655246552565526655276552865529655306553165532655336553465535655366553765538655396554065541655426554365544655456554665547655486554965550655516555265553655546555565556655576555865559655606556165562655636556465565655666556765568655696557065571655726557365574655756557665577655786557965580655816558265583655846558565586655876558865589655906559165592655936559465595655966559765598655996560065601656026560365604656056560665607656086560965610656116561265613656146561565616656176561865619656206562165622656236562465625656266562765628656296563065631656326563365634656356563665637656386563965640656416564265643656446564565646656476564865649656506565165652656536565465655656566565765658656596566065661656626566365664656656566665667656686566965670656716567265673656746567565676656776567865679656806568165682656836568465685656866568765688656896569065691656926569365694656956569665697656986569965700657016570265703657046570565706657076570865709657106571165712657136571465715657166571765718657196572065721657226572365724657256572665727657286572965730657316573265733657346573565736657376573865739657406574165742657436574465745657466574765748657496575065751657526575365754657556575665757657586575965760657616576265763657646576565766657676576865769657706577165772657736577465775657766577765778657796578065781657826578365784657856578665787657886578965790657916579265793657946579565796657976579865799658006580165802658036580465805658066580765808658096581065811658126581365814658156581665817658186581965820658216582265823658246582565826658276582865829658306583165832658336583465835658366583765838658396584065841658426584365844658456584665847658486584965850658516585265853658546585565856658576585865859658606586165862658636586465865658666586765868658696587065871658726587365874658756587665877658786587965880658816588265883658846588565886658876588865889658906589165892658936589465895658966589765898658996590065901659026590365904659056590665907659086590965910659116591265913659146591565916659176591865919659206592165922659236592465925659266592765928659296593065931659326593365934659356593665937659386593965940659416594265943659446594565946659476594865949659506595165952659536595465955659566595765958659596596065961659626596365964659656596665967659686596965970659716597265973659746597565976659776597865979659806598165982659836598465985659866598765988659896599065991659926599365994659956599665997659986599966000660016600266003660046600566006660076600866009660106601166012660136601466015660166601766018660196602066021660226602366024660256602666027660286602966030660316603266033660346603566036660376603866039660406604166042660436604466045660466604766048660496605066051660526605366054660556605666057660586605966060660616606266063660646606566066660676606866069660706607166072660736607466075660766607766078660796608066081660826608366084660856608666087660886608966090660916609266093660946609566096660976609866099661006610166102661036610466105661066610766108661096611066111661126611366114661156611666117661186611966120661216612266123661246612566126661276612866129661306613166132661336613466135661366613766138661396614066141661426614366144661456614666147661486614966150661516615266153661546615566156661576615866159661606616166162661636616466165661666616766168661696617066171661726617366174661756617666177661786617966180661816618266183661846618566186661876618866189661906619166192661936619466195661966619766198661996620066201662026620366204662056620666207662086620966210662116621266213662146621566216662176621866219662206622166222662236622466225662266622766228662296623066231662326623366234662356623666237662386623966240662416624266243662446624566246662476624866249662506625166252662536625466255662566625766258662596626066261662626626366264662656626666267662686626966270662716627266273662746627566276662776627866279662806628166282662836628466285662866628766288662896629066291662926629366294662956629666297662986629966300663016630266303663046630566306663076630866309663106631166312663136631466315663166631766318663196632066321663226632366324663256632666327663286632966330663316633266333663346633566336663376633866339663406634166342663436634466345663466634766348663496635066351663526635366354663556635666357663586635966360663616636266363663646636566366663676636866369663706637166372663736637466375663766637766378663796638066381663826638366384663856638666387663886638966390663916639266393663946639566396663976639866399664006640166402664036640466405664066640766408664096641066411664126641366414664156641666417664186641966420664216642266423664246642566426664276642866429664306643166432664336643466435664366643766438664396644066441664426644366444664456644666447664486644966450664516645266453664546645566456664576645866459664606646166462664636646466465664666646766468664696647066471664726647366474664756647666477664786647966480664816648266483664846648566486664876648866489664906649166492664936649466495664966649766498664996650066501665026650366504665056650666507665086650966510665116651266513665146651566516665176651866519665206652166522665236652466525665266652766528665296653066531665326653366534665356653666537665386653966540665416654266543665446654566546665476654866549665506655166552665536655466555665566655766558665596656066561665626656366564665656656666567665686656966570665716657266573665746657566576665776657866579665806658166582665836658466585665866658766588665896659066591665926659366594665956659666597665986659966600666016660266603666046660566606666076660866609666106661166612666136661466615666166661766618666196662066621666226662366624666256662666627666286662966630666316663266633666346663566636666376663866639666406664166642666436664466645666466664766648666496665066651666526665366654666556665666657666586665966660666616666266663666646666566666666676666866669666706667166672666736667466675666766667766678666796668066681666826668366684666856668666687666886668966690666916669266693666946669566696666976669866699667006670166702667036670466705667066670766708667096671066711667126671366714667156671666717667186671966720667216672266723667246672566726667276672866729667306673166732667336673466735667366673766738667396674066741667426674366744667456674666747667486674966750667516675266753667546675566756667576675866759667606676166762667636676466765667666676766768667696677066771667726677366774667756677666777667786677966780667816678266783667846678566786667876678866789667906679166792667936679466795667966679766798667996680066801668026680366804668056680666807668086680966810668116681266813668146681566816668176681866819668206682166822668236682466825668266682766828668296683066831668326683366834668356683666837668386683966840668416684266843668446684566846668476684866849668506685166852668536685466855668566685766858668596686066861668626686366864668656686666867668686686966870668716687266873668746687566876668776687866879668806688166882668836688466885668866688766888668896689066891668926689366894668956689666897668986689966900669016690266903669046690566906669076690866909669106691166912669136691466915669166691766918669196692066921669226692366924669256692666927669286692966930669316693266933669346693566936669376693866939669406694166942669436694466945669466694766948669496695066951669526695366954669556695666957669586695966960669616696266963669646696566966669676696866969669706697166972669736697466975669766697766978669796698066981669826698366984669856698666987669886698966990669916699266993669946699566996669976699866999670006700167002670036700467005670066700767008670096701067011670126701367014670156701667017670186701967020670216702267023670246702567026670276702867029670306703167032670336703467035670366703767038670396704067041670426704367044670456704667047670486704967050670516705267053670546705567056670576705867059670606706167062670636706467065670666706767068670696707067071670726707367074670756707667077670786707967080670816708267083670846708567086670876708867089670906709167092670936709467095670966709767098670996710067101671026710367104671056710667107671086710967110671116711267113671146711567116671176711867119671206712167122671236712467125671266712767128671296713067131671326713367134671356713667137671386713967140671416714267143671446714567146671476714867149671506715167152671536715467155671566715767158671596716067161671626716367164671656716667167671686716967170671716717267173671746717567176671776717867179671806718167182671836718467185671866718767188671896719067191671926719367194671956719667197671986719967200672016720267203672046720567206672076720867209672106721167212672136721467215672166721767218672196722067221672226722367224672256722667227672286722967230672316723267233672346723567236672376723867239672406724167242672436724467245672466724767248672496725067251672526725367254672556725667257672586725967260672616726267263672646726567266672676726867269672706727167272672736727467275672766727767278672796728067281672826728367284672856728667287672886728967290672916729267293672946729567296672976729867299673006730167302673036730467305673066730767308673096731067311673126731367314673156731667317673186731967320673216732267323673246732567326673276732867329673306733167332673336733467335673366733767338673396734067341673426734367344673456734667347673486734967350673516735267353673546735567356673576735867359673606736167362673636736467365673666736767368673696737067371673726737367374673756737667377673786737967380673816738267383673846738567386673876738867389673906739167392673936739467395673966739767398673996740067401674026740367404674056740667407674086740967410674116741267413674146741567416674176741867419674206742167422674236742467425674266742767428674296743067431674326743367434674356743667437674386743967440674416744267443674446744567446674476744867449674506745167452674536745467455674566745767458674596746067461674626746367464674656746667467674686746967470674716747267473674746747567476674776747867479674806748167482674836748467485674866748767488674896749067491674926749367494674956749667497674986749967500675016750267503675046750567506675076750867509675106751167512675136751467515675166751767518675196752067521675226752367524675256752667527675286752967530675316753267533675346753567536675376753867539675406754167542675436754467545675466754767548675496755067551675526755367554675556755667557675586755967560675616756267563675646756567566675676756867569675706757167572675736757467575675766757767578675796758067581675826758367584675856758667587675886758967590675916759267593675946759567596675976759867599676006760167602676036760467605676066760767608676096761067611676126761367614676156761667617676186761967620676216762267623676246762567626676276762867629676306763167632676336763467635676366763767638676396764067641676426764367644676456764667647676486764967650676516765267653676546765567656676576765867659676606766167662676636766467665676666766767668676696767067671676726767367674676756767667677676786767967680676816768267683676846768567686676876768867689676906769167692676936769467695676966769767698676996770067701677026770367704677056770667707677086770967710677116771267713677146771567716677176771867719677206772167722677236772467725677266772767728677296773067731677326773367734677356773667737677386773967740677416774267743677446774567746677476774867749677506775167752677536775467755677566775767758677596776067761677626776367764677656776667767677686776967770677716777267773677746777567776677776777867779677806778167782677836778467785677866778767788677896779067791677926779367794677956779667797677986779967800678016780267803678046780567806678076780867809678106781167812678136781467815678166781767818678196782067821678226782367824678256782667827678286782967830678316783267833678346783567836678376783867839678406784167842678436784467845678466784767848678496785067851678526785367854678556785667857678586785967860678616786267863678646786567866678676786867869678706787167872678736787467875678766787767878678796788067881678826788367884678856788667887678886788967890678916789267893678946789567896678976789867899679006790167902679036790467905679066790767908679096791067911679126791367914679156791667917679186791967920679216792267923679246792567926679276792867929679306793167932679336793467935679366793767938679396794067941679426794367944679456794667947679486794967950679516795267953679546795567956679576795867959679606796167962679636796467965679666796767968679696797067971679726797367974679756797667977679786797967980679816798267983679846798567986679876798867989679906799167992679936799467995679966799767998679996800068001680026800368004680056800668007680086800968010680116801268013680146801568016680176801868019680206802168022680236802468025680266802768028680296803068031680326803368034680356803668037680386803968040680416804268043680446804568046680476804868049680506805168052680536805468055680566805768058680596806068061680626806368064680656806668067680686806968070680716807268073680746807568076680776807868079680806808168082680836808468085680866808768088680896809068091680926809368094680956809668097680986809968100681016810268103681046810568106681076810868109681106811168112681136811468115681166811768118681196812068121681226812368124681256812668127681286812968130681316813268133681346813568136681376813868139681406814168142681436814468145681466814768148681496815068151681526815368154681556815668157681586815968160681616816268163681646816568166681676816868169681706817168172681736817468175681766817768178681796818068181681826818368184681856818668187681886818968190681916819268193681946819568196681976819868199682006820168202682036820468205682066820768208682096821068211682126821368214682156821668217682186821968220682216822268223682246822568226682276822868229682306823168232682336823468235682366823768238682396824068241682426824368244682456824668247682486824968250682516825268253682546825568256682576825868259682606826168262682636826468265682666826768268682696827068271682726827368274682756827668277682786827968280682816828268283682846828568286682876828868289682906829168292682936829468295682966829768298682996830068301683026830368304683056830668307683086830968310683116831268313683146831568316683176831868319683206832168322683236832468325683266832768328683296833068331683326833368334683356833668337683386833968340683416834268343683446834568346683476834868349683506835168352683536835468355683566835768358683596836068361683626836368364683656836668367683686836968370683716837268373683746837568376683776837868379683806838168382683836838468385683866838768388683896839068391683926839368394683956839668397683986839968400684016840268403684046840568406684076840868409684106841168412684136841468415684166841768418684196842068421684226842368424684256842668427684286842968430684316843268433684346843568436684376843868439684406844168442684436844468445684466844768448684496845068451684526845368454684556845668457684586845968460684616846268463684646846568466684676846868469684706847168472684736847468475684766847768478684796848068481684826848368484684856848668487684886848968490684916849268493684946849568496684976849868499685006850168502685036850468505685066850768508685096851068511685126851368514685156851668517685186851968520685216852268523685246852568526685276852868529685306853168532685336853468535685366853768538685396854068541685426854368544685456854668547685486854968550685516855268553685546855568556685576855868559685606856168562685636856468565685666856768568685696857068571685726857368574685756857668577685786857968580685816858268583685846858568586685876858868589685906859168592685936859468595685966859768598685996860068601686026860368604686056860668607686086860968610686116861268613686146861568616686176861868619686206862168622686236862468625686266862768628686296863068631686326863368634686356863668637686386863968640686416864268643686446864568646686476864868649686506865168652686536865468655686566865768658686596866068661686626866368664686656866668667686686866968670686716867268673686746867568676686776867868679686806868168682686836868468685686866868768688686896869068691686926869368694686956869668697686986869968700687016870268703687046870568706687076870868709687106871168712687136871468715687166871768718687196872068721687226872368724687256872668727687286872968730687316873268733687346873568736687376873868739687406874168742687436874468745687466874768748687496875068751687526875368754687556875668757687586875968760687616876268763687646876568766687676876868769687706877168772687736877468775687766877768778687796878068781687826878368784687856878668787687886878968790687916879268793687946879568796687976879868799688006880168802688036880468805688066880768808688096881068811688126881368814688156881668817688186881968820688216882268823688246882568826688276882868829688306883168832688336883468835688366883768838688396884068841688426884368844688456884668847688486884968850688516885268853688546885568856688576885868859688606886168862688636886468865688666886768868688696887068871688726887368874688756887668877688786887968880688816888268883688846888568886688876888868889688906889168892688936889468895688966889768898688996890068901689026890368904689056890668907689086890968910689116891268913689146891568916689176891868919689206892168922689236892468925689266892768928689296893068931689326893368934689356893668937689386893968940689416894268943689446894568946689476894868949689506895168952689536895468955689566895768958689596896068961689626896368964689656896668967689686896968970689716897268973689746897568976689776897868979689806898168982689836898468985689866898768988689896899068991689926899368994689956899668997689986899969000690016900269003690046900569006690076900869009690106901169012690136901469015690166901769018690196902069021690226902369024690256902669027690286902969030690316903269033690346903569036690376903869039690406904169042690436904469045690466904769048690496905069051690526905369054690556905669057690586905969060690616906269063690646906569066690676906869069690706907169072690736907469075690766907769078690796908069081690826908369084690856908669087690886908969090690916909269093690946909569096690976909869099691006910169102691036910469105691066910769108691096911069111691126911369114691156911669117691186911969120691216912269123691246912569126691276912869129691306913169132691336913469135691366913769138691396914069141691426914369144691456914669147691486914969150691516915269153691546915569156691576915869159691606916169162691636916469165691666916769168691696917069171691726917369174691756917669177691786917969180691816918269183691846918569186691876918869189691906919169192691936919469195691966919769198691996920069201692026920369204692056920669207692086920969210692116921269213692146921569216692176921869219692206922169222692236922469225692266922769228692296923069231692326923369234692356923669237692386923969240692416924269243692446924569246692476924869249692506925169252692536925469255692566925769258692596926069261692626926369264692656926669267692686926969270692716927269273692746927569276692776927869279692806928169282692836928469285692866928769288692896929069291692926929369294692956929669297692986929969300693016930269303693046930569306693076930869309693106931169312693136931469315693166931769318693196932069321693226932369324693256932669327693286932969330693316933269333693346933569336693376933869339693406934169342693436934469345693466934769348693496935069351693526935369354693556935669357693586935969360693616936269363693646936569366693676936869369693706937169372693736937469375693766937769378693796938069381693826938369384693856938669387693886938969390693916939269393693946939569396693976939869399694006940169402694036940469405694066940769408694096941069411694126941369414694156941669417694186941969420694216942269423694246942569426694276942869429694306943169432694336943469435694366943769438694396944069441694426944369444694456944669447694486944969450694516945269453694546945569456694576945869459694606946169462694636946469465694666946769468694696947069471694726947369474694756947669477694786947969480694816948269483694846948569486694876948869489694906949169492694936949469495694966949769498694996950069501695026950369504695056950669507695086950969510695116951269513695146951569516695176951869519695206952169522695236952469525695266952769528695296953069531695326953369534695356953669537695386953969540695416954269543695446954569546695476954869549695506955169552695536955469555695566955769558695596956069561695626956369564695656956669567695686956969570695716957269573695746957569576695776957869579695806958169582695836958469585695866958769588695896959069591695926959369594695956959669597695986959969600696016960269603696046960569606696076960869609696106961169612696136961469615696166961769618696196962069621696226962369624696256962669627696286962969630696316963269633696346963569636696376963869639696406964169642696436964469645696466964769648696496965069651696526965369654696556965669657696586965969660696616966269663696646966569666696676966869669696706967169672696736967469675696766967769678696796968069681696826968369684696856968669687696886968969690696916969269693696946969569696696976969869699697006970169702697036970469705697066970769708697096971069711697126971369714697156971669717697186971969720697216972269723697246972569726697276972869729697306973169732697336973469735697366973769738697396974069741697426974369744697456974669747697486974969750697516975269753697546975569756697576975869759697606976169762697636976469765697666976769768697696977069771697726977369774697756977669777697786977969780697816978269783697846978569786697876978869789697906979169792697936979469795697966979769798697996980069801698026980369804698056980669807698086980969810698116981269813698146981569816698176981869819698206982169822698236982469825698266982769828698296983069831698326983369834698356983669837698386983969840698416984269843698446984569846698476984869849698506985169852698536985469855698566985769858698596986069861698626986369864698656986669867698686986969870698716987269873698746987569876698776987869879698806988169882698836988469885698866988769888698896989069891698926989369894698956989669897698986989969900699016990269903699046990569906699076990869909699106991169912699136991469915699166991769918699196992069921699226992369924699256992669927699286992969930699316993269933699346993569936699376993869939699406994169942699436994469945699466994769948699496995069951699526995369954699556995669957699586995969960699616996269963699646996569966699676996869969699706997169972699736997469975699766997769978699796998069981699826998369984699856998669987699886998969990699916999269993699946999569996699976999869999700007000170002700037000470005700067000770008700097001070011700127001370014700157001670017700187001970020700217002270023700247002570026700277002870029700307003170032700337003470035700367003770038700397004070041700427004370044700457004670047700487004970050700517005270053700547005570056700577005870059700607006170062700637006470065700667006770068700697007070071700727007370074700757007670077700787007970080700817008270083700847008570086700877008870089700907009170092700937009470095700967009770098700997010070101701027010370104701057010670107701087010970110701117011270113701147011570116701177011870119701207012170122701237012470125701267012770128701297013070131701327013370134701357013670137701387013970140701417014270143701447014570146701477014870149701507015170152701537015470155701567015770158701597016070161701627016370164701657016670167701687016970170701717017270173701747017570176701777017870179701807018170182701837018470185701867018770188701897019070191701927019370194701957019670197701987019970200702017020270203702047020570206702077020870209702107021170212702137021470215702167021770218702197022070221702227022370224702257022670227702287022970230702317023270233702347023570236702377023870239702407024170242702437024470245702467024770248702497025070251702527025370254702557025670257702587025970260702617026270263702647026570266702677026870269702707027170272702737027470275702767027770278702797028070281702827028370284702857028670287702887028970290702917029270293702947029570296702977029870299703007030170302703037030470305703067030770308703097031070311703127031370314703157031670317703187031970320703217032270323703247032570326703277032870329703307033170332703337033470335703367033770338703397034070341703427034370344703457034670347703487034970350703517035270353703547035570356703577035870359703607036170362703637036470365703667036770368703697037070371703727037370374703757037670377703787037970380703817038270383703847038570386703877038870389703907039170392703937039470395703967039770398703997040070401704027040370404704057040670407704087040970410704117041270413704147041570416704177041870419704207042170422704237042470425704267042770428704297043070431704327043370434704357043670437704387043970440704417044270443704447044570446704477044870449704507045170452704537045470455704567045770458704597046070461704627046370464704657046670467704687046970470704717047270473704747047570476704777047870479704807048170482704837048470485704867048770488704897049070491704927049370494704957049670497704987049970500705017050270503705047050570506705077050870509705107051170512705137051470515705167051770518705197052070521705227052370524705257052670527705287052970530705317053270533705347053570536705377053870539705407054170542705437054470545705467054770548705497055070551705527055370554705557055670557705587055970560705617056270563705647056570566705677056870569705707057170572705737057470575705767057770578705797058070581705827058370584705857058670587705887058970590705917059270593705947059570596705977059870599706007060170602706037060470605706067060770608706097061070611706127061370614706157061670617706187061970620706217062270623706247062570626706277062870629706307063170632706337063470635706367063770638706397064070641706427064370644706457064670647706487064970650706517065270653706547065570656706577065870659706607066170662706637066470665706667066770668706697067070671706727067370674706757067670677706787067970680706817068270683706847068570686706877068870689706907069170692706937069470695706967069770698706997070070701707027070370704707057070670707707087070970710707117071270713707147071570716707177071870719707207072170722707237072470725707267072770728707297073070731707327073370734707357073670737707387073970740707417074270743707447074570746707477074870749707507075170752707537075470755707567075770758707597076070761707627076370764707657076670767707687076970770707717077270773707747077570776707777077870779707807078170782707837078470785707867078770788707897079070791707927079370794707957079670797707987079970800708017080270803708047080570806708077080870809708107081170812708137081470815708167081770818708197082070821708227082370824708257082670827708287082970830708317083270833708347083570836708377083870839708407084170842708437084470845708467084770848708497085070851708527085370854708557085670857708587085970860708617086270863708647086570866708677086870869708707087170872708737087470875708767087770878708797088070881708827088370884708857088670887708887088970890708917089270893708947089570896708977089870899709007090170902709037090470905709067090770908709097091070911709127091370914709157091670917709187091970920709217092270923709247092570926709277092870929709307093170932709337093470935709367093770938709397094070941709427094370944709457094670947709487094970950709517095270953709547095570956709577095870959709607096170962709637096470965709667096770968709697097070971709727097370974709757097670977709787097970980709817098270983709847098570986709877098870989709907099170992709937099470995709967099770998709997100071001710027100371004710057100671007710087100971010710117101271013710147101571016710177101871019710207102171022710237102471025710267102771028710297103071031710327103371034710357103671037710387103971040710417104271043710447104571046710477104871049710507105171052710537105471055710567105771058710597106071061710627106371064710657106671067710687106971070710717107271073710747107571076710777107871079710807108171082710837108471085710867108771088710897109071091710927109371094710957109671097710987109971100711017110271103711047110571106711077110871109711107111171112711137111471115711167111771118711197112071121711227112371124711257112671127711287112971130711317113271133711347113571136711377113871139711407114171142711437114471145711467114771148711497115071151711527115371154711557115671157711587115971160711617116271163711647116571166711677116871169711707117171172711737117471175711767117771178711797118071181711827118371184711857118671187711887118971190711917119271193711947119571196711977119871199712007120171202712037120471205712067120771208712097121071211712127121371214712157121671217712187121971220712217122271223712247122571226712277122871229712307123171232712337123471235712367123771238712397124071241712427124371244712457124671247712487124971250712517125271253712547125571256712577125871259712607126171262712637126471265712667126771268712697127071271712727127371274712757127671277712787127971280712817128271283712847128571286712877128871289712907129171292712937129471295712967129771298712997130071301713027130371304713057130671307713087130971310713117131271313713147131571316713177131871319713207132171322713237132471325713267132771328713297133071331713327133371334713357133671337713387133971340713417134271343713447134571346713477134871349713507135171352713537135471355713567135771358713597136071361713627136371364713657136671367713687136971370713717137271373713747137571376713777137871379713807138171382713837138471385713867138771388713897139071391713927139371394713957139671397713987139971400714017140271403714047140571406714077140871409714107141171412714137141471415714167141771418714197142071421714227142371424714257142671427714287142971430714317143271433714347143571436714377143871439714407144171442714437144471445714467144771448714497145071451714527145371454714557145671457714587145971460714617146271463714647146571466714677146871469714707147171472714737147471475714767147771478714797148071481714827148371484714857148671487714887148971490714917149271493714947149571496714977149871499715007150171502715037150471505715067150771508715097151071511715127151371514715157151671517715187151971520715217152271523715247152571526715277152871529715307153171532715337153471535715367153771538715397154071541715427154371544715457154671547715487154971550715517155271553715547155571556715577155871559715607156171562715637156471565715667156771568715697157071571715727157371574715757157671577715787157971580715817158271583715847158571586715877158871589715907159171592715937159471595715967159771598715997160071601716027160371604716057160671607716087160971610716117161271613716147161571616716177161871619716207162171622716237162471625716267162771628716297163071631716327163371634716357163671637716387163971640716417164271643716447164571646716477164871649716507165171652716537165471655716567165771658716597166071661716627166371664716657166671667716687166971670716717167271673716747167571676716777167871679716807168171682716837168471685716867168771688716897169071691716927169371694716957169671697716987169971700717017170271703717047170571706717077170871709717107171171712717137171471715717167171771718717197172071721717227172371724717257172671727717287172971730717317173271733717347173571736717377173871739717407174171742717437174471745717467174771748717497175071751717527175371754717557175671757717587175971760717617176271763717647176571766717677176871769717707177171772717737177471775717767177771778717797178071781717827178371784717857178671787717887178971790717917179271793717947179571796717977179871799718007180171802718037180471805718067180771808718097181071811718127181371814718157181671817718187181971820718217182271823718247182571826718277182871829718307183171832718337183471835718367183771838718397184071841718427184371844718457184671847718487184971850718517185271853718547185571856718577185871859718607186171862718637186471865718667186771868718697187071871718727187371874718757187671877718787187971880718817188271883718847188571886718877188871889718907189171892718937189471895718967189771898718997190071901719027190371904719057190671907719087190971910719117191271913719147191571916719177191871919719207192171922719237192471925719267192771928719297193071931719327193371934719357193671937719387193971940719417194271943719447194571946719477194871949719507195171952719537195471955719567195771958719597196071961719627196371964719657196671967719687196971970719717197271973719747197571976719777197871979719807198171982719837198471985719867198771988719897199071991719927199371994719957199671997719987199972000720017200272003720047200572006720077200872009720107201172012720137201472015720167201772018720197202072021720227202372024720257202672027720287202972030720317203272033720347203572036720377203872039720407204172042720437204472045720467204772048720497205072051720527205372054720557205672057720587205972060720617206272063720647206572066720677206872069720707207172072720737207472075720767207772078720797208072081720827208372084720857208672087720887208972090720917209272093720947209572096720977209872099721007210172102721037210472105721067210772108721097211072111721127211372114721157211672117721187211972120721217212272123721247212572126721277212872129721307213172132721337213472135721367213772138721397214072141721427214372144721457214672147721487214972150721517215272153721547215572156721577215872159721607216172162721637216472165721667216772168721697217072171721727217372174721757217672177721787217972180721817218272183721847218572186721877218872189721907219172192721937219472195721967219772198721997220072201722027220372204722057220672207722087220972210722117221272213722147221572216722177221872219722207222172222722237222472225722267222772228722297223072231722327223372234722357223672237722387223972240722417224272243722447224572246722477224872249722507225172252722537225472255722567225772258722597226072261722627226372264722657226672267722687226972270722717227272273722747227572276722777227872279722807228172282722837228472285722867228772288722897229072291722927229372294722957229672297722987229972300723017230272303723047230572306723077230872309723107231172312723137231472315723167231772318723197232072321723227232372324723257232672327723287232972330723317233272333723347233572336723377233872339723407234172342723437234472345723467234772348723497235072351723527235372354723557235672357723587235972360723617236272363723647236572366723677236872369723707237172372723737237472375723767237772378723797238072381723827238372384723857238672387723887238972390723917239272393723947239572396723977239872399724007240172402724037240472405724067240772408724097241072411724127241372414724157241672417724187241972420724217242272423724247242572426724277242872429724307243172432724337243472435724367243772438724397244072441724427244372444724457244672447724487244972450724517245272453724547245572456724577245872459724607246172462724637246472465724667246772468724697247072471724727247372474724757247672477724787247972480724817248272483724847248572486724877248872489724907249172492724937249472495724967249772498724997250072501725027250372504725057250672507725087250972510725117251272513725147251572516725177251872519725207252172522725237252472525725267252772528725297253072531725327253372534725357253672537725387253972540725417254272543725447254572546725477254872549725507255172552725537255472555725567255772558725597256072561725627256372564725657256672567725687256972570725717257272573725747257572576725777257872579725807258172582725837258472585725867258772588725897259072591725927259372594725957259672597725987259972600726017260272603726047260572606726077260872609726107261172612726137261472615726167261772618726197262072621726227262372624726257262672627726287262972630726317263272633726347263572636726377263872639726407264172642726437264472645726467264772648726497265072651726527265372654726557265672657726587265972660726617266272663726647266572666726677266872669726707267172672726737267472675726767267772678726797268072681726827268372684726857268672687726887268972690726917269272693726947269572696726977269872699727007270172702727037270472705727067270772708727097271072711727127271372714727157271672717727187271972720727217272272723727247272572726727277272872729727307273172732727337273472735727367273772738727397274072741727427274372744727457274672747727487274972750727517275272753727547275572756727577275872759727607276172762727637276472765727667276772768727697277072771727727277372774727757277672777727787277972780727817278272783727847278572786727877278872789727907279172792727937279472795727967279772798727997280072801728027280372804728057280672807728087280972810728117281272813728147281572816728177281872819728207282172822728237282472825728267282772828728297283072831728327283372834728357283672837728387283972840728417284272843728447284572846728477284872849728507285172852728537285472855728567285772858728597286072861728627286372864728657286672867728687286972870728717287272873728747287572876728777287872879728807288172882728837288472885728867288772888728897289072891728927289372894728957289672897728987289972900729017290272903729047290572906729077290872909729107291172912729137291472915729167291772918729197292072921729227292372924729257292672927729287292972930729317293272933729347293572936729377293872939729407294172942729437294472945729467294772948729497295072951729527295372954729557295672957729587295972960729617296272963729647296572966729677296872969729707297172972729737297472975729767297772978729797298072981729827298372984729857298672987729887298972990729917299272993729947299572996729977299872999730007300173002730037300473005730067300773008730097301073011730127301373014730157301673017730187301973020730217302273023730247302573026730277302873029730307303173032730337303473035730367303773038730397304073041730427304373044730457304673047730487304973050730517305273053730547305573056730577305873059730607306173062730637306473065730667306773068730697307073071730727307373074730757307673077730787307973080730817308273083730847308573086730877308873089730907309173092730937309473095730967309773098730997310073101731027310373104731057310673107731087310973110731117311273113731147311573116731177311873119731207312173122731237312473125731267312773128731297313073131731327313373134731357313673137731387313973140731417314273143731447314573146731477314873149731507315173152731537315473155731567315773158731597316073161731627316373164731657316673167731687316973170731717317273173731747317573176731777317873179731807318173182731837318473185731867318773188731897319073191731927319373194731957319673197731987319973200732017320273203732047320573206732077320873209732107321173212732137321473215732167321773218732197322073221732227322373224732257322673227732287322973230732317323273233732347323573236732377323873239732407324173242732437324473245732467324773248732497325073251732527325373254732557325673257732587325973260732617326273263732647326573266732677326873269732707327173272732737327473275732767327773278732797328073281732827328373284732857328673287732887328973290732917329273293732947329573296732977329873299733007330173302733037330473305733067330773308733097331073311733127331373314733157331673317733187331973320733217332273323733247332573326733277332873329733307333173332733337333473335733367333773338733397334073341733427334373344733457334673347733487334973350733517335273353733547335573356733577335873359733607336173362733637336473365733667336773368733697337073371733727337373374733757337673377733787337973380733817338273383733847338573386733877338873389733907339173392733937339473395733967339773398733997340073401734027340373404734057340673407734087340973410734117341273413734147341573416734177341873419734207342173422734237342473425734267342773428734297343073431734327343373434734357343673437734387343973440734417344273443734447344573446734477344873449734507345173452734537345473455734567345773458734597346073461734627346373464734657346673467734687346973470734717347273473734747347573476734777347873479734807348173482734837348473485734867348773488734897349073491734927349373494734957349673497734987349973500735017350273503735047350573506735077350873509735107351173512735137351473515735167351773518735197352073521735227352373524735257352673527735287352973530735317353273533735347353573536735377353873539735407354173542735437354473545735467354773548735497355073551735527355373554735557355673557735587355973560735617356273563735647356573566735677356873569735707357173572735737357473575735767357773578735797358073581735827358373584735857358673587735887358973590735917359273593735947359573596735977359873599736007360173602736037360473605736067360773608736097361073611736127361373614736157361673617736187361973620736217362273623736247362573626736277362873629736307363173632736337363473635736367363773638736397364073641736427364373644736457364673647736487364973650736517365273653736547365573656736577365873659736607366173662736637366473665736667366773668736697367073671736727367373674736757367673677736787367973680736817368273683736847368573686736877368873689736907369173692736937369473695736967369773698736997370073701737027370373704737057370673707737087370973710737117371273713737147371573716737177371873719737207372173722737237372473725737267372773728737297373073731737327373373734737357373673737737387373973740737417374273743737447374573746737477374873749737507375173752737537375473755737567375773758737597376073761737627376373764737657376673767737687376973770737717377273773737747377573776737777377873779737807378173782737837378473785737867378773788737897379073791737927379373794737957379673797737987379973800738017380273803738047380573806738077380873809738107381173812738137381473815738167381773818738197382073821738227382373824738257382673827738287382973830738317383273833738347383573836738377383873839738407384173842738437384473845738467384773848738497385073851738527385373854738557385673857738587385973860738617386273863738647386573866738677386873869738707387173872738737387473875738767387773878738797388073881738827388373884738857388673887738887388973890738917389273893738947389573896738977389873899739007390173902739037390473905739067390773908739097391073911739127391373914739157391673917739187391973920739217392273923739247392573926739277392873929739307393173932739337393473935739367393773938739397394073941739427394373944739457394673947739487394973950739517395273953739547395573956739577395873959739607396173962739637396473965739667396773968739697397073971739727397373974739757397673977739787397973980739817398273983739847398573986739877398873989739907399173992739937399473995739967399773998739997400074001740027400374004740057400674007740087400974010740117401274013740147401574016740177401874019740207402174022740237402474025740267402774028740297403074031740327403374034740357403674037740387403974040740417404274043740447404574046740477404874049740507405174052740537405474055740567405774058740597406074061740627406374064740657406674067740687406974070740717407274073740747407574076740777407874079740807408174082740837408474085740867408774088740897409074091740927409374094740957409674097740987409974100741017410274103741047410574106741077410874109741107411174112741137411474115741167411774118741197412074121741227412374124741257412674127741287412974130741317413274133741347413574136741377413874139741407414174142741437414474145741467414774148741497415074151741527415374154741557415674157741587415974160741617416274163741647416574166741677416874169741707417174172741737417474175741767417774178741797418074181741827418374184741857418674187741887418974190741917419274193741947419574196741977419874199742007420174202742037420474205742067420774208742097421074211742127421374214742157421674217742187421974220742217422274223742247422574226742277422874229742307423174232742337423474235742367423774238742397424074241742427424374244742457424674247742487424974250742517425274253742547425574256742577425874259742607426174262742637426474265742667426774268742697427074271742727427374274742757427674277742787427974280742817428274283742847428574286742877428874289742907429174292742937429474295742967429774298742997430074301743027430374304743057430674307743087430974310743117431274313743147431574316743177431874319743207432174322743237432474325743267432774328743297433074331743327433374334743357433674337743387433974340743417434274343743447434574346743477434874349743507435174352743537435474355743567435774358743597436074361743627436374364743657436674367743687436974370743717437274373743747437574376743777437874379743807438174382743837438474385743867438774388743897439074391743927439374394743957439674397743987439974400744017440274403744047440574406744077440874409744107441174412744137441474415744167441774418744197442074421744227442374424744257442674427744287442974430744317443274433744347443574436744377443874439744407444174442744437444474445744467444774448744497445074451744527445374454744557445674457744587445974460744617446274463744647446574466744677446874469744707447174472744737447474475744767447774478744797448074481744827448374484744857448674487744887448974490744917449274493744947449574496744977449874499745007450174502745037450474505745067450774508745097451074511745127451374514745157451674517745187451974520745217452274523745247452574526745277452874529745307453174532745337453474535745367453774538745397454074541745427454374544745457454674547745487454974550745517455274553745547455574556745577455874559745607456174562745637456474565745667456774568745697457074571745727457374574745757457674577745787457974580745817458274583745847458574586745877458874589745907459174592745937459474595745967459774598745997460074601746027460374604746057460674607746087460974610746117461274613746147461574616746177461874619746207462174622746237462474625746267462774628746297463074631746327463374634746357463674637746387463974640746417464274643746447464574646746477464874649746507465174652746537465474655746567465774658746597466074661746627466374664746657466674667746687466974670746717467274673746747467574676746777467874679746807468174682746837468474685746867468774688746897469074691746927469374694746957469674697746987469974700747017470274703747047470574706747077470874709747107471174712747137471474715747167471774718747197472074721747227472374724747257472674727747287472974730747317473274733747347473574736747377473874739747407474174742747437474474745747467474774748747497475074751747527475374754747557475674757747587475974760747617476274763747647476574766747677476874769747707477174772747737477474775747767477774778747797478074781747827478374784747857478674787747887478974790747917479274793747947479574796747977479874799748007480174802748037480474805748067480774808748097481074811748127481374814748157481674817748187481974820748217482274823748247482574826748277482874829748307483174832748337483474835748367483774838748397484074841748427484374844748457484674847748487484974850748517485274853748547485574856748577485874859748607486174862748637486474865748667486774868748697487074871748727487374874748757487674877748787487974880748817488274883748847488574886748877488874889748907489174892748937489474895748967489774898748997490074901749027490374904749057490674907749087490974910749117491274913749147491574916749177491874919749207492174922749237492474925749267492774928749297493074931749327493374934749357493674937749387493974940749417494274943749447494574946749477494874949749507495174952749537495474955749567495774958749597496074961749627496374964749657496674967749687496974970749717497274973749747497574976749777497874979749807498174982749837498474985749867498774988749897499074991749927499374994749957499674997749987499975000750017500275003750047500575006750077500875009750107501175012750137501475015750167501775018750197502075021750227502375024750257502675027750287502975030750317503275033750347503575036750377503875039750407504175042750437504475045750467504775048750497505075051750527505375054750557505675057750587505975060750617506275063750647506575066750677506875069750707507175072750737507475075750767507775078750797508075081750827508375084750857508675087750887508975090750917509275093750947509575096750977509875099751007510175102751037510475105751067510775108751097511075111751127511375114751157511675117751187511975120751217512275123751247512575126751277512875129751307513175132751337513475135751367513775138751397514075141751427514375144751457514675147751487514975150751517515275153751547515575156751577515875159751607516175162751637516475165751667516775168751697517075171751727517375174751757517675177751787517975180751817518275183751847518575186751877518875189751907519175192751937519475195751967519775198751997520075201752027520375204752057520675207752087520975210752117521275213752147521575216752177521875219752207522175222752237522475225752267522775228752297523075231752327523375234752357523675237752387523975240752417524275243752447524575246752477524875249752507525175252752537525475255752567525775258752597526075261752627526375264752657526675267752687526975270752717527275273752747527575276752777527875279752807528175282752837528475285752867528775288752897529075291752927529375294752957529675297752987529975300753017530275303753047530575306753077530875309753107531175312753137531475315753167531775318753197532075321753227532375324753257532675327753287532975330753317533275333753347533575336753377533875339753407534175342753437534475345753467534775348753497535075351753527535375354753557535675357753587535975360753617536275363753647536575366753677536875369753707537175372753737537475375753767537775378753797538075381753827538375384753857538675387753887538975390753917539275393753947539575396753977539875399754007540175402754037540475405754067540775408754097541075411754127541375414754157541675417754187541975420754217542275423754247542575426754277542875429754307543175432754337543475435754367543775438754397544075441754427544375444754457544675447754487544975450754517545275453754547545575456754577545875459754607546175462754637546475465754667546775468754697547075471754727547375474754757547675477754787547975480754817548275483754847548575486754877548875489754907549175492754937549475495754967549775498754997550075501755027550375504755057550675507755087550975510755117551275513755147551575516755177551875519755207552175522755237552475525755267552775528755297553075531755327553375534755357553675537755387553975540755417554275543755447554575546755477554875549755507555175552755537555475555755567555775558755597556075561755627556375564755657556675567755687556975570755717557275573755747557575576755777557875579755807558175582755837558475585755867558775588755897559075591755927559375594755957559675597755987559975600756017560275603756047560575606756077560875609756107561175612756137561475615756167561775618756197562075621756227562375624756257562675627756287562975630756317563275633756347563575636756377563875639756407564175642756437564475645756467564775648756497565075651756527565375654756557565675657756587565975660756617566275663756647566575666756677566875669756707567175672756737567475675756767567775678756797568075681756827568375684756857568675687756887568975690756917569275693756947569575696756977569875699757007570175702757037570475705757067570775708757097571075711757127571375714757157571675717757187571975720757217572275723757247572575726757277572875729757307573175732757337573475735757367573775738757397574075741757427574375744757457574675747757487574975750757517575275753757547575575756757577575875759757607576175762757637576475765757667576775768757697577075771757727577375774757757577675777757787577975780757817578275783757847578575786757877578875789757907579175792757937579475795757967579775798757997580075801758027580375804758057580675807758087580975810758117581275813758147581575816758177581875819758207582175822758237582475825758267582775828758297583075831758327583375834758357583675837758387583975840758417584275843758447584575846758477584875849758507585175852758537585475855758567585775858758597586075861758627586375864758657586675867758687586975870758717587275873758747587575876758777587875879758807588175882758837588475885758867588775888758897589075891758927589375894758957589675897758987589975900759017590275903759047590575906759077590875909759107591175912759137591475915759167591775918759197592075921759227592375924759257592675927759287592975930759317593275933759347593575936759377593875939759407594175942759437594475945759467594775948759497595075951759527595375954759557595675957759587595975960759617596275963759647596575966759677596875969759707597175972759737597475975759767597775978759797598075981759827598375984759857598675987759887598975990759917599275993759947599575996759977599875999760007600176002760037600476005760067600776008760097601076011760127601376014760157601676017760187601976020760217602276023760247602576026760277602876029760307603176032760337603476035760367603776038760397604076041760427604376044760457604676047760487604976050760517605276053760547605576056760577605876059760607606176062760637606476065760667606776068760697607076071760727607376074760757607676077760787607976080760817608276083760847608576086760877608876089760907609176092760937609476095760967609776098760997610076101761027610376104761057610676107761087610976110761117611276113761147611576116761177611876119761207612176122761237612476125761267612776128761297613076131761327613376134761357613676137761387613976140761417614276143761447614576146761477614876149761507615176152761537615476155761567615776158761597616076161761627616376164761657616676167761687616976170761717617276173761747617576176761777617876179761807618176182761837618476185761867618776188761897619076191761927619376194761957619676197761987619976200762017620276203762047620576206762077620876209762107621176212762137621476215762167621776218762197622076221762227622376224762257622676227762287622976230762317623276233762347623576236762377623876239762407624176242762437624476245762467624776248762497625076251762527625376254762557625676257762587625976260762617626276263762647626576266762677626876269762707627176272762737627476275762767627776278762797628076281762827628376284762857628676287762887628976290762917629276293762947629576296762977629876299763007630176302763037630476305763067630776308763097631076311763127631376314763157631676317763187631976320763217632276323763247632576326763277632876329763307633176332763337633476335763367633776338763397634076341763427634376344763457634676347763487634976350763517635276353763547635576356763577635876359763607636176362763637636476365763667636776368763697637076371763727637376374763757637676377763787637976380763817638276383763847638576386763877638876389763907639176392763937639476395763967639776398763997640076401764027640376404764057640676407764087640976410764117641276413764147641576416764177641876419764207642176422764237642476425764267642776428764297643076431764327643376434764357643676437764387643976440764417644276443764447644576446764477644876449764507645176452764537645476455764567645776458764597646076461764627646376464764657646676467764687646976470764717647276473764747647576476764777647876479764807648176482764837648476485764867648776488764897649076491764927649376494764957649676497764987649976500765017650276503765047650576506765077650876509765107651176512765137651476515765167651776518765197652076521765227652376524765257652676527765287652976530765317653276533765347653576536765377653876539765407654176542765437654476545765467654776548765497655076551765527655376554765557655676557765587655976560765617656276563765647656576566765677656876569765707657176572765737657476575765767657776578765797658076581765827658376584765857658676587765887658976590765917659276593765947659576596765977659876599766007660176602766037660476605766067660776608766097661076611766127661376614766157661676617766187661976620766217662276623766247662576626766277662876629766307663176632766337663476635766367663776638766397664076641766427664376644766457664676647766487664976650766517665276653766547665576656766577665876659766607666176662766637666476665766667666776668766697667076671766727667376674766757667676677766787667976680766817668276683766847668576686766877668876689766907669176692766937669476695766967669776698766997670076701767027670376704767057670676707767087670976710767117671276713767147671576716767177671876719767207672176722767237672476725767267672776728767297673076731767327673376734767357673676737767387673976740767417674276743767447674576746767477674876749767507675176752767537675476755767567675776758767597676076761767627676376764767657676676767767687676976770767717677276773767747677576776767777677876779767807678176782767837678476785767867678776788767897679076791767927679376794767957679676797767987679976800768017680276803768047680576806768077680876809768107681176812768137681476815768167681776818768197682076821768227682376824768257682676827768287682976830768317683276833768347683576836768377683876839768407684176842768437684476845768467684776848768497685076851768527685376854768557685676857768587685976860768617686276863768647686576866768677686876869768707687176872768737687476875768767687776878768797688076881768827688376884768857688676887768887688976890768917689276893768947689576896768977689876899769007690176902769037690476905769067690776908769097691076911769127691376914769157691676917769187691976920769217692276923769247692576926769277692876929769307693176932769337693476935769367693776938769397694076941769427694376944769457694676947769487694976950769517695276953769547695576956769577695876959769607696176962769637696476965769667696776968769697697076971769727697376974769757697676977769787697976980769817698276983769847698576986769877698876989769907699176992769937699476995769967699776998769997700077001770027700377004770057700677007770087700977010770117701277013770147701577016770177701877019770207702177022770237702477025770267702777028770297703077031770327703377034770357703677037770387703977040770417704277043770447704577046770477704877049770507705177052770537705477055770567705777058770597706077061770627706377064770657706677067770687706977070770717707277073770747707577076770777707877079770807708177082770837708477085770867708777088770897709077091770927709377094770957709677097770987709977100771017710277103771047710577106771077710877109771107711177112771137711477115771167711777118771197712077121771227712377124771257712677127771287712977130771317713277133771347713577136771377713877139771407714177142771437714477145771467714777148771497715077151771527715377154771557715677157771587715977160771617716277163771647716577166771677716877169771707717177172771737717477175771767717777178771797718077181771827718377184771857718677187771887718977190771917719277193771947719577196771977719877199772007720177202772037720477205772067720777208772097721077211772127721377214772157721677217772187721977220772217722277223772247722577226772277722877229772307723177232772337723477235772367723777238772397724077241772427724377244772457724677247772487724977250772517725277253772547725577256772577725877259772607726177262772637726477265772667726777268772697727077271772727727377274772757727677277772787727977280772817728277283772847728577286772877728877289772907729177292772937729477295772967729777298772997730077301773027730377304773057730677307773087730977310773117731277313773147731577316773177731877319773207732177322773237732477325773267732777328773297733077331773327733377334773357733677337773387733977340773417734277343773447734577346773477734877349773507735177352773537735477355773567735777358773597736077361773627736377364773657736677367773687736977370773717737277373773747737577376773777737877379773807738177382773837738477385773867738777388773897739077391773927739377394773957739677397773987739977400774017740277403774047740577406774077740877409774107741177412774137741477415774167741777418774197742077421774227742377424774257742677427774287742977430774317743277433774347743577436774377743877439774407744177442774437744477445774467744777448774497745077451774527745377454774557745677457774587745977460774617746277463774647746577466774677746877469774707747177472774737747477475774767747777478774797748077481774827748377484774857748677487774887748977490774917749277493774947749577496774977749877499775007750177502775037750477505775067750777508775097751077511775127751377514775157751677517775187751977520775217752277523775247752577526775277752877529775307753177532775337753477535775367753777538775397754077541775427754377544775457754677547775487754977550775517755277553775547755577556775577755877559775607756177562775637756477565775667756777568775697757077571775727757377574775757757677577775787757977580775817758277583775847758577586775877758877589775907759177592775937759477595775967759777598775997760077601776027760377604776057760677607776087760977610776117761277613776147761577616776177761877619776207762177622776237762477625776267762777628776297763077631776327763377634776357763677637776387763977640776417764277643776447764577646776477764877649776507765177652776537765477655776567765777658776597766077661776627766377664776657766677667776687766977670776717767277673776747767577676776777767877679776807768177682776837768477685776867768777688776897769077691776927769377694776957769677697776987769977700777017770277703777047770577706777077770877709777107771177712777137771477715777167771777718777197772077721777227772377724777257772677727777287772977730777317773277733777347773577736777377773877739777407774177742777437774477745777467774777748777497775077751777527775377754777557775677757777587775977760777617776277763777647776577766777677776877769777707777177772777737777477775777767777777778777797778077781777827778377784777857778677787777887778977790777917779277793777947779577796777977779877799778007780177802778037780477805778067780777808778097781077811778127781377814778157781677817778187781977820778217782277823778247782577826778277782877829778307783177832778337783477835778367783777838778397784077841778427784377844778457784677847778487784977850778517785277853778547785577856778577785877859778607786177862778637786477865778667786777868778697787077871778727787377874778757787677877778787787977880778817788277883778847788577886778877788877889778907789177892778937789477895778967789777898778997790077901779027790377904779057790677907779087790977910779117791277913779147791577916779177791877919779207792177922779237792477925779267792777928779297793077931779327793377934779357793677937779387793977940779417794277943779447794577946779477794877949779507795177952779537795477955779567795777958779597796077961779627796377964779657796677967779687796977970779717797277973779747797577976779777797877979779807798177982779837798477985779867798777988779897799077991779927799377994779957799677997779987799978000780017800278003780047800578006780077800878009780107801178012780137801478015780167801778018780197802078021780227802378024780257802678027780287802978030780317803278033780347803578036780377803878039780407804178042780437804478045780467804778048780497805078051780527805378054780557805678057780587805978060780617806278063780647806578066780677806878069780707807178072780737807478075780767807778078780797808078081780827808378084780857808678087780887808978090780917809278093780947809578096780977809878099781007810178102781037810478105781067810778108781097811078111781127811378114781157811678117781187811978120781217812278123781247812578126781277812878129781307813178132781337813478135781367813778138781397814078141781427814378144781457814678147781487814978150781517815278153781547815578156781577815878159781607816178162781637816478165781667816778168781697817078171781727817378174781757817678177781787817978180781817818278183781847818578186781877818878189781907819178192781937819478195781967819778198781997820078201782027820378204782057820678207782087820978210782117821278213782147821578216782177821878219782207822178222782237822478225782267822778228782297823078231782327823378234782357823678237782387823978240782417824278243782447824578246782477824878249782507825178252782537825478255782567825778258782597826078261782627826378264782657826678267782687826978270782717827278273782747827578276782777827878279782807828178282782837828478285782867828778288782897829078291782927829378294782957829678297782987829978300783017830278303783047830578306783077830878309783107831178312783137831478315783167831778318783197832078321783227832378324783257832678327783287832978330783317833278333783347833578336783377833878339783407834178342783437834478345783467834778348783497835078351783527835378354783557835678357783587835978360783617836278363783647836578366783677836878369783707837178372783737837478375783767837778378783797838078381783827838378384783857838678387783887838978390783917839278393783947839578396783977839878399784007840178402784037840478405784067840778408784097841078411784127841378414784157841678417784187841978420784217842278423784247842578426784277842878429784307843178432784337843478435784367843778438784397844078441784427844378444784457844678447784487844978450784517845278453784547845578456784577845878459784607846178462784637846478465784667846778468784697847078471784727847378474784757847678477784787847978480784817848278483784847848578486784877848878489784907849178492784937849478495784967849778498784997850078501785027850378504785057850678507785087850978510785117851278513785147851578516785177851878519785207852178522785237852478525785267852778528785297853078531785327853378534785357853678537785387853978540785417854278543785447854578546785477854878549785507855178552785537855478555785567855778558785597856078561785627856378564785657856678567785687856978570785717857278573785747857578576785777857878579785807858178582785837858478585785867858778588785897859078591785927859378594785957859678597785987859978600786017860278603786047860578606786077860878609786107861178612786137861478615786167861778618786197862078621786227862378624786257862678627786287862978630786317863278633786347863578636786377863878639786407864178642786437864478645786467864778648786497865078651786527865378654786557865678657786587865978660786617866278663786647866578666786677866878669786707867178672786737867478675786767867778678786797868078681786827868378684786857868678687786887868978690786917869278693786947869578696786977869878699787007870178702787037870478705787067870778708787097871078711787127871378714787157871678717787187871978720787217872278723787247872578726787277872878729787307873178732787337873478735787367873778738787397874078741787427874378744787457874678747787487874978750787517875278753787547875578756787577875878759787607876178762787637876478765787667876778768787697877078771787727877378774787757877678777787787877978780787817878278783787847878578786787877878878789787907879178792787937879478795787967879778798787997880078801788027880378804788057880678807788087880978810788117881278813788147881578816788177881878819788207882178822788237882478825788267882778828788297883078831788327883378834788357883678837788387883978840788417884278843788447884578846788477884878849788507885178852788537885478855788567885778858788597886078861788627886378864788657886678867788687886978870788717887278873788747887578876788777887878879788807888178882788837888478885788867888778888788897889078891788927889378894788957889678897788987889978900789017890278903789047890578906789077890878909789107891178912789137891478915789167891778918789197892078921789227892378924789257892678927789287892978930789317893278933789347893578936789377893878939789407894178942789437894478945789467894778948789497895078951789527895378954789557895678957789587895978960789617896278963789647896578966789677896878969789707897178972789737897478975789767897778978789797898078981789827898378984789857898678987789887898978990789917899278993789947899578996789977899878999790007900179002790037900479005790067900779008790097901079011790127901379014790157901679017790187901979020790217902279023790247902579026790277902879029790307903179032790337903479035790367903779038790397904079041790427904379044790457904679047790487904979050790517905279053790547905579056790577905879059790607906179062790637906479065790667906779068790697907079071790727907379074790757907679077790787907979080790817908279083790847908579086790877908879089790907909179092790937909479095790967909779098790997910079101791027910379104791057910679107791087910979110791117911279113791147911579116791177911879119791207912179122791237912479125791267912779128791297913079131791327913379134791357913679137791387913979140791417914279143791447914579146791477914879149791507915179152791537915479155791567915779158791597916079161791627916379164791657916679167791687916979170791717917279173791747917579176791777917879179791807918179182791837918479185791867918779188791897919079191791927919379194791957919679197791987919979200792017920279203792047920579206792077920879209792107921179212792137921479215792167921779218792197922079221792227922379224792257922679227792287922979230792317923279233792347923579236792377923879239792407924179242792437924479245792467924779248792497925079251792527925379254792557925679257792587925979260792617926279263792647926579266792677926879269792707927179272792737927479275792767927779278792797928079281792827928379284792857928679287792887928979290792917929279293792947929579296792977929879299793007930179302793037930479305793067930779308793097931079311793127931379314793157931679317793187931979320793217932279323793247932579326793277932879329793307933179332793337933479335793367933779338793397934079341793427934379344793457934679347793487934979350793517935279353793547935579356793577935879359793607936179362793637936479365793667936779368793697937079371793727937379374793757937679377793787937979380793817938279383793847938579386793877938879389793907939179392793937939479395793967939779398793997940079401794027940379404794057940679407794087940979410794117941279413794147941579416794177941879419794207942179422794237942479425794267942779428794297943079431794327943379434794357943679437794387943979440794417944279443794447944579446794477944879449794507945179452794537945479455794567945779458794597946079461794627946379464794657946679467794687946979470794717947279473794747947579476794777947879479794807948179482794837948479485794867948779488794897949079491794927949379494794957949679497794987949979500795017950279503795047950579506795077950879509795107951179512795137951479515795167951779518795197952079521795227952379524795257952679527795287952979530795317953279533795347953579536795377953879539795407954179542795437954479545795467954779548795497955079551795527955379554795557955679557795587955979560795617956279563795647956579566795677956879569795707957179572795737957479575795767957779578795797958079581795827958379584795857958679587795887958979590795917959279593795947959579596795977959879599796007960179602796037960479605796067960779608796097961079611796127961379614796157961679617796187961979620796217962279623796247962579626796277962879629796307963179632796337963479635796367963779638796397964079641796427964379644796457964679647796487964979650796517965279653796547965579656796577965879659796607966179662796637966479665796667966779668796697967079671796727967379674796757967679677796787967979680796817968279683796847968579686796877968879689796907969179692796937969479695796967969779698796997970079701797027970379704797057970679707797087970979710797117971279713797147971579716797177971879719797207972179722797237972479725797267972779728797297973079731797327973379734797357973679737797387973979740797417974279743797447974579746797477974879749797507975179752797537975479755797567975779758797597976079761797627976379764797657976679767797687976979770797717977279773797747977579776797777977879779797807978179782797837978479785797867978779788797897979079791797927979379794797957979679797797987979979800798017980279803798047980579806798077980879809798107981179812798137981479815798167981779818798197982079821798227982379824798257982679827798287982979830798317983279833798347983579836798377983879839798407984179842798437984479845798467984779848798497985079851798527985379854798557985679857798587985979860798617986279863798647986579866798677986879869798707987179872798737987479875798767987779878798797988079881798827988379884798857988679887798887988979890798917989279893798947989579896798977989879899799007990179902799037990479905799067990779908799097991079911799127991379914799157991679917799187991979920799217992279923799247992579926799277992879929799307993179932799337993479935799367993779938799397994079941799427994379944799457994679947799487994979950799517995279953799547995579956799577995879959799607996179962799637996479965799667996779968799697997079971799727997379974799757997679977799787997979980799817998279983799847998579986799877998879989799907999179992799937999479995799967999779998799998000080001800028000380004800058000680007800088000980010800118001280013800148001580016800178001880019800208002180022800238002480025800268002780028800298003080031800328003380034800358003680037800388003980040800418004280043800448004580046800478004880049800508005180052800538005480055800568005780058800598006080061800628006380064800658006680067800688006980070800718007280073800748007580076800778007880079800808008180082800838008480085800868008780088800898009080091800928009380094800958009680097800988009980100801018010280103801048010580106801078010880109801108011180112801138011480115801168011780118801198012080121801228012380124801258012680127801288012980130801318013280133801348013580136801378013880139801408014180142801438014480145801468014780148801498015080151801528015380154801558015680157801588015980160801618016280163801648016580166801678016880169801708017180172801738017480175801768017780178801798018080181801828018380184801858018680187801888018980190801918019280193801948019580196801978019880199802008020180202802038020480205802068020780208802098021080211802128021380214802158021680217802188021980220802218022280223802248022580226802278022880229802308023180232802338023480235802368023780238802398024080241802428024380244802458024680247802488024980250802518025280253802548025580256802578025880259802608026180262802638026480265802668026780268802698027080271802728027380274802758027680277802788027980280802818028280283802848028580286802878028880289802908029180292802938029480295802968029780298802998030080301803028030380304803058030680307803088030980310803118031280313803148031580316803178031880319803208032180322803238032480325803268032780328803298033080331803328033380334803358033680337803388033980340803418034280343803448034580346803478034880349803508035180352803538035480355803568035780358803598036080361803628036380364803658036680367803688036980370803718037280373803748037580376803778037880379803808038180382803838038480385803868038780388803898039080391803928039380394803958039680397803988039980400804018040280403804048040580406804078040880409804108041180412804138041480415804168041780418804198042080421804228042380424804258042680427804288042980430804318043280433804348043580436804378043880439804408044180442804438044480445804468044780448804498045080451804528045380454804558045680457804588045980460804618046280463804648046580466804678046880469804708047180472804738047480475804768047780478804798048080481804828048380484804858048680487804888048980490804918049280493804948049580496804978049880499805008050180502805038050480505805068050780508805098051080511805128051380514805158051680517805188051980520805218052280523805248052580526805278052880529805308053180532805338053480535805368053780538805398054080541805428054380544805458054680547805488054980550805518055280553805548055580556805578055880559805608056180562805638056480565805668056780568805698057080571805728057380574805758057680577805788057980580805818058280583805848058580586805878058880589805908059180592805938059480595805968059780598805998060080601806028060380604806058060680607806088060980610806118061280613806148061580616806178061880619806208062180622806238062480625806268062780628806298063080631806328063380634806358063680637806388063980640806418064280643806448064580646806478064880649806508065180652806538065480655806568065780658806598066080661806628066380664806658066680667806688066980670806718067280673806748067580676806778067880679806808068180682806838068480685806868068780688806898069080691806928069380694806958069680697806988069980700807018070280703807048070580706807078070880709807108071180712807138071480715807168071780718807198072080721807228072380724807258072680727807288072980730807318073280733807348073580736807378073880739807408074180742807438074480745807468074780748807498075080751807528075380754807558075680757807588075980760807618076280763807648076580766807678076880769807708077180772807738077480775807768077780778807798078080781807828078380784807858078680787807888078980790807918079280793807948079580796807978079880799808008080180802808038080480805808068080780808808098081080811808128081380814808158081680817808188081980820808218082280823808248082580826808278082880829808308083180832808338083480835808368083780838808398084080841808428084380844808458084680847808488084980850808518085280853808548085580856808578085880859808608086180862808638086480865808668086780868808698087080871808728087380874808758087680877808788087980880808818088280883808848088580886808878088880889808908089180892808938089480895808968089780898808998090080901809028090380904809058090680907809088090980910809118091280913809148091580916809178091880919809208092180922809238092480925809268092780928809298093080931809328093380934809358093680937809388093980940809418094280943809448094580946809478094880949809508095180952809538095480955809568095780958809598096080961809628096380964809658096680967809688096980970809718097280973809748097580976809778097880979809808098180982809838098480985809868098780988809898099080991809928099380994809958099680997809988099981000810018100281003810048100581006810078100881009810108101181012810138101481015810168101781018810198102081021810228102381024810258102681027810288102981030810318103281033810348103581036810378103881039810408104181042810438104481045810468104781048810498105081051810528105381054810558105681057810588105981060810618106281063810648106581066810678106881069810708107181072810738107481075810768107781078810798108081081810828108381084810858108681087810888108981090810918109281093810948109581096810978109881099811008110181102811038110481105811068110781108811098111081111811128111381114811158111681117811188111981120811218112281123811248112581126811278112881129811308113181132811338113481135811368113781138811398114081141811428114381144811458114681147811488114981150811518115281153811548115581156811578115881159811608116181162811638116481165811668116781168811698117081171811728117381174811758117681177811788117981180811818118281183811848118581186811878118881189811908119181192811938119481195811968119781198811998120081201812028120381204812058120681207812088120981210812118121281213812148121581216812178121881219812208122181222812238122481225812268122781228812298123081231812328123381234812358123681237812388123981240812418124281243812448124581246812478124881249812508125181252812538125481255812568125781258812598126081261812628126381264812658126681267812688126981270812718127281273812748127581276812778127881279812808128181282812838128481285812868128781288812898129081291812928129381294812958129681297812988129981300813018130281303813048130581306813078130881309813108131181312813138131481315813168131781318813198132081321813228132381324813258132681327813288132981330813318133281333813348133581336813378133881339813408134181342813438134481345813468134781348813498135081351813528135381354813558135681357813588135981360813618136281363813648136581366813678136881369813708137181372813738137481375813768137781378813798138081381813828138381384813858138681387813888138981390813918139281393813948139581396813978139881399814008140181402814038140481405814068140781408814098141081411814128141381414814158141681417814188141981420814218142281423814248142581426814278142881429814308143181432814338143481435814368143781438814398144081441814428144381444814458144681447814488144981450814518145281453814548145581456814578145881459814608146181462814638146481465814668146781468814698147081471814728147381474814758147681477814788147981480814818148281483814848148581486814878148881489814908149181492814938149481495814968149781498814998150081501815028150381504815058150681507815088150981510815118151281513815148151581516815178151881519815208152181522815238152481525815268152781528815298153081531815328153381534815358153681537815388153981540815418154281543815448154581546815478154881549815508155181552815538155481555815568155781558815598156081561815628156381564815658156681567815688156981570815718157281573815748157581576815778157881579815808158181582815838158481585815868158781588815898159081591815928159381594815958159681597815988159981600816018160281603816048160581606816078160881609816108161181612816138161481615816168161781618816198162081621816228162381624816258162681627816288162981630816318163281633816348163581636816378163881639816408164181642816438164481645816468164781648816498165081651816528165381654816558165681657816588165981660816618166281663816648166581666816678166881669816708167181672816738167481675816768167781678816798168081681816828168381684816858168681687816888168981690816918169281693816948169581696816978169881699817008170181702817038170481705817068170781708817098171081711817128171381714817158171681717817188171981720817218172281723817248172581726817278172881729817308173181732817338173481735817368173781738817398174081741817428174381744817458174681747817488174981750817518175281753817548175581756817578175881759817608176181762817638176481765817668176781768817698177081771817728177381774817758177681777817788177981780817818178281783817848178581786817878178881789817908179181792817938179481795817968179781798817998180081801818028180381804818058180681807818088180981810818118181281813818148181581816818178181881819818208182181822818238182481825818268182781828818298183081831818328183381834818358183681837818388183981840818418184281843818448184581846818478184881849818508185181852818538185481855818568185781858818598186081861818628186381864818658186681867818688186981870818718187281873818748187581876818778187881879818808188181882818838188481885818868188781888818898189081891818928189381894818958189681897818988189981900819018190281903819048190581906819078190881909819108191181912819138191481915819168191781918819198192081921819228192381924819258192681927819288192981930819318193281933819348193581936819378193881939819408194181942819438194481945819468194781948819498195081951819528195381954819558195681957819588195981960819618196281963819648196581966819678196881969819708197181972819738197481975819768197781978819798198081981819828198381984819858198681987819888198981990819918199281993819948199581996819978199881999820008200182002820038200482005820068200782008820098201082011820128201382014820158201682017820188201982020820218202282023820248202582026820278202882029820308203182032820338203482035820368203782038820398204082041820428204382044820458204682047820488204982050820518205282053820548205582056820578205882059820608206182062820638206482065820668206782068820698207082071820728207382074820758207682077820788207982080820818208282083820848208582086820878208882089820908209182092820938209482095820968209782098820998210082101821028210382104821058210682107821088210982110821118211282113821148211582116821178211882119821208212182122821238212482125821268212782128821298213082131821328213382134821358213682137821388213982140821418214282143821448214582146821478214882149821508215182152821538215482155821568215782158821598216082161821628216382164821658216682167821688216982170821718217282173821748217582176821778217882179821808218182182821838218482185821868218782188821898219082191821928219382194821958219682197821988219982200822018220282203822048220582206822078220882209822108221182212822138221482215822168221782218822198222082221822228222382224822258222682227822288222982230822318223282233822348223582236822378223882239822408224182242822438224482245822468224782248822498225082251822528225382254822558225682257822588225982260822618226282263822648226582266822678226882269822708227182272822738227482275822768227782278822798228082281822828228382284822858228682287822888228982290822918229282293822948229582296822978229882299823008230182302823038230482305823068230782308823098231082311823128231382314823158231682317823188231982320823218232282323823248232582326823278232882329823308233182332823338233482335823368233782338823398234082341823428234382344823458234682347823488234982350823518235282353823548235582356823578235882359823608236182362823638236482365823668236782368823698237082371823728237382374823758237682377823788237982380823818238282383823848238582386823878238882389823908239182392823938239482395823968239782398823998240082401824028240382404824058240682407824088240982410824118241282413824148241582416824178241882419824208242182422824238242482425824268242782428824298243082431824328243382434824358243682437824388243982440824418244282443824448244582446824478244882449824508245182452824538245482455824568245782458824598246082461824628246382464824658246682467824688246982470824718247282473824748247582476824778247882479824808248182482824838248482485824868248782488824898249082491824928249382494824958249682497824988249982500825018250282503825048250582506825078250882509825108251182512825138251482515825168251782518825198252082521825228252382524825258252682527825288252982530825318253282533825348253582536825378253882539825408254182542825438254482545825468254782548825498255082551825528255382554825558255682557825588255982560825618256282563825648256582566825678256882569825708257182572825738257482575825768257782578825798258082581825828258382584825858258682587825888258982590825918259282593825948259582596825978259882599826008260182602826038260482605826068260782608826098261082611826128261382614826158261682617826188261982620826218262282623826248262582626826278262882629826308263182632826338263482635826368263782638826398264082641826428264382644826458264682647826488264982650826518265282653826548265582656826578265882659826608266182662826638266482665826668266782668826698267082671826728267382674826758267682677826788267982680826818268282683826848268582686826878268882689826908269182692826938269482695826968269782698826998270082701827028270382704827058270682707827088270982710827118271282713827148271582716827178271882719827208272182722827238272482725827268272782728827298273082731827328273382734827358273682737827388273982740827418274282743827448274582746827478274882749827508275182752827538275482755827568275782758827598276082761827628276382764827658276682767827688276982770827718277282773827748277582776827778277882779827808278182782827838278482785827868278782788827898279082791827928279382794827958279682797827988279982800828018280282803828048280582806828078280882809828108281182812828138281482815828168281782818828198282082821828228282382824828258282682827828288282982830828318283282833828348283582836828378283882839828408284182842828438284482845828468284782848828498285082851828528285382854828558285682857828588285982860828618286282863828648286582866828678286882869828708287182872828738287482875828768287782878828798288082881828828288382884828858288682887828888288982890828918289282893828948289582896828978289882899829008290182902829038290482905829068290782908829098291082911829128291382914829158291682917829188291982920829218292282923829248292582926829278292882929829308293182932829338293482935829368293782938829398294082941829428294382944829458294682947829488294982950829518295282953829548295582956829578295882959829608296182962829638296482965829668296782968829698297082971829728297382974829758297682977829788297982980829818298282983829848298582986829878298882989829908299182992829938299482995829968299782998829998300083001830028300383004830058300683007830088300983010830118301283013830148301583016830178301883019830208302183022830238302483025830268302783028830298303083031830328303383034830358303683037830388303983040830418304283043830448304583046830478304883049830508305183052830538305483055830568305783058830598306083061830628306383064830658306683067830688306983070830718307283073830748307583076830778307883079830808308183082830838308483085830868308783088830898309083091830928309383094830958309683097830988309983100831018310283103831048310583106831078310883109831108311183112831138311483115831168311783118831198312083121831228312383124831258312683127831288312983130831318313283133831348313583136831378313883139831408314183142831438314483145831468314783148831498315083151831528315383154831558315683157831588315983160831618316283163831648316583166831678316883169831708317183172831738317483175831768317783178831798318083181831828318383184831858318683187831888318983190831918319283193831948319583196831978319883199832008320183202832038320483205832068320783208832098321083211832128321383214832158321683217832188321983220832218322283223832248322583226832278322883229832308323183232832338323483235832368323783238832398324083241832428324383244832458324683247832488324983250832518325283253832548325583256832578325883259832608326183262832638326483265832668326783268832698327083271832728327383274832758327683277832788327983280832818328283283832848328583286832878328883289832908329183292832938329483295832968329783298832998330083301833028330383304833058330683307833088330983310833118331283313833148331583316833178331883319833208332183322833238332483325833268332783328833298333083331833328333383334833358333683337833388333983340833418334283343833448334583346833478334883349833508335183352833538335483355833568335783358833598336083361833628336383364833658336683367833688336983370833718337283373833748337583376833778337883379833808338183382833838338483385833868338783388833898339083391833928339383394833958339683397833988339983400834018340283403834048340583406834078340883409834108341183412834138341483415834168341783418834198342083421834228342383424834258342683427834288342983430834318343283433834348343583436834378343883439834408344183442834438344483445834468344783448834498345083451834528345383454834558345683457834588345983460834618346283463834648346583466834678346883469834708347183472834738347483475834768347783478834798348083481834828348383484834858348683487834888348983490834918349283493834948349583496834978349883499835008350183502835038350483505835068350783508835098351083511835128351383514835158351683517835188351983520835218352283523835248352583526835278352883529835308353183532835338353483535835368353783538835398354083541835428354383544835458354683547835488354983550835518355283553835548355583556835578355883559835608356183562835638356483565835668356783568835698357083571835728357383574835758357683577835788357983580835818358283583835848358583586835878358883589835908359183592835938359483595835968359783598835998360083601836028360383604836058360683607836088360983610836118361283613836148361583616836178361883619836208362183622836238362483625836268362783628836298363083631836328363383634836358363683637836388363983640836418364283643836448364583646836478364883649836508365183652836538365483655836568365783658836598366083661836628366383664836658366683667836688366983670836718367283673836748367583676836778367883679836808368183682836838368483685836868368783688836898369083691836928369383694836958369683697836988369983700837018370283703837048370583706837078370883709837108371183712837138371483715837168371783718837198372083721837228372383724837258372683727837288372983730837318373283733837348373583736837378373883739837408374183742837438374483745837468374783748837498375083751837528375383754837558375683757837588375983760837618376283763837648376583766837678376883769837708377183772837738377483775837768377783778837798378083781837828378383784837858378683787837888378983790837918379283793837948379583796837978379883799838008380183802838038380483805838068380783808838098381083811838128381383814838158381683817838188381983820838218382283823838248382583826838278382883829838308383183832838338383483835838368383783838838398384083841838428384383844838458384683847838488384983850838518385283853838548385583856838578385883859838608386183862838638386483865838668386783868838698387083871838728387383874838758387683877838788387983880838818388283883838848388583886838878388883889838908389183892838938389483895838968389783898838998390083901839028390383904839058390683907839088390983910839118391283913839148391583916839178391883919839208392183922839238392483925839268392783928839298393083931839328393383934839358393683937839388393983940839418394283943839448394583946839478394883949839508395183952839538395483955839568395783958839598396083961839628396383964839658396683967839688396983970839718397283973839748397583976839778397883979839808398183982839838398483985839868398783988839898399083991839928399383994839958399683997839988399984000840018400284003840048400584006840078400884009840108401184012840138401484015840168401784018840198402084021840228402384024840258402684027840288402984030840318403284033840348403584036840378403884039840408404184042840438404484045840468404784048840498405084051840528405384054840558405684057840588405984060840618406284063840648406584066840678406884069840708407184072840738407484075840768407784078840798408084081840828408384084840858408684087840888408984090840918409284093840948409584096840978409884099841008410184102841038410484105841068410784108841098411084111841128411384114841158411684117841188411984120841218412284123841248412584126841278412884129841308413184132841338413484135841368413784138841398414084141841428414384144841458414684147841488414984150841518415284153841548415584156841578415884159841608416184162841638416484165841668416784168841698417084171841728417384174841758417684177841788417984180841818418284183841848418584186841878418884189841908419184192841938419484195841968419784198841998420084201842028420384204842058420684207842088420984210842118421284213842148421584216842178421884219842208422184222842238422484225842268422784228842298423084231842328423384234842358423684237842388423984240842418424284243842448424584246842478424884249842508425184252842538425484255842568425784258842598426084261842628426384264842658426684267842688426984270842718427284273842748427584276842778427884279842808428184282842838428484285842868428784288842898429084291842928429384294842958429684297842988429984300843018430284303843048430584306843078430884309843108431184312843138431484315843168431784318843198432084321843228432384324843258432684327843288432984330843318433284333843348433584336843378433884339843408434184342843438434484345843468434784348843498435084351843528435384354843558435684357843588435984360843618436284363843648436584366843678436884369843708437184372843738437484375843768437784378843798438084381843828438384384843858438684387843888438984390843918439284393843948439584396843978439884399844008440184402844038440484405844068440784408844098441084411844128441384414844158441684417844188441984420844218442284423844248442584426844278442884429844308443184432844338443484435844368443784438844398444084441844428444384444844458444684447844488444984450844518445284453844548445584456844578445884459844608446184462844638446484465844668446784468844698447084471844728447384474844758447684477844788447984480844818448284483844848448584486844878448884489844908449184492844938449484495844968449784498844998450084501845028450384504845058450684507845088450984510845118451284513845148451584516845178451884519845208452184522845238452484525845268452784528845298453084531845328453384534845358453684537845388453984540845418454284543845448454584546845478454884549845508455184552845538455484555845568455784558845598456084561845628456384564845658456684567845688456984570845718457284573845748457584576845778457884579845808458184582845838458484585845868458784588845898459084591845928459384594845958459684597845988459984600846018460284603846048460584606846078460884609846108461184612846138461484615846168461784618846198462084621846228462384624846258462684627846288462984630846318463284633846348463584636846378463884639846408464184642846438464484645846468464784648846498465084651846528465384654846558465684657846588465984660846618466284663846648466584666846678466884669846708467184672846738467484675846768467784678846798468084681846828468384684846858468684687846888468984690846918469284693846948469584696846978469884699847008470184702847038470484705847068470784708847098471084711847128471384714847158471684717847188471984720847218472284723847248472584726847278472884729847308473184732847338473484735847368473784738847398474084741847428474384744847458474684747847488474984750847518475284753847548475584756847578475884759847608476184762847638476484765847668476784768847698477084771847728477384774847758477684777847788477984780847818478284783847848478584786847878478884789847908479184792847938479484795847968479784798847998480084801848028480384804848058480684807848088480984810848118481284813848148481584816848178481884819848208482184822848238482484825848268482784828848298483084831848328483384834848358483684837848388483984840848418484284843848448484584846848478484884849848508485184852848538485484855848568485784858848598486084861848628486384864848658486684867848688486984870848718487284873848748487584876848778487884879848808488184882848838488484885848868488784888848898489084891848928489384894848958489684897848988489984900849018490284903849048490584906849078490884909849108491184912849138491484915849168491784918849198492084921849228492384924849258492684927849288492984930849318493284933849348493584936849378493884939849408494184942849438494484945849468494784948849498495084951849528495384954849558495684957849588495984960849618496284963849648496584966849678496884969849708497184972849738497484975849768497784978849798498084981849828498384984849858498684987849888498984990849918499284993849948499584996849978499884999850008500185002850038500485005850068500785008850098501085011850128501385014850158501685017850188501985020850218502285023850248502585026850278502885029850308503185032850338503485035850368503785038850398504085041850428504385044850458504685047850488504985050850518505285053850548505585056850578505885059850608506185062850638506485065850668506785068850698507085071850728507385074850758507685077850788507985080850818508285083850848508585086850878508885089850908509185092850938509485095850968509785098850998510085101851028510385104851058510685107851088510985110851118511285113851148511585116851178511885119851208512185122851238512485125851268512785128851298513085131851328513385134851358513685137851388513985140851418514285143851448514585146851478514885149851508515185152851538515485155851568515785158851598516085161851628516385164851658516685167851688516985170851718517285173851748517585176851778517885179851808518185182851838518485185851868518785188851898519085191851928519385194851958519685197851988519985200852018520285203852048520585206852078520885209852108521185212852138521485215852168521785218852198522085221852228522385224852258522685227852288522985230852318523285233852348523585236852378523885239852408524185242852438524485245852468524785248852498525085251852528525385254852558525685257852588525985260852618526285263852648526585266852678526885269852708527185272852738527485275852768527785278852798528085281852828528385284852858528685287852888528985290852918529285293852948529585296852978529885299853008530185302853038530485305853068530785308853098531085311853128531385314853158531685317853188531985320853218532285323853248532585326853278532885329853308533185332853338533485335853368533785338853398534085341853428534385344853458534685347853488534985350853518535285353853548535585356853578535885359853608536185362853638536485365853668536785368853698537085371853728537385374853758537685377853788537985380853818538285383853848538585386853878538885389853908539185392853938539485395853968539785398853998540085401854028540385404854058540685407854088540985410854118541285413854148541585416854178541885419854208542185422854238542485425854268542785428854298543085431854328543385434854358543685437854388543985440854418544285443854448544585446854478544885449854508545185452854538545485455854568545785458854598546085461854628546385464854658546685467854688546985470854718547285473854748547585476854778547885479854808548185482854838548485485854868548785488854898549085491854928549385494854958549685497854988549985500855018550285503855048550585506855078550885509855108551185512855138551485515855168551785518855198552085521855228552385524855258552685527855288552985530855318553285533855348553585536855378553885539855408554185542855438554485545855468554785548855498555085551855528555385554855558555685557855588555985560855618556285563855648556585566855678556885569855708557185572855738557485575855768557785578855798558085581855828558385584855858558685587855888558985590855918559285593855948559585596855978559885599856008560185602856038560485605856068560785608856098561085611856128561385614856158561685617856188561985620856218562285623856248562585626856278562885629856308563185632856338563485635856368563785638856398564085641856428564385644856458564685647856488564985650856518565285653856548565585656856578565885659856608566185662856638566485665856668566785668856698567085671856728567385674856758567685677856788567985680856818568285683856848568585686856878568885689856908569185692856938569485695856968569785698856998570085701857028570385704857058570685707857088570985710857118571285713857148571585716857178571885719857208572185722857238572485725857268572785728857298573085731857328573385734857358573685737857388573985740857418574285743857448574585746857478574885749857508575185752857538575485755857568575785758857598576085761857628576385764857658576685767857688576985770857718577285773857748577585776857778577885779857808578185782857838578485785857868578785788857898579085791857928579385794857958579685797857988579985800858018580285803858048580585806858078580885809858108581185812858138581485815858168581785818858198582085821858228582385824858258582685827858288582985830858318583285833858348583585836858378583885839858408584185842858438584485845858468584785848858498585085851858528585385854858558585685857858588585985860858618586285863858648586585866858678586885869858708587185872858738587485875858768587785878858798588085881858828588385884858858588685887858888588985890858918589285893858948589585896858978589885899859008590185902859038590485905859068590785908859098591085911859128591385914859158591685917859188591985920859218592285923859248592585926859278592885929859308593185932859338593485935859368593785938859398594085941859428594385944859458594685947859488594985950859518595285953859548595585956859578595885959859608596185962859638596485965859668596785968859698597085971859728597385974859758597685977859788597985980859818598285983859848598585986859878598885989859908599185992859938599485995859968599785998859998600086001860028600386004860058600686007860088600986010860118601286013860148601586016860178601886019860208602186022860238602486025860268602786028860298603086031860328603386034860358603686037860388603986040860418604286043860448604586046860478604886049860508605186052860538605486055860568605786058860598606086061860628606386064860658606686067860688606986070860718607286073860748607586076860778607886079860808608186082860838608486085860868608786088860898609086091860928609386094860958609686097860988609986100861018610286103861048610586106861078610886109861108611186112861138611486115861168611786118861198612086121861228612386124861258612686127861288612986130861318613286133861348613586136861378613886139861408614186142861438614486145861468614786148861498615086151861528615386154861558615686157861588615986160861618616286163861648616586166861678616886169861708617186172861738617486175861768617786178861798618086181861828618386184861858618686187861888618986190861918619286193861948619586196861978619886199862008620186202862038620486205862068620786208862098621086211862128621386214862158621686217862188621986220862218622286223862248622586226862278622886229862308623186232862338623486235862368623786238862398624086241862428624386244862458624686247862488624986250862518625286253862548625586256862578625886259862608626186262862638626486265862668626786268862698627086271862728627386274862758627686277862788627986280862818628286283862848628586286862878628886289862908629186292862938629486295862968629786298862998630086301863028630386304863058630686307863088630986310863118631286313863148631586316863178631886319863208632186322863238632486325863268632786328863298633086331863328633386334863358633686337863388633986340863418634286343863448634586346863478634886349863508635186352863538635486355863568635786358863598636086361863628636386364863658636686367863688636986370863718637286373863748637586376863778637886379863808638186382863838638486385863868638786388863898639086391863928639386394863958639686397863988639986400864018640286403864048640586406864078640886409864108641186412864138641486415864168641786418864198642086421864228642386424864258642686427864288642986430864318643286433864348643586436864378643886439864408644186442864438644486445864468644786448864498645086451864528645386454864558645686457864588645986460864618646286463864648646586466864678646886469864708647186472864738647486475864768647786478864798648086481864828648386484864858648686487864888648986490864918649286493864948649586496864978649886499865008650186502865038650486505865068650786508865098651086511865128651386514865158651686517865188651986520865218652286523865248652586526865278652886529865308653186532865338653486535865368653786538865398654086541865428654386544865458654686547865488654986550865518655286553865548655586556865578655886559865608656186562865638656486565865668656786568865698657086571865728657386574865758657686577865788657986580865818658286583865848658586586865878658886589865908659186592865938659486595865968659786598865998660086601866028660386604866058660686607866088660986610866118661286613866148661586616866178661886619866208662186622866238662486625866268662786628866298663086631866328663386634866358663686637866388663986640866418664286643866448664586646866478664886649866508665186652866538665486655866568665786658866598666086661866628666386664866658666686667866688666986670866718667286673866748667586676866778667886679866808668186682866838668486685866868668786688866898669086691866928669386694866958669686697866988669986700867018670286703867048670586706867078670886709867108671186712867138671486715867168671786718867198672086721867228672386724867258672686727867288672986730867318673286733867348673586736867378673886739867408674186742867438674486745867468674786748867498675086751867528675386754867558675686757867588675986760867618676286763867648676586766867678676886769867708677186772867738677486775867768677786778867798678086781867828678386784867858678686787867888678986790867918679286793867948679586796867978679886799868008680186802868038680486805868068680786808868098681086811868128681386814868158681686817868188681986820868218682286823868248682586826868278682886829868308683186832868338683486835868368683786838868398684086841868428684386844868458684686847868488684986850868518685286853868548685586856868578685886859868608686186862868638686486865868668686786868868698687086871868728687386874868758687686877868788687986880868818688286883868848688586886868878688886889868908689186892868938689486895868968689786898868998690086901869028690386904869058690686907869088690986910869118691286913869148691586916869178691886919869208692186922869238692486925869268692786928869298693086931869328693386934869358693686937869388693986940869418694286943869448694586946869478694886949869508695186952869538695486955869568695786958869598696086961869628696386964869658696686967869688696986970869718697286973869748697586976869778697886979869808698186982869838698486985869868698786988869898699086991869928699386994869958699686997869988699987000870018700287003870048700587006870078700887009870108701187012870138701487015870168701787018870198702087021870228702387024870258702687027870288702987030870318703287033870348703587036870378703887039870408704187042870438704487045870468704787048870498705087051870528705387054870558705687057870588705987060870618706287063870648706587066870678706887069870708707187072870738707487075870768707787078870798708087081870828708387084870858708687087870888708987090870918709287093870948709587096870978709887099871008710187102871038710487105871068710787108871098711087111871128711387114871158711687117871188711987120871218712287123871248712587126871278712887129871308713187132871338713487135871368713787138871398714087141871428714387144871458714687147871488714987150871518715287153871548715587156871578715887159871608716187162871638716487165871668716787168871698717087171871728717387174871758717687177871788717987180871818718287183871848718587186871878718887189871908719187192871938719487195871968719787198871998720087201872028720387204872058720687207872088720987210872118721287213872148721587216872178721887219872208722187222872238722487225872268722787228872298723087231872328723387234872358723687237872388723987240872418724287243872448724587246872478724887249872508725187252872538725487255872568725787258872598726087261872628726387264872658726687267872688726987270872718727287273872748727587276872778727887279872808728187282872838728487285872868728787288872898729087291872928729387294872958729687297872988729987300873018730287303873048730587306873078730887309873108731187312873138731487315873168731787318873198732087321873228732387324873258732687327873288732987330873318733287333873348733587336873378733887339873408734187342873438734487345873468734787348873498735087351873528735387354873558735687357873588735987360873618736287363873648736587366873678736887369873708737187372873738737487375873768737787378873798738087381873828738387384873858738687387873888738987390873918739287393873948739587396873978739887399874008740187402874038740487405874068740787408874098741087411874128741387414874158741687417874188741987420874218742287423874248742587426874278742887429874308743187432874338743487435874368743787438874398744087441874428744387444874458744687447874488744987450874518745287453874548745587456874578745887459874608746187462874638746487465874668746787468874698747087471874728747387474874758747687477874788747987480874818748287483874848748587486874878748887489874908749187492874938749487495874968749787498874998750087501875028750387504875058750687507875088750987510875118751287513875148751587516875178751887519875208752187522875238752487525875268752787528875298753087531875328753387534875358753687537875388753987540875418754287543875448754587546875478754887549875508755187552875538755487555875568755787558875598756087561875628756387564875658756687567875688756987570875718757287573875748757587576875778757887579875808758187582875838758487585875868758787588875898759087591875928759387594875958759687597875988759987600876018760287603876048760587606876078760887609876108761187612876138761487615876168761787618876198762087621876228762387624876258762687627876288762987630876318763287633876348763587636876378763887639876408764187642876438764487645876468764787648876498765087651876528765387654876558765687657876588765987660876618766287663876648766587666876678766887669876708767187672876738767487675876768767787678876798768087681876828768387684876858768687687876888768987690876918769287693876948769587696876978769887699877008770187702877038770487705877068770787708877098771087711877128771387714877158771687717877188771987720877218772287723877248772587726877278772887729877308773187732877338773487735877368773787738877398774087741877428774387744877458774687747877488774987750877518775287753877548775587756877578775887759877608776187762877638776487765877668776787768877698777087771877728777387774877758777687777877788777987780877818778287783877848778587786877878778887789877908779187792877938779487795877968779787798877998780087801878028780387804878058780687807878088780987810878118781287813878148781587816878178781887819878208782187822878238782487825878268782787828878298783087831878328783387834878358783687837878388783987840878418784287843878448784587846878478784887849878508785187852878538785487855878568785787858878598786087861878628786387864878658786687867878688786987870878718787287873878748787587876878778787887879878808788187882878838788487885878868788787888878898789087891878928789387894878958789687897878988789987900879018790287903879048790587906879078790887909879108791187912879138791487915879168791787918879198792087921879228792387924879258792687927879288792987930879318793287933879348793587936879378793887939879408794187942879438794487945879468794787948879498795087951879528795387954879558795687957879588795987960879618796287963879648796587966879678796887969879708797187972879738797487975879768797787978879798798087981879828798387984879858798687987879888798987990879918799287993879948799587996879978799887999880008800188002880038800488005880068800788008880098801088011880128801388014880158801688017880188801988020880218802288023880248802588026880278802888029880308803188032880338803488035880368803788038880398804088041880428804388044880458804688047880488804988050880518805288053880548805588056880578805888059880608806188062880638806488065880668806788068880698807088071880728807388074880758807688077880788807988080880818808288083880848808588086880878808888089880908809188092880938809488095880968809788098880998810088101881028810388104881058810688107881088810988110881118811288113881148811588116881178811888119881208812188122881238812488125881268812788128881298813088131881328813388134881358813688137881388813988140881418814288143881448814588146881478814888149881508815188152881538815488155881568815788158881598816088161881628816388164881658816688167881688816988170881718817288173881748817588176881778817888179881808818188182881838818488185881868818788188881898819088191881928819388194881958819688197881988819988200882018820288203882048820588206882078820888209882108821188212882138821488215882168821788218882198822088221882228822388224882258822688227882288822988230882318823288233882348823588236882378823888239882408824188242882438824488245882468824788248882498825088251882528825388254882558825688257882588825988260882618826288263882648826588266882678826888269882708827188272882738827488275882768827788278882798828088281882828828388284882858828688287882888828988290882918829288293882948829588296882978829888299883008830188302883038830488305883068830788308883098831088311883128831388314883158831688317883188831988320883218832288323883248832588326883278832888329883308833188332883338833488335883368833788338883398834088341883428834388344883458834688347883488834988350883518835288353883548835588356883578835888359883608836188362883638836488365883668836788368883698837088371883728837388374883758837688377883788837988380883818838288383883848838588386883878838888389883908839188392883938839488395883968839788398883998840088401884028840388404884058840688407884088840988410884118841288413884148841588416884178841888419884208842188422884238842488425884268842788428884298843088431884328843388434884358843688437884388843988440884418844288443884448844588446884478844888449884508845188452884538845488455884568845788458884598846088461884628846388464884658846688467884688846988470884718847288473884748847588476884778847888479884808848188482884838848488485884868848788488884898849088491884928849388494884958849688497884988849988500885018850288503885048850588506885078850888509885108851188512885138851488515885168851788518885198852088521885228852388524885258852688527885288852988530885318853288533885348853588536885378853888539885408854188542885438854488545885468854788548885498855088551885528855388554885558855688557885588855988560885618856288563885648856588566885678856888569885708857188572885738857488575885768857788578885798858088581885828858388584885858858688587885888858988590885918859288593885948859588596885978859888599886008860188602886038860488605886068860788608886098861088611886128861388614886158861688617886188861988620886218862288623886248862588626886278862888629886308863188632886338863488635886368863788638886398864088641886428864388644886458864688647886488864988650886518865288653886548865588656886578865888659886608866188662886638866488665886668866788668886698867088671886728867388674886758867688677886788867988680886818868288683886848868588686886878868888689886908869188692886938869488695886968869788698886998870088701887028870388704887058870688707887088870988710887118871288713887148871588716887178871888719887208872188722887238872488725887268872788728887298873088731887328873388734887358873688737887388873988740887418874288743887448874588746887478874888749887508875188752887538875488755887568875788758887598876088761887628876388764887658876688767887688876988770887718877288773887748877588776887778877888779887808878188782887838878488785887868878788788887898879088791887928879388794887958879688797887988879988800888018880288803888048880588806888078880888809888108881188812888138881488815888168881788818888198882088821888228882388824888258882688827888288882988830888318883288833888348883588836888378883888839888408884188842888438884488845888468884788848888498885088851888528885388854888558885688857888588885988860888618886288863888648886588866888678886888869888708887188872888738887488875888768887788878888798888088881888828888388884888858888688887888888888988890888918889288893888948889588896888978889888899889008890188902889038890488905889068890788908889098891088911889128891388914889158891688917889188891988920889218892288923889248892588926889278892888929889308893188932889338893488935889368893788938889398894088941889428894388944889458894688947889488894988950889518895288953889548895588956889578895888959889608896188962889638896488965889668896788968889698897088971889728897388974889758897688977889788897988980889818898288983889848898588986889878898888989889908899188992889938899488995889968899788998889998900089001890028900389004890058900689007890088900989010890118901289013890148901589016890178901889019890208902189022890238902489025890268902789028890298903089031890328903389034890358903689037890388903989040890418904289043890448904589046890478904889049890508905189052890538905489055890568905789058890598906089061890628906389064890658906689067890688906989070890718907289073890748907589076890778907889079890808908189082890838908489085890868908789088890898909089091890928909389094890958909689097890988909989100891018910289103891048910589106891078910889109891108911189112891138911489115891168911789118891198912089121891228912389124891258912689127891288912989130891318913289133891348913589136891378913889139891408914189142891438914489145891468914789148891498915089151891528915389154891558915689157891588915989160891618916289163891648916589166891678916889169891708917189172891738917489175891768917789178891798918089181891828918389184891858918689187891888918989190891918919289193891948919589196891978919889199892008920189202892038920489205892068920789208892098921089211892128921389214892158921689217892188921989220892218922289223892248922589226892278922889229892308923189232892338923489235892368923789238892398924089241892428924389244892458924689247892488924989250892518925289253892548925589256892578925889259892608926189262892638926489265892668926789268892698927089271892728927389274892758927689277892788927989280892818928289283892848928589286892878928889289892908929189292892938929489295892968929789298892998930089301893028930389304893058930689307893088930989310893118931289313893148931589316893178931889319893208932189322893238932489325893268932789328893298933089331893328933389334893358933689337893388933989340893418934289343893448934589346893478934889349893508935189352893538935489355893568935789358893598936089361893628936389364893658936689367893688936989370893718937289373893748937589376893778937889379893808938189382893838938489385893868938789388893898939089391893928939389394893958939689397893988939989400894018940289403894048940589406894078940889409894108941189412894138941489415894168941789418894198942089421894228942389424894258942689427894288942989430894318943289433894348943589436894378943889439894408944189442894438944489445894468944789448894498945089451894528945389454894558945689457894588945989460894618946289463894648946589466894678946889469894708947189472894738947489475894768947789478894798948089481894828948389484894858948689487894888948989490894918949289493894948949589496894978949889499895008950189502895038950489505895068950789508895098951089511895128951389514895158951689517895188951989520895218952289523895248952589526895278952889529895308953189532895338953489535895368953789538895398954089541895428954389544895458954689547895488954989550895518955289553895548955589556895578955889559895608956189562895638956489565895668956789568895698957089571895728957389574895758957689577895788957989580895818958289583895848958589586895878958889589895908959189592895938959489595895968959789598895998960089601896028960389604896058960689607896088960989610896118961289613896148961589616896178961889619896208962189622896238962489625896268962789628896298963089631896328963389634896358963689637896388963989640896418964289643896448964589646896478964889649896508965189652896538965489655896568965789658896598966089661896628966389664896658966689667896688966989670896718967289673896748967589676896778967889679896808968189682896838968489685896868968789688896898969089691896928969389694896958969689697896988969989700897018970289703897048970589706897078970889709897108971189712897138971489715897168971789718897198972089721897228972389724897258972689727897288972989730897318973289733897348973589736897378973889739897408974189742897438974489745897468974789748897498975089751897528975389754897558975689757897588975989760897618976289763897648976589766897678976889769897708977189772897738977489775897768977789778897798978089781897828978389784897858978689787897888978989790897918979289793897948979589796897978979889799898008980189802898038980489805898068980789808898098981089811898128981389814898158981689817898188981989820898218982289823898248982589826898278982889829898308983189832898338983489835898368983789838898398984089841898428984389844898458984689847898488984989850898518985289853898548985589856898578985889859898608986189862898638986489865898668986789868898698987089871898728987389874898758987689877898788987989880898818988289883898848988589886898878988889889898908989189892898938989489895898968989789898898998990089901899028990389904899058990689907899088990989910899118991289913899148991589916899178991889919899208992189922899238992489925899268992789928899298993089931899328993389934899358993689937899388993989940899418994289943899448994589946899478994889949899508995189952899538995489955899568995789958899598996089961899628996389964899658996689967899688996989970899718997289973899748997589976899778997889979899808998189982899838998489985899868998789988899898999089991899928999389994899958999689997899988999990000900019000290003900049000590006900079000890009900109001190012900139001490015900169001790018900199002090021900229002390024900259002690027900289002990030900319003290033900349003590036900379003890039900409004190042900439004490045900469004790048900499005090051900529005390054900559005690057900589005990060900619006290063900649006590066900679006890069900709007190072900739007490075900769007790078900799008090081900829008390084900859008690087900889008990090900919009290093900949009590096900979009890099901009010190102901039010490105901069010790108901099011090111901129011390114901159011690117901189011990120901219012290123901249012590126901279012890129901309013190132901339013490135901369013790138901399014090141901429014390144901459014690147901489014990150901519015290153901549015590156901579015890159901609016190162901639016490165901669016790168901699017090171901729017390174901759017690177901789017990180901819018290183901849018590186901879018890189901909019190192901939019490195901969019790198901999020090201902029020390204902059020690207902089020990210902119021290213902149021590216902179021890219902209022190222902239022490225902269022790228902299023090231902329023390234902359023690237902389023990240902419024290243902449024590246902479024890249902509025190252902539025490255902569025790258902599026090261902629026390264902659026690267902689026990270902719027290273902749027590276902779027890279902809028190282902839028490285902869028790288902899029090291902929029390294902959029690297902989029990300903019030290303903049030590306903079030890309903109031190312903139031490315903169031790318903199032090321903229032390324903259032690327903289032990330903319033290333903349033590336903379033890339903409034190342903439034490345903469034790348903499035090351903529035390354903559035690357903589035990360903619036290363903649036590366903679036890369903709037190372903739037490375903769037790378903799038090381903829038390384903859038690387903889038990390903919039290393903949039590396903979039890399904009040190402904039040490405904069040790408904099041090411904129041390414904159041690417904189041990420904219042290423904249042590426904279042890429904309043190432904339043490435904369043790438904399044090441904429044390444904459044690447904489044990450904519045290453904549045590456904579045890459904609046190462904639046490465904669046790468904699047090471904729047390474904759047690477904789047990480904819048290483904849048590486904879048890489904909049190492904939049490495904969049790498904999050090501905029050390504905059050690507905089050990510905119051290513905149051590516905179051890519905209052190522905239052490525905269052790528905299053090531905329053390534905359053690537905389053990540905419054290543905449054590546905479054890549905509055190552905539055490555905569055790558905599056090561905629056390564905659056690567905689056990570905719057290573905749057590576905779057890579905809058190582905839058490585905869058790588905899059090591905929059390594905959059690597905989059990600906019060290603906049060590606906079060890609906109061190612906139061490615906169061790618906199062090621906229062390624906259062690627906289062990630906319063290633906349063590636906379063890639906409064190642906439064490645906469064790648906499065090651906529065390654906559065690657906589065990660906619066290663906649066590666906679066890669906709067190672906739067490675906769067790678906799068090681906829068390684906859068690687906889068990690906919069290693906949069590696906979069890699907009070190702907039070490705907069070790708907099071090711907129071390714907159071690717907189071990720907219072290723907249072590726907279072890729907309073190732907339073490735907369073790738907399074090741907429074390744907459074690747907489074990750907519075290753907549075590756907579075890759907609076190762907639076490765907669076790768907699077090771907729077390774907759077690777907789077990780907819078290783907849078590786907879078890789907909079190792907939079490795907969079790798907999080090801908029080390804908059080690807908089080990810908119081290813908149081590816908179081890819908209082190822908239082490825908269082790828908299083090831908329083390834908359083690837908389083990840908419084290843908449084590846908479084890849908509085190852908539085490855908569085790858908599086090861908629086390864908659086690867908689086990870908719087290873908749087590876908779087890879908809088190882908839088490885908869088790888908899089090891908929089390894908959089690897908989089990900909019090290903909049090590906909079090890909909109091190912909139091490915909169091790918909199092090921909229092390924909259092690927909289092990930909319093290933909349093590936909379093890939909409094190942909439094490945909469094790948909499095090951909529095390954909559095690957909589095990960909619096290963909649096590966909679096890969909709097190972909739097490975909769097790978909799098090981909829098390984909859098690987909889098990990909919099290993909949099590996909979099890999910009100191002910039100491005910069100791008910099101091011910129101391014910159101691017910189101991020910219102291023910249102591026910279102891029910309103191032910339103491035910369103791038910399104091041910429104391044910459104691047910489104991050910519105291053910549105591056910579105891059910609106191062910639106491065910669106791068910699107091071910729107391074910759107691077910789107991080910819108291083910849108591086910879108891089910909109191092910939109491095910969109791098910999110091101911029110391104911059110691107911089110991110911119111291113911149111591116911179111891119911209112191122911239112491125911269112791128911299113091131911329113391134911359113691137911389113991140911419114291143911449114591146911479114891149911509115191152911539115491155911569115791158911599116091161911629116391164911659116691167911689116991170911719117291173911749117591176911779117891179911809118191182911839118491185911869118791188911899119091191911929119391194911959119691197911989119991200912019120291203912049120591206912079120891209912109121191212912139121491215912169121791218912199122091221912229122391224912259122691227912289122991230912319123291233912349123591236912379123891239912409124191242912439124491245912469124791248912499125091251912529125391254912559125691257912589125991260912619126291263912649126591266912679126891269912709127191272912739127491275912769127791278912799128091281912829128391284912859128691287912889128991290912919129291293912949129591296912979129891299913009130191302913039130491305913069130791308913099131091311913129131391314913159131691317913189131991320913219132291323913249132591326913279132891329913309133191332913339133491335913369133791338913399134091341913429134391344913459134691347913489134991350913519135291353913549135591356913579135891359913609136191362913639136491365913669136791368913699137091371913729137391374913759137691377913789137991380913819138291383913849138591386913879138891389913909139191392913939139491395913969139791398913999140091401914029140391404914059140691407914089140991410914119141291413914149141591416914179141891419914209142191422914239142491425914269142791428914299143091431914329143391434914359143691437914389143991440914419144291443914449144591446914479144891449914509145191452914539145491455914569145791458914599146091461914629146391464914659146691467914689146991470914719147291473914749147591476914779147891479914809148191482914839148491485914869148791488914899149091491914929149391494914959149691497914989149991500915019150291503915049150591506915079150891509915109151191512915139151491515915169151791518915199152091521915229152391524915259152691527915289152991530915319153291533915349153591536915379153891539915409154191542915439154491545915469154791548915499155091551915529155391554915559155691557915589155991560915619156291563915649156591566915679156891569915709157191572915739157491575915769157791578915799158091581915829158391584915859158691587915889158991590915919159291593915949159591596915979159891599916009160191602916039160491605916069160791608916099161091611916129161391614916159161691617916189161991620916219162291623916249162591626916279162891629916309163191632916339163491635916369163791638916399164091641916429164391644916459164691647916489164991650916519165291653916549165591656916579165891659916609166191662916639166491665916669166791668916699167091671916729167391674916759167691677916789167991680916819168291683916849168591686916879168891689916909169191692916939169491695916969169791698916999170091701917029170391704917059170691707917089170991710917119171291713917149171591716917179171891719917209172191722917239172491725917269172791728917299173091731917329173391734917359173691737917389173991740917419174291743917449174591746917479174891749917509175191752917539175491755917569175791758917599176091761917629176391764917659176691767917689176991770917719177291773917749177591776917779177891779917809178191782917839178491785917869178791788917899179091791917929179391794917959179691797917989179991800918019180291803918049180591806918079180891809918109181191812918139181491815918169181791818918199182091821918229182391824918259182691827918289182991830918319183291833918349183591836918379183891839918409184191842918439184491845918469184791848918499185091851918529185391854918559185691857918589185991860918619186291863918649186591866918679186891869918709187191872918739187491875918769187791878918799188091881918829188391884918859188691887918889188991890918919189291893918949189591896918979189891899919009190191902919039190491905919069190791908919099191091911919129191391914919159191691917919189191991920919219192291923919249192591926919279192891929919309193191932919339193491935919369193791938919399194091941919429194391944919459194691947919489194991950919519195291953919549195591956919579195891959919609196191962919639196491965919669196791968919699197091971919729197391974919759197691977919789197991980919819198291983919849198591986919879198891989919909199191992919939199491995919969199791998919999200092001920029200392004920059200692007920089200992010920119201292013920149201592016920179201892019920209202192022920239202492025920269202792028920299203092031920329203392034920359203692037920389203992040920419204292043920449204592046920479204892049920509205192052920539205492055920569205792058920599206092061920629206392064920659206692067920689206992070920719207292073920749207592076920779207892079920809208192082920839208492085920869208792088920899209092091920929209392094920959209692097920989209992100921019210292103921049210592106921079210892109921109211192112921139211492115921169211792118921199212092121921229212392124921259212692127921289212992130921319213292133921349213592136921379213892139921409214192142921439214492145921469214792148921499215092151921529215392154921559215692157921589215992160921619216292163921649216592166921679216892169921709217192172921739217492175921769217792178921799218092181921829218392184921859218692187921889218992190921919219292193921949219592196921979219892199922009220192202922039220492205922069220792208922099221092211922129221392214922159221692217922189221992220922219222292223922249222592226922279222892229922309223192232922339223492235922369223792238922399224092241922429224392244922459224692247922489224992250922519225292253922549225592256922579225892259922609226192262922639226492265922669226792268922699227092271922729227392274922759227692277922789227992280922819228292283922849228592286922879228892289922909229192292922939229492295922969229792298922999230092301923029230392304923059230692307923089230992310923119231292313923149231592316923179231892319923209232192322923239232492325923269232792328923299233092331923329233392334923359233692337923389233992340923419234292343923449234592346923479234892349923509235192352923539235492355923569235792358923599236092361923629236392364923659236692367923689236992370923719237292373923749237592376923779237892379923809238192382923839238492385923869238792388923899239092391923929239392394923959239692397923989239992400924019240292403924049240592406924079240892409924109241192412924139241492415924169241792418924199242092421924229242392424924259242692427924289242992430924319243292433924349243592436924379243892439924409244192442924439244492445924469244792448924499245092451924529245392454924559245692457924589245992460924619246292463924649246592466924679246892469924709247192472924739247492475924769247792478924799248092481924829248392484924859248692487924889248992490924919249292493924949249592496924979249892499925009250192502925039250492505925069250792508925099251092511925129251392514925159251692517925189251992520925219252292523925249252592526925279252892529925309253192532925339253492535925369253792538925399254092541925429254392544925459254692547925489254992550925519255292553925549255592556925579255892559925609256192562925639256492565925669256792568925699257092571925729257392574925759257692577925789257992580925819258292583925849258592586925879258892589925909259192592925939259492595925969259792598925999260092601926029260392604926059260692607926089260992610926119261292613926149261592616926179261892619926209262192622926239262492625926269262792628926299263092631926329263392634926359263692637926389263992640926419264292643926449264592646926479264892649926509265192652926539265492655926569265792658926599266092661926629266392664926659266692667926689266992670926719267292673926749267592676926779267892679926809268192682926839268492685926869268792688926899269092691926929269392694926959269692697926989269992700927019270292703927049270592706927079270892709927109271192712927139271492715927169271792718927199272092721927229272392724927259272692727927289272992730927319273292733927349273592736927379273892739927409274192742927439274492745927469274792748927499275092751927529275392754927559275692757927589275992760927619276292763927649276592766927679276892769927709277192772927739277492775927769277792778927799278092781927829278392784927859278692787927889278992790927919279292793927949279592796927979279892799928009280192802928039280492805928069280792808928099281092811928129281392814928159281692817928189281992820928219282292823928249282592826928279282892829928309283192832928339283492835928369283792838928399284092841928429284392844928459284692847928489284992850928519285292853928549285592856928579285892859928609286192862928639286492865928669286792868928699287092871928729287392874928759287692877928789287992880928819288292883928849288592886928879288892889928909289192892928939289492895928969289792898928999290092901929029290392904929059290692907929089290992910929119291292913929149291592916929179291892919929209292192922929239292492925929269292792928929299293092931929329293392934929359293692937929389293992940929419294292943929449294592946929479294892949929509295192952929539295492955929569295792958929599296092961929629296392964929659296692967929689296992970929719297292973929749297592976929779297892979929809298192982929839298492985929869298792988929899299092991929929299392994929959299692997929989299993000930019300293003930049300593006930079300893009930109301193012930139301493015930169301793018930199302093021930229302393024930259302693027930289302993030930319303293033930349303593036930379303893039930409304193042930439304493045930469304793048930499305093051930529305393054930559305693057930589305993060930619306293063930649306593066930679306893069930709307193072930739307493075930769307793078930799308093081930829308393084930859308693087930889308993090930919309293093930949309593096930979309893099931009310193102931039310493105931069310793108931099311093111931129311393114931159311693117931189311993120931219312293123931249312593126931279312893129931309313193132931339313493135931369313793138931399314093141931429314393144931459314693147931489314993150931519315293153931549315593156931579315893159931609316193162931639316493165931669316793168931699317093171931729317393174931759317693177931789317993180931819318293183931849318593186931879318893189931909319193192931939319493195931969319793198931999320093201932029320393204932059320693207932089320993210932119321293213932149321593216932179321893219932209322193222932239322493225932269322793228932299323093231932329323393234932359323693237932389323993240932419324293243932449324593246932479324893249932509325193252932539325493255932569325793258932599326093261932629326393264932659326693267932689326993270932719327293273932749327593276932779327893279932809328193282932839328493285932869328793288932899329093291932929329393294932959329693297932989329993300933019330293303933049330593306933079330893309933109331193312933139331493315933169331793318933199332093321933229332393324933259332693327933289332993330933319333293333933349333593336933379333893339933409334193342933439334493345933469334793348933499335093351933529335393354933559335693357933589335993360933619336293363933649336593366933679336893369933709337193372933739337493375933769337793378933799338093381933829338393384933859338693387933889338993390933919339293393933949339593396933979339893399934009340193402934039340493405934069340793408934099341093411934129341393414934159341693417934189341993420934219342293423934249342593426934279342893429934309343193432934339343493435934369343793438934399344093441934429344393444934459344693447934489344993450934519345293453934549345593456934579345893459934609346193462934639346493465934669346793468934699347093471934729347393474934759347693477934789347993480934819348293483934849348593486934879348893489934909349193492934939349493495934969349793498934999350093501935029350393504935059350693507935089350993510935119351293513935149351593516935179351893519935209352193522935239352493525935269352793528935299353093531935329353393534935359353693537935389353993540935419354293543935449354593546935479354893549935509355193552935539355493555935569355793558935599356093561935629356393564935659356693567935689356993570935719357293573935749357593576935779357893579935809358193582935839358493585935869358793588935899359093591935929359393594935959359693597935989359993600936019360293603936049360593606936079360893609936109361193612936139361493615936169361793618936199362093621936229362393624936259362693627936289362993630936319363293633936349363593636936379363893639936409364193642936439364493645936469364793648936499365093651936529365393654936559365693657936589365993660936619366293663936649366593666936679366893669936709367193672936739367493675936769367793678936799368093681936829368393684936859368693687936889368993690936919369293693936949369593696936979369893699937009370193702937039370493705937069370793708937099371093711937129371393714937159371693717937189371993720937219372293723937249372593726937279372893729937309373193732937339373493735937369373793738937399374093741937429374393744937459374693747937489374993750937519375293753937549375593756937579375893759937609376193762937639376493765937669376793768937699377093771937729377393774937759377693777937789377993780937819378293783937849378593786937879378893789937909379193792937939379493795937969379793798937999380093801938029380393804938059380693807938089380993810938119381293813938149381593816938179381893819938209382193822938239382493825938269382793828938299383093831938329383393834938359383693837938389383993840938419384293843938449384593846938479384893849938509385193852938539385493855938569385793858938599386093861938629386393864938659386693867938689386993870938719387293873938749387593876938779387893879938809388193882938839388493885938869388793888938899389093891938929389393894938959389693897938989389993900939019390293903939049390593906939079390893909939109391193912939139391493915939169391793918939199392093921939229392393924939259392693927939289392993930939319393293933939349393593936939379393893939939409394193942939439394493945939469394793948939499395093951939529395393954939559395693957939589395993960939619396293963939649396593966939679396893969939709397193972939739397493975939769397793978939799398093981939829398393984939859398693987939889398993990939919399293993939949399593996939979399893999940009400194002940039400494005940069400794008940099401094011940129401394014940159401694017940189401994020940219402294023940249402594026940279402894029940309403194032940339403494035940369403794038940399404094041940429404394044940459404694047940489404994050940519405294053940549405594056940579405894059940609406194062940639406494065940669406794068940699407094071940729407394074940759407694077940789407994080940819408294083940849408594086940879408894089940909409194092940939409494095940969409794098940999410094101941029410394104941059410694107941089410994110941119411294113941149411594116941179411894119941209412194122941239412494125941269412794128941299413094131941329413394134941359413694137941389413994140941419414294143941449414594146941479414894149941509415194152941539415494155941569415794158941599416094161941629416394164941659416694167941689416994170941719417294173941749417594176941779417894179941809418194182941839418494185941869418794188941899419094191941929419394194941959419694197941989419994200942019420294203942049420594206942079420894209942109421194212942139421494215942169421794218942199422094221942229422394224942259422694227942289422994230942319423294233942349423594236942379423894239942409424194242942439424494245942469424794248942499425094251942529425394254942559425694257942589425994260942619426294263942649426594266942679426894269942709427194272942739427494275942769427794278942799428094281942829428394284942859428694287942889428994290942919429294293942949429594296942979429894299943009430194302943039430494305943069430794308943099431094311943129431394314943159431694317943189431994320943219432294323943249432594326943279432894329943309433194332943339433494335943369433794338943399434094341943429434394344943459434694347943489434994350943519435294353943549435594356943579435894359943609436194362943639436494365943669436794368943699437094371943729437394374943759437694377943789437994380943819438294383943849438594386943879438894389943909439194392943939439494395943969439794398943999440094401944029440394404944059440694407944089440994410944119441294413944149441594416944179441894419944209442194422944239442494425944269442794428944299443094431944329443394434944359443694437944389443994440944419444294443944449444594446944479444894449944509445194452944539445494455944569445794458944599446094461944629446394464944659446694467944689446994470944719447294473944749447594476944779447894479944809448194482944839448494485944869448794488944899449094491944929449394494944959449694497944989449994500945019450294503945049450594506945079450894509945109451194512945139451494515945169451794518945199452094521945229452394524945259452694527945289452994530945319453294533945349453594536945379453894539945409454194542945439454494545945469454794548945499455094551945529455394554945559455694557945589455994560945619456294563945649456594566945679456894569945709457194572945739457494575945769457794578945799458094581945829458394584945859458694587945889458994590945919459294593945949459594596945979459894599946009460194602946039460494605946069460794608946099461094611946129461394614946159461694617946189461994620946219462294623946249462594626946279462894629946309463194632946339463494635946369463794638946399464094641946429464394644946459464694647946489464994650946519465294653946549465594656946579465894659946609466194662946639466494665946669466794668946699467094671946729467394674946759467694677946789467994680946819468294683946849468594686946879468894689946909469194692946939469494695946969469794698946999470094701947029470394704947059470694707947089470994710947119471294713947149471594716947179471894719947209472194722947239472494725947269472794728947299473094731947329473394734947359473694737947389473994740947419474294743947449474594746947479474894749947509475194752947539475494755947569475794758947599476094761947629476394764947659476694767947689476994770947719477294773947749477594776947779477894779947809478194782947839478494785947869478794788947899479094791947929479394794947959479694797947989479994800948019480294803948049480594806948079480894809948109481194812948139481494815948169481794818948199482094821948229482394824948259482694827948289482994830948319483294833948349483594836948379483894839948409484194842948439484494845948469484794848948499485094851948529485394854948559485694857948589485994860948619486294863948649486594866948679486894869948709487194872948739487494875948769487794878948799488094881948829488394884948859488694887948889488994890948919489294893948949489594896948979489894899949009490194902949039490494905949069490794908949099491094911949129491394914949159491694917949189491994920949219492294923949249492594926949279492894929949309493194932949339493494935949369493794938949399494094941949429494394944949459494694947949489494994950949519495294953949549495594956949579495894959949609496194962949639496494965949669496794968949699497094971949729497394974949759497694977949789497994980949819498294983949849498594986949879498894989949909499194992949939499494995949969499794998949999500095001950029500395004950059500695007950089500995010950119501295013950149501595016950179501895019950209502195022950239502495025950269502795028950299503095031950329503395034950359503695037950389503995040950419504295043950449504595046950479504895049950509505195052950539505495055950569505795058950599506095061950629506395064950659506695067950689506995070950719507295073950749507595076950779507895079950809508195082950839508495085950869508795088950899509095091950929509395094950959509695097950989509995100951019510295103951049510595106951079510895109951109511195112951139511495115951169511795118951199512095121951229512395124951259512695127951289512995130951319513295133951349513595136951379513895139951409514195142951439514495145951469514795148951499515095151951529515395154951559515695157951589515995160951619516295163951649516595166951679516895169951709517195172951739517495175951769517795178951799518095181951829518395184951859518695187951889518995190951919519295193951949519595196951979519895199952009520195202952039520495205952069520795208952099521095211952129521395214952159521695217952189521995220952219522295223952249522595226952279522895229952309523195232952339523495235952369523795238952399524095241952429524395244952459524695247952489524995250952519525295253952549525595256952579525895259952609526195262952639526495265952669526795268952699527095271952729527395274952759527695277952789527995280952819528295283952849528595286952879528895289952909529195292952939529495295952969529795298952999530095301953029530395304953059530695307953089530995310953119531295313953149531595316953179531895319953209532195322953239532495325953269532795328953299533095331953329533395334953359533695337953389533995340953419534295343953449534595346953479534895349953509535195352953539535495355953569535795358953599536095361953629536395364953659536695367953689536995370953719537295373953749537595376953779537895379953809538195382953839538495385953869538795388953899539095391953929539395394953959539695397953989539995400954019540295403954049540595406954079540895409954109541195412954139541495415954169541795418954199542095421954229542395424954259542695427954289542995430954319543295433954349543595436954379543895439954409544195442954439544495445954469544795448954499545095451954529545395454954559545695457954589545995460954619546295463954649546595466954679546895469954709547195472954739547495475954769547795478954799548095481954829548395484954859548695487954889548995490954919549295493954949549595496954979549895499955009550195502955039550495505955069550795508955099551095511955129551395514955159551695517955189551995520955219552295523955249552595526955279552895529955309553195532955339553495535955369553795538955399554095541955429554395544955459554695547955489554995550955519555295553955549555595556955579555895559955609556195562955639556495565955669556795568955699557095571955729557395574955759557695577955789557995580955819558295583955849558595586955879558895589955909559195592955939559495595955969559795598955999560095601956029560395604956059560695607956089560995610956119561295613956149561595616956179561895619956209562195622956239562495625956269562795628956299563095631956329563395634956359563695637956389563995640956419564295643956449564595646956479564895649956509565195652956539565495655956569565795658956599566095661956629566395664956659566695667956689566995670956719567295673956749567595676956779567895679956809568195682956839568495685956869568795688956899569095691956929569395694956959569695697956989569995700957019570295703957049570595706957079570895709957109571195712957139571495715957169571795718957199572095721957229572395724957259572695727957289572995730957319573295733957349573595736957379573895739957409574195742957439574495745957469574795748957499575095751957529575395754957559575695757957589575995760957619576295763957649576595766957679576895769957709577195772957739577495775957769577795778957799578095781957829578395784957859578695787957889578995790957919579295793957949579595796957979579895799958009580195802958039580495805958069580795808958099581095811958129581395814958159581695817958189581995820958219582295823958249582595826958279582895829958309583195832958339583495835958369583795838958399584095841958429584395844958459584695847958489584995850958519585295853958549585595856958579585895859958609586195862958639586495865958669586795868958699587095871958729587395874958759587695877958789587995880958819588295883958849588595886958879588895889958909589195892958939589495895958969589795898958999590095901959029590395904959059590695907959089590995910959119591295913959149591595916959179591895919959209592195922959239592495925959269592795928959299593095931959329593395934959359593695937959389593995940959419594295943959449594595946959479594895949959509595195952959539595495955959569595795958959599596095961959629596395964959659596695967959689596995970959719597295973959749597595976959779597895979959809598195982959839598495985959869598795988959899599095991959929599395994959959599695997959989599996000960019600296003960049600596006960079600896009960109601196012960139601496015960169601796018960199602096021960229602396024960259602696027960289602996030960319603296033960349603596036960379603896039960409604196042960439604496045960469604796048960499605096051960529605396054960559605696057960589605996060960619606296063960649606596066960679606896069960709607196072960739607496075960769607796078960799608096081960829608396084960859608696087960889608996090960919609296093960949609596096960979609896099961009610196102961039610496105961069610796108961099611096111961129611396114961159611696117961189611996120961219612296123961249612596126961279612896129961309613196132961339613496135961369613796138961399614096141961429614396144961459614696147961489614996150961519615296153961549615596156961579615896159961609616196162961639616496165961669616796168961699617096171961729617396174961759617696177961789617996180961819618296183961849618596186961879618896189961909619196192961939619496195961969619796198961999620096201962029620396204962059620696207962089620996210962119621296213962149621596216962179621896219962209622196222962239622496225962269622796228962299623096231962329623396234962359623696237962389623996240962419624296243962449624596246962479624896249962509625196252962539625496255962569625796258962599626096261962629626396264962659626696267962689626996270962719627296273962749627596276962779627896279962809628196282962839628496285962869628796288962899629096291962929629396294962959629696297962989629996300963019630296303963049630596306963079630896309963109631196312963139631496315963169631796318963199632096321963229632396324963259632696327963289632996330963319633296333963349633596336963379633896339963409634196342963439634496345963469634796348963499635096351963529635396354963559635696357963589635996360963619636296363963649636596366963679636896369963709637196372963739637496375963769637796378963799638096381963829638396384963859638696387963889638996390963919639296393963949639596396963979639896399964009640196402964039640496405964069640796408964099641096411964129641396414964159641696417964189641996420964219642296423964249642596426964279642896429964309643196432964339643496435964369643796438964399644096441964429644396444964459644696447964489644996450964519645296453964549645596456964579645896459964609646196462964639646496465964669646796468964699647096471964729647396474964759647696477964789647996480964819648296483964849648596486964879648896489964909649196492964939649496495964969649796498964999650096501965029650396504965059650696507965089650996510965119651296513965149651596516965179651896519965209652196522965239652496525965269652796528965299653096531965329653396534965359653696537965389653996540965419654296543965449654596546965479654896549965509655196552965539655496555965569655796558965599656096561965629656396564965659656696567965689656996570965719657296573965749657596576965779657896579965809658196582965839658496585965869658796588965899659096591965929659396594965959659696597965989659996600966019660296603966049660596606966079660896609966109661196612966139661496615966169661796618966199662096621966229662396624966259662696627966289662996630966319663296633966349663596636966379663896639966409664196642966439664496645966469664796648966499665096651966529665396654966559665696657966589665996660966619666296663966649666596666966679666896669966709667196672966739667496675966769667796678966799668096681966829668396684966859668696687966889668996690966919669296693966949669596696966979669896699967009670196702967039670496705967069670796708967099671096711967129671396714967159671696717967189671996720967219672296723967249672596726967279672896729967309673196732967339673496735967369673796738967399674096741967429674396744967459674696747967489674996750967519675296753967549675596756967579675896759967609676196762967639676496765967669676796768967699677096771967729677396774967759677696777967789677996780967819678296783967849678596786967879678896789967909679196792967939679496795967969679796798967999680096801968029680396804968059680696807968089680996810968119681296813968149681596816968179681896819968209682196822968239682496825968269682796828968299683096831968329683396834968359683696837968389683996840968419684296843968449684596846968479684896849968509685196852968539685496855968569685796858968599686096861968629686396864968659686696867968689686996870968719687296873968749687596876968779687896879968809688196882968839688496885968869688796888968899689096891968929689396894968959689696897968989689996900969019690296903969049690596906969079690896909969109691196912969139691496915969169691796918969199692096921969229692396924969259692696927969289692996930969319693296933969349693596936969379693896939969409694196942969439694496945969469694796948969499695096951969529695396954969559695696957969589695996960969619696296963969649696596966969679696896969969709697196972969739697496975969769697796978969799698096981969829698396984969859698696987969889698996990969919699296993969949699596996969979699896999970009700197002970039700497005970069700797008970099701097011970129701397014970159701697017970189701997020970219702297023970249702597026970279702897029970309703197032970339703497035970369703797038970399704097041970429704397044970459704697047970489704997050970519705297053970549705597056970579705897059970609706197062970639706497065970669706797068970699707097071970729707397074970759707697077970789707997080970819708297083970849708597086970879708897089970909709197092970939709497095970969709797098970999710097101971029710397104971059710697107971089710997110971119711297113971149711597116971179711897119971209712197122971239712497125971269712797128971299713097131971329713397134971359713697137971389713997140971419714297143971449714597146971479714897149971509715197152971539715497155971569715797158971599716097161971629716397164971659716697167971689716997170971719717297173971749717597176971779717897179971809718197182971839718497185971869718797188971899719097191971929719397194971959719697197971989719997200972019720297203972049720597206972079720897209972109721197212972139721497215972169721797218972199722097221972229722397224972259722697227972289722997230972319723297233972349723597236972379723897239972409724197242972439724497245972469724797248972499725097251972529725397254972559725697257972589725997260972619726297263972649726597266972679726897269972709727197272972739727497275972769727797278972799728097281972829728397284972859728697287972889728997290972919729297293972949729597296972979729897299973009730197302973039730497305973069730797308973099731097311973129731397314973159731697317973189731997320973219732297323973249732597326973279732897329973309733197332973339733497335973369733797338973399734097341973429734397344973459734697347973489734997350973519735297353973549735597356973579735897359973609736197362973639736497365973669736797368973699737097371973729737397374973759737697377973789737997380973819738297383973849738597386973879738897389973909739197392973939739497395973969739797398973999740097401974029740397404974059740697407974089740997410974119741297413974149741597416974179741897419974209742197422974239742497425974269742797428974299743097431974329743397434974359743697437974389743997440974419744297443974449744597446974479744897449974509745197452974539745497455974569745797458974599746097461974629746397464974659746697467974689746997470974719747297473974749747597476974779747897479974809748197482974839748497485974869748797488974899749097491974929749397494974959749697497974989749997500975019750297503975049750597506975079750897509975109751197512975139751497515975169751797518975199752097521975229752397524975259752697527975289752997530975319753297533975349753597536975379753897539975409754197542975439754497545975469754797548975499755097551975529755397554975559755697557975589755997560975619756297563975649756597566975679756897569975709757197572975739757497575975769757797578975799758097581975829758397584975859758697587975889758997590975919759297593975949759597596975979759897599976009760197602976039760497605976069760797608976099761097611976129761397614976159761697617976189761997620976219762297623976249762597626976279762897629976309763197632976339763497635976369763797638976399764097641976429764397644976459764697647976489764997650976519765297653976549765597656976579765897659976609766197662976639766497665976669766797668976699767097671976729767397674976759767697677976789767997680976819768297683976849768597686976879768897689976909769197692976939769497695976969769797698976999770097701977029770397704977059770697707977089770997710977119771297713977149771597716977179771897719977209772197722977239772497725977269772797728977299773097731977329773397734977359773697737977389773997740977419774297743977449774597746977479774897749977509775197752977539775497755977569775797758977599776097761977629776397764977659776697767977689776997770977719777297773977749777597776977779777897779977809778197782977839778497785977869778797788977899779097791977929779397794977959779697797977989779997800978019780297803978049780597806978079780897809978109781197812978139781497815978169781797818978199782097821978229782397824978259782697827978289782997830978319783297833978349783597836978379783897839978409784197842978439784497845978469784797848978499785097851978529785397854978559785697857978589785997860978619786297863978649786597866978679786897869978709787197872978739787497875978769787797878978799788097881978829788397884978859788697887978889788997890978919789297893978949789597896978979789897899979009790197902979039790497905979069790797908979099791097911979129791397914979159791697917979189791997920979219792297923979249792597926979279792897929979309793197932979339793497935979369793797938979399794097941979429794397944979459794697947979489794997950979519795297953979549795597956979579795897959979609796197962979639796497965979669796797968979699797097971979729797397974979759797697977979789797997980979819798297983979849798597986979879798897989979909799197992979939799497995979969799797998979999800098001980029800398004980059800698007980089800998010980119801298013980149801598016980179801898019980209802198022980239802498025980269802798028980299803098031980329803398034980359803698037980389803998040980419804298043980449804598046980479804898049980509805198052980539805498055980569805798058980599806098061980629806398064980659806698067980689806998070980719807298073980749807598076980779807898079980809808198082980839808498085980869808798088980899809098091980929809398094980959809698097980989809998100981019810298103981049810598106981079810898109981109811198112981139811498115981169811798118981199812098121981229812398124981259812698127981289812998130981319813298133981349813598136981379813898139981409814198142981439814498145981469814798148981499815098151981529815398154981559815698157981589815998160981619816298163981649816598166981679816898169981709817198172981739817498175981769817798178981799818098181981829818398184981859818698187981889818998190981919819298193981949819598196981979819898199982009820198202982039820498205982069820798208982099821098211982129821398214982159821698217982189821998220982219822298223982249822598226982279822898229982309823198232982339823498235982369823798238982399824098241982429824398244982459824698247982489824998250982519825298253982549825598256982579825898259982609826198262982639826498265982669826798268982699827098271982729827398274982759827698277982789827998280982819828298283982849828598286982879828898289982909829198292982939829498295982969829798298982999830098301983029830398304983059830698307983089830998310983119831298313983149831598316983179831898319983209832198322983239832498325983269832798328983299833098331983329833398334983359833698337983389833998340983419834298343983449834598346983479834898349983509835198352983539835498355983569835798358983599836098361983629836398364983659836698367983689836998370983719837298373983749837598376983779837898379983809838198382983839838498385983869838798388983899839098391983929839398394983959839698397983989839998400984019840298403984049840598406984079840898409984109841198412984139841498415984169841798418984199842098421984229842398424984259842698427984289842998430984319843298433984349843598436984379843898439984409844198442984439844498445984469844798448984499845098451984529845398454984559845698457984589845998460984619846298463984649846598466984679846898469984709847198472984739847498475984769847798478984799848098481984829848398484984859848698487984889848998490984919849298493984949849598496984979849898499985009850198502985039850498505985069850798508985099851098511985129851398514985159851698517985189851998520985219852298523985249852598526985279852898529985309853198532985339853498535985369853798538985399854098541985429854398544985459854698547985489854998550985519855298553985549855598556985579855898559985609856198562985639856498565985669856798568985699857098571985729857398574985759857698577985789857998580985819858298583985849858598586985879858898589985909859198592985939859498595985969859798598985999860098601986029860398604986059860698607986089860998610986119861298613986149861598616986179861898619986209862198622986239862498625986269862798628986299863098631986329863398634986359863698637986389863998640986419864298643986449864598646986479864898649986509865198652986539865498655986569865798658986599866098661986629866398664986659866698667986689866998670986719867298673986749867598676986779867898679986809868198682986839868498685986869868798688986899869098691986929869398694986959869698697986989869998700987019870298703987049870598706987079870898709987109871198712987139871498715987169871798718987199872098721987229872398724987259872698727987289872998730987319873298733987349873598736987379873898739987409874198742987439874498745987469874798748987499875098751987529875398754987559875698757987589875998760987619876298763987649876598766987679876898769987709877198772987739877498775987769877798778987799878098781987829878398784987859878698787987889878998790987919879298793987949879598796987979879898799988009880198802988039880498805988069880798808988099881098811988129881398814988159881698817988189881998820988219882298823988249882598826988279882898829988309883198832988339883498835988369883798838988399884098841988429884398844988459884698847988489884998850988519885298853988549885598856988579885898859988609886198862988639886498865988669886798868988699887098871988729887398874988759887698877988789887998880988819888298883988849888598886988879888898889988909889198892988939889498895988969889798898988999890098901989029890398904989059890698907989089890998910989119891298913989149891598916989179891898919989209892198922989239892498925989269892798928989299893098931989329893398934989359893698937989389893998940989419894298943989449894598946989479894898949989509895198952989539895498955989569895798958989599896098961989629896398964989659896698967989689896998970989719897298973989749897598976989779897898979989809898198982989839898498985989869898798988989899899098991989929899398994989959899698997989989899999000990019900299003990049900599006990079900899009990109901199012990139901499015990169901799018990199902099021990229902399024990259902699027990289902999030990319903299033990349903599036990379903899039990409904199042990439904499045990469904799048990499905099051990529905399054990559905699057990589905999060990619906299063990649906599066990679906899069990709907199072990739907499075990769907799078990799908099081990829908399084990859908699087990889908999090990919909299093990949909599096990979909899099991009910199102991039910499105991069910799108991099911099111991129911399114991159911699117991189911999120991219912299123991249912599126991279912899129991309913199132991339913499135991369913799138991399914099141991429914399144991459914699147991489914999150991519915299153991549915599156991579915899159991609916199162991639916499165991669916799168991699917099171991729917399174991759917699177991789917999180991819918299183991849918599186991879918899189991909919199192991939919499195991969919799198991999920099201992029920399204992059920699207992089920999210992119921299213992149921599216992179921899219992209922199222992239922499225992269922799228992299923099231992329923399234992359923699237992389923999240992419924299243992449924599246992479924899249992509925199252992539925499255992569925799258992599926099261992629926399264992659926699267992689926999270992719927299273992749927599276992779927899279992809928199282992839928499285992869928799288992899929099291992929929399294992959929699297992989929999300993019930299303993049930599306993079930899309993109931199312993139931499315993169931799318993199932099321993229932399324993259932699327993289932999330993319933299333993349933599336993379933899339993409934199342993439934499345993469934799348993499935099351993529935399354993559935699357993589935999360993619936299363993649936599366993679936899369993709937199372993739937499375993769937799378993799938099381993829938399384993859938699387993889938999390993919939299393993949939599396993979939899399994009940199402994039940499405994069940799408994099941099411994129941399414994159941699417994189941999420994219942299423994249942599426994279942899429994309943199432994339943499435994369943799438994399944099441994429944399444994459944699447994489944999450994519945299453994549945599456994579945899459994609946199462994639946499465994669946799468994699947099471994729947399474994759947699477994789947999480994819948299483994849948599486994879948899489994909949199492994939949499495994969949799498994999950099501995029950399504995059950699507995089950999510995119951299513995149951599516995179951899519995209952199522995239952499525995269952799528995299953099531995329953399534995359953699537995389953999540995419954299543995449954599546995479954899549995509955199552995539955499555995569955799558995599956099561995629956399564995659956699567995689956999570995719957299573995749957599576995779957899579995809958199582995839958499585995869958799588995899959099591995929959399594995959959699597995989959999600996019960299603996049960599606996079960899609996109961199612996139961499615996169961799618996199962099621996229962399624996259962699627996289962999630996319963299633996349963599636996379963899639996409964199642996439964499645996469964799648996499965099651996529965399654996559965699657996589965999660996619966299663996649966599666996679966899669996709967199672996739967499675996769967799678996799968099681996829968399684996859968699687996889968999690996919969299693996949969599696996979969899699997009970199702997039970499705997069970799708997099971099711997129971399714997159971699717997189971999720997219972299723997249972599726997279972899729997309973199732997339973499735997369973799738997399974099741997429974399744997459974699747997489974999750997519975299753997549975599756997579975899759997609976199762997639976499765997669976799768997699977099771997729977399774997759977699777997789977999780997819978299783997849978599786997879978899789997909979199792997939979499795997969979799798997999980099801998029980399804998059980699807998089980999810998119981299813998149981599816998179981899819998209982199822998239982499825998269982799828998299983099831998329983399834998359983699837998389983999840998419984299843998449984599846998479984899849998509985199852998539985499855998569985799858998599986099861998629986399864998659986699867998689986999870998719987299873998749987599876998779987899879998809988199882998839988499885998869988799888998899989099891998929989399894998959989699897998989989999900999019990299903999049990599906999079990899909999109991199912999139991499915999169991799918999199992099921999229992399924999259992699927999289992999930999319993299933999349993599936999379993899939999409994199942999439994499945999469994799948999499995099951999529995399954999559995699957999589995999960999619996299963999649996599966999679996899969999709997199972999739997499975999769997799978999799998099981999829998399984999859998699987999889998999990999919999299993999949999599996999979999899999100000100001100002100003100004100005100006100007100008100009100010100011100012100013100014100015100016100017100018100019100020100021100022100023100024100025100026100027100028100029100030100031100032100033100034100035100036100037100038100039100040100041100042100043100044100045100046100047100048100049100050100051100052100053100054100055100056100057100058100059100060100061100062100063100064100065100066100067100068100069100070100071100072100073100074100075100076100077100078100079100080100081100082100083100084100085100086100087100088100089100090100091100092100093100094100095100096100097100098100099100100100101100102100103100104100105100106100107100108100109100110100111100112100113100114100115100116100117100118100119100120100121100122100123100124100125100126100127100128100129100130100131100132100133100134100135100136100137100138100139100140100141100142100143100144100145100146100147100148100149100150100151100152100153100154100155100156100157100158100159100160100161100162100163100164100165100166100167100168100169100170100171100172100173100174100175100176100177100178100179100180100181100182100183100184100185100186100187100188100189100190100191100192100193100194100195100196100197100198100199100200100201100202100203100204100205100206100207100208100209100210100211100212100213100214100215100216100217100218100219100220100221100222100223100224100225100226100227100228100229100230100231100232100233100234100235100236100237100238100239100240100241100242100243100244100245100246100247100248100249100250100251100252100253100254100255100256100257100258100259100260100261100262100263100264100265100266100267100268100269100270100271100272100273100274100275100276100277100278100279100280100281100282100283100284100285100286100287100288100289100290100291100292100293100294100295100296100297100298100299100300100301100302100303100304100305100306100307100308100309100310100311100312100313100314100315100316100317100318100319100320100321100322100323100324100325100326100327100328100329100330100331100332100333100334100335100336100337100338100339100340100341100342100343100344100345100346100347100348100349100350100351100352100353100354100355100356100357100358100359100360100361100362100363100364100365100366100367100368100369100370100371100372100373100374100375100376100377100378100379100380100381100382100383100384100385100386100387100388100389100390100391100392100393100394100395100396100397100398100399100400100401100402100403100404100405100406100407100408100409100410100411100412100413100414100415100416100417100418100419100420100421100422100423100424100425100426100427100428100429100430100431100432100433100434100435100436100437100438100439100440100441100442100443100444100445100446100447100448100449100450100451100452100453100454100455100456100457100458100459100460100461100462100463100464100465100466100467100468100469100470100471100472100473100474100475100476100477100478100479100480100481100482100483100484100485100486100487100488100489100490100491100492100493100494100495100496100497100498100499100500100501100502100503100504100505100506100507100508100509100510100511100512100513100514100515100516100517100518100519100520100521100522100523100524100525100526100527100528100529100530100531100532100533100534100535100536100537100538100539100540100541100542100543100544100545100546100547100548100549100550100551100552100553100554100555100556100557100558100559100560100561100562100563100564100565100566100567100568100569100570100571100572100573100574100575100576100577100578100579100580100581100582100583100584100585100586100587100588100589100590100591100592100593100594100595100596100597100598100599100600100601100602100603100604100605100606100607100608100609100610100611100612100613100614100615100616100617100618100619100620100621100622100623100624100625100626100627100628100629100630100631100632100633100634100635100636100637100638100639100640100641100642100643100644100645100646100647100648100649100650100651100652100653100654100655100656100657100658100659100660100661100662100663100664100665100666100667100668100669100670100671100672100673100674100675100676100677100678100679100680100681100682100683100684100685100686100687100688100689100690100691100692100693100694100695100696100697100698100699100700100701100702100703100704100705100706100707100708100709100710100711100712100713100714100715100716100717100718100719100720100721100722100723100724100725100726100727100728100729100730100731100732100733100734100735100736100737100738100739100740100741100742100743100744100745100746100747100748100749100750100751100752100753100754100755100756100757100758100759100760100761100762100763100764100765100766100767100768100769100770100771100772100773100774100775100776100777100778100779100780100781100782100783100784100785100786100787100788100789100790100791100792100793100794100795100796100797100798100799100800100801100802100803100804100805100806100807100808100809100810100811100812100813100814100815100816100817100818100819100820100821100822100823100824100825100826100827100828100829100830100831100832100833100834100835100836100837100838100839100840100841100842100843100844100845100846100847100848100849100850100851100852100853100854100855100856100857100858100859100860100861100862100863100864100865100866100867100868100869100870100871100872100873100874100875100876100877100878100879100880100881100882100883100884100885100886100887100888100889100890100891100892100893100894100895100896100897100898100899100900100901100902100903100904100905100906100907100908100909100910100911100912100913100914100915100916100917100918100919100920100921100922100923100924100925100926100927100928100929100930100931100932100933100934100935100936100937100938100939100940100941100942100943100944100945100946100947100948100949100950100951100952100953100954100955100956100957100958100959100960100961100962100963100964100965100966100967100968100969100970100971100972100973100974100975100976100977100978100979100980100981100982100983100984100985100986100987100988100989100990100991100992100993100994100995100996100997100998100999101000101001101002101003101004101005101006101007101008101009101010101011101012101013101014101015101016101017101018101019101020101021101022101023101024101025101026101027101028101029101030101031101032101033101034101035101036101037101038101039101040101041101042101043101044101045101046101047101048101049101050101051101052101053101054101055101056101057101058101059101060101061101062101063101064101065101066101067101068101069101070101071101072101073101074101075101076101077101078101079101080101081101082101083101084101085101086101087101088101089101090101091101092101093101094101095101096101097101098101099101100101101101102101103101104101105101106101107101108101109101110101111101112101113101114101115101116101117101118101119101120101121101122101123101124101125101126101127101128101129101130101131101132101133101134101135101136101137101138101139101140101141101142101143101144101145101146101147101148101149101150101151101152101153101154101155101156101157101158101159101160101161101162101163101164101165101166101167101168101169101170101171101172101173101174101175101176101177101178101179101180101181101182101183101184101185101186101187101188101189101190101191101192101193101194101195101196101197101198101199101200101201101202101203101204101205101206101207101208101209101210101211101212101213101214101215101216101217101218101219101220101221101222101223101224101225101226101227101228101229101230101231101232101233101234101235101236101237101238101239101240101241101242101243101244101245101246101247101248101249101250101251101252101253101254101255101256101257101258101259101260101261101262101263101264101265101266101267101268101269101270101271101272101273101274101275101276101277101278101279101280101281101282101283101284101285101286101287101288101289101290101291101292101293101294101295101296101297101298101299101300101301101302101303101304101305101306101307101308101309101310101311101312101313101314101315101316101317101318101319101320101321101322101323101324101325101326101327101328101329101330101331101332101333101334101335101336101337101338101339101340101341101342101343101344101345101346101347101348101349101350101351101352101353101354101355101356101357101358101359101360101361101362101363101364101365101366101367101368101369101370101371101372101373101374101375101376101377101378101379101380101381101382101383101384101385101386101387101388101389101390101391101392101393101394101395101396101397101398101399101400101401101402101403101404101405101406101407101408101409101410101411101412101413101414101415101416101417101418101419101420101421101422101423101424101425101426101427101428101429101430101431101432101433101434101435101436101437101438101439101440101441101442101443101444101445101446101447101448101449101450101451101452101453101454101455101456101457101458101459101460101461101462101463101464101465101466101467101468101469101470101471101472101473101474101475101476101477101478101479101480101481101482101483101484101485101486101487101488101489101490101491101492101493101494101495101496101497101498101499101500101501101502101503101504101505101506101507101508101509101510101511101512101513101514101515101516101517101518101519101520101521101522101523101524101525101526101527101528101529101530101531101532101533101534101535101536101537101538101539101540101541101542101543101544101545101546101547101548101549101550101551101552101553101554101555101556101557101558101559101560101561101562101563101564101565101566101567101568101569101570101571101572101573101574101575101576101577101578101579101580101581101582101583101584101585101586101587101588101589101590101591101592101593101594101595101596101597101598101599101600101601101602101603101604101605101606101607101608101609101610101611101612101613101614101615101616101617101618101619101620101621101622101623101624101625101626101627101628101629101630101631101632101633101634101635101636101637101638101639101640101641101642101643101644101645101646101647101648101649101650101651101652101653101654101655101656101657101658101659101660101661101662101663101664101665101666101667101668101669101670101671101672101673101674101675101676101677101678101679101680101681101682101683101684101685101686101687101688101689101690101691101692101693101694101695101696101697101698101699101700101701101702101703101704101705101706101707101708101709101710101711101712101713101714101715101716101717101718101719101720101721101722101723101724101725101726101727101728101729101730101731101732101733101734101735101736101737101738101739101740101741101742101743101744101745101746101747101748101749101750101751101752101753101754101755101756101757101758101759101760101761101762101763101764101765101766101767101768101769101770101771101772101773101774101775101776101777101778101779101780101781101782101783101784101785101786101787101788101789101790101791101792101793101794101795101796101797101798101799101800101801101802101803101804101805101806101807101808101809101810101811101812101813101814101815101816101817101818101819101820101821101822101823101824101825101826101827101828101829101830101831101832101833101834101835101836101837101838101839101840101841101842101843101844101845101846101847101848101849101850101851101852101853101854101855101856101857101858101859101860101861101862101863101864101865101866101867101868101869101870101871101872101873101874101875101876101877101878101879101880101881101882101883101884101885101886101887101888101889101890101891101892101893101894101895101896101897101898101899101900101901101902101903101904101905101906101907101908101909101910101911101912101913101914101915101916101917101918101919101920101921101922101923101924101925101926101927101928101929101930101931101932101933101934101935101936101937101938101939101940101941101942101943101944101945101946101947101948101949101950101951101952101953101954101955101956101957101958101959101960101961101962101963101964101965101966101967101968101969101970101971101972101973101974101975101976101977101978101979101980101981101982101983101984101985101986101987101988101989101990101991101992101993101994101995101996101997101998101999102000102001102002102003102004102005102006102007102008102009102010102011102012102013102014102015102016102017102018102019102020102021102022102023102024102025102026102027102028102029102030102031102032102033102034102035102036102037102038102039102040102041102042102043102044102045102046102047102048102049102050102051102052102053102054102055102056102057102058102059102060102061102062102063102064102065102066102067102068102069102070102071102072102073102074102075102076102077102078102079102080102081102082102083102084102085102086102087102088102089102090102091102092102093102094102095102096102097102098102099102100102101102102102103102104102105102106102107102108102109102110102111102112102113102114102115102116102117102118102119102120102121102122102123102124102125102126102127102128102129102130102131102132102133102134102135102136102137102138102139102140102141102142102143102144102145102146102147102148102149102150102151102152102153102154102155102156102157102158102159102160102161102162102163102164102165102166102167102168102169102170102171102172102173102174102175102176102177102178102179102180102181102182102183102184102185102186102187102188102189102190102191102192102193102194102195102196102197102198102199102200102201102202102203102204102205102206102207102208102209102210102211102212102213102214102215102216102217102218102219102220102221102222102223102224102225102226102227102228102229102230102231102232102233102234102235102236102237102238102239102240102241102242102243102244102245102246102247102248102249102250102251102252102253102254102255102256102257102258102259102260102261102262102263102264102265102266102267102268102269102270102271102272102273102274102275102276102277102278102279102280102281102282102283102284102285102286102287102288102289102290102291102292102293102294102295102296102297102298102299102300102301102302102303102304102305102306102307102308102309102310102311102312102313102314102315102316102317102318102319102320102321102322102323102324102325102326102327102328102329102330102331102332102333102334102335102336102337102338102339102340102341102342102343102344102345102346102347102348102349102350102351102352102353102354102355102356102357102358102359102360102361102362102363102364102365102366102367102368102369102370102371102372102373102374102375102376102377102378102379102380102381102382102383102384102385102386102387102388102389102390102391102392102393102394102395102396102397102398102399102400102401102402102403102404102405102406102407102408102409102410102411102412102413102414102415102416102417102418102419102420102421102422102423102424102425102426102427102428102429102430102431102432102433102434102435102436102437102438102439102440102441102442102443102444102445102446102447102448102449102450102451102452102453102454102455102456102457102458102459102460102461102462102463102464102465102466102467102468102469102470102471102472102473102474102475102476102477102478102479102480102481102482102483102484102485102486102487102488102489102490102491102492102493102494102495102496102497102498102499102500102501102502102503102504102505102506102507102508102509102510102511102512102513102514102515102516102517102518102519102520102521102522102523102524102525102526102527102528102529102530102531102532102533102534102535102536102537102538102539102540102541102542102543102544102545102546102547102548102549102550102551102552102553102554102555102556102557102558102559102560102561102562102563102564102565102566102567102568102569102570102571102572102573102574102575102576102577102578102579102580102581102582102583102584102585102586102587102588102589102590102591102592102593102594102595102596102597102598102599102600102601102602102603102604102605102606102607102608102609102610102611102612102613102614102615102616102617102618102619102620102621102622102623102624102625102626102627102628102629102630102631102632102633102634102635102636102637102638102639102640102641102642102643102644102645102646102647102648102649102650102651102652102653102654102655102656102657102658102659102660102661102662102663102664102665102666102667102668102669102670102671102672102673102674102675102676102677102678102679102680102681102682102683102684102685102686102687102688102689102690102691102692102693102694102695102696102697102698102699102700102701102702102703102704102705102706102707102708102709102710102711102712102713102714102715102716102717102718102719102720102721102722102723102724102725102726102727102728102729102730102731102732102733102734102735102736102737102738102739102740102741102742102743102744102745102746102747102748102749102750102751102752102753102754102755102756102757102758102759102760102761102762102763102764102765102766102767102768102769102770102771102772102773102774102775102776102777102778102779102780102781102782102783102784102785102786102787102788102789102790102791102792102793102794102795102796102797102798102799102800102801102802102803102804102805102806102807102808102809102810102811102812102813102814102815102816102817102818102819102820102821102822102823102824102825102826102827102828102829102830102831102832102833102834102835102836102837102838102839102840102841102842102843102844102845102846102847102848102849102850102851102852102853102854102855102856102857102858102859102860102861102862102863102864102865102866102867102868102869102870102871102872102873102874102875102876102877102878102879102880102881102882102883102884102885102886102887102888102889102890102891102892102893102894102895102896102897102898102899102900102901102902102903102904102905102906102907102908102909102910102911102912102913102914102915102916102917102918102919102920102921102922102923102924102925102926102927102928102929102930102931102932102933102934102935102936102937102938102939102940102941102942102943102944102945102946102947102948102949102950102951102952102953102954102955102956102957102958102959102960102961102962102963102964102965102966102967102968102969102970102971102972102973102974102975102976102977102978102979102980102981102982102983102984102985102986102987102988102989102990102991102992102993102994102995102996102997102998102999103000103001103002103003103004103005103006103007103008103009103010103011103012103013103014103015103016103017103018103019103020103021103022103023103024103025103026103027103028103029103030103031103032103033103034103035103036103037103038103039103040103041103042103043103044103045103046103047103048103049103050103051103052103053103054103055103056103057103058103059103060103061103062103063103064103065103066103067103068103069103070103071103072103073103074103075103076103077103078103079103080103081103082103083103084103085103086103087103088103089103090103091103092103093103094103095103096103097103098103099103100103101103102103103103104103105103106103107103108103109103110103111103112103113103114103115103116103117103118103119103120103121103122103123103124103125103126103127103128103129103130103131103132103133103134103135103136103137103138103139103140103141103142103143103144103145103146103147103148103149103150103151103152103153103154103155103156103157103158103159103160103161103162103163103164103165103166103167103168103169103170103171103172103173103174103175103176103177103178103179103180103181103182103183103184103185103186103187103188103189103190103191103192103193103194103195103196103197103198103199103200103201103202103203103204103205103206103207103208103209103210103211103212103213103214103215103216103217103218103219103220103221103222103223103224103225103226103227103228103229103230103231103232103233103234103235103236103237103238103239103240103241103242103243103244103245103246103247103248103249103250103251103252103253103254103255103256103257103258103259103260103261103262103263103264103265103266103267103268103269103270103271103272103273103274103275103276103277103278103279103280103281103282103283103284103285103286103287103288103289103290103291103292103293103294103295103296103297103298103299103300103301103302103303103304103305103306103307103308103309103310103311103312103313103314103315103316103317103318103319103320103321103322103323103324103325103326103327103328103329103330103331103332103333103334103335103336103337103338103339103340103341103342103343103344103345103346103347103348103349103350103351103352103353103354103355103356103357103358103359103360103361103362103363103364103365103366103367103368103369103370103371103372103373103374103375103376103377103378103379103380103381103382103383103384103385103386103387103388103389103390103391103392103393103394103395103396103397103398103399103400103401103402103403103404103405103406103407103408103409103410103411103412103413103414103415103416103417103418103419103420103421103422103423103424103425103426103427103428103429103430103431103432103433103434103435103436103437103438103439103440103441103442103443103444103445103446103447103448103449103450103451103452103453103454103455103456103457103458103459103460103461103462103463103464103465103466103467103468103469103470103471103472103473103474103475103476103477103478103479103480103481103482103483103484103485103486103487103488103489103490103491103492103493103494103495103496103497103498103499103500103501103502103503103504103505103506103507103508103509103510103511103512103513103514103515103516103517103518103519103520103521103522103523103524103525103526103527103528103529103530103531103532103533103534103535103536103537103538103539103540103541103542103543103544103545103546103547103548103549103550103551103552103553103554103555103556103557103558103559103560103561103562103563103564103565103566103567103568103569103570103571103572103573103574103575103576103577103578103579103580103581103582103583103584103585103586103587103588103589103590103591103592103593103594103595103596103597103598103599103600103601103602103603103604103605103606103607103608103609103610103611103612103613103614103615103616103617103618103619103620103621103622103623103624103625103626103627103628103629103630103631103632103633103634103635103636103637103638103639103640103641103642103643103644103645103646103647103648103649103650103651103652103653103654103655103656103657103658103659103660103661103662103663103664103665103666103667103668103669103670103671103672103673103674103675103676103677103678103679103680103681103682103683103684103685103686103687103688103689103690103691103692103693103694103695103696103697103698103699103700103701103702103703103704103705103706103707103708103709103710103711103712103713103714103715103716103717103718103719103720103721103722103723103724103725103726103727103728103729103730103731103732103733103734103735103736103737103738103739103740103741103742103743103744103745103746103747103748103749103750103751103752103753103754103755103756103757103758103759103760103761103762103763103764103765103766103767103768103769103770103771103772103773103774103775103776103777103778103779103780103781103782103783103784103785103786103787103788103789103790103791103792103793103794103795103796103797103798103799103800103801103802103803103804103805103806103807103808103809103810103811103812103813103814103815103816103817103818103819103820103821103822103823103824103825103826103827103828103829103830103831103832103833103834103835103836103837103838103839103840103841103842103843103844103845103846103847103848103849103850103851103852103853103854103855103856103857103858103859103860103861103862103863103864103865103866103867103868103869103870103871103872103873103874103875103876103877103878103879103880103881103882103883103884103885103886103887103888103889103890103891103892103893103894103895103896103897103898103899103900103901103902103903103904103905103906103907103908103909103910103911103912103913103914103915103916103917103918103919103920103921103922103923103924103925103926103927103928103929103930103931103932103933103934103935103936103937103938103939103940103941103942103943103944103945103946103947103948103949103950103951103952103953103954103955103956103957103958103959103960103961103962103963103964103965103966103967103968103969103970103971103972103973103974103975103976103977103978103979103980103981103982103983103984103985103986103987103988103989103990103991103992103993103994103995103996103997103998103999104000104001104002104003104004104005104006104007104008104009104010104011104012104013104014104015104016104017104018104019104020104021104022104023104024104025104026104027104028104029104030104031104032104033104034104035104036104037104038104039104040104041104042104043104044104045104046104047104048104049104050104051104052104053104054104055104056104057104058104059104060104061104062104063104064104065104066104067104068104069104070104071104072104073104074104075104076104077104078104079104080104081104082104083104084104085104086104087104088104089104090104091104092104093104094104095104096104097104098104099104100104101104102104103104104104105104106104107104108104109104110104111104112104113104114104115104116104117104118104119104120104121104122104123104124104125104126104127104128104129104130104131104132104133104134104135104136104137104138104139104140104141104142104143104144104145104146104147104148104149104150104151104152104153104154104155104156104157104158104159104160104161104162104163104164104165104166104167104168104169104170104171104172104173104174104175104176104177104178104179104180104181104182104183104184104185104186104187104188104189104190104191104192104193104194104195104196104197104198104199104200104201104202104203104204104205104206104207104208104209104210104211104212104213104214104215104216104217104218104219104220104221104222104223104224104225104226104227104228104229104230104231104232104233104234104235104236104237104238104239104240104241104242104243104244104245104246104247104248104249104250104251104252104253104254104255104256104257104258104259104260104261104262104263104264104265104266104267104268104269104270104271104272104273104274104275104276104277104278104279104280104281104282104283104284104285104286104287104288104289104290104291104292104293104294104295104296104297104298104299104300104301104302104303104304104305104306104307104308104309104310104311104312104313104314104315104316104317104318104319104320104321104322104323104324104325104326104327104328104329104330104331104332104333104334104335104336104337104338104339104340104341104342104343104344104345104346104347104348104349104350104351104352104353104354104355104356104357104358104359104360104361104362104363104364104365104366104367104368104369104370104371104372104373104374104375104376104377104378104379104380104381104382104383104384104385104386104387104388104389104390104391104392104393104394104395104396104397104398104399104400104401104402104403104404104405104406104407104408104409104410104411104412104413104414104415104416104417104418104419104420104421104422104423104424104425104426104427104428104429104430104431104432104433104434104435104436104437104438104439104440104441104442104443104444104445104446104447104448104449104450104451104452104453104454104455104456104457104458104459104460104461104462104463104464104465104466104467104468104469104470104471104472104473104474104475104476104477104478104479104480104481104482104483104484104485104486104487104488104489104490104491104492104493104494104495104496104497104498104499104500104501104502104503104504104505104506104507104508104509104510104511104512104513104514104515104516104517104518104519104520104521104522104523104524104525104526104527104528104529104530104531104532104533104534104535104536104537104538104539104540104541104542104543104544104545104546104547104548104549104550104551104552104553104554104555104556104557104558104559104560104561104562104563104564104565104566104567104568104569104570104571104572104573104574104575104576104577104578104579104580104581104582104583104584104585104586104587104588104589104590104591104592104593104594104595104596104597104598104599104600104601104602104603104604104605104606104607104608104609104610104611104612104613104614104615104616104617104618104619104620104621104622104623104624104625104626104627104628104629104630104631104632104633104634104635104636104637104638104639104640104641104642104643104644104645104646104647104648104649104650104651104652104653104654104655104656104657104658104659104660104661104662104663104664104665104666104667104668104669104670104671104672104673104674104675104676104677104678104679104680104681104682104683104684104685104686104687104688104689104690104691104692104693104694104695104696104697104698104699104700104701104702104703104704104705104706104707104708104709104710104711104712104713104714104715104716104717104718104719104720104721104722104723104724104725104726104727104728104729104730104731104732104733104734104735104736104737104738104739104740104741104742104743104744104745104746104747104748104749104750104751104752104753104754104755104756104757104758104759104760104761104762104763104764104765104766104767104768104769104770104771104772104773104774104775104776104777104778104779104780104781104782104783104784104785104786104787104788104789104790104791104792104793104794104795104796104797104798104799104800104801104802104803104804104805104806104807104808104809104810104811104812104813104814104815104816104817104818104819104820104821104822104823104824104825104826104827104828104829104830104831104832104833104834104835104836104837104838104839104840104841104842104843104844104845104846104847104848104849104850104851104852104853104854104855104856104857104858104859104860104861104862104863104864104865104866104867104868104869104870104871104872104873104874104875104876104877104878104879104880104881104882104883104884104885104886104887104888104889104890104891104892104893104894104895104896104897104898104899104900104901104902104903104904104905104906104907104908104909104910104911104912104913104914104915104916104917104918104919104920104921104922104923104924104925104926104927104928104929104930104931104932104933104934104935104936104937104938104939104940104941104942104943104944104945104946104947104948104949104950104951104952104953104954104955104956104957104958104959104960104961104962104963104964104965104966104967104968104969104970104971104972104973104974104975104976104977104978104979104980104981104982104983104984104985104986104987104988104989104990104991104992104993104994104995104996104997104998104999105000105001105002105003105004105005105006105007105008105009105010105011105012105013105014105015105016105017105018105019105020105021105022105023105024105025105026105027105028105029105030105031105032105033105034105035105036105037105038105039105040105041105042105043105044105045105046105047105048105049105050105051105052105053105054105055105056105057105058105059105060105061105062105063105064105065105066105067105068105069105070105071105072105073105074105075105076105077105078105079105080105081105082105083105084105085105086105087105088105089105090105091105092105093105094105095105096105097105098105099105100105101105102105103105104105105105106105107105108105109105110105111105112105113105114105115105116105117105118105119105120105121105122105123105124105125105126105127105128105129105130105131105132105133105134105135105136105137105138105139105140105141105142105143105144105145105146105147105148105149105150105151105152105153105154105155105156105157105158105159105160105161105162105163105164105165105166105167105168105169105170105171105172105173105174105175105176105177105178105179105180105181105182105183105184105185105186105187105188105189105190105191105192105193105194105195105196105197105198105199105200105201105202105203105204105205105206105207105208105209105210105211105212105213105214105215105216105217105218105219105220105221105222105223105224105225105226105227105228105229105230105231105232105233105234105235105236105237105238105239105240105241105242105243105244105245105246105247105248105249105250105251105252105253105254105255105256105257105258105259105260105261105262105263105264105265105266105267105268105269105270105271105272105273105274105275105276105277105278105279105280105281105282105283105284105285105286105287105288105289105290105291105292105293105294105295105296105297105298105299105300105301105302105303105304105305105306105307105308105309105310105311105312105313105314105315105316105317105318105319105320105321105322105323105324105325105326105327105328105329105330105331105332105333105334105335105336105337105338105339105340105341105342105343105344105345105346105347105348105349105350105351105352105353105354105355105356105357105358105359105360105361105362105363105364105365105366105367105368105369105370105371105372105373105374105375105376105377105378105379105380105381105382105383105384105385105386105387105388105389105390105391105392105393105394105395105396105397105398105399105400105401105402105403105404105405105406105407105408105409105410105411105412105413105414105415105416105417105418105419105420105421105422105423105424105425105426105427105428105429105430105431105432105433105434105435105436105437105438105439105440105441105442105443105444105445105446105447105448105449105450105451105452105453105454105455105456105457105458105459105460105461105462105463105464105465105466105467105468105469105470105471105472105473105474105475105476105477105478105479105480105481105482105483105484105485105486105487105488105489105490105491105492105493105494105495105496105497105498105499105500105501105502105503105504105505105506105507105508105509105510105511105512105513105514105515105516105517105518105519105520105521105522105523105524105525105526105527105528105529105530105531105532105533105534105535105536105537105538105539105540105541105542105543105544105545105546105547105548105549105550105551105552105553105554105555105556105557105558105559105560105561105562105563105564105565105566105567105568105569105570105571105572105573105574105575105576105577105578105579105580105581105582105583105584105585105586105587105588105589105590105591105592105593105594105595105596105597105598105599105600105601105602105603105604105605105606105607105608105609105610105611105612105613105614105615105616105617105618105619105620105621105622105623105624105625105626105627105628105629105630105631105632105633105634105635105636105637105638105639105640105641105642105643105644105645105646105647105648105649105650105651105652105653105654105655105656105657105658105659105660105661105662105663105664105665105666105667105668105669105670105671105672105673105674105675105676105677105678105679105680105681105682105683105684105685105686105687105688105689105690105691105692105693105694105695105696105697105698105699105700105701105702105703105704105705105706105707105708105709105710105711105712105713105714105715105716105717105718105719105720105721105722105723105724105725105726105727105728105729105730105731105732105733105734105735105736105737105738105739105740105741105742105743105744105745105746105747105748105749105750105751105752105753105754105755105756105757105758105759105760105761105762105763105764105765105766105767105768105769105770105771105772105773105774105775105776105777105778105779105780105781105782105783105784105785105786105787105788105789105790105791105792105793105794105795105796105797105798105799105800105801105802105803105804105805105806105807105808105809105810105811105812105813105814105815105816105817105818105819105820105821105822105823105824105825105826105827105828105829105830105831105832105833105834105835105836105837105838105839105840105841105842105843105844105845105846105847105848105849105850105851105852105853105854105855105856105857105858105859105860105861105862105863105864105865105866105867105868105869105870105871105872105873105874105875105876105877105878105879105880105881105882105883105884105885105886105887105888105889105890105891105892105893105894105895105896105897105898105899105900105901105902105903105904105905105906105907105908105909105910105911105912105913105914105915105916105917105918105919105920105921105922105923105924105925105926105927105928105929105930105931105932105933105934105935105936105937105938105939105940105941105942105943105944105945105946105947105948105949105950105951105952105953105954105955105956105957105958105959105960105961105962105963105964105965105966105967105968105969105970105971105972105973105974105975105976105977105978105979105980105981105982105983105984105985105986105987105988105989105990105991105992105993105994105995105996105997105998105999106000106001106002106003106004106005106006106007106008106009106010106011106012106013106014106015106016106017106018106019106020106021106022106023106024106025106026106027106028106029106030106031106032106033106034106035106036106037106038106039106040106041106042106043106044106045106046106047106048106049106050106051106052106053106054106055106056106057106058106059106060106061106062106063106064106065106066106067106068106069106070106071106072106073106074106075106076106077106078106079106080106081106082106083106084106085106086106087106088106089106090106091106092106093106094106095106096106097106098106099106100106101106102106103106104106105106106106107106108106109106110106111106112106113106114106115106116106117106118106119106120106121106122106123106124106125106126106127106128106129106130106131106132106133106134106135106136106137106138106139106140106141106142106143106144106145106146106147106148106149106150106151106152106153106154106155106156106157106158106159106160106161106162106163106164106165106166106167106168106169106170106171106172106173106174106175106176106177106178106179106180106181106182106183106184106185106186106187106188106189106190106191106192106193106194106195106196106197106198106199106200106201106202106203106204106205106206106207106208106209106210106211106212106213106214106215106216106217106218106219106220106221106222106223106224106225106226106227106228106229106230106231106232106233106234106235106236106237106238106239106240106241106242106243106244106245106246106247106248106249106250106251106252106253106254106255106256106257106258106259106260106261106262106263106264106265106266106267106268106269106270106271106272106273106274106275106276106277106278106279106280106281106282106283106284106285106286106287106288106289106290106291106292106293106294106295106296106297106298106299106300106301106302106303106304106305106306106307106308106309106310106311106312106313106314106315106316106317106318106319106320106321106322106323106324106325106326106327106328106329106330106331106332106333106334106335106336106337106338106339106340106341106342106343106344106345106346106347106348106349106350106351106352106353106354106355106356106357106358106359106360106361106362106363106364106365106366106367106368106369106370106371106372106373106374106375106376106377106378106379106380106381106382106383106384106385106386106387106388106389106390106391106392106393106394106395106396106397106398106399106400106401106402106403106404106405106406106407106408106409106410106411106412106413106414106415106416106417106418106419106420106421106422106423106424106425106426106427106428106429106430106431106432106433106434106435106436106437106438106439106440106441106442106443106444106445106446106447106448106449106450106451106452106453106454106455106456106457106458106459106460106461106462106463106464106465106466106467106468106469106470106471106472106473106474106475106476106477106478106479106480106481106482106483106484106485106486106487106488106489106490106491106492106493106494106495106496106497106498106499106500106501106502106503106504106505106506106507106508106509106510106511106512106513106514106515106516106517106518106519106520106521106522106523106524106525106526106527106528106529106530106531106532106533106534106535106536106537106538106539106540106541106542106543106544106545106546106547106548106549106550106551106552106553106554106555106556106557106558106559106560106561106562106563106564106565106566106567106568106569106570106571106572106573106574106575106576106577106578106579106580106581106582106583106584106585106586106587106588106589106590106591106592106593106594106595106596106597106598106599106600106601106602106603106604106605106606106607106608106609106610106611106612106613106614106615106616106617106618106619106620106621106622106623106624106625106626106627106628106629106630106631106632106633106634106635106636106637106638106639106640106641106642106643106644106645106646106647106648106649106650106651106652106653106654106655106656106657106658106659106660106661106662106663106664106665106666106667106668106669106670106671106672106673106674106675106676106677106678106679106680106681106682106683106684106685106686106687106688106689106690106691106692106693106694106695106696106697106698106699106700106701106702106703106704106705106706106707106708106709106710106711106712106713106714106715106716106717106718106719106720106721106722106723106724106725106726106727106728106729106730106731106732106733106734106735106736106737106738106739106740106741106742106743106744106745106746106747106748106749106750106751106752106753106754106755106756106757106758106759106760106761106762106763106764106765106766106767106768106769106770106771106772106773106774106775106776106777106778106779106780106781106782106783106784106785106786106787106788106789106790106791106792106793106794106795106796106797106798106799106800106801106802106803106804106805106806106807106808106809106810106811106812106813106814106815106816106817106818106819106820106821106822106823106824106825106826106827106828106829106830106831106832106833106834106835106836106837106838106839106840106841106842106843106844106845106846106847106848106849106850106851106852106853106854106855106856106857106858106859106860106861106862106863106864106865106866106867106868106869106870106871106872106873106874106875106876106877106878106879106880106881106882106883106884106885106886106887106888106889106890106891106892106893106894106895106896106897106898106899106900106901106902106903106904106905106906106907106908106909106910106911106912106913106914106915106916106917106918106919106920106921106922106923106924106925106926106927106928106929106930106931106932106933106934106935106936106937106938106939106940106941106942106943106944106945106946106947106948106949106950106951106952106953106954106955106956106957106958106959106960106961106962106963106964106965106966106967106968106969106970106971106972106973106974106975106976106977106978106979106980106981106982106983106984106985106986106987106988106989106990106991106992106993106994106995106996106997106998106999107000107001107002107003107004107005107006107007107008107009107010107011107012107013107014107015107016107017107018107019107020107021107022107023107024107025107026107027107028107029107030107031107032107033107034107035107036107037107038107039107040107041107042107043107044107045107046107047107048107049107050107051107052107053107054107055107056107057107058107059107060107061107062107063107064107065107066107067107068107069107070107071107072107073107074107075107076107077107078107079107080107081107082107083107084107085107086107087107088107089107090107091107092107093107094107095107096107097107098107099107100107101107102107103107104107105107106107107107108107109107110107111107112107113107114107115107116107117107118107119107120107121107122107123107124107125107126107127107128107129107130107131107132107133107134107135107136107137107138107139107140107141107142107143107144107145107146107147107148107149107150107151107152107153107154107155107156107157107158107159107160107161107162107163107164107165107166107167107168107169107170107171107172107173107174107175107176107177107178107179107180107181107182107183107184107185107186107187107188107189107190107191107192107193107194107195107196107197107198107199107200107201107202107203107204107205107206107207107208107209107210107211107212107213107214107215107216107217107218107219107220107221107222107223107224107225107226107227107228107229107230107231107232107233107234107235107236107237107238107239107240107241107242107243107244107245107246107247107248107249107250107251107252107253107254107255107256107257107258107259107260107261107262107263107264107265107266107267107268107269107270107271107272107273107274107275107276107277107278107279107280107281107282107283107284107285107286107287107288107289107290107291107292107293107294107295107296107297107298107299107300107301107302107303107304107305107306107307107308107309107310107311107312107313107314107315107316107317107318107319107320107321107322107323107324107325107326107327107328107329107330107331107332107333107334107335107336107337107338107339107340107341107342107343107344107345107346107347107348107349107350107351107352107353107354107355107356107357107358107359107360107361107362107363107364107365107366107367107368107369107370107371107372107373107374107375107376107377107378107379107380107381107382107383107384107385107386107387107388107389107390107391107392107393107394107395107396107397107398107399107400107401107402107403107404107405107406107407107408107409107410107411107412107413107414107415107416107417107418107419107420107421107422107423107424107425107426107427107428107429107430107431107432107433107434107435107436107437107438107439107440107441107442107443107444107445107446107447107448107449107450107451107452107453107454107455107456107457107458107459107460107461107462107463107464107465107466107467107468107469107470107471107472107473107474107475107476107477107478107479107480107481107482107483107484107485107486107487107488107489107490107491107492107493107494107495107496107497107498107499107500107501107502107503107504107505107506107507107508107509107510107511107512107513107514107515107516107517107518107519107520107521107522107523107524107525107526107527107528107529107530107531107532107533107534107535107536107537107538107539107540107541107542107543107544107545107546107547107548107549107550107551107552107553107554107555107556107557107558107559107560107561107562107563107564107565107566107567107568107569107570107571107572107573107574107575107576107577107578107579107580107581107582107583107584107585107586107587107588107589107590107591107592107593107594107595107596107597107598107599107600107601107602107603107604107605107606107607107608107609107610107611107612107613107614107615107616107617107618107619107620107621107622107623107624107625107626107627107628107629107630107631107632107633107634107635107636107637107638107639107640107641107642107643107644107645107646107647107648107649107650107651107652107653107654107655107656107657107658107659107660107661107662107663107664107665107666107667107668107669107670107671107672107673107674107675107676107677107678107679107680107681107682107683107684107685107686107687107688107689107690107691107692107693107694107695107696107697107698107699107700107701107702107703107704107705107706107707107708107709107710107711107712107713107714107715107716107717107718107719107720107721107722107723107724107725107726107727107728107729107730107731107732107733107734107735107736107737107738107739107740107741107742107743107744107745107746107747107748107749107750107751107752107753107754107755107756107757107758107759107760107761107762107763107764107765107766107767107768107769107770107771107772107773107774107775107776107777107778107779107780107781107782107783107784107785107786107787107788107789107790107791107792107793107794107795107796107797107798107799107800107801107802107803107804107805107806107807107808107809107810107811107812107813107814107815107816107817107818107819107820107821107822107823107824107825107826107827107828107829107830107831107832107833107834107835107836107837107838107839107840107841107842107843107844107845107846107847107848107849107850107851107852107853107854107855107856107857107858107859107860107861107862107863107864107865107866107867107868107869107870107871107872107873107874107875107876107877107878107879107880107881107882107883107884107885107886107887107888107889107890107891107892107893107894107895107896107897107898107899107900107901107902107903107904107905107906107907107908107909107910107911107912107913107914107915107916107917107918107919107920107921107922107923107924107925107926107927107928107929107930107931107932107933107934107935107936107937107938107939107940107941107942107943107944107945107946107947107948107949107950107951107952107953107954107955107956107957107958107959107960107961107962107963107964107965107966107967107968107969107970107971107972107973107974107975107976107977107978107979107980107981107982107983107984107985107986107987107988107989107990107991107992107993107994107995107996107997107998107999108000108001108002108003108004108005108006108007108008108009108010108011108012108013108014108015108016108017108018108019108020108021108022108023108024108025108026108027108028108029108030108031108032108033108034108035108036108037108038108039108040108041108042108043108044108045108046108047108048108049108050108051108052108053108054108055108056108057108058108059108060108061108062108063108064108065108066108067108068108069108070108071108072108073108074108075108076108077108078108079108080108081108082108083108084108085108086108087108088108089108090108091108092108093108094108095108096108097108098108099108100108101108102108103108104108105108106108107108108108109108110108111108112108113108114108115108116108117108118108119108120108121108122108123108124108125108126108127108128108129108130108131108132108133108134108135108136108137108138108139108140108141108142108143108144108145108146108147108148108149108150108151108152108153108154108155108156108157108158108159108160108161108162108163108164108165108166108167108168108169108170108171108172108173108174108175108176108177108178108179108180108181108182108183108184108185108186108187108188108189108190108191108192108193108194108195108196108197108198108199108200108201108202108203108204108205108206108207108208108209108210108211108212108213108214108215108216108217108218108219108220108221108222108223108224108225108226108227108228108229108230108231108232108233108234108235108236108237108238108239108240108241108242108243108244108245108246108247108248108249108250108251108252108253108254108255108256108257108258108259108260108261108262108263108264108265108266108267108268108269108270108271108272108273108274108275108276108277108278108279108280108281108282108283108284108285108286108287108288108289108290108291108292108293108294108295108296108297108298108299108300108301108302108303108304108305108306108307108308108309108310108311108312108313108314108315108316108317108318108319108320108321108322108323108324108325108326108327108328108329108330108331108332108333108334108335108336108337108338108339108340108341108342108343108344108345108346108347108348108349108350108351108352108353108354108355108356108357108358108359108360108361108362108363108364108365108366108367108368108369108370108371108372108373108374108375108376108377108378108379108380108381108382108383108384108385108386108387108388108389108390108391108392108393108394108395108396108397108398108399108400108401108402108403108404108405108406108407108408108409108410108411108412108413108414108415108416108417108418108419108420108421108422108423108424108425108426108427108428108429108430108431108432108433108434108435108436108437108438108439108440108441108442108443108444108445108446108447108448108449108450108451108452108453108454108455108456108457108458108459108460108461108462108463108464108465108466108467108468108469108470108471108472108473108474108475108476108477108478108479108480108481108482108483108484108485108486108487108488108489108490108491108492108493108494108495108496108497108498108499108500108501108502108503108504108505108506108507108508108509108510108511108512108513108514108515108516108517108518108519108520108521108522108523108524108525108526108527108528108529108530108531108532108533108534108535108536108537108538108539108540108541108542108543108544108545108546108547108548108549108550108551108552108553108554108555108556108557108558108559108560108561108562108563108564108565108566108567108568108569108570108571108572108573108574108575108576108577108578108579108580108581108582108583108584108585108586108587108588108589108590108591108592108593108594108595108596108597108598108599108600108601108602108603108604108605108606108607108608108609108610108611108612108613108614108615108616108617108618108619108620108621108622108623108624108625108626108627108628108629108630108631108632108633108634108635108636108637108638108639108640108641108642108643108644108645108646108647108648108649108650108651108652108653108654108655108656108657108658108659108660108661108662108663108664108665108666108667108668108669108670108671108672108673108674108675108676108677108678108679108680108681108682108683108684108685108686108687108688108689108690108691108692108693108694108695108696108697108698108699108700108701108702108703108704108705108706108707108708108709108710108711108712108713108714108715108716108717108718108719108720108721108722108723108724108725108726108727108728108729108730108731108732108733108734108735108736108737108738108739108740108741108742108743108744108745108746108747108748108749108750108751108752108753108754108755108756108757108758108759108760108761108762108763108764108765108766108767108768108769108770108771108772108773108774108775108776108777108778108779108780108781108782108783108784108785108786108787108788108789108790108791108792108793108794108795108796108797108798108799108800108801108802108803108804108805108806108807108808108809108810108811108812108813108814108815108816108817108818108819108820108821108822108823108824108825108826108827108828108829108830108831108832108833108834108835108836108837108838108839108840108841108842108843108844108845108846108847108848108849108850108851108852108853108854108855108856108857108858108859108860108861108862108863108864108865108866108867108868108869108870108871108872108873108874108875108876108877108878108879108880108881108882108883108884108885108886108887108888108889108890108891108892108893108894108895108896108897108898108899108900108901108902108903108904108905108906108907108908108909108910108911108912108913108914108915108916108917108918108919108920108921108922108923108924108925108926108927108928108929108930108931108932108933108934108935108936108937108938108939108940108941108942108943108944108945108946108947108948108949108950108951108952108953108954108955108956108957108958108959108960108961108962108963108964108965108966108967108968108969108970108971108972108973108974108975108976108977108978108979108980108981108982108983108984108985108986108987108988108989108990108991108992108993108994108995108996108997108998108999109000109001109002109003109004109005109006109007109008109009109010109011109012109013109014109015109016109017109018109019109020109021109022109023109024109025109026109027109028109029109030109031109032109033109034109035109036109037109038109039109040109041109042109043109044109045109046109047109048109049109050109051109052109053109054109055109056109057109058109059109060109061109062109063109064109065109066109067109068109069109070109071109072109073109074109075109076109077109078109079109080109081109082109083109084109085109086109087109088109089109090109091109092109093109094109095109096109097109098109099109100109101109102109103109104109105109106109107109108109109109110109111109112109113109114109115109116109117109118109119109120109121109122109123109124109125109126109127109128109129109130109131109132109133109134109135109136109137109138109139109140109141109142109143109144109145109146109147109148109149109150109151109152109153109154109155109156109157109158109159109160109161109162109163109164109165109166109167109168109169109170109171109172109173109174109175109176109177109178109179109180109181109182109183109184109185109186109187109188109189109190109191109192109193109194109195109196109197109198109199109200109201109202109203109204109205109206109207109208109209109210109211109212109213109214109215109216109217109218109219109220109221109222109223109224109225109226109227109228109229109230109231109232109233109234109235109236109237109238109239109240109241109242109243109244109245109246109247109248109249109250109251109252109253109254109255109256109257109258109259109260109261109262109263109264109265109266109267109268109269109270109271109272109273109274109275109276109277109278109279109280109281109282109283109284109285109286109287109288109289109290109291109292109293109294109295109296109297109298109299109300109301109302109303109304109305109306109307109308109309109310109311109312109313109314109315109316109317109318109319109320109321109322109323109324109325109326109327109328109329109330109331109332109333109334109335109336109337109338109339109340109341109342109343109344109345109346109347109348109349109350109351109352109353109354109355109356109357109358109359109360109361109362109363109364109365109366109367109368109369109370109371109372109373109374109375109376109377109378109379109380109381109382109383109384109385109386109387109388109389109390109391109392109393109394109395109396109397109398109399109400109401109402109403109404109405109406109407109408109409109410109411109412109413109414109415109416109417109418109419109420109421109422109423109424109425109426109427109428109429109430109431109432109433109434109435109436109437109438109439109440109441109442109443109444109445109446109447109448109449109450109451109452109453109454109455109456109457109458109459109460109461109462109463109464109465109466109467109468109469109470109471109472109473109474109475109476109477109478109479109480109481109482109483109484109485109486109487109488109489109490109491109492109493109494109495109496109497109498109499109500109501109502109503109504109505109506109507109508109509109510109511109512109513109514109515109516109517109518109519109520109521109522109523109524109525109526109527109528109529109530109531109532109533109534109535109536109537109538109539109540109541109542109543109544109545109546109547109548109549109550109551109552109553109554109555109556109557109558109559109560109561109562109563109564109565109566109567109568109569109570109571109572109573109574109575109576109577109578109579109580109581109582109583109584109585109586109587109588109589109590109591109592109593109594109595109596109597109598109599109600109601109602109603109604109605109606109607109608109609109610109611109612109613109614109615109616109617109618109619109620109621109622109623109624109625109626109627109628109629109630109631109632109633109634109635109636109637109638109639109640109641109642109643109644109645109646109647109648109649109650109651109652109653109654109655109656109657109658109659109660109661109662109663109664109665109666109667109668109669109670109671109672109673109674109675109676109677109678109679109680109681109682109683109684109685109686109687109688109689109690109691109692109693109694109695109696109697109698109699109700109701109702109703109704109705109706109707109708109709109710109711109712109713109714109715109716109717109718109719109720109721109722109723109724109725109726109727109728109729109730109731109732109733109734109735109736109737109738109739109740109741109742109743109744109745109746109747109748109749109750109751109752109753109754109755109756109757109758109759109760109761109762109763109764109765109766109767109768109769109770109771109772109773109774109775109776109777109778109779109780109781109782109783109784109785109786109787109788109789109790109791109792109793109794109795109796109797109798109799109800109801109802109803109804109805109806109807109808109809109810109811109812109813109814109815109816109817109818109819109820109821109822109823109824109825109826109827109828109829109830109831109832109833109834109835109836109837109838109839109840109841109842109843109844109845109846109847109848109849109850109851109852109853109854109855109856109857109858109859109860109861109862109863109864109865109866109867109868109869109870109871109872109873109874109875109876109877109878109879109880109881109882109883109884109885109886109887109888109889109890109891109892109893109894109895109896109897109898109899109900109901109902109903109904109905109906109907109908109909109910109911109912109913109914109915109916109917109918109919109920109921109922109923109924109925109926109927109928109929109930109931109932109933109934109935109936109937109938109939109940109941109942109943109944109945109946109947109948109949109950109951109952109953109954109955109956109957109958109959109960109961109962109963109964109965109966109967109968109969109970109971109972109973109974109975109976109977109978109979109980109981109982109983109984109985109986109987109988109989109990109991109992109993109994109995109996109997109998109999110000110001110002110003110004110005110006110007110008110009110010110011110012110013110014110015110016110017110018110019110020110021110022110023110024110025110026110027110028110029110030110031110032110033110034110035110036110037110038110039110040110041110042110043110044110045110046110047110048110049110050110051110052110053110054110055110056110057110058110059110060110061110062110063110064110065110066110067110068110069110070110071110072110073110074110075110076110077110078110079110080110081110082110083110084110085110086110087110088110089110090110091110092110093110094110095110096110097110098110099110100110101110102110103110104110105110106110107110108110109110110110111110112110113110114110115110116110117110118110119110120110121110122110123110124110125110126110127110128110129110130110131110132110133110134110135110136110137110138110139110140110141110142110143110144110145110146110147110148110149110150110151110152110153110154110155110156110157110158110159110160110161110162110163110164110165110166110167110168110169110170110171110172110173110174110175110176110177110178110179110180110181110182110183110184110185110186110187110188110189110190110191110192110193110194110195110196110197110198110199110200110201110202110203110204110205110206110207110208110209110210110211110212110213110214110215110216110217110218110219110220110221110222110223110224110225110226110227110228110229110230110231110232110233110234110235110236110237110238110239110240110241110242110243110244110245110246110247110248110249110250110251110252110253110254110255110256110257110258110259110260110261110262110263110264110265110266110267110268110269110270110271110272110273110274110275110276110277110278110279110280110281110282110283110284110285110286110287110288110289110290110291110292110293110294110295110296110297110298110299110300110301110302110303110304110305110306110307110308110309110310110311110312110313110314110315110316110317110318110319110320110321110322110323110324110325110326110327110328110329110330110331110332110333110334110335110336110337110338110339110340110341110342110343110344110345110346110347110348110349110350110351110352110353110354110355110356110357110358110359110360110361110362110363110364110365110366110367110368110369110370110371110372110373110374110375110376110377110378110379110380110381110382110383110384110385110386110387110388110389110390110391110392110393110394110395110396110397110398110399110400110401110402110403110404110405110406110407110408110409110410110411110412110413110414110415110416110417110418110419110420110421110422110423110424110425110426110427110428110429110430110431110432110433110434110435110436110437110438110439110440110441110442110443110444110445110446110447110448110449110450110451110452110453110454110455110456110457110458110459110460110461110462110463110464110465110466110467110468110469110470110471110472110473110474110475110476110477110478110479110480110481110482110483110484110485110486110487110488110489110490110491110492110493110494110495110496110497110498110499110500110501110502110503110504110505110506110507110508110509110510110511110512110513110514110515110516110517110518110519110520110521110522110523110524110525110526110527110528110529110530110531110532110533110534110535110536110537110538110539110540110541110542110543110544110545110546110547110548110549110550110551110552110553110554110555110556110557110558110559110560110561110562110563110564110565110566110567110568110569110570110571110572110573110574110575110576110577110578110579110580110581110582110583110584110585110586110587110588110589110590110591110592110593110594110595110596110597110598110599110600110601110602110603110604110605110606110607110608110609110610110611110612110613110614110615110616110617110618110619110620110621110622110623110624110625110626110627110628110629110630110631110632110633110634110635110636110637110638110639110640110641110642110643110644110645110646110647110648110649110650110651110652110653110654110655110656110657110658110659110660110661110662110663110664110665110666110667110668110669110670110671110672110673110674110675110676110677110678110679110680110681110682110683110684110685110686110687110688110689110690110691110692110693110694110695110696110697110698110699110700110701110702110703110704110705110706110707110708110709110710110711110712110713110714110715110716110717110718110719110720110721110722110723110724110725110726110727110728110729110730110731110732110733110734110735110736110737110738110739110740110741110742110743110744110745110746110747110748110749110750110751110752110753110754110755110756110757110758110759110760110761110762110763110764110765110766110767110768110769110770110771110772110773110774110775110776110777110778110779110780110781110782110783110784110785110786110787110788110789110790110791110792110793110794110795110796110797110798110799110800110801110802110803110804110805110806110807110808110809110810110811110812110813110814110815110816110817110818110819110820110821110822110823110824110825110826110827110828110829110830110831110832110833110834110835110836110837110838110839110840110841110842110843110844110845110846110847110848110849110850110851110852110853110854110855110856110857110858110859110860110861110862110863110864110865110866110867110868110869110870110871110872110873110874110875110876110877110878110879110880110881110882110883110884110885110886110887110888110889110890110891110892110893110894110895110896110897110898110899110900110901110902110903110904110905110906110907110908110909110910110911110912110913110914110915110916110917110918110919110920110921110922110923110924110925110926110927110928110929110930110931110932110933110934110935110936110937110938110939110940110941110942110943110944110945110946110947110948110949110950110951110952110953110954110955110956110957110958110959110960110961110962110963110964110965110966110967110968110969110970110971110972110973110974110975110976110977110978110979110980110981110982110983110984110985110986110987110988110989110990110991110992110993110994110995110996110997110998110999111000111001111002111003111004111005111006111007111008111009111010111011111012111013111014111015111016111017111018111019111020111021111022111023111024111025111026111027111028111029111030111031111032111033111034111035111036111037111038111039111040111041111042111043111044111045111046111047111048111049111050111051111052111053111054111055111056111057111058111059111060111061111062111063111064111065111066111067111068111069111070111071111072111073111074111075111076111077111078111079111080111081111082111083111084111085111086111087111088111089111090111091111092111093111094111095111096111097111098111099111100111101111102111103111104111105111106111107111108111109111110111111111112111113111114111115111116111117111118111119111120111121111122111123111124111125111126111127111128111129111130111131111132111133111134111135111136111137111138111139111140111141111142111143111144111145111146111147111148111149111150111151111152111153111154111155111156111157111158111159111160111161111162111163111164111165111166111167111168111169111170111171111172111173111174111175111176111177111178111179111180111181111182111183111184111185111186111187111188111189111190111191111192111193111194111195111196111197111198111199111200111201111202111203111204111205111206111207111208111209111210111211111212111213111214111215111216111217111218111219111220111221111222111223111224111225111226111227111228111229111230111231111232111233111234111235111236111237111238111239111240111241111242111243111244111245111246111247111248111249111250111251111252111253111254111255111256111257111258111259111260111261111262111263111264111265111266111267111268111269111270111271111272111273111274111275111276111277111278111279111280111281111282111283111284111285111286111287111288111289111290111291111292111293111294111295111296111297111298111299111300111301111302111303111304111305111306111307111308111309111310111311111312111313111314111315111316111317111318111319111320111321111322111323111324111325111326111327111328111329111330111331111332111333111334111335111336111337111338111339111340111341111342111343111344111345111346111347111348111349111350111351111352111353111354111355111356111357111358111359111360111361111362111363111364111365111366111367111368111369111370111371111372111373111374111375111376111377111378111379111380111381111382111383111384111385111386111387111388111389111390111391111392111393111394111395111396111397111398111399111400111401111402111403111404111405111406111407111408111409111410111411111412111413111414111415111416111417111418111419111420111421111422111423111424111425111426111427111428111429111430111431111432111433111434111435111436111437111438111439111440111441111442111443111444111445111446111447111448111449111450111451111452111453111454111455111456111457111458111459111460111461111462111463111464111465111466111467111468111469111470111471111472111473111474111475111476111477111478111479111480111481111482111483111484111485111486111487111488111489111490111491111492111493111494111495111496111497111498111499111500111501111502111503111504111505111506111507111508111509111510111511111512111513111514111515111516111517111518111519111520111521111522111523111524111525111526111527111528111529111530111531111532111533111534111535111536111537111538111539111540111541111542111543111544111545111546111547111548111549111550111551111552111553111554111555111556111557111558111559111560111561111562111563111564111565111566111567111568111569111570111571111572111573111574111575111576111577111578111579111580111581111582111583111584111585111586111587111588111589111590111591111592111593111594111595111596111597111598111599111600111601111602111603111604111605111606111607111608111609111610111611111612111613111614111615111616111617111618111619111620111621111622111623111624111625111626111627111628111629111630111631111632111633111634111635111636111637111638111639111640111641111642111643111644111645111646111647111648111649111650111651111652111653111654111655111656111657111658111659111660111661111662111663111664111665111666111667111668111669111670111671111672111673111674111675111676111677111678111679111680111681111682111683111684111685111686111687111688111689111690111691111692111693111694111695111696111697111698111699111700111701111702111703111704111705111706111707111708111709111710111711111712111713111714111715111716111717111718111719111720111721111722111723111724111725111726111727111728111729111730111731111732111733111734111735111736111737111738111739111740111741111742111743111744111745111746111747111748111749111750111751111752111753111754111755111756111757111758111759111760111761111762111763111764111765111766111767111768111769111770111771111772111773111774111775111776111777111778111779111780111781111782111783111784111785111786111787111788111789111790111791111792111793111794111795111796111797111798111799111800111801111802111803111804111805111806111807111808111809111810111811111812111813111814111815111816111817111818111819111820111821111822111823111824111825111826111827111828111829111830111831111832111833111834111835111836111837111838111839111840111841111842111843111844111845111846111847111848111849111850111851111852111853111854111855111856111857111858111859111860111861111862111863111864111865111866111867111868111869111870111871111872111873111874111875111876111877111878111879111880111881111882111883111884111885111886111887111888111889111890111891111892111893111894111895111896111897111898111899111900111901111902111903111904111905111906111907111908111909111910111911111912111913111914111915111916111917111918111919111920111921111922111923111924111925111926111927111928111929111930111931111932111933111934111935111936111937111938111939111940111941111942111943111944111945111946111947111948111949111950111951111952111953111954111955111956111957111958111959111960111961111962111963111964111965111966111967111968111969111970111971111972111973111974111975111976111977111978111979111980111981111982111983111984111985111986111987111988111989111990111991111992111993111994111995111996111997111998111999112000112001112002112003112004112005112006112007112008112009112010112011112012112013112014112015112016112017112018112019112020112021112022112023112024112025112026112027112028112029112030112031112032112033112034112035112036112037112038112039112040112041112042112043112044112045112046112047112048112049112050112051112052112053112054112055112056112057112058112059112060112061112062112063112064112065112066112067112068112069112070112071112072112073112074112075112076112077112078112079112080112081112082112083112084112085112086112087112088112089112090112091112092112093112094112095112096112097112098112099112100112101112102112103112104112105112106112107112108112109112110112111112112112113112114112115112116112117112118112119112120112121112122112123112124112125112126112127112128112129112130112131112132112133112134112135112136112137112138112139112140112141112142112143112144112145112146112147112148112149112150112151112152112153112154112155112156112157112158112159112160112161112162112163112164112165112166112167112168112169112170112171112172112173112174112175112176112177112178112179112180112181112182112183112184112185112186112187112188112189112190112191112192112193112194112195112196112197112198112199112200112201112202112203112204112205112206112207112208112209112210112211112212112213112214112215112216112217112218112219112220112221112222112223112224112225112226112227112228112229112230112231112232112233112234112235112236112237112238112239112240112241112242112243112244112245112246112247112248112249112250112251112252112253112254112255112256112257112258112259112260112261112262112263112264112265112266112267112268112269112270112271112272112273112274112275112276112277112278112279112280112281112282112283112284112285112286112287112288112289112290112291112292112293112294112295112296112297112298112299112300112301112302112303112304112305112306112307112308112309112310112311112312112313112314112315112316112317112318112319112320112321112322112323112324112325112326112327112328112329112330112331112332112333112334112335112336112337112338112339112340112341112342112343112344112345112346112347112348112349112350112351112352112353112354112355112356112357112358112359112360112361112362112363112364112365112366112367112368112369112370112371112372112373112374112375112376112377112378112379112380112381112382112383112384112385112386112387112388112389112390112391112392112393112394112395112396112397112398112399112400112401112402112403112404112405112406112407112408112409112410112411112412112413112414112415112416112417112418112419112420112421112422112423112424112425112426112427112428112429112430112431112432112433112434112435112436112437112438112439112440112441112442112443112444112445112446112447112448112449112450112451112452112453112454112455112456112457112458112459112460112461112462112463112464112465112466112467112468112469112470112471112472112473112474112475112476112477112478112479112480112481112482112483112484112485112486112487112488112489112490112491112492112493112494112495112496112497112498112499112500112501112502112503112504112505112506112507112508112509112510112511112512112513112514112515112516112517112518112519112520112521112522112523112524112525112526112527112528112529112530112531112532112533112534112535112536112537112538112539112540112541112542112543112544112545112546112547112548112549112550112551112552112553112554112555112556112557112558112559112560112561112562112563112564112565112566112567112568112569112570112571112572112573112574112575112576112577112578112579112580112581112582112583112584112585112586112587112588112589112590112591112592112593112594112595112596112597112598112599112600112601112602112603112604112605112606112607112608112609112610112611112612112613112614112615112616112617112618112619112620112621112622112623112624112625112626112627112628112629112630112631112632112633112634112635112636112637112638112639112640112641112642112643112644112645112646112647112648112649112650112651112652112653112654112655112656112657112658112659112660112661112662112663112664112665112666112667112668112669112670112671112672112673112674112675112676112677112678112679112680112681112682112683112684112685112686112687112688112689112690112691112692112693112694112695112696112697112698112699112700112701112702112703112704112705112706112707112708112709112710112711112712112713112714112715112716112717112718112719112720112721112722112723112724112725112726112727112728112729112730112731112732112733112734112735112736112737112738112739112740112741112742112743112744112745112746112747112748112749112750112751112752112753112754112755112756112757112758112759112760112761112762112763112764112765112766112767112768112769112770112771112772112773112774112775112776112777112778112779112780112781112782112783112784112785112786112787112788112789112790112791112792112793112794112795112796112797112798112799112800112801112802112803112804112805112806112807112808112809112810112811112812112813112814112815112816112817112818112819112820112821112822112823112824112825112826112827112828112829112830112831112832112833112834112835112836112837112838112839112840112841112842112843112844112845112846112847112848112849112850112851112852112853112854112855112856112857112858112859112860112861112862112863112864112865112866112867112868112869112870112871112872112873112874112875112876112877112878112879112880112881112882112883112884112885112886112887112888112889112890112891112892112893112894112895112896112897112898112899112900112901112902112903112904112905112906112907112908112909112910112911112912112913112914112915112916112917112918112919112920112921112922112923112924112925112926112927112928112929112930112931112932112933112934112935112936112937112938112939112940112941112942112943112944112945112946112947112948112949112950112951112952112953112954112955112956112957112958112959112960112961112962112963112964112965112966112967112968112969112970112971112972112973112974112975112976112977112978112979112980112981112982112983112984112985112986112987112988112989112990112991112992112993112994112995112996112997112998112999113000113001113002113003113004113005113006113007113008113009113010113011113012113013113014113015113016113017113018113019113020113021113022113023113024113025113026113027113028113029113030113031113032113033113034113035113036113037113038113039113040113041113042113043113044113045113046113047113048113049113050113051113052113053113054113055113056113057113058113059113060113061113062113063113064113065113066113067113068113069113070113071113072113073113074113075113076113077113078113079113080113081113082113083113084113085113086113087113088113089113090113091113092113093113094113095113096113097113098113099113100113101113102113103113104113105113106113107113108113109113110113111113112113113113114113115113116113117113118113119113120113121113122113123113124113125113126113127113128113129113130113131113132113133113134113135113136113137113138113139113140113141113142113143113144113145113146113147113148113149113150113151113152113153113154113155113156113157113158113159113160113161113162113163113164113165113166113167113168113169113170113171113172113173113174113175113176113177113178113179113180113181113182113183113184113185113186113187113188113189113190113191113192113193113194113195113196113197113198113199113200113201113202113203113204113205113206113207113208113209113210113211113212113213113214113215113216113217113218113219113220113221113222113223113224113225113226113227113228113229113230113231113232113233113234113235113236113237113238113239113240113241113242113243113244113245113246113247113248113249113250113251113252113253113254113255113256113257113258113259113260113261113262113263113264113265113266113267113268113269113270113271113272113273113274113275113276113277113278113279113280113281113282113283113284113285113286113287113288113289113290113291113292113293113294113295113296113297113298113299113300113301113302113303113304113305113306113307113308113309113310113311113312113313113314113315113316113317113318113319113320113321113322113323113324113325113326113327113328113329113330113331113332113333113334113335113336113337113338113339113340113341113342113343113344113345113346113347113348113349113350113351113352113353113354113355113356113357113358113359113360113361113362113363113364113365113366113367113368113369113370113371113372113373113374113375113376113377113378113379113380113381113382113383113384113385113386113387113388113389113390113391113392113393113394113395113396113397113398113399113400113401113402113403113404113405113406113407113408113409113410113411113412113413113414113415113416113417113418113419113420113421113422113423113424113425113426113427113428113429113430113431113432113433113434113435113436113437113438113439113440113441113442113443113444113445113446113447113448113449113450113451113452113453113454113455113456113457113458113459113460113461113462113463113464113465113466113467113468113469113470113471113472113473113474113475113476113477113478113479113480113481113482113483113484113485113486113487113488113489113490113491113492113493113494113495113496113497113498113499113500113501113502113503113504113505113506113507113508113509113510113511113512113513113514113515113516113517113518113519113520113521113522113523113524113525113526113527113528113529113530113531113532113533113534113535113536113537113538113539113540113541113542113543113544113545113546113547113548113549113550113551113552113553113554113555113556113557113558113559113560113561113562113563113564113565113566113567113568113569113570113571113572113573113574113575113576113577113578113579113580113581113582113583113584113585113586113587113588113589113590113591113592113593113594113595113596113597113598113599113600113601113602113603113604113605113606113607113608113609113610113611113612113613113614113615113616113617113618113619113620113621113622113623113624113625113626113627113628113629113630113631113632113633113634113635113636113637113638113639113640113641113642113643113644113645113646113647113648113649113650113651113652113653113654113655113656113657113658113659113660113661113662113663113664113665113666113667113668113669113670113671113672113673113674113675113676113677113678113679113680113681113682113683113684113685113686113687113688113689113690113691113692113693113694113695113696113697113698113699113700113701113702113703113704113705113706113707113708113709113710113711113712113713113714113715113716113717113718113719113720113721113722113723113724113725113726113727113728113729113730113731113732113733113734113735113736113737113738113739113740113741113742113743113744113745113746113747113748113749113750113751113752113753113754113755113756113757113758113759113760113761113762113763113764113765113766113767113768113769113770113771113772113773113774113775113776113777113778113779113780113781113782113783113784113785113786113787113788113789113790113791113792113793113794113795113796113797113798113799113800113801113802113803113804113805113806113807113808113809113810113811113812113813113814113815113816113817113818113819113820113821113822113823113824113825113826113827113828113829113830113831113832113833113834113835113836113837113838113839113840113841113842113843113844113845113846113847113848113849113850113851113852113853113854113855113856113857113858113859113860113861113862113863113864113865113866113867113868113869113870113871113872113873113874113875113876113877113878113879113880113881113882113883113884113885113886113887113888113889113890113891113892113893113894113895113896113897113898113899113900113901113902113903113904113905113906113907113908113909113910113911113912113913113914113915113916113917113918113919113920113921113922113923113924113925113926113927113928113929113930113931113932113933113934113935113936113937113938113939113940113941113942113943113944113945113946113947113948113949113950113951113952113953113954113955113956113957113958113959113960113961113962113963113964113965113966113967113968113969113970113971113972113973113974113975113976113977113978113979113980113981113982113983113984113985113986113987113988113989113990113991113992113993113994113995113996113997113998113999114000114001114002114003114004114005114006114007114008114009114010114011114012114013114014114015114016114017114018114019114020114021114022114023114024114025114026114027114028114029114030114031114032114033114034114035114036114037114038114039114040114041114042114043114044114045114046114047114048114049114050114051114052114053114054114055114056114057114058114059114060114061114062114063114064114065114066114067114068114069114070114071114072114073114074114075114076114077114078114079114080114081114082114083114084114085114086114087114088114089114090114091114092114093114094114095114096114097114098114099114100114101114102114103114104114105114106114107114108114109114110114111114112114113114114114115114116114117114118114119114120114121114122114123114124114125114126114127114128114129114130114131114132114133114134114135114136114137114138114139114140114141114142114143114144114145114146114147114148114149114150114151114152114153114154114155114156114157114158114159114160114161114162114163114164114165114166114167114168114169114170114171114172114173114174114175114176114177114178114179114180114181114182114183114184114185114186114187114188114189114190114191114192114193114194114195114196114197114198114199114200114201114202114203114204114205114206114207114208114209114210114211114212114213114214114215114216114217114218114219114220114221114222114223114224114225114226114227114228114229114230114231114232114233114234114235114236114237114238114239114240114241114242114243114244114245114246114247114248114249114250114251114252114253114254114255114256114257114258114259114260114261114262114263114264114265114266114267114268114269114270114271114272114273114274114275114276114277114278114279114280114281114282114283114284114285114286114287114288114289114290114291114292114293114294114295114296114297114298114299114300114301114302114303114304114305114306114307114308114309114310114311114312114313114314114315114316114317114318114319114320114321114322114323114324114325114326114327114328114329114330114331114332114333114334114335114336114337114338114339114340114341114342114343114344114345114346114347114348114349114350114351114352114353114354114355114356114357114358114359114360114361114362114363114364114365114366114367114368114369114370114371114372114373114374114375114376114377114378114379114380114381114382114383114384114385114386114387114388114389114390114391114392114393114394114395114396114397114398114399114400114401114402114403114404114405114406114407114408114409114410114411114412114413114414114415114416114417114418114419114420114421114422114423114424114425114426114427114428114429114430114431114432114433114434114435114436114437114438114439114440114441114442114443114444114445114446114447114448114449114450114451114452114453114454114455114456114457114458114459114460114461114462114463114464114465114466114467114468114469114470114471114472114473114474114475114476114477114478114479114480114481114482114483114484114485114486114487114488114489114490114491114492114493114494114495114496114497114498114499114500114501114502114503114504114505114506114507114508114509114510114511114512114513114514114515114516114517114518114519114520114521114522114523114524114525114526114527114528114529114530114531114532114533114534114535114536114537114538114539114540114541114542114543114544114545114546114547114548114549114550114551114552114553114554114555114556114557114558114559114560114561114562114563114564114565114566114567114568114569114570114571114572114573114574114575114576114577114578114579114580114581114582114583114584114585114586114587114588114589114590114591114592114593114594114595114596114597114598114599114600114601114602114603114604114605114606114607114608114609114610114611114612114613114614114615114616114617114618114619114620114621114622114623114624114625114626114627114628114629114630114631114632114633114634114635114636114637114638114639114640114641114642114643114644114645114646114647114648114649114650114651114652114653114654114655114656114657114658114659114660114661114662114663114664114665114666114667114668114669114670114671114672114673114674114675114676114677114678114679114680114681114682114683114684114685114686114687114688114689114690114691114692114693114694114695114696114697114698114699114700114701114702114703114704114705114706114707114708114709114710114711114712114713114714114715114716114717114718114719114720114721114722114723114724114725114726114727114728114729114730114731114732114733114734114735114736114737114738114739114740114741114742114743114744114745114746114747114748114749114750114751114752114753114754114755114756114757114758114759114760114761114762114763114764114765114766114767114768114769114770114771114772114773114774114775114776114777114778114779114780114781114782114783114784114785114786114787114788114789114790114791114792114793114794114795114796114797114798114799114800114801114802114803114804114805114806114807114808114809114810114811114812114813114814114815114816114817114818114819114820114821114822114823114824114825114826114827114828114829114830114831114832114833114834114835114836114837114838114839114840114841114842114843114844114845114846114847114848114849114850114851114852114853114854114855114856114857114858114859114860114861114862114863114864114865114866114867114868114869114870114871114872114873114874114875114876114877114878114879114880114881114882114883114884114885114886114887114888114889114890114891114892114893114894114895114896114897114898114899114900114901114902114903114904114905114906114907114908114909114910114911114912114913114914114915114916114917114918114919114920114921114922114923114924114925114926114927114928114929114930114931114932114933114934114935114936114937114938114939114940114941114942114943114944114945114946114947114948114949114950114951114952114953114954114955114956114957114958114959114960114961114962114963114964114965114966114967114968114969114970114971114972114973114974114975114976114977114978114979114980114981114982114983114984114985114986114987114988114989114990114991114992114993114994114995114996114997114998114999115000115001115002115003115004115005115006115007115008115009115010115011115012115013115014115015115016115017115018115019115020115021115022115023115024115025115026115027115028115029115030115031115032115033115034115035115036115037115038115039115040115041115042115043115044115045115046115047115048115049115050115051115052115053115054115055115056115057115058115059115060115061115062115063115064115065115066115067115068115069115070115071115072115073115074115075115076115077115078115079115080115081115082115083115084115085115086115087115088115089115090115091115092115093115094115095115096115097115098115099115100115101115102115103115104115105115106115107115108115109115110115111115112115113115114115115115116115117115118115119115120115121115122115123115124115125115126115127115128115129115130115131115132115133115134115135115136115137115138115139115140115141115142115143115144115145115146115147115148115149115150115151115152115153115154115155115156115157115158115159115160115161115162115163115164115165115166115167115168115169115170115171115172115173115174115175115176115177115178115179115180115181115182115183115184115185115186115187115188115189115190115191115192115193115194115195115196115197115198115199115200115201115202115203115204115205115206115207115208115209115210115211115212115213115214115215115216115217115218115219115220115221115222115223115224115225115226115227115228115229115230115231115232115233115234115235115236115237115238115239115240115241115242115243115244115245115246115247115248115249115250115251115252115253115254115255115256115257115258115259115260115261115262115263115264115265115266115267115268115269115270115271115272115273115274115275115276115277115278115279115280115281115282115283115284115285115286115287115288115289115290115291115292115293115294115295115296115297115298115299115300115301115302115303115304115305115306115307115308115309115310115311115312115313115314115315115316115317115318115319115320115321115322115323115324115325115326115327115328115329115330115331115332115333115334115335115336115337115338115339115340115341115342115343115344115345115346115347115348115349115350115351115352115353115354115355115356115357115358115359115360115361115362115363115364115365115366115367115368115369115370115371115372115373115374115375115376115377115378115379115380115381115382115383115384115385115386115387115388115389115390115391115392115393115394115395115396115397115398115399115400115401115402115403115404115405115406115407115408115409115410115411115412115413115414115415115416115417115418115419115420115421115422115423115424115425115426115427115428115429115430115431115432115433115434115435115436115437115438115439115440115441115442115443115444115445115446115447115448115449115450115451115452115453115454115455115456115457115458115459115460115461115462115463115464115465115466115467115468115469115470115471115472115473115474115475115476115477115478115479115480115481115482115483115484115485115486115487115488115489115490115491115492115493115494115495115496115497115498115499115500115501115502115503115504115505115506115507115508115509115510115511115512115513115514115515115516115517115518115519115520115521115522115523115524115525115526115527115528115529115530115531115532115533115534115535115536115537115538115539115540115541115542115543115544115545115546115547115548115549115550115551115552115553115554115555115556115557115558115559115560115561115562115563115564115565115566115567115568115569115570115571115572115573115574115575115576115577115578115579115580115581115582115583115584115585115586115587115588115589115590115591115592115593115594115595115596115597115598115599115600115601115602115603115604115605115606115607115608115609115610115611115612115613115614115615115616115617115618115619115620115621115622115623115624115625115626115627115628115629115630115631115632115633115634115635115636115637115638115639115640115641115642115643115644115645115646115647115648115649115650115651115652115653115654115655115656115657115658115659115660115661115662115663115664115665115666115667115668115669115670115671115672115673115674115675115676115677115678115679115680115681115682115683115684115685115686115687115688115689115690115691115692115693115694115695115696115697115698115699115700115701115702115703115704115705115706115707115708115709115710115711115712115713115714115715115716115717115718115719115720115721115722115723115724115725115726115727115728115729115730115731115732115733115734115735115736115737115738115739115740115741115742115743115744115745115746115747115748115749115750115751115752115753115754115755115756115757115758115759115760115761115762115763115764115765115766115767115768115769115770115771115772115773115774115775115776115777115778115779115780115781115782115783115784115785115786115787115788115789115790115791115792115793115794115795115796115797115798115799115800115801115802115803115804115805115806115807115808115809115810115811115812115813115814115815115816115817115818115819115820115821115822115823115824115825115826115827115828115829115830115831115832115833115834115835115836115837115838115839115840115841115842115843115844115845115846115847115848115849115850115851115852115853115854115855115856115857115858115859115860115861115862115863115864115865115866115867115868115869115870115871115872115873115874115875115876115877115878115879115880115881115882115883115884115885115886115887115888115889115890115891115892115893115894115895115896115897115898115899115900115901115902115903115904115905115906115907115908115909115910115911115912115913115914115915115916115917115918115919115920115921115922115923115924115925115926115927115928115929115930115931115932115933115934115935115936115937115938115939115940115941115942115943115944115945115946115947115948115949115950115951115952115953115954115955115956115957115958115959115960115961115962115963115964115965115966115967115968115969115970115971115972115973115974115975115976115977115978115979115980115981115982115983115984115985115986115987115988115989115990115991115992115993115994115995115996115997115998115999116000116001116002116003116004116005116006116007116008116009116010116011116012116013116014116015116016116017116018116019116020116021116022116023116024116025116026116027116028116029116030116031116032116033116034116035116036116037116038116039116040116041116042116043116044116045116046116047116048116049116050116051116052116053116054116055116056116057116058116059116060116061116062116063116064116065116066116067116068116069116070116071116072116073116074116075116076116077116078116079116080116081116082116083116084116085116086116087116088116089116090116091116092116093116094116095116096116097116098116099116100116101116102116103116104116105116106116107116108116109116110116111116112116113116114116115116116116117116118116119116120116121116122116123116124116125116126116127116128116129116130116131116132116133116134116135116136116137116138116139116140116141116142116143116144116145116146116147116148116149116150116151116152116153116154116155116156116157116158116159116160116161116162116163116164116165116166116167116168116169116170116171116172116173116174116175116176116177116178116179116180116181116182116183116184116185116186116187116188116189116190116191116192116193116194116195116196116197116198116199116200116201116202116203116204116205116206116207116208116209116210116211116212116213116214116215116216116217116218116219116220116221116222116223116224116225116226116227116228116229116230116231116232116233116234116235116236116237116238116239116240116241116242116243116244116245116246116247116248116249116250116251116252116253116254116255116256116257116258116259116260116261116262116263116264116265116266116267116268116269116270116271116272116273116274116275116276116277116278116279116280116281116282116283116284116285116286116287116288116289116290116291116292116293116294116295116296116297116298116299116300116301116302116303116304116305116306116307116308116309116310116311116312116313116314116315116316116317116318116319116320116321116322116323116324116325116326116327116328116329116330116331116332116333116334116335116336116337116338116339116340116341116342116343116344116345116346116347116348116349116350116351116352116353116354116355116356116357116358116359116360116361116362116363116364116365116366116367116368116369116370116371116372116373116374116375116376116377116378116379116380116381116382116383116384116385116386116387116388116389116390116391116392116393116394116395116396116397116398116399116400116401116402116403116404116405116406116407116408116409116410116411116412116413116414116415116416116417116418116419116420116421116422116423116424116425116426116427116428116429116430116431116432116433116434116435116436116437116438116439116440116441116442116443116444116445116446116447116448116449116450116451116452116453116454116455116456116457116458116459116460116461116462116463116464116465116466116467116468116469116470116471116472116473116474116475116476116477116478116479116480116481116482116483116484116485116486116487116488116489116490116491116492116493116494116495116496116497116498116499116500116501116502116503116504116505116506116507116508116509116510116511116512116513116514116515116516116517116518116519116520116521116522116523116524116525116526116527116528116529116530116531116532116533116534116535116536116537116538116539116540116541116542116543116544116545116546116547116548116549116550116551116552116553116554116555116556116557116558116559116560116561116562116563116564116565116566116567116568116569116570116571116572116573116574116575116576116577116578116579116580116581116582116583116584116585116586116587116588116589116590116591116592116593116594116595116596116597116598116599116600116601116602116603116604116605116606116607116608116609116610116611116612116613116614116615116616116617116618116619116620116621116622116623116624116625116626116627116628116629116630116631116632116633116634116635116636116637116638116639116640116641116642116643116644116645116646116647116648116649116650116651116652116653116654116655116656116657116658116659116660116661116662116663116664116665116666116667116668116669116670116671116672116673116674116675116676116677116678116679116680116681116682116683116684116685116686116687116688116689116690116691116692116693116694116695116696116697116698116699116700116701116702116703116704116705116706116707116708116709116710116711116712116713116714116715116716116717116718116719116720116721116722116723116724116725116726116727116728116729116730116731116732116733116734116735116736116737116738116739116740116741116742116743116744116745116746116747116748116749116750116751116752116753116754116755116756116757116758116759116760116761116762116763116764116765116766116767116768116769116770116771116772116773116774116775116776116777116778116779116780116781116782116783116784116785116786116787116788116789116790116791116792116793116794116795116796116797116798116799116800116801116802116803116804116805116806116807116808116809116810116811116812116813116814116815116816116817116818116819116820116821116822116823116824116825116826116827116828116829116830116831116832116833116834116835116836116837116838116839116840116841116842116843116844116845116846116847116848116849116850116851116852116853116854116855116856116857116858116859116860116861116862116863116864116865116866116867116868116869116870116871116872116873116874116875116876116877116878116879116880116881116882116883116884116885116886116887116888116889116890116891116892116893116894116895116896116897116898116899116900116901116902116903116904116905116906116907116908116909116910116911116912116913116914116915116916116917116918116919116920116921116922116923116924116925116926116927116928116929116930116931116932116933116934116935116936116937116938116939116940116941116942116943116944116945116946116947116948116949116950116951116952116953116954116955116956116957116958116959116960116961116962116963116964116965116966116967116968116969116970116971116972116973116974116975116976116977116978116979116980116981116982116983116984116985116986116987116988116989116990116991116992116993116994116995116996116997116998116999117000117001117002117003117004117005117006117007117008117009117010117011117012117013117014117015117016117017117018117019117020117021117022117023117024117025117026117027117028117029117030117031117032117033117034117035117036117037117038117039117040117041117042117043117044117045117046117047117048117049117050117051117052117053117054117055117056117057117058117059117060117061117062117063117064117065117066117067117068117069117070117071117072117073117074117075117076117077117078117079117080117081117082117083117084117085117086117087117088117089117090117091117092117093117094117095117096117097117098117099117100117101117102117103117104117105117106117107117108117109117110117111117112117113117114117115117116117117117118117119117120117121117122117123117124117125117126117127117128117129117130117131117132117133117134117135117136117137117138117139117140117141117142117143117144117145117146117147117148117149117150117151117152117153117154117155117156117157117158117159117160117161117162117163117164117165117166117167117168117169117170117171117172117173117174117175117176117177117178117179117180117181117182117183117184117185117186117187117188117189117190117191117192117193117194117195117196117197117198117199117200117201117202117203117204117205117206117207117208117209117210117211117212117213117214117215117216117217117218117219117220117221117222117223117224117225117226117227117228117229117230117231117232117233117234117235117236117237117238117239117240117241117242117243117244117245117246117247117248117249117250117251117252117253117254117255117256117257117258117259117260117261117262117263117264117265117266117267117268117269117270117271117272117273117274117275117276117277117278117279117280117281117282117283117284117285117286117287117288117289117290117291117292117293117294117295117296117297117298117299117300117301117302117303117304117305117306117307117308117309117310117311117312117313117314117315117316117317117318117319117320117321117322117323117324117325117326117327117328117329117330117331117332117333117334117335117336117337117338117339117340117341117342117343117344117345117346117347117348117349117350117351117352117353117354117355117356117357117358117359117360117361117362117363117364117365117366117367117368117369117370117371117372117373117374117375117376117377117378117379117380117381117382117383117384117385117386117387117388117389117390117391117392117393117394117395117396117397117398117399117400117401117402117403117404117405117406117407117408117409117410117411117412117413117414117415117416117417117418117419117420117421117422117423117424117425117426117427117428117429117430117431117432117433117434117435117436117437117438117439117440117441117442117443117444117445117446117447117448117449117450117451117452117453117454117455117456117457117458117459117460117461117462117463117464117465117466117467117468117469117470117471117472117473117474117475117476117477117478117479117480117481117482117483117484117485117486117487117488117489117490117491117492117493117494117495117496117497117498117499117500117501117502117503117504117505117506117507117508117509117510117511117512117513117514117515117516117517117518117519117520117521117522117523117524117525117526117527117528117529117530117531117532117533117534117535117536117537117538117539117540117541117542117543117544117545117546117547117548117549117550117551117552117553117554117555117556117557117558117559117560117561117562117563117564117565117566117567117568117569117570117571117572117573117574117575117576117577117578117579117580117581117582117583117584117585117586117587117588117589117590117591117592117593117594117595117596117597117598117599117600117601117602117603117604117605117606117607117608117609117610117611117612117613117614117615117616117617117618117619117620117621117622117623117624117625117626117627117628117629117630117631117632117633117634117635117636117637117638117639117640117641117642117643117644117645117646117647117648117649117650117651117652117653117654117655117656117657117658117659117660117661117662117663117664117665117666117667117668117669117670117671117672117673117674117675117676117677117678117679117680117681117682117683117684117685117686117687117688117689117690117691117692117693117694117695117696117697117698117699117700117701117702117703117704117705117706117707117708117709117710117711117712117713117714117715117716117717117718117719117720117721117722117723117724117725117726117727117728117729117730117731117732117733117734117735117736117737117738117739117740117741117742117743117744117745117746117747117748117749117750117751117752117753117754117755117756117757117758117759117760117761117762117763117764117765117766117767117768117769117770117771117772117773117774117775117776117777117778117779117780117781117782117783117784117785117786117787117788117789117790117791117792117793117794117795117796117797117798117799117800117801117802117803117804117805117806117807117808117809117810117811117812117813117814117815117816117817117818117819117820117821117822117823117824117825117826117827117828117829117830117831117832117833117834117835117836117837117838117839117840117841117842117843117844117845117846117847117848117849117850117851117852117853117854117855117856117857117858117859117860117861117862117863117864117865117866117867117868117869117870117871117872117873117874117875117876117877117878117879117880117881117882117883117884117885117886117887117888117889117890117891117892117893117894117895117896117897117898117899117900117901117902117903117904117905117906117907117908117909117910117911117912117913117914117915117916117917117918117919117920117921117922117923117924117925117926117927117928117929117930117931117932117933117934117935117936117937117938117939117940117941117942117943117944117945117946117947117948117949117950117951117952117953117954117955117956117957117958117959117960117961117962117963117964117965117966117967117968117969117970117971117972117973117974117975117976117977117978117979117980117981117982117983117984117985117986117987117988117989117990117991117992117993117994117995117996117997117998117999118000118001118002118003118004118005118006118007118008118009118010118011118012118013118014118015118016118017118018118019118020118021118022118023118024118025118026118027118028118029118030118031118032118033118034118035118036118037118038118039118040118041118042118043118044118045118046118047118048118049118050118051118052118053118054118055118056118057118058118059118060118061118062118063118064118065118066118067118068118069118070118071118072118073118074118075118076118077118078118079118080118081118082118083118084118085118086118087118088118089118090118091118092118093118094118095118096118097118098118099118100118101118102118103118104118105118106118107118108118109118110118111118112118113118114118115118116118117118118118119118120118121118122118123118124118125118126118127118128118129118130118131118132118133118134118135118136118137118138118139118140118141118142118143118144118145118146118147118148118149118150118151118152118153118154118155118156118157118158118159118160118161118162118163118164118165118166118167118168118169118170118171118172118173118174118175118176118177118178118179118180118181118182118183118184118185118186118187118188118189118190118191118192118193118194118195118196118197118198118199118200118201118202118203118204118205118206118207118208118209118210118211118212118213118214118215118216118217118218118219118220118221118222118223118224118225118226118227118228118229118230118231118232118233118234118235118236118237118238118239118240118241118242118243118244118245118246118247118248118249118250118251118252118253118254118255118256118257118258118259118260118261118262118263118264118265118266118267118268118269118270118271118272118273118274118275118276118277118278118279118280118281118282118283118284118285118286118287118288118289118290118291118292118293118294118295118296118297118298118299118300118301118302118303118304118305118306118307118308118309118310118311118312118313118314118315118316118317118318118319118320118321118322118323118324118325118326118327118328118329118330118331118332118333118334118335118336118337118338118339118340118341118342118343118344118345118346118347118348118349118350118351118352118353118354118355118356118357118358118359118360118361118362118363118364118365118366118367118368118369118370118371118372118373118374118375118376118377118378118379118380118381118382118383118384118385118386118387118388118389118390118391118392118393118394118395118396118397118398118399118400118401118402118403118404118405118406118407118408118409118410118411118412118413118414118415118416118417118418118419118420118421118422118423118424118425118426118427118428118429118430118431118432118433118434118435118436118437118438118439118440118441118442118443118444118445118446118447118448118449118450118451118452118453118454118455118456118457118458118459118460118461118462118463118464118465118466118467118468118469118470118471118472118473118474118475118476118477118478118479118480118481118482118483118484118485118486118487118488118489118490118491118492118493118494118495118496118497118498118499118500118501118502118503118504118505118506118507118508118509118510118511118512118513118514118515118516118517118518118519118520118521118522118523118524118525118526118527118528118529118530118531118532118533118534118535118536118537118538118539118540118541118542118543118544118545118546118547118548118549118550118551118552118553118554118555118556118557118558118559118560118561118562118563118564118565118566118567118568118569118570118571118572118573118574118575118576118577118578118579118580118581118582118583118584118585118586118587118588118589118590118591118592118593118594118595118596118597118598118599118600118601118602118603118604118605118606118607118608118609118610118611118612118613118614118615118616118617118618118619118620118621118622118623118624118625118626118627118628118629118630118631118632118633118634118635118636118637118638118639118640118641118642118643118644118645118646118647118648118649118650118651118652118653118654118655118656118657118658118659118660118661118662118663118664118665118666118667118668118669118670118671118672118673118674118675118676118677118678118679118680118681118682118683118684118685118686118687118688118689118690118691118692118693118694118695118696118697118698118699118700118701118702118703118704118705118706118707118708118709118710118711118712118713118714118715118716118717118718118719118720118721118722118723118724118725118726118727118728118729118730118731118732118733118734118735118736118737118738118739118740118741118742118743118744118745118746118747118748118749118750118751118752118753118754118755118756118757118758118759118760118761118762118763118764118765118766118767118768118769118770118771118772118773118774118775118776118777118778118779118780118781118782118783118784118785118786118787118788118789118790118791118792118793118794118795118796118797118798118799118800118801118802118803118804118805118806118807118808118809118810118811118812118813118814118815118816118817118818118819118820118821118822118823118824118825118826118827118828118829118830118831118832118833118834118835118836118837118838118839118840118841118842118843118844118845118846118847118848118849118850118851118852118853118854118855118856118857118858118859118860118861118862118863118864118865118866118867118868118869118870118871118872118873118874118875118876118877118878118879118880118881118882118883118884118885118886118887118888118889118890118891118892118893118894118895118896118897118898118899118900118901118902118903118904118905118906118907118908118909118910118911118912118913118914118915118916118917118918118919118920118921118922118923118924118925118926118927118928118929118930118931118932118933118934118935118936118937118938118939118940118941118942118943118944118945118946118947118948118949118950118951118952118953118954118955118956118957118958118959118960118961118962118963118964118965118966118967118968118969118970118971118972118973118974118975118976118977118978118979118980118981118982118983118984118985118986118987118988118989118990118991118992118993118994118995118996118997118998118999119000119001119002119003119004119005119006119007119008119009119010119011119012119013119014119015119016119017119018119019119020119021119022119023119024119025119026119027119028119029119030119031119032119033119034119035119036119037119038119039119040119041119042119043119044119045119046119047119048119049119050119051119052119053119054119055119056119057119058119059119060119061119062119063119064119065119066119067119068119069119070119071119072119073119074119075119076119077119078119079119080119081119082119083119084119085119086119087119088119089119090119091119092119093119094119095119096119097119098119099119100119101119102119103119104119105119106119107119108119109119110119111119112119113119114119115119116119117119118119119119120119121119122119123119124119125119126119127119128119129119130119131119132119133119134119135119136119137119138119139119140119141119142119143119144119145119146119147119148119149119150119151119152119153119154119155119156119157119158119159119160119161119162119163119164119165119166119167119168119169119170119171119172119173119174119175119176119177119178119179119180119181119182119183119184119185119186119187119188119189119190119191119192119193119194119195119196119197119198119199119200119201119202119203119204119205119206119207119208119209119210119211119212119213119214119215119216119217119218119219119220119221119222119223119224119225119226119227119228119229119230119231119232119233119234119235119236119237119238119239119240119241119242119243119244119245119246119247119248119249119250119251119252119253119254119255119256119257119258119259119260119261119262119263119264119265119266119267119268119269119270119271119272119273119274119275119276119277119278119279119280119281119282119283119284119285119286119287119288119289119290119291119292119293119294119295119296119297119298119299119300119301119302119303119304119305119306119307119308119309119310119311119312119313119314119315119316119317119318119319119320119321119322119323119324119325119326119327119328119329119330119331119332119333119334119335119336119337119338119339119340119341119342119343119344119345119346119347119348119349119350119351119352119353119354119355119356119357119358119359119360119361119362119363119364119365119366119367119368119369119370119371119372119373119374119375119376119377119378119379119380119381119382119383119384119385119386119387119388119389119390119391119392119393119394119395119396119397119398119399119400119401119402119403119404119405119406119407119408119409119410119411119412119413119414119415119416119417119418119419119420119421119422119423119424119425119426119427119428119429119430119431119432119433119434119435119436119437119438119439119440119441119442119443119444119445119446119447119448119449119450119451119452119453119454119455119456119457119458119459119460119461119462119463119464119465119466119467119468119469119470119471119472119473119474119475119476119477119478119479119480119481119482119483119484119485119486119487119488119489119490119491119492119493119494119495119496119497119498119499119500119501119502119503119504119505119506119507119508119509119510119511119512119513119514119515119516119517119518119519119520119521119522119523119524119525119526119527119528119529119530119531119532119533119534119535119536119537119538119539119540119541119542119543119544119545119546119547119548119549119550119551119552119553119554119555119556119557119558119559119560119561119562119563119564119565119566119567119568119569119570119571119572119573119574119575119576119577119578119579119580119581119582119583119584119585119586119587119588119589119590119591119592119593119594119595119596119597119598119599119600119601119602119603119604119605119606119607119608119609119610119611119612119613119614119615119616119617119618119619119620119621119622119623119624119625119626119627119628119629119630119631119632119633119634119635119636119637119638119639119640119641119642119643119644119645119646119647119648119649119650119651119652119653119654119655119656119657119658119659119660119661119662119663119664119665119666119667119668119669119670119671119672119673119674119675119676119677119678119679119680119681119682119683119684119685119686119687119688119689119690119691119692119693119694119695119696119697119698119699119700119701119702119703119704119705119706119707119708119709119710119711119712119713119714119715119716119717119718119719119720119721119722119723119724119725119726119727119728119729119730119731119732119733119734119735119736119737119738119739119740119741119742119743119744119745119746119747119748119749119750119751119752119753119754119755119756119757119758119759119760119761119762119763119764119765119766119767119768119769119770119771119772119773119774119775119776119777119778119779119780119781119782119783119784119785119786119787119788119789119790119791119792119793119794119795119796119797119798119799119800119801119802119803119804119805119806119807119808119809119810119811119812119813119814119815119816119817119818119819119820119821119822119823119824119825119826119827119828119829119830119831119832119833119834119835119836119837119838119839119840119841119842119843119844119845119846119847119848119849119850119851119852119853119854119855119856119857119858119859119860119861119862119863119864119865119866119867119868119869119870119871119872119873119874119875119876119877119878119879119880119881119882119883119884119885119886119887119888119889119890119891119892119893119894119895119896119897119898119899119900119901119902119903119904119905119906119907119908119909119910119911119912119913119914119915119916119917119918119919119920119921119922119923119924119925119926119927119928119929119930119931119932119933119934119935119936119937119938119939119940119941119942119943119944119945119946119947119948119949119950119951119952119953119954119955119956119957119958119959119960119961119962119963119964119965119966119967119968119969119970119971119972119973119974119975119976119977119978119979119980119981119982119983119984119985119986119987119988119989119990119991119992119993119994119995119996119997119998119999120000120001120002120003120004120005120006120007120008120009120010120011120012120013120014120015120016120017120018120019120020120021120022120023120024120025120026120027120028120029120030120031120032120033120034120035120036120037120038120039120040120041120042120043120044120045120046120047120048120049120050120051120052120053120054120055120056120057120058120059120060120061120062120063120064120065120066120067120068120069120070120071120072120073120074120075120076120077120078120079120080120081120082120083120084120085120086120087120088120089120090120091120092120093120094120095120096120097120098120099120100120101120102120103120104120105120106120107120108120109120110120111120112120113120114120115120116120117120118120119120120120121120122120123120124120125120126120127120128120129120130120131120132120133120134120135120136120137120138120139120140120141120142120143120144120145120146120147120148120149120150120151120152120153120154120155120156120157120158120159120160120161120162120163120164120165120166120167120168120169120170120171120172120173120174120175120176120177120178120179120180120181120182120183120184120185120186120187120188120189120190120191120192120193120194120195120196120197120198120199120200120201120202120203120204120205120206120207120208120209120210120211120212120213120214120215120216120217120218120219120220120221120222120223120224120225120226120227120228120229120230120231120232120233120234120235120236120237120238120239120240120241120242120243120244120245120246120247120248120249120250120251120252120253120254120255120256120257120258120259120260120261120262120263120264120265120266120267120268120269120270120271120272120273120274120275120276120277120278120279120280120281120282120283120284120285120286120287120288120289120290120291120292120293120294120295120296120297120298120299120300120301120302120303120304120305120306120307120308120309120310120311120312120313120314120315120316120317120318120319120320120321120322120323120324120325120326120327120328120329120330120331120332120333120334120335120336120337120338120339120340120341120342120343120344120345120346120347120348120349120350120351120352120353120354120355120356120357120358120359120360120361120362120363120364120365120366120367120368120369120370120371120372120373120374120375120376120377120378120379120380120381120382120383120384120385120386120387120388120389120390120391120392120393120394120395120396120397120398120399120400120401120402120403120404120405120406120407120408120409120410120411120412120413120414120415120416120417120418120419120420120421120422120423120424120425120426120427120428120429120430120431120432120433120434120435120436120437120438120439120440120441120442120443120444120445120446120447120448120449120450120451120452120453120454120455120456120457120458120459120460120461120462120463120464120465120466120467120468120469120470120471120472120473120474120475120476120477120478120479120480120481120482120483120484120485120486120487120488120489120490120491120492120493120494120495120496120497120498120499120500120501120502120503120504120505120506120507120508120509120510120511120512120513120514120515120516120517120518120519120520120521120522120523120524120525120526120527120528120529120530120531120532120533120534120535120536120537120538120539120540120541120542120543120544120545120546120547120548120549120550120551120552120553120554120555120556120557120558120559120560120561120562120563120564120565120566120567120568120569120570120571120572120573120574120575120576120577120578120579120580120581120582120583120584120585120586120587120588120589120590120591120592120593120594120595120596120597120598120599120600120601120602120603120604120605120606120607120608120609120610120611120612120613120614120615120616120617120618120619120620120621120622120623120624120625120626120627120628120629120630120631120632120633120634120635120636120637120638120639120640120641120642120643120644120645120646120647120648120649120650120651120652120653120654120655120656120657120658120659120660120661120662120663120664120665120666120667120668120669120670120671120672120673120674120675120676120677120678120679120680120681120682120683120684120685120686120687120688120689120690120691120692120693120694120695120696120697120698120699120700120701120702120703120704120705120706120707120708120709120710120711120712120713120714120715120716120717120718120719120720120721120722120723120724120725120726120727120728120729120730120731120732120733120734120735120736120737120738120739120740120741120742120743120744120745120746120747120748120749120750120751120752120753120754120755120756120757120758120759120760120761120762120763120764120765120766120767120768120769120770120771120772120773120774120775120776120777120778120779120780120781120782120783120784120785120786120787120788120789120790120791120792120793120794120795120796120797120798120799120800120801120802120803120804120805120806120807120808120809120810120811120812120813120814120815120816120817120818120819120820120821120822120823120824120825120826120827120828120829120830120831120832120833120834120835120836120837120838120839120840120841120842120843120844120845120846120847120848120849120850120851120852120853120854120855120856120857120858120859120860120861120862120863120864120865120866120867120868120869120870120871120872120873120874120875120876120877120878120879120880120881120882120883120884120885120886120887120888120889120890120891120892120893120894120895120896120897120898120899120900120901120902120903120904120905120906120907120908120909120910120911120912120913120914120915120916120917120918120919120920120921120922120923120924120925120926120927120928120929120930120931120932120933120934120935120936120937120938120939120940120941120942120943120944120945120946120947120948120949120950120951120952120953120954120955120956120957120958120959120960120961120962120963120964120965120966120967120968120969120970120971120972120973120974120975120976120977120978120979120980120981120982120983120984120985120986120987120988120989120990120991120992120993120994120995120996120997120998120999121000121001121002121003121004121005121006121007121008121009121010121011121012121013121014121015121016121017121018121019121020121021121022121023121024121025121026121027121028121029121030121031121032121033121034121035121036121037121038121039121040121041121042121043121044121045121046121047121048121049121050121051121052121053121054121055121056121057121058121059121060121061121062121063121064121065121066121067121068121069121070121071121072121073121074121075121076121077121078121079121080121081121082121083121084121085121086121087121088121089121090121091121092121093121094121095121096121097121098121099121100121101121102121103121104121105121106121107121108121109121110121111121112121113121114121115121116121117121118121119121120121121121122121123121124121125121126121127121128121129121130121131121132121133121134121135121136121137121138121139121140121141121142121143121144121145121146121147121148121149121150121151121152121153121154121155121156121157121158121159121160121161121162121163121164121165121166121167121168121169121170121171121172121173121174121175121176121177121178121179121180121181121182121183121184121185121186121187121188121189121190121191121192121193121194121195121196121197121198121199121200121201121202121203121204121205121206121207121208121209121210121211121212121213121214121215121216121217121218121219121220121221121222121223121224121225121226121227121228121229121230121231121232121233121234121235121236121237121238121239121240121241121242121243121244121245121246121247121248121249121250121251121252121253121254121255121256121257121258121259121260121261121262121263121264121265121266121267121268121269121270121271121272121273121274121275121276121277121278121279121280121281121282121283121284121285121286121287121288121289121290121291121292121293121294121295121296121297121298121299121300121301121302121303121304121305121306121307121308121309121310121311121312121313121314121315121316121317121318121319121320121321121322121323121324121325121326121327121328121329121330121331121332121333121334121335121336121337121338121339121340121341121342121343121344121345121346121347121348121349121350121351121352121353121354121355121356121357121358121359121360121361121362121363121364121365121366121367121368121369121370121371121372121373121374121375121376121377121378121379121380121381121382121383121384121385121386121387121388121389121390121391121392121393121394121395121396121397121398121399121400121401121402121403121404121405121406121407121408121409121410121411121412121413121414121415121416121417121418121419121420121421121422121423121424121425121426121427121428121429121430121431121432121433121434121435121436121437121438121439121440121441121442121443121444121445121446121447121448121449121450121451121452121453121454121455121456121457121458121459121460121461121462121463121464121465121466121467121468121469121470121471121472121473121474121475121476121477121478121479121480121481121482121483121484121485121486121487121488121489121490121491121492121493121494121495121496121497121498121499121500121501121502121503121504121505121506121507121508121509121510121511121512121513121514121515121516121517121518121519121520121521121522121523121524121525121526121527121528121529121530121531121532121533121534121535121536121537121538121539121540121541121542121543121544121545121546121547121548121549121550121551121552121553121554121555121556121557121558121559121560121561121562121563121564121565121566121567121568121569121570121571121572121573121574121575121576121577121578121579121580121581121582121583121584121585121586121587121588121589121590121591121592121593121594121595121596121597121598121599121600121601121602121603121604121605121606121607121608121609121610121611121612121613121614121615121616121617121618121619121620121621121622121623121624121625121626121627121628121629121630121631121632121633121634121635121636121637121638121639121640121641121642121643121644121645121646121647121648121649121650121651121652121653121654121655121656121657121658121659121660121661121662121663121664121665121666121667121668121669121670121671121672121673121674121675121676121677121678121679121680121681121682121683121684121685121686121687121688121689121690121691121692121693121694121695121696121697121698121699121700121701121702121703121704121705121706121707121708121709121710121711121712121713121714121715121716121717121718121719121720121721121722121723121724121725121726121727121728121729121730121731121732121733121734121735121736121737121738121739121740121741121742121743121744121745121746121747121748121749121750121751121752121753121754121755121756121757121758121759121760121761121762121763121764121765121766121767121768121769121770121771121772121773121774121775121776121777121778121779121780121781121782121783121784121785121786121787121788121789121790121791121792121793121794121795121796121797121798121799121800121801121802121803121804121805121806121807121808121809121810121811121812121813121814121815121816121817121818121819121820121821121822121823121824121825121826121827121828121829121830121831121832121833121834121835121836121837121838121839121840121841121842121843121844121845121846121847121848121849121850121851121852121853121854121855121856121857121858121859121860121861121862121863121864121865121866121867121868121869121870121871121872121873121874121875121876121877121878121879121880121881121882121883121884121885121886121887121888121889121890121891121892121893121894121895121896121897121898121899121900121901121902121903121904121905121906121907121908121909121910121911121912121913121914121915121916121917121918121919121920121921121922121923121924121925121926121927121928121929121930121931121932121933121934121935121936121937121938121939121940121941121942121943121944121945121946121947121948121949121950121951121952121953121954121955121956121957121958121959121960121961121962121963121964121965121966121967121968121969121970121971121972121973121974121975121976121977121978121979121980121981121982121983121984121985121986121987121988121989121990121991121992121993121994121995121996121997121998121999122000122001122002122003122004122005122006122007122008122009122010122011122012122013122014122015122016122017122018122019122020122021122022122023122024122025122026122027122028122029122030122031122032122033122034122035122036122037122038122039122040122041122042122043122044122045122046122047122048122049122050122051122052122053122054122055122056122057122058122059122060122061122062122063122064122065122066122067122068122069122070122071122072122073122074122075122076122077122078122079122080122081122082122083122084122085122086122087122088122089122090122091122092122093122094122095122096122097122098122099122100122101122102122103122104122105122106122107122108122109122110122111122112122113122114122115122116122117122118122119122120122121122122122123122124122125122126122127122128122129122130122131122132122133122134122135122136122137122138122139122140122141122142122143122144122145122146122147122148122149122150122151122152122153122154122155122156122157122158122159122160122161122162122163122164122165122166122167122168122169122170122171122172122173122174122175122176122177122178122179122180122181122182122183122184122185122186122187122188122189122190122191122192122193122194122195122196122197122198122199122200122201122202122203122204122205122206122207122208122209122210122211122212122213122214122215122216122217122218122219122220122221122222122223122224122225122226122227122228122229122230122231122232122233122234122235122236122237122238122239122240122241122242122243122244122245122246122247122248122249122250122251122252122253122254122255122256122257122258122259122260122261122262122263122264122265122266122267122268122269122270122271122272122273122274122275122276122277122278122279122280122281122282122283122284122285122286122287122288122289122290122291122292122293122294122295122296122297122298122299122300122301122302122303122304122305122306122307122308122309122310122311122312122313122314122315122316122317122318122319122320122321122322122323122324122325122326122327122328122329122330122331122332122333122334122335122336122337122338122339122340122341122342122343122344122345122346122347122348122349122350122351122352122353122354122355122356122357122358122359122360122361122362122363122364122365122366122367122368122369122370122371122372122373122374122375122376122377122378122379122380122381122382122383122384122385122386122387122388122389122390122391122392122393122394122395122396122397122398122399122400122401122402122403122404122405122406122407122408122409122410122411122412122413122414122415122416122417122418122419122420122421122422122423122424122425122426122427122428122429122430122431122432122433122434122435122436122437122438122439122440122441122442122443122444122445122446122447122448122449122450122451122452122453122454122455122456122457122458122459122460122461122462122463122464122465122466122467122468122469122470122471122472122473122474122475122476122477122478122479122480122481122482122483122484122485122486122487122488122489122490122491122492122493122494122495122496122497122498122499122500122501122502122503122504122505122506122507122508122509122510122511122512122513122514122515122516122517122518122519122520122521122522122523122524122525122526122527122528122529122530122531122532122533122534122535122536122537122538122539122540122541122542122543122544122545122546122547122548122549122550122551122552122553122554122555122556122557122558122559122560122561122562122563122564122565122566122567122568122569122570122571122572122573122574122575122576122577122578122579122580122581122582122583122584122585122586122587122588122589122590122591122592122593122594122595122596122597122598122599122600122601122602122603122604122605122606122607122608122609122610122611122612122613122614122615122616122617122618122619122620122621122622122623122624122625122626122627122628122629122630122631122632122633122634122635122636122637122638122639122640122641122642122643122644122645122646122647122648122649122650122651122652122653122654122655122656122657122658122659122660122661122662122663122664122665122666122667122668122669122670122671122672122673122674122675122676122677122678122679122680122681122682122683122684122685122686122687122688122689122690122691122692122693122694122695122696122697122698122699122700122701122702122703122704122705122706122707122708122709122710122711122712122713122714122715122716122717122718122719122720122721122722122723122724122725122726122727122728122729122730122731122732122733122734122735122736122737122738122739122740122741122742122743122744122745122746122747122748122749122750122751122752122753122754122755122756122757122758122759122760122761122762122763122764122765122766122767122768122769122770122771122772122773122774122775122776122777122778122779122780122781122782122783122784122785122786122787122788122789122790122791122792122793122794122795122796122797122798122799122800122801122802122803122804122805122806122807122808122809122810122811122812122813122814122815122816122817122818122819122820122821122822122823122824122825122826122827122828122829122830122831122832122833122834122835122836122837122838122839122840122841122842122843122844122845122846122847122848122849122850122851122852122853122854122855122856122857122858122859122860122861122862122863122864122865122866122867122868122869122870122871122872122873122874122875122876122877122878122879122880122881122882122883122884122885122886122887122888122889122890122891122892122893122894122895122896122897122898122899122900122901122902122903122904122905122906122907122908122909122910122911122912122913122914122915122916122917122918122919122920122921122922122923122924122925122926122927122928122929122930122931122932122933122934122935122936122937122938122939122940122941122942122943122944122945122946122947122948122949122950122951122952122953122954122955122956122957122958122959122960122961122962122963122964122965122966122967122968122969122970122971122972122973122974122975122976122977122978122979122980122981122982122983122984122985122986122987122988122989122990122991122992122993122994122995122996122997122998122999123000123001123002123003123004123005123006123007123008123009123010123011123012123013123014123015123016123017123018123019123020123021123022123023123024123025123026123027123028123029123030123031123032123033123034123035123036123037123038123039123040123041123042123043123044123045123046123047123048123049123050123051123052123053123054123055123056123057123058123059123060123061123062123063123064123065123066123067123068123069123070123071123072123073123074123075123076123077123078123079123080123081123082123083123084123085123086123087123088123089123090123091123092123093123094123095123096123097123098123099123100123101123102123103123104123105123106123107123108123109123110123111123112123113123114123115123116123117123118123119123120123121123122123123123124123125123126123127123128123129123130123131123132123133123134123135123136123137123138123139123140123141123142123143123144123145123146123147123148123149123150123151123152123153123154123155123156123157123158123159123160123161123162123163123164123165123166123167123168123169123170123171123172123173123174123175123176123177123178123179123180123181123182123183123184123185123186123187123188123189123190123191123192123193123194123195123196123197123198123199123200123201123202123203123204123205123206123207123208123209123210123211123212123213123214123215123216123217123218123219123220123221123222123223123224123225123226123227123228123229123230123231123232123233123234123235123236123237123238123239123240123241123242123243123244123245123246123247123248123249123250123251123252123253123254123255123256123257123258123259123260123261123262123263123264123265123266123267123268123269123270123271123272123273123274123275123276123277123278123279123280123281123282123283123284123285123286123287123288123289123290123291123292123293123294123295123296123297123298123299123300123301123302123303123304123305123306123307123308123309123310123311123312123313123314123315123316123317123318123319123320123321123322123323123324123325123326123327123328123329123330123331123332123333123334123335123336123337123338123339123340123341123342123343123344123345123346123347123348123349123350123351123352123353123354123355123356123357123358123359123360123361123362123363123364123365123366123367123368123369123370123371123372123373123374123375123376123377123378123379123380123381123382123383123384123385123386123387123388123389123390123391123392123393123394123395123396123397123398123399123400123401123402123403123404123405123406123407123408123409123410123411123412123413123414123415123416123417123418123419123420123421123422123423123424123425123426123427123428123429123430123431123432123433123434123435123436123437123438123439123440123441123442123443123444123445123446123447123448123449123450123451123452123453123454123455123456123457123458123459123460123461123462123463123464123465123466123467123468123469123470123471123472123473123474123475123476123477123478123479123480123481123482123483123484123485123486123487123488123489123490123491123492123493123494123495123496123497123498123499123500123501123502123503123504123505123506123507123508123509123510123511123512123513123514123515123516123517123518123519123520123521123522123523123524123525123526123527123528123529123530123531123532123533123534123535123536123537123538123539123540123541123542123543123544123545123546123547123548123549123550123551123552123553123554123555123556123557123558123559123560123561123562123563123564123565123566123567123568123569123570123571123572123573123574123575123576123577123578123579123580123581123582123583123584123585123586123587123588123589123590123591123592123593123594123595123596123597123598123599123600123601123602123603123604123605123606123607123608123609123610123611123612123613123614123615123616123617123618123619123620123621123622123623123624123625123626123627123628123629123630123631123632123633123634123635123636123637123638123639123640123641123642123643123644123645123646123647123648123649123650123651123652123653123654123655123656123657123658123659123660123661123662123663123664123665123666123667123668123669123670123671123672123673123674123675123676123677123678123679123680123681123682123683123684123685123686123687123688123689123690123691123692123693123694123695123696123697123698123699123700123701123702123703123704123705123706123707123708123709123710123711123712123713123714123715123716123717123718123719123720123721123722123723123724123725123726123727123728123729123730123731123732123733123734123735123736123737123738123739123740123741123742123743123744123745123746123747123748123749123750123751123752123753123754123755123756123757123758123759123760123761123762123763123764123765123766123767123768123769123770123771123772123773123774123775123776123777123778123779123780123781123782123783123784123785123786123787123788123789123790123791123792123793123794123795123796123797123798123799123800123801123802123803123804123805123806123807123808123809123810123811123812123813123814123815123816123817123818123819123820123821123822123823123824123825123826123827123828123829123830123831123832123833123834123835123836123837123838123839123840123841123842123843123844123845123846123847123848123849123850123851123852123853123854123855123856123857123858123859123860123861123862123863123864123865123866123867123868123869123870123871123872123873123874123875123876123877123878123879123880123881123882123883123884123885123886123887123888123889123890123891123892123893123894123895123896123897123898123899123900123901123902123903123904123905123906123907123908123909123910123911123912123913123914123915123916123917123918123919123920123921123922123923123924123925123926123927123928123929123930123931123932123933123934123935123936123937123938123939123940123941123942123943123944123945123946123947123948123949123950123951123952123953123954123955123956123957123958123959123960123961123962123963123964123965123966123967123968123969123970123971123972123973123974123975123976123977123978123979123980123981123982123983123984123985123986123987123988123989123990123991123992123993123994123995123996123997123998123999124000124001124002124003124004124005124006124007124008124009124010124011124012124013124014124015124016124017124018124019124020124021124022124023124024124025124026124027124028124029124030124031124032124033124034124035124036124037124038124039124040124041124042124043124044124045124046124047124048124049124050124051124052124053124054124055124056124057124058124059124060124061124062124063124064124065124066124067124068124069124070124071124072124073124074124075124076124077124078124079124080124081124082124083124084124085124086124087124088124089124090124091124092124093124094124095124096124097124098124099124100124101124102124103124104124105124106124107124108124109124110124111124112124113124114124115124116124117124118124119124120124121124122124123124124124125124126124127124128124129124130124131124132124133124134124135124136124137124138124139124140124141124142124143124144124145124146124147124148124149124150124151124152124153124154124155124156124157124158124159124160124161124162124163124164124165124166124167124168124169124170124171124172124173124174124175124176124177124178124179124180124181124182124183124184124185124186124187124188124189124190124191124192124193124194124195124196124197124198124199124200124201124202124203124204124205124206124207124208124209124210124211124212124213124214124215124216124217124218124219124220124221124222124223124224124225124226124227124228124229124230124231124232124233124234124235124236124237124238124239124240124241124242124243124244124245124246124247124248124249124250124251124252124253124254124255124256124257124258124259124260124261124262124263124264124265124266124267124268124269124270124271124272124273124274124275124276124277124278124279124280124281124282124283124284124285124286124287124288124289124290124291124292124293124294124295124296124297124298124299124300124301124302124303124304124305124306124307124308124309124310124311124312124313124314124315124316124317124318124319124320124321124322124323124324124325124326124327124328124329124330124331124332124333124334124335124336124337124338124339124340124341124342124343124344124345124346124347124348124349124350124351124352124353124354124355124356124357124358124359124360124361124362124363124364124365124366124367124368124369124370124371124372124373124374124375124376124377124378124379124380124381124382124383124384124385124386124387124388124389124390124391124392124393124394124395124396124397124398124399124400124401124402124403124404124405124406124407124408124409124410124411124412124413124414124415124416124417124418124419124420124421124422124423124424124425124426124427124428124429124430124431124432124433124434124435124436124437124438124439124440124441124442124443124444124445124446124447124448124449124450124451124452124453124454124455124456124457124458124459124460124461124462124463124464124465124466124467124468124469124470124471124472124473124474124475124476124477124478124479124480124481124482124483124484124485124486124487124488124489124490124491124492124493124494124495124496124497124498124499124500124501124502124503124504124505124506124507124508124509124510124511124512124513124514124515124516124517124518124519124520124521124522124523124524124525124526124527124528124529124530124531124532124533124534124535124536124537124538124539124540124541124542124543124544124545124546124547124548124549124550124551124552124553124554124555124556124557124558124559124560124561124562124563124564124565124566124567124568124569124570124571124572124573124574124575124576124577124578124579124580124581124582124583124584124585124586124587124588124589124590124591124592124593124594124595124596124597124598124599124600124601124602124603124604124605124606124607124608124609124610124611124612124613124614124615124616124617124618124619124620124621124622124623124624124625124626124627124628124629124630124631124632124633124634124635124636124637124638124639124640124641124642124643124644124645124646124647124648124649124650124651124652124653124654124655124656124657124658124659124660124661124662124663124664124665124666124667124668124669124670124671124672124673124674124675124676124677124678124679124680124681124682124683124684124685124686124687124688124689124690124691124692124693124694124695124696124697124698124699124700124701124702124703124704124705124706124707124708124709124710124711124712124713124714124715124716124717124718124719124720124721124722124723124724124725124726124727124728124729124730124731124732124733124734124735124736124737124738124739124740124741124742124743124744124745124746124747124748124749124750124751124752124753124754124755124756124757124758124759124760124761124762124763124764124765124766124767124768124769124770124771124772124773124774124775124776124777124778124779124780124781124782124783124784124785124786124787124788124789124790124791124792124793124794124795124796124797124798124799124800124801124802124803124804124805124806124807124808124809124810124811124812124813124814124815124816124817124818124819124820124821124822124823124824124825124826124827124828124829124830124831124832124833124834124835124836124837124838124839124840124841124842124843124844124845124846124847124848124849124850124851124852124853124854124855124856124857124858124859124860124861124862124863124864124865124866124867124868124869124870124871124872124873124874124875124876124877124878124879124880124881124882124883124884124885124886124887124888124889124890124891124892124893124894124895124896124897124898124899124900124901124902124903124904124905124906124907124908124909124910124911124912124913124914124915124916124917124918124919124920124921124922124923124924124925124926124927124928124929124930124931124932124933124934124935124936124937124938124939124940124941124942124943124944124945124946124947124948124949124950124951124952124953124954124955124956124957124958124959124960124961124962124963124964124965124966124967124968124969124970124971124972124973124974124975124976124977124978124979124980124981124982124983124984124985124986124987124988124989124990124991124992124993124994124995124996124997124998124999125000125001125002125003125004125005125006125007125008125009125010125011125012125013125014125015125016125017125018125019125020125021125022125023125024125025125026125027125028125029125030125031125032125033125034125035125036125037125038125039125040125041125042125043125044125045125046125047125048125049125050125051125052125053125054125055125056125057125058125059125060125061125062125063125064125065125066125067125068125069125070125071125072125073125074125075125076125077125078125079125080125081125082125083125084125085125086125087125088125089125090125091125092125093125094125095125096125097125098125099125100125101125102125103125104125105125106125107125108125109125110125111125112125113125114125115125116125117125118125119125120125121125122125123125124125125125126125127125128125129125130125131125132125133125134125135125136125137125138125139125140125141125142125143125144125145125146125147125148125149125150125151125152125153125154125155125156125157125158125159125160125161125162125163125164125165125166125167125168125169125170125171125172125173125174125175125176125177125178125179125180125181125182125183125184125185125186125187125188125189125190125191125192125193125194125195125196125197125198125199125200125201125202125203125204125205125206125207125208125209125210125211125212125213125214125215125216125217125218125219125220125221125222125223125224125225125226125227125228125229125230125231125232125233125234125235125236125237125238125239125240125241125242125243125244125245125246125247125248125249125250125251125252125253125254125255125256125257125258125259125260125261125262125263125264125265125266125267125268125269125270125271125272125273125274125275125276125277125278125279125280125281125282125283125284125285125286125287125288125289125290125291125292125293125294125295125296125297125298125299125300125301125302125303125304125305125306125307125308125309125310125311125312125313125314125315125316125317125318125319125320125321125322125323125324125325125326125327125328125329125330125331125332125333125334125335125336125337125338125339125340125341125342125343125344125345125346125347125348125349125350125351125352125353125354125355125356125357125358125359125360125361125362125363125364125365125366125367125368125369125370125371125372125373125374125375125376125377125378125379125380125381125382125383125384125385125386125387125388125389125390125391125392125393125394125395125396125397125398125399125400125401125402125403125404125405125406125407125408125409125410125411125412125413125414125415125416125417125418125419125420125421125422125423125424125425125426125427125428125429125430125431125432125433125434125435125436125437125438125439125440125441125442125443125444125445125446125447125448125449125450125451125452125453125454125455125456125457125458125459125460125461125462125463125464125465125466125467125468125469125470125471125472125473125474125475125476125477125478125479125480125481125482125483125484125485125486125487125488125489125490125491125492125493125494125495125496125497125498125499125500125501125502125503125504125505125506125507125508125509125510125511125512125513125514125515125516125517125518125519125520125521125522125523125524125525125526125527125528125529125530125531125532125533125534125535125536125537125538125539125540125541125542125543125544125545125546125547125548125549125550125551125552125553125554125555125556125557125558125559125560125561125562125563125564125565125566125567125568125569125570125571125572125573125574125575125576125577125578125579125580125581125582125583125584125585125586125587125588125589125590125591125592125593125594125595125596125597125598125599125600125601125602125603125604125605125606125607125608125609125610125611125612125613125614125615125616125617125618125619125620125621125622125623125624125625125626125627125628125629125630125631125632125633125634125635125636125637125638125639125640125641125642125643125644125645125646125647125648125649125650125651125652125653125654125655125656125657125658125659125660125661125662125663125664125665125666125667125668125669125670125671125672125673125674125675125676125677125678125679125680125681125682125683125684125685125686125687125688125689125690125691125692125693125694125695125696125697125698125699125700125701125702125703125704125705125706125707125708125709125710125711125712125713125714125715125716125717125718125719125720125721125722125723125724125725125726125727125728125729125730125731125732125733125734125735125736125737125738125739125740125741125742125743125744125745125746125747125748125749125750125751125752125753125754125755125756125757125758125759125760125761125762125763125764125765125766125767125768125769125770125771125772125773125774125775125776125777125778125779125780125781125782125783125784125785125786125787125788125789125790125791125792125793125794125795125796125797125798125799125800125801125802125803125804125805125806125807125808125809125810125811125812125813125814125815125816125817125818125819125820125821125822125823125824125825125826125827125828125829125830125831125832125833125834125835125836125837125838125839125840125841125842125843125844125845125846125847125848125849125850125851125852125853125854125855125856125857125858125859125860125861125862125863125864125865125866125867125868125869125870125871125872125873125874125875125876125877125878125879125880125881125882125883125884125885125886125887125888125889125890125891125892125893125894125895125896125897125898125899125900125901125902125903125904125905125906125907125908125909125910125911125912125913125914125915125916125917125918125919125920125921125922125923125924125925125926125927125928125929125930125931125932125933125934125935125936125937125938125939125940125941125942125943125944125945125946125947125948125949125950125951125952125953125954125955125956125957125958125959125960125961125962125963125964125965125966125967125968125969125970125971125972125973125974125975125976125977125978125979125980125981125982125983125984125985125986125987125988125989125990125991125992125993125994125995125996125997125998125999126000126001126002126003126004126005126006126007126008126009126010126011126012126013126014126015126016126017126018126019126020126021126022126023126024126025126026126027126028126029126030126031126032126033126034126035126036126037126038126039126040126041126042126043126044126045126046126047126048126049126050126051126052126053126054126055126056126057126058126059126060126061126062126063126064126065126066126067126068126069126070126071126072126073126074126075126076126077126078126079126080126081126082126083126084126085126086126087126088126089126090126091126092126093126094126095126096126097126098126099126100126101126102126103126104126105126106126107126108126109126110126111126112126113126114126115126116126117126118126119126120126121126122126123126124126125126126126127126128126129126130126131126132126133126134126135126136126137126138126139126140126141126142126143126144126145126146126147126148126149126150126151126152126153126154126155126156126157126158126159126160126161126162126163126164126165126166126167126168126169126170126171126172126173126174126175126176126177126178126179126180126181126182126183126184126185126186126187126188126189126190126191126192126193126194126195126196126197126198126199126200126201126202126203126204126205126206126207126208126209126210126211126212126213126214126215126216126217126218126219126220126221126222126223126224126225126226126227126228126229126230126231126232126233126234126235126236126237126238126239126240126241126242126243126244126245126246126247126248126249126250126251126252126253126254126255126256126257126258126259126260126261126262126263126264126265126266126267126268126269126270126271126272126273126274126275126276126277126278126279126280126281126282126283126284126285126286126287126288126289126290126291126292126293126294126295126296126297126298126299126300126301126302126303126304126305126306126307126308126309126310126311126312126313126314126315126316126317126318126319126320126321126322126323126324126325126326126327126328126329126330126331126332126333126334126335126336126337126338126339126340126341126342126343126344126345126346126347126348126349126350126351126352126353126354126355126356126357126358126359126360126361126362126363126364126365126366126367126368126369126370126371126372126373126374126375126376126377126378126379126380126381126382126383126384126385126386126387126388126389126390126391126392126393126394126395126396126397126398126399126400126401126402126403126404126405126406126407126408126409126410126411126412126413126414126415126416126417126418126419126420126421126422126423126424126425126426126427126428126429126430126431126432126433126434126435126436126437126438126439126440126441126442126443126444126445126446126447126448126449126450126451126452126453126454126455126456126457126458126459126460126461126462126463126464126465126466126467126468126469126470126471126472126473126474126475126476126477126478126479126480126481126482126483126484126485126486126487126488126489126490126491126492126493126494126495126496126497126498126499126500126501126502126503126504126505126506126507126508126509126510126511126512126513126514126515126516126517126518126519126520126521126522126523126524126525126526126527126528126529126530126531126532126533126534126535126536126537126538126539126540126541126542126543126544126545126546126547126548126549126550126551126552126553126554126555126556126557126558126559126560126561126562126563126564126565126566126567126568126569126570126571126572126573126574126575126576126577126578126579126580126581126582126583126584126585126586126587126588126589126590126591126592126593126594126595126596126597126598126599126600126601126602126603126604126605126606126607126608126609126610126611126612126613126614126615126616126617126618126619126620126621126622126623126624126625126626126627126628126629126630126631126632126633126634126635126636126637126638126639126640126641126642126643126644126645126646126647126648126649126650126651126652126653126654126655126656126657126658126659126660126661126662126663126664126665126666126667126668126669126670126671126672126673126674126675126676126677126678126679126680126681126682126683126684126685126686126687126688126689126690126691126692126693126694126695126696126697126698126699126700126701126702126703126704126705126706126707126708126709126710126711126712126713126714126715126716126717126718126719126720126721126722126723126724126725126726126727126728126729126730126731126732126733126734126735126736126737126738126739126740126741126742126743126744126745126746126747126748126749126750126751126752126753126754126755126756126757126758126759126760126761126762126763126764126765126766126767126768126769126770126771126772126773126774126775126776126777126778126779126780126781126782126783126784126785126786126787126788126789126790126791126792126793126794126795126796126797126798126799126800126801126802126803126804126805126806126807126808126809126810126811126812126813126814126815126816126817126818126819126820126821126822126823126824126825126826126827126828126829126830126831126832126833126834126835126836126837126838126839126840126841126842126843126844126845126846126847126848126849126850126851126852126853126854126855126856126857126858126859126860126861126862126863126864126865126866126867126868126869126870126871126872126873126874126875126876126877126878126879126880126881126882126883126884126885126886126887126888126889126890126891126892126893126894126895126896126897126898126899126900126901126902126903126904126905126906126907126908126909126910126911126912126913126914126915126916126917126918126919126920126921126922126923126924126925126926126927126928126929126930126931126932126933126934126935126936126937126938126939126940126941126942126943126944126945126946126947126948126949126950126951126952126953126954126955126956126957126958126959126960126961126962126963126964126965126966126967126968126969126970126971126972126973126974126975126976126977126978126979126980126981126982126983126984126985126986126987126988126989126990126991126992126993126994126995126996126997126998126999127000127001127002127003127004127005127006127007127008127009127010127011127012127013127014127015127016127017127018127019127020127021127022127023127024127025127026127027127028127029127030127031127032127033127034127035127036127037127038127039127040127041127042127043127044127045127046127047127048127049127050127051127052127053127054127055127056127057127058127059127060127061127062127063127064127065127066127067127068127069127070127071127072127073127074127075127076127077127078127079127080127081127082127083127084127085127086127087127088127089127090127091127092127093127094127095127096127097127098127099127100127101127102127103127104127105127106127107127108127109127110127111127112127113127114127115127116127117127118127119127120127121127122127123127124127125127126127127127128127129127130127131127132127133127134127135127136127137127138127139127140127141127142127143127144127145127146127147127148127149127150127151127152127153127154127155127156127157127158127159127160127161127162127163127164127165127166127167127168127169127170127171127172127173127174127175127176127177127178127179127180127181127182127183127184127185127186127187127188127189127190127191127192127193127194127195127196127197127198127199127200127201127202127203127204127205127206127207127208127209127210127211127212127213127214127215127216127217127218127219127220127221127222127223127224127225127226127227127228127229127230127231127232127233127234127235127236127237127238127239127240127241127242127243127244127245127246127247127248127249127250127251127252127253127254127255127256127257127258127259127260127261127262127263127264127265127266127267127268127269127270127271127272127273127274127275127276127277127278127279127280127281127282127283127284127285127286127287127288127289127290127291127292127293127294127295127296127297127298127299127300127301127302127303127304127305127306127307127308127309127310127311127312127313127314127315127316127317127318127319127320127321127322127323127324127325127326127327127328127329127330127331127332127333127334127335127336127337127338127339127340127341127342127343127344127345127346127347127348127349127350127351127352127353127354127355127356127357127358127359127360127361127362127363127364127365127366127367127368127369127370127371127372127373127374127375127376127377127378127379127380127381127382127383127384127385127386127387127388127389127390127391127392127393127394127395127396127397127398127399127400127401127402127403127404127405127406127407127408127409127410127411127412127413127414127415127416127417127418127419127420127421127422127423127424127425127426127427127428127429127430127431127432127433127434127435127436127437127438127439127440127441127442127443127444127445127446127447127448127449127450127451127452127453127454127455127456127457127458127459127460127461127462127463127464127465127466127467127468127469127470127471127472127473127474127475127476127477127478127479127480127481127482127483127484127485127486127487127488127489127490127491127492127493127494127495127496127497127498127499127500127501127502127503127504127505127506127507127508127509127510127511127512127513127514127515127516127517127518127519127520127521127522127523127524127525127526127527127528127529127530127531127532127533127534127535127536127537127538127539127540127541127542127543127544127545127546127547127548127549127550127551127552127553127554127555127556127557127558127559127560127561127562127563127564127565127566127567127568127569127570127571127572127573127574127575127576127577127578127579127580127581127582127583127584127585127586127587127588127589127590127591127592127593127594127595127596127597127598127599127600127601127602127603127604127605127606127607127608127609127610127611127612127613127614127615127616127617127618127619127620127621127622127623127624127625127626127627127628127629127630127631127632127633127634127635127636127637127638127639127640127641127642127643127644127645127646127647127648127649127650127651127652127653127654127655127656127657127658127659127660127661127662127663127664127665127666127667127668127669127670127671127672127673127674127675127676127677127678127679127680127681127682127683127684127685127686127687127688127689127690127691127692127693127694127695127696127697127698127699127700127701127702127703127704127705127706127707127708127709127710127711127712127713127714127715127716127717127718127719127720127721127722127723127724127725127726127727127728127729127730127731127732127733127734127735127736127737127738127739127740127741127742127743127744127745127746127747127748127749127750127751127752127753127754127755127756127757127758127759127760127761127762127763127764127765127766127767127768127769127770127771127772127773127774127775127776127777127778127779127780127781127782127783127784127785127786127787127788127789127790127791127792127793127794127795127796127797127798127799127800127801127802127803127804127805127806127807127808127809127810127811127812127813127814127815127816127817127818127819127820127821127822127823127824127825127826127827127828127829127830127831127832127833127834127835127836127837127838127839127840127841127842127843127844127845127846127847127848127849127850127851127852127853127854127855127856127857127858127859127860127861127862127863127864127865127866127867127868127869127870127871127872127873127874127875127876127877127878127879127880127881127882127883127884127885127886127887127888127889127890127891127892127893127894127895127896127897127898127899127900127901127902127903127904127905127906127907127908127909127910127911127912127913127914127915127916127917127918127919127920127921127922127923127924127925127926127927127928127929127930127931127932127933127934127935127936127937127938127939127940127941127942127943127944127945127946127947127948127949127950127951127952127953127954127955127956127957127958127959127960127961127962127963127964127965127966127967127968127969127970127971127972127973127974127975127976127977127978127979127980127981127982127983127984127985127986127987127988127989127990127991127992127993127994127995127996127997127998127999128000128001128002128003128004128005128006128007128008128009128010128011128012128013128014128015128016128017128018128019128020128021128022128023128024128025128026128027128028128029128030128031128032128033128034128035128036128037128038128039128040128041128042128043128044128045128046128047128048128049128050128051128052128053128054128055128056128057128058128059128060128061128062128063128064128065128066128067128068128069128070128071128072128073128074128075128076128077128078128079128080128081128082128083128084128085128086128087128088128089128090128091128092128093128094128095128096128097128098128099128100128101128102128103128104128105128106128107128108128109128110128111128112128113128114128115128116128117128118128119128120128121128122128123128124128125128126128127128128128129128130128131128132128133128134128135128136128137128138128139128140128141128142128143128144128145128146128147128148128149128150128151128152128153128154128155128156128157128158128159128160128161128162128163128164128165128166128167128168128169128170128171128172128173128174128175128176128177128178128179128180128181128182128183128184128185128186128187128188128189128190128191128192128193128194128195128196128197128198128199128200128201128202128203128204128205128206128207128208128209128210128211128212128213128214128215128216128217128218128219128220128221128222128223128224128225128226128227128228128229128230128231128232128233128234128235128236128237128238128239128240128241128242128243128244128245128246128247128248128249128250128251128252128253128254128255128256128257128258128259128260128261128262128263128264128265128266128267128268128269128270128271128272128273128274128275128276128277128278128279128280128281128282128283128284128285128286128287128288128289128290128291128292128293128294128295128296128297128298128299128300128301128302128303128304128305128306128307128308128309128310128311128312128313128314128315128316128317128318128319128320128321128322128323128324128325128326128327128328128329128330128331128332128333128334128335128336128337128338128339128340128341128342128343128344128345128346128347128348128349128350128351128352128353128354128355128356128357128358128359128360128361128362128363128364128365128366128367128368128369128370128371128372128373128374128375128376128377128378128379128380128381128382128383128384128385128386128387128388128389128390128391128392128393128394128395128396128397128398128399128400128401128402128403128404128405128406128407128408128409128410128411128412128413128414128415128416128417128418128419128420128421128422128423128424128425128426128427128428128429128430128431128432128433128434128435128436128437128438128439128440128441128442128443128444128445128446128447128448128449128450128451128452128453128454128455128456128457128458128459128460128461128462128463128464128465128466128467128468128469128470128471128472128473128474128475128476128477128478128479128480128481128482128483128484128485128486128487128488128489128490128491128492128493128494128495128496128497128498128499128500128501128502128503128504128505128506128507128508128509128510128511128512128513128514128515128516128517128518128519128520128521128522128523128524128525128526128527128528128529128530128531128532128533128534128535128536128537128538128539128540128541128542128543128544128545128546128547128548128549128550128551128552128553128554128555128556128557128558128559128560128561128562128563128564128565128566128567128568128569128570128571128572128573128574128575128576128577128578128579128580128581128582128583128584128585128586128587128588128589128590128591128592128593128594128595128596128597128598128599128600128601128602128603128604128605128606128607128608128609128610128611128612128613128614128615128616128617128618128619128620128621128622128623128624128625128626128627128628128629128630128631128632128633128634128635128636128637128638128639128640128641128642128643128644128645128646128647128648128649128650128651128652128653128654128655128656128657128658128659128660128661128662128663128664128665128666128667128668128669128670128671128672128673128674128675128676128677128678128679128680128681128682128683128684128685128686128687128688128689128690128691128692128693128694128695128696128697128698128699128700128701128702128703128704128705128706128707128708128709128710128711128712128713128714128715128716128717128718128719128720128721128722128723128724128725128726128727128728128729128730128731128732128733128734128735128736128737128738128739128740128741128742128743128744128745128746128747128748128749128750128751128752128753128754128755128756128757128758128759128760128761128762128763128764128765128766128767128768128769128770128771128772128773128774128775128776128777128778128779128780128781128782128783128784128785128786128787128788128789128790128791128792128793128794128795128796128797128798128799128800128801128802128803128804128805128806128807128808128809128810128811128812128813128814128815128816128817128818128819128820128821128822128823128824128825128826128827128828128829128830128831128832128833128834128835128836128837128838128839128840128841128842128843128844128845128846128847128848128849128850128851128852128853128854128855128856128857128858128859128860128861128862128863128864128865128866128867128868128869128870128871128872128873128874128875128876128877128878128879128880128881128882128883128884128885128886128887128888128889128890128891128892128893128894128895128896128897128898128899128900128901128902128903128904128905128906128907128908128909128910128911128912128913128914128915128916128917128918128919128920128921128922128923128924128925128926128927128928128929128930128931128932128933128934128935128936128937128938128939128940128941128942128943128944128945128946128947128948128949128950128951128952128953128954128955128956128957128958128959128960128961128962128963128964128965128966128967128968128969128970128971128972128973128974128975128976128977128978128979128980128981128982128983128984128985128986128987128988128989128990128991128992128993128994128995128996128997128998128999129000129001129002129003129004129005129006129007129008129009129010129011129012129013129014129015129016129017129018129019129020129021129022129023129024129025129026129027129028129029129030129031129032129033129034129035129036129037129038129039129040129041129042129043129044129045129046129047129048129049129050129051129052129053129054129055129056129057129058129059129060129061129062129063129064129065129066129067129068129069129070129071129072129073129074129075129076129077129078129079129080129081129082129083129084129085129086129087129088129089129090129091129092129093129094129095129096129097129098129099129100129101129102129103129104129105129106129107129108129109129110129111129112129113129114129115129116129117129118129119129120129121129122129123129124129125129126129127129128129129129130129131129132129133129134129135129136129137129138129139129140129141129142129143129144129145129146129147129148129149129150129151129152129153129154129155129156129157129158129159129160129161129162129163129164129165129166129167129168129169129170129171129172129173129174129175129176129177129178129179129180129181129182129183129184129185129186129187129188129189129190129191129192129193129194129195129196129197129198129199129200129201129202129203129204129205129206129207129208129209129210129211129212129213129214129215129216129217129218129219129220129221129222129223129224129225129226129227129228129229129230129231129232129233129234129235129236129237129238129239129240129241129242129243129244129245129246129247129248129249129250129251129252129253129254129255129256129257129258129259129260129261129262129263129264129265129266129267129268129269129270129271129272129273129274129275129276129277129278129279129280129281129282129283129284129285129286129287129288129289129290129291129292129293129294129295129296129297129298129299129300129301129302129303129304129305129306129307129308129309129310129311129312129313129314129315129316129317129318129319129320129321129322129323129324129325129326129327129328129329129330129331129332129333129334129335129336129337129338129339129340129341129342129343129344129345129346129347129348129349129350129351129352129353129354129355129356129357129358129359129360129361129362129363129364129365129366129367129368129369129370129371129372129373129374129375129376129377129378129379129380129381129382129383129384129385129386129387129388129389129390129391129392129393129394129395129396129397129398129399129400129401129402129403129404129405129406129407129408129409129410129411129412129413129414129415129416129417129418129419129420129421129422129423129424129425129426129427129428129429129430129431129432129433129434129435129436129437129438129439129440129441129442129443129444129445129446129447129448129449129450129451129452129453129454129455129456129457129458129459129460129461129462129463129464129465129466129467129468129469129470129471129472129473129474129475129476129477129478129479129480129481129482129483129484129485129486129487129488129489129490129491129492129493129494129495129496129497129498129499129500129501129502129503129504129505129506129507129508129509129510129511129512129513129514129515129516129517129518129519129520129521129522129523129524129525129526129527129528129529129530129531129532129533129534129535129536129537129538129539129540129541129542129543129544129545129546129547129548129549129550129551129552129553129554129555129556129557129558129559129560129561129562129563129564129565129566129567129568129569129570129571129572129573129574129575129576129577129578129579129580129581129582129583129584129585129586129587129588129589129590129591129592129593129594129595129596129597129598129599129600129601129602129603129604129605129606129607129608129609129610129611129612129613129614129615129616129617129618129619129620129621129622129623129624129625129626129627129628129629129630129631129632129633129634129635129636129637129638129639129640129641129642129643129644129645129646129647129648129649129650129651129652129653129654129655129656129657129658129659129660129661129662129663129664129665129666129667129668129669129670129671129672129673129674129675129676129677129678129679129680129681129682129683129684129685129686129687129688129689129690129691129692129693129694129695129696129697129698129699129700129701129702129703129704129705129706129707129708129709129710129711129712129713129714129715129716129717129718129719129720129721129722129723129724129725129726129727129728129729129730129731129732129733129734129735129736129737129738129739129740129741129742129743129744129745129746129747129748129749129750129751129752129753129754129755129756129757129758129759129760129761129762129763129764129765129766129767129768129769129770129771129772129773129774129775129776129777129778129779129780129781129782129783129784129785129786129787129788129789129790129791129792129793129794129795129796129797129798129799129800129801129802129803129804129805129806129807129808129809129810129811129812129813129814129815129816129817129818129819129820129821129822129823129824129825129826129827129828129829129830129831129832129833129834129835129836129837129838129839129840129841129842129843129844129845129846129847129848129849129850129851129852129853129854129855129856129857129858129859129860129861129862129863129864129865129866129867129868129869129870129871129872129873129874129875129876129877129878129879129880129881129882129883129884129885129886129887129888129889129890129891129892129893129894129895129896129897129898129899129900129901129902129903129904129905129906129907129908129909129910129911129912129913129914129915129916129917129918129919129920129921129922129923129924129925129926129927129928129929129930129931129932129933129934129935129936129937129938129939129940129941129942129943129944129945129946129947129948129949129950129951129952129953129954129955129956129957129958129959129960129961129962129963129964129965129966129967129968129969129970129971129972129973129974129975129976129977129978129979129980129981129982129983129984129985129986129987129988129989129990129991129992129993129994129995129996129997129998129999130000130001130002130003130004130005130006130007130008130009130010130011130012130013130014130015130016130017130018130019130020130021130022130023130024130025130026130027130028130029130030130031130032130033130034130035130036130037130038130039130040130041130042130043130044130045130046130047130048130049130050130051130052130053130054130055130056130057130058130059130060130061130062130063130064130065130066130067130068130069130070130071130072130073130074130075130076130077130078130079130080130081130082130083130084130085130086130087130088130089130090130091130092130093130094130095130096130097130098130099130100130101130102130103130104130105130106130107130108130109130110130111130112130113130114130115130116130117130118130119130120130121130122130123130124130125130126130127130128130129130130130131130132130133130134130135130136130137130138130139130140130141130142130143130144130145130146130147130148130149130150130151130152130153130154130155130156130157130158130159130160130161130162130163130164130165130166130167130168130169130170130171130172130173130174130175130176130177130178130179130180130181130182130183130184130185130186130187130188130189130190130191130192130193130194130195130196130197130198130199130200130201130202130203130204130205130206130207130208130209130210130211130212130213130214130215130216130217130218130219130220130221130222130223130224130225130226130227130228130229130230130231130232130233130234130235130236130237130238130239130240130241130242130243130244130245130246130247130248130249130250130251130252130253130254130255130256130257130258130259130260130261130262130263130264130265130266130267130268130269130270130271130272130273130274130275130276130277130278130279130280130281130282130283130284130285130286130287130288130289130290130291130292130293130294130295130296130297130298130299130300130301130302130303130304130305130306130307130308130309130310130311130312130313130314130315130316130317130318130319130320130321130322130323130324130325130326130327130328130329130330130331130332130333130334130335130336130337130338130339130340130341130342130343130344130345130346130347130348130349130350130351130352130353130354130355130356130357130358130359130360130361130362130363130364130365130366130367130368130369130370130371130372130373130374130375130376130377130378130379130380130381130382130383130384130385130386130387130388130389130390130391130392130393130394130395130396130397130398130399130400130401130402130403130404130405130406130407130408130409130410130411130412130413130414130415130416130417130418130419130420130421130422130423130424130425130426130427130428130429130430130431130432130433130434130435130436130437130438130439130440130441130442130443130444130445130446130447130448130449130450130451130452130453130454130455130456130457130458130459130460130461130462130463130464130465130466130467130468130469130470130471130472130473130474130475130476130477130478130479130480130481130482130483130484130485130486130487130488130489130490130491130492130493130494130495130496130497130498130499130500130501130502130503130504130505130506130507130508130509130510130511130512130513130514130515130516130517130518130519130520130521130522130523130524130525130526130527130528130529130530130531130532130533130534130535130536130537130538130539130540130541130542130543130544130545130546130547130548130549130550130551130552130553130554130555130556130557130558130559130560130561130562130563130564130565130566130567130568130569130570130571130572130573130574130575130576130577130578130579130580130581130582130583130584130585130586130587130588130589130590130591130592130593130594130595130596130597130598130599130600130601130602130603130604130605130606130607130608130609130610130611130612130613130614130615130616130617130618130619130620130621130622130623130624130625130626130627130628130629130630130631130632130633130634130635130636130637130638130639130640130641130642130643130644130645130646130647130648130649130650130651130652130653130654130655130656130657130658130659130660130661130662130663130664130665130666130667130668130669130670130671130672130673130674130675130676130677130678130679130680130681130682130683130684130685130686130687130688130689130690130691130692130693130694130695130696130697130698130699130700130701130702130703130704130705130706130707130708130709130710130711130712130713130714130715130716130717130718130719130720130721130722130723130724130725130726130727130728130729130730130731130732130733130734130735130736130737130738130739130740130741130742130743130744130745130746130747130748130749130750130751130752130753130754130755130756130757130758130759130760130761130762130763130764130765130766130767130768130769130770130771130772130773130774130775130776130777130778130779130780130781130782130783130784130785130786130787130788130789130790130791130792130793130794130795130796130797130798130799130800130801130802130803130804130805130806130807130808130809130810130811130812130813130814130815130816130817130818130819130820130821130822130823130824130825130826130827130828130829130830130831130832130833130834130835130836130837130838130839130840130841130842130843130844130845130846130847130848130849130850130851130852130853130854130855130856130857130858130859130860130861130862130863130864130865130866130867130868130869130870130871130872130873130874130875130876130877130878130879130880130881130882130883130884130885130886130887130888130889130890130891130892130893130894130895130896130897130898130899130900130901130902130903130904130905130906130907130908130909130910130911130912130913130914130915130916130917130918130919130920130921130922130923130924130925130926130927130928130929130930130931130932130933130934130935130936130937130938130939130940130941130942130943130944130945130946130947130948130949130950130951130952130953130954130955130956130957130958130959130960130961130962130963130964130965130966130967130968130969130970130971130972130973130974130975130976130977130978130979130980130981130982130983130984130985130986130987130988130989130990130991130992130993130994130995130996130997130998130999131000131001131002131003131004131005131006131007131008131009131010131011131012131013131014131015131016131017131018131019131020131021131022131023131024131025131026131027131028131029131030131031131032131033131034131035131036131037131038131039131040131041131042131043131044131045131046131047131048131049131050131051131052131053131054131055131056131057131058131059131060131061131062131063131064131065131066131067131068131069131070131071131072131073131074131075131076131077131078131079131080131081131082131083131084131085131086131087131088131089131090131091131092131093131094131095131096131097131098131099131100131101131102131103131104131105131106131107131108131109131110131111131112131113131114131115131116131117131118131119131120131121131122131123131124131125131126131127131128131129131130131131131132131133131134131135131136131137131138131139131140131141131142131143131144131145131146131147131148131149131150131151131152131153131154131155131156131157131158131159131160131161131162131163131164131165131166131167131168131169131170131171131172131173131174131175131176131177131178131179131180131181131182131183131184131185131186131187131188131189131190131191131192131193131194131195131196131197131198131199131200131201131202131203131204131205131206131207131208131209131210131211131212131213131214131215131216131217131218131219131220131221131222131223131224131225131226131227131228131229131230131231131232131233131234131235131236131237131238131239131240131241131242131243131244131245131246131247131248131249131250131251131252131253131254131255131256131257131258131259131260131261131262131263131264131265131266131267131268131269131270131271131272131273131274131275131276131277131278131279131280131281131282131283131284131285131286131287131288131289131290131291131292131293131294131295131296131297131298131299131300131301131302131303131304131305131306131307131308131309131310131311131312131313131314131315131316131317131318131319131320131321131322131323131324131325131326131327131328131329131330131331131332131333131334131335131336131337131338131339131340131341131342131343131344131345131346131347131348131349131350131351131352131353131354131355131356131357131358131359131360131361131362131363131364131365131366131367131368131369131370131371131372131373131374131375131376131377131378131379131380131381131382131383131384131385131386131387131388131389131390131391131392131393131394131395131396131397131398131399131400131401131402131403131404131405131406131407131408131409131410131411131412131413131414131415131416131417131418131419131420131421131422131423131424131425131426131427131428131429131430131431131432131433131434131435131436131437131438131439131440131441131442131443131444131445131446131447131448131449131450131451131452131453131454131455131456131457131458131459131460131461131462131463131464131465131466131467131468131469131470131471131472131473131474131475131476131477131478131479131480131481131482131483131484131485131486131487131488131489131490131491131492131493131494131495131496131497131498131499131500131501131502131503131504131505131506131507131508131509131510131511131512131513131514131515131516131517131518131519131520131521131522131523131524131525131526131527131528131529131530131531131532131533131534131535131536131537131538131539131540131541131542131543131544131545131546131547131548131549131550131551131552131553131554131555131556131557131558131559131560131561131562131563131564131565131566131567131568131569131570131571131572131573131574131575131576131577131578131579131580131581131582131583131584131585131586131587131588131589131590131591131592131593131594131595131596131597131598131599131600131601131602131603131604131605131606131607131608131609131610131611131612131613131614131615131616131617131618131619131620131621131622131623131624131625131626131627131628131629131630131631131632131633131634131635131636131637131638131639131640131641131642131643131644131645131646131647131648131649131650131651131652131653131654131655131656131657131658131659131660131661131662131663131664131665131666131667131668131669131670131671131672131673131674131675131676131677131678131679131680131681131682131683131684131685131686131687131688131689131690131691131692131693131694131695131696131697131698131699131700131701131702131703131704131705131706131707131708131709131710131711131712131713131714131715131716131717131718131719131720131721131722131723131724131725131726131727131728131729131730131731131732131733131734131735131736131737131738131739131740131741131742131743131744131745131746131747131748131749131750131751131752131753131754131755131756131757131758131759131760131761131762131763131764131765131766131767131768131769131770131771131772131773131774131775131776131777131778131779131780131781131782131783131784131785131786131787131788131789131790131791131792131793131794131795131796131797131798131799131800131801131802131803131804131805131806131807131808131809131810131811131812131813131814131815131816131817131818131819131820131821131822131823131824131825131826131827131828131829131830131831131832131833131834131835131836131837131838131839131840131841131842131843131844131845131846131847131848131849131850131851131852131853131854131855131856131857131858131859131860131861131862131863131864131865131866131867131868131869131870131871131872131873131874131875131876131877131878131879131880131881131882131883131884131885131886131887131888131889131890131891131892131893131894131895131896131897131898131899131900131901131902131903131904131905131906131907131908131909131910131911131912131913131914131915131916131917131918131919131920131921131922131923131924131925131926131927131928131929131930131931131932131933131934131935131936131937131938131939131940131941131942131943131944131945131946131947131948131949131950131951131952131953131954131955131956131957131958131959131960131961131962131963131964131965131966131967131968131969131970131971131972131973131974131975131976131977131978131979131980131981131982131983131984131985131986131987131988131989131990131991131992131993131994131995131996131997131998131999132000132001132002132003132004132005132006132007132008132009132010132011132012132013132014132015132016132017132018132019132020132021132022132023132024132025132026132027132028132029132030132031132032132033132034132035132036132037132038132039132040132041132042132043132044132045132046132047132048132049132050132051132052132053132054132055132056132057132058132059132060132061132062132063132064132065132066132067132068132069132070132071132072132073132074132075132076132077132078132079132080132081132082132083132084132085132086132087132088132089132090132091132092132093132094132095132096132097132098132099132100132101132102132103132104132105132106132107132108132109132110132111132112132113132114132115132116132117132118132119132120132121132122132123132124132125132126132127132128132129132130132131132132132133132134132135132136132137132138132139132140132141132142132143132144132145132146132147132148132149132150132151132152132153132154132155132156132157132158132159132160132161132162132163132164132165132166132167132168132169132170132171132172132173132174132175132176132177132178132179132180132181132182132183132184132185132186132187132188132189132190132191132192132193132194132195132196132197132198132199132200132201132202132203132204132205132206132207132208132209132210132211132212132213132214132215132216132217132218132219132220132221132222132223132224132225132226132227132228132229132230132231132232132233132234132235132236132237132238132239132240132241132242132243132244132245132246132247132248132249132250132251132252132253132254132255132256132257132258132259132260132261132262132263132264132265132266132267132268132269132270132271132272132273132274132275132276132277132278132279132280132281132282132283132284132285132286132287132288132289132290132291132292132293132294132295132296132297132298132299132300132301132302132303132304132305132306132307132308132309132310132311132312132313132314132315132316132317132318132319132320132321132322132323132324132325132326132327132328132329132330132331132332132333132334132335132336132337132338132339132340132341132342132343132344132345132346132347132348132349132350132351132352132353132354132355132356132357132358132359132360132361132362132363132364132365132366132367132368132369132370132371132372132373132374132375132376132377132378132379132380132381132382132383132384132385132386132387132388132389132390132391132392132393132394132395132396132397132398132399132400132401132402132403132404132405132406132407132408132409132410132411132412132413132414132415132416132417132418132419132420132421132422132423132424132425132426132427132428132429132430132431132432132433132434132435132436132437132438132439132440132441132442132443132444132445132446132447132448132449132450132451132452132453132454132455132456132457132458132459132460132461132462132463132464132465132466132467132468132469132470132471132472132473132474132475132476132477132478132479132480132481132482132483132484132485132486132487132488132489132490132491132492132493132494132495132496132497132498132499132500132501132502132503132504132505132506132507132508132509132510132511132512132513132514132515132516132517132518132519132520132521132522132523132524132525132526132527132528132529132530132531132532132533132534132535132536132537132538132539132540132541132542132543132544132545132546132547132548132549132550132551132552132553132554132555132556132557132558132559132560132561132562132563132564132565132566132567132568132569132570132571132572132573132574132575132576132577132578132579132580132581132582132583132584132585132586132587132588132589132590132591132592132593132594132595132596132597132598132599132600132601132602132603132604132605132606132607132608132609132610132611132612132613132614132615132616132617132618132619132620132621132622132623132624132625132626132627132628132629132630132631132632132633132634132635132636132637132638132639132640132641132642132643132644132645132646132647132648132649132650132651132652132653132654132655132656132657132658132659132660132661132662132663132664132665132666132667132668132669132670132671132672132673132674132675132676132677132678132679132680132681132682132683132684132685132686132687132688132689132690132691132692132693132694132695132696132697132698132699132700132701132702132703132704132705132706132707132708132709132710132711132712132713132714132715132716132717132718132719132720132721132722132723132724132725132726132727132728132729132730132731132732132733132734132735132736132737132738132739132740132741132742132743132744132745132746132747132748132749132750132751132752132753132754132755132756132757132758132759132760132761132762132763132764132765132766132767132768132769132770132771132772132773132774132775132776132777132778132779132780132781132782132783132784132785132786132787132788132789132790132791132792132793132794132795132796132797132798132799132800132801132802132803132804132805132806132807132808132809132810132811132812132813132814132815132816132817132818132819132820132821132822132823132824132825132826132827132828132829132830132831132832132833132834132835132836132837132838132839132840132841132842132843132844132845132846132847132848132849132850132851132852132853132854132855132856132857132858132859132860132861132862132863132864132865132866132867132868132869132870132871132872132873132874132875132876132877132878132879132880132881132882132883132884132885132886132887132888132889132890132891132892132893132894132895132896132897132898132899132900132901132902132903132904132905132906132907132908132909132910132911132912132913132914132915132916132917132918132919132920132921132922132923132924132925132926132927132928132929132930132931132932132933132934132935132936132937132938132939132940132941132942132943132944132945132946132947132948132949132950132951132952132953132954132955132956132957132958132959132960132961132962132963132964132965132966132967132968132969132970132971132972132973132974132975132976132977132978132979132980132981132982132983132984132985132986132987132988132989132990132991132992132993132994132995132996132997132998132999133000133001133002133003133004133005133006133007133008133009133010133011133012133013133014133015133016133017133018133019133020133021133022133023133024133025133026133027133028133029133030133031133032133033133034133035133036133037133038133039133040133041133042133043133044133045133046133047133048133049133050133051133052133053133054133055133056133057133058133059133060133061133062133063133064133065133066133067133068133069133070133071133072133073133074133075133076133077133078133079133080133081133082133083133084133085133086133087133088133089133090133091133092133093133094133095133096133097133098133099133100133101133102133103133104133105133106133107133108133109133110133111133112133113133114133115133116133117133118133119133120133121133122133123133124133125133126133127133128133129133130133131133132133133133134133135133136133137133138133139133140133141133142133143133144133145133146133147133148133149133150133151133152133153133154133155133156133157133158133159133160133161133162133163133164133165133166133167133168133169133170133171133172133173133174133175133176133177133178133179133180133181133182133183133184133185133186133187133188133189133190133191133192133193133194133195133196133197133198133199133200133201133202133203133204133205133206133207133208133209133210133211133212133213133214133215133216133217133218133219133220133221133222133223133224133225133226133227133228133229133230133231133232133233133234133235133236133237133238133239133240133241133242133243133244133245133246133247133248133249133250133251133252133253133254133255133256133257133258133259133260133261133262133263133264133265133266133267133268133269133270133271133272133273133274133275133276133277133278133279133280133281133282133283133284133285133286133287133288133289133290133291133292133293133294133295133296133297133298133299133300133301133302133303133304133305133306133307133308133309133310133311133312133313133314133315133316133317133318133319133320133321133322133323133324133325133326133327133328133329133330133331133332133333133334133335133336133337133338133339133340133341133342133343133344133345133346133347133348133349133350133351133352133353133354133355133356133357133358133359133360133361133362133363133364133365133366133367133368133369133370133371133372133373133374133375133376133377133378133379133380133381133382133383133384133385133386133387133388133389133390133391133392133393133394133395133396133397133398133399133400133401133402133403133404133405133406133407133408133409133410133411133412133413133414133415133416133417133418133419133420133421133422133423133424133425133426133427133428133429133430133431133432133433133434133435133436133437133438133439133440133441133442133443133444133445133446133447133448133449133450133451133452133453133454133455133456133457133458133459133460133461133462133463133464133465133466133467133468133469133470133471133472133473133474133475133476133477133478133479133480133481133482133483133484133485133486133487133488133489133490133491133492133493133494133495133496133497133498133499133500133501133502133503133504133505133506133507133508133509133510133511133512133513133514133515133516133517133518133519133520133521133522133523133524133525133526133527133528133529133530133531133532133533133534133535133536133537133538133539133540133541133542133543133544133545133546133547133548133549133550133551133552133553133554133555133556133557133558133559133560133561133562133563133564133565133566133567133568133569133570133571133572133573133574133575133576133577133578133579133580133581133582133583133584133585133586133587133588133589133590133591133592133593133594133595133596133597133598133599133600133601133602133603133604133605133606133607133608133609133610133611133612133613133614133615133616133617133618133619133620133621133622133623133624133625133626133627133628133629133630133631133632133633133634133635133636133637133638133639133640133641133642133643133644133645133646133647133648133649133650133651133652133653133654133655133656133657133658133659133660133661133662133663133664133665133666133667133668133669133670133671133672133673133674133675133676133677133678133679133680133681133682133683133684133685133686133687133688133689133690133691133692133693133694133695133696133697133698133699133700133701133702133703133704133705133706133707133708133709133710133711133712133713133714133715133716133717133718133719133720133721133722133723133724133725133726133727133728133729133730133731133732133733133734133735133736133737133738133739133740133741133742133743133744133745133746133747133748133749133750133751133752133753133754133755133756133757133758133759133760133761133762133763133764133765133766133767133768133769133770133771133772133773133774133775133776133777133778133779133780133781133782133783133784133785133786133787133788133789133790133791133792133793133794133795133796133797133798133799133800133801133802133803133804133805133806133807133808133809133810133811133812133813133814133815133816133817133818133819133820133821133822133823133824133825133826133827133828133829133830133831133832133833133834133835133836133837133838133839133840133841133842133843133844133845133846133847133848133849133850133851133852133853133854133855133856133857133858133859133860133861133862133863133864133865133866133867133868133869133870133871133872133873133874133875133876133877133878133879133880133881133882133883133884133885133886133887133888133889133890133891133892133893133894133895133896133897133898133899133900133901133902133903133904133905133906133907133908133909133910133911133912133913133914133915133916133917133918133919133920133921133922133923133924133925133926133927133928133929133930133931133932133933133934133935133936133937133938133939133940133941133942133943133944133945133946133947133948133949133950133951133952133953133954133955133956133957133958133959133960133961133962133963133964133965133966133967133968133969133970133971133972133973133974133975133976133977133978133979133980133981133982133983133984133985133986133987133988133989133990133991133992133993133994133995133996133997133998133999134000134001134002134003134004134005134006134007134008134009134010134011134012134013134014134015134016134017134018134019134020134021134022134023134024134025134026134027134028134029134030134031134032134033134034134035134036134037134038134039134040134041134042134043134044134045134046134047134048134049134050134051134052134053134054134055134056134057134058134059134060134061134062134063134064134065134066134067134068134069134070134071134072134073134074134075134076134077134078134079134080134081134082134083134084134085134086134087134088134089134090134091134092134093134094134095134096134097134098134099134100134101134102134103134104134105134106134107134108134109134110134111134112134113134114134115134116134117134118134119134120134121134122134123134124134125134126134127134128134129134130134131134132134133134134134135134136134137134138134139134140134141134142134143134144134145134146134147134148134149134150134151134152134153134154134155134156134157134158134159134160134161134162134163134164134165134166134167134168134169134170134171134172134173134174134175134176134177134178134179134180134181134182134183134184134185134186134187134188134189134190134191134192134193134194134195134196134197134198134199134200134201134202134203134204134205134206134207134208134209134210134211134212134213134214134215134216134217134218134219134220134221134222134223134224134225134226134227134228134229134230134231134232134233134234134235134236134237134238134239134240134241134242134243134244134245134246134247134248134249134250134251134252134253134254134255134256134257134258134259134260134261134262134263134264134265134266134267134268134269134270134271134272134273134274134275134276134277134278134279134280134281134282134283134284134285134286134287134288134289134290134291134292134293134294134295134296134297134298134299134300134301134302134303134304134305134306134307134308134309134310134311134312134313134314134315134316134317134318134319134320134321134322134323134324134325134326134327134328134329134330134331134332134333134334134335134336134337134338134339134340134341134342134343134344134345134346134347134348134349134350134351134352134353134354134355134356134357134358134359134360134361134362134363134364134365134366134367134368134369134370134371134372134373134374134375134376134377134378134379134380134381134382134383134384134385134386134387134388134389134390134391134392134393134394134395134396134397134398134399134400134401134402134403134404134405134406134407134408134409134410134411134412134413134414134415134416134417134418134419134420134421134422134423134424134425134426134427134428134429134430134431134432134433134434134435134436134437134438134439134440134441134442134443134444134445134446134447134448134449134450134451134452134453134454134455134456134457134458134459134460134461134462134463134464134465134466134467134468134469134470134471134472134473134474134475134476134477134478134479134480134481134482134483134484134485134486134487134488134489134490134491134492134493134494134495134496134497134498134499134500134501134502134503134504134505134506134507134508134509134510134511134512134513134514134515134516134517134518134519134520134521134522134523134524134525134526134527134528134529134530134531134532134533134534134535134536134537134538134539134540134541134542134543134544134545134546134547134548134549134550134551134552134553134554134555134556134557134558134559134560134561134562134563134564134565134566134567134568134569134570134571134572134573134574134575134576134577134578134579134580134581134582134583134584134585134586134587134588134589134590134591134592134593134594134595134596134597134598134599134600134601134602134603134604134605134606134607134608134609134610134611134612134613134614134615134616134617134618134619134620134621134622134623134624134625134626134627134628134629134630134631134632134633134634134635134636134637134638134639134640134641134642134643134644134645134646134647134648134649134650134651134652134653134654134655134656134657134658134659134660134661134662134663134664134665134666134667134668134669134670134671134672134673134674134675134676134677134678134679134680134681134682134683134684134685134686134687134688134689134690134691134692134693134694134695134696134697134698134699134700134701134702134703134704134705134706134707134708134709134710134711134712134713134714134715134716134717134718134719134720134721134722134723134724134725134726134727134728134729134730134731134732134733134734134735134736134737134738134739134740134741134742134743134744134745134746134747134748134749134750134751134752134753134754134755134756134757134758134759134760134761134762134763134764134765134766134767134768134769134770134771134772134773134774134775134776134777134778134779134780134781134782134783134784134785134786134787134788134789134790134791134792134793134794134795134796134797134798134799134800134801134802134803134804134805134806134807134808134809134810134811134812134813134814134815134816134817134818134819134820134821134822134823134824134825134826134827134828134829134830134831134832134833134834134835134836134837134838134839134840134841134842134843134844134845134846134847134848134849134850134851134852134853134854134855134856134857134858134859134860134861134862134863134864134865134866134867134868134869134870134871134872134873134874134875134876134877134878134879134880134881134882134883134884134885134886134887134888134889134890134891134892134893134894134895134896134897134898134899134900134901134902134903134904134905134906134907134908134909134910134911134912134913134914134915134916134917134918134919134920134921134922134923134924134925134926134927134928134929134930134931134932134933134934134935134936134937134938134939134940134941134942134943134944134945134946134947134948134949134950134951134952134953134954134955134956134957134958134959134960134961134962134963134964134965134966134967134968134969134970134971134972134973134974134975134976134977134978134979134980134981134982134983134984134985134986134987134988134989134990134991134992134993134994134995134996134997134998134999135000135001135002135003135004135005135006135007135008135009135010135011135012135013135014135015135016135017135018135019135020135021135022135023135024135025135026135027135028135029135030135031135032135033135034135035135036135037135038135039135040135041135042135043135044135045135046135047135048135049135050135051135052135053135054135055135056135057135058135059135060135061135062135063135064135065135066135067135068135069135070135071135072135073135074135075135076135077135078135079135080135081135082135083135084135085135086135087135088135089135090135091135092135093135094135095135096135097135098135099135100135101135102135103135104135105135106135107135108135109135110135111135112135113135114135115135116135117135118135119135120135121135122135123135124135125135126135127135128135129135130135131135132135133135134135135135136135137135138135139135140135141135142135143135144135145135146135147135148135149135150135151135152135153135154135155135156135157135158135159135160135161135162135163135164135165135166135167135168135169135170135171135172135173135174135175135176135177135178135179135180135181135182135183135184135185135186135187135188135189135190135191135192135193135194135195135196135197135198135199135200135201135202135203135204135205135206135207135208135209135210135211135212135213135214135215135216135217135218135219135220135221135222135223135224135225135226135227135228135229135230135231135232135233135234135235135236135237135238135239135240135241135242135243135244135245135246135247135248135249135250135251135252135253135254135255135256135257135258135259135260135261135262135263135264135265135266135267135268135269135270135271135272135273135274135275135276135277135278135279135280135281135282135283135284135285135286135287135288135289135290135291135292135293135294135295135296135297135298135299135300135301135302135303135304135305135306135307135308135309135310135311135312135313135314135315135316135317135318135319135320135321135322135323135324135325135326135327135328135329135330135331135332135333135334135335135336135337135338135339135340135341135342135343135344135345135346135347135348135349135350135351135352135353135354135355135356135357135358135359135360135361135362135363135364135365135366135367135368135369135370135371135372135373135374135375135376135377135378135379135380135381135382135383135384135385135386135387135388135389135390135391135392135393135394135395135396135397135398135399135400135401135402135403135404135405135406135407135408135409135410135411135412135413135414135415135416135417135418135419135420135421135422135423135424135425135426135427135428135429135430135431135432135433135434135435135436135437135438135439135440135441135442135443135444135445135446135447135448135449135450135451135452135453135454135455135456135457135458135459135460135461135462135463135464135465135466135467135468135469135470135471135472135473135474135475135476135477135478135479135480135481135482135483135484135485135486135487135488135489135490135491135492135493135494135495135496135497135498135499135500135501135502135503135504135505135506135507135508135509135510135511135512135513135514135515135516135517135518135519135520135521135522135523135524135525135526135527135528135529135530135531135532135533135534135535135536135537135538135539135540135541135542135543135544135545135546135547135548135549135550135551135552135553135554135555135556135557135558135559135560135561135562135563135564135565135566135567135568135569135570135571135572135573135574135575135576135577135578135579135580135581135582135583135584135585135586135587135588135589135590135591135592135593135594135595135596135597135598135599135600135601135602135603135604135605135606135607135608135609135610135611135612135613135614135615135616135617135618135619135620135621135622135623135624135625135626135627135628135629135630135631135632135633135634135635135636135637135638135639135640135641135642135643135644135645135646135647135648135649135650135651135652135653135654135655135656135657135658135659135660135661135662135663135664135665135666135667135668135669135670135671135672135673135674135675135676135677135678135679135680135681135682135683135684135685135686135687135688135689135690135691135692135693135694135695135696135697135698135699135700135701135702135703135704135705135706135707135708135709135710135711135712135713135714135715135716135717135718135719135720135721135722135723135724135725135726135727135728135729135730135731135732135733135734135735135736135737135738135739135740135741135742135743135744135745135746135747135748135749135750135751135752135753135754135755135756135757135758135759135760135761135762135763135764135765135766135767135768135769135770135771135772135773135774135775135776135777135778135779135780135781135782135783135784135785135786135787135788135789135790135791135792135793135794135795135796135797135798135799135800135801135802135803135804135805135806135807135808135809135810135811135812135813135814135815135816135817135818135819135820135821135822135823135824135825135826135827135828135829135830135831135832135833135834135835135836135837135838135839135840135841135842135843135844135845135846135847135848135849135850135851135852135853135854135855135856135857135858135859135860135861135862135863135864135865135866135867135868135869135870135871135872135873135874135875135876135877135878135879135880135881135882135883135884135885135886135887135888135889135890135891135892135893135894135895135896135897135898135899135900135901135902135903135904135905135906135907135908135909135910135911135912135913135914135915135916135917135918135919135920135921135922135923135924135925135926135927135928135929135930135931135932135933135934135935135936135937135938135939135940135941135942135943135944135945135946135947135948135949135950135951135952135953135954135955135956135957135958135959135960135961135962135963135964135965135966135967135968135969135970135971135972135973135974135975135976135977135978135979135980135981135982135983135984135985135986135987135988135989135990135991135992135993135994135995135996135997135998135999136000136001136002136003136004136005136006136007136008136009136010136011136012136013136014136015136016136017136018136019136020136021136022136023136024136025136026136027136028136029136030136031136032136033136034136035136036136037136038136039136040136041136042136043136044136045136046136047136048136049136050136051136052136053136054136055136056136057136058136059136060136061136062136063136064136065136066136067136068136069136070136071136072136073136074136075136076136077136078136079136080136081136082136083136084136085136086136087136088136089136090136091136092136093136094136095136096136097136098136099136100136101136102136103136104136105136106136107136108136109136110136111136112136113136114136115136116136117136118136119136120136121136122136123136124136125136126136127136128136129136130136131136132136133136134136135136136136137136138136139136140136141136142136143136144136145136146136147136148136149136150136151136152136153136154136155136156136157136158136159136160136161136162136163136164136165136166136167136168136169136170136171136172136173136174136175136176136177136178136179136180136181136182136183136184136185136186136187136188136189136190136191136192136193136194136195136196136197136198136199136200136201136202136203136204136205136206136207136208136209136210136211136212136213136214136215136216136217136218136219136220136221136222136223136224136225136226136227136228136229136230136231136232136233136234136235136236136237136238136239136240136241136242136243136244136245136246136247136248136249136250136251136252136253136254136255136256136257136258136259136260136261136262136263136264136265136266136267136268136269136270136271136272136273136274136275136276136277136278136279136280136281136282136283136284136285136286136287136288136289136290136291136292136293136294136295136296136297136298136299136300136301136302136303136304136305136306136307136308136309136310136311136312136313136314136315136316136317136318136319136320136321136322136323136324136325136326136327136328136329136330136331136332136333136334136335136336136337136338136339136340136341136342136343136344136345136346136347136348136349136350136351136352136353136354136355136356136357136358136359136360136361136362136363136364136365136366136367136368136369136370136371136372136373136374136375136376136377136378136379136380136381136382136383136384136385136386136387136388136389136390136391136392136393136394136395136396136397136398136399136400136401136402136403136404136405136406136407136408136409136410136411136412136413136414136415136416136417136418136419136420136421136422136423136424136425136426136427136428136429136430136431136432136433136434136435136436136437136438136439136440136441136442136443136444136445136446136447136448136449136450136451136452136453136454136455136456136457136458136459136460136461136462136463136464136465136466136467136468136469136470136471136472136473136474136475136476136477136478136479136480136481136482136483136484136485136486136487136488136489136490136491136492136493136494136495136496136497136498136499136500136501136502136503136504136505136506136507136508136509136510136511136512136513136514136515136516136517136518136519136520136521136522136523136524136525136526136527136528136529136530136531136532136533136534136535136536136537136538136539136540136541136542136543136544136545136546136547136548136549136550136551136552136553136554136555136556136557136558136559136560136561136562136563136564136565136566136567136568136569136570136571136572136573136574136575136576136577136578136579136580136581136582136583136584136585136586136587136588136589136590136591136592136593136594136595136596136597136598136599136600136601136602136603136604136605136606136607136608136609136610136611136612136613136614136615136616136617136618136619136620136621136622136623136624136625136626136627136628136629136630136631136632136633136634136635136636136637136638136639136640136641136642136643136644136645136646136647136648136649136650136651136652136653136654136655136656136657136658136659136660136661136662136663136664136665136666136667136668136669136670136671136672136673136674136675136676136677136678136679136680136681136682136683136684136685136686136687136688136689136690136691136692136693136694136695136696136697136698136699136700136701136702136703136704136705136706136707136708136709136710136711136712136713136714136715136716136717136718136719136720136721136722136723136724136725136726136727136728136729136730136731136732136733136734136735136736136737136738136739136740136741136742136743136744136745136746136747136748136749136750136751136752136753136754136755136756136757136758136759136760136761136762136763136764136765136766136767136768136769136770136771136772136773136774136775136776136777136778136779136780136781136782136783136784136785136786136787136788136789136790136791136792136793136794136795136796136797136798136799136800136801136802136803136804136805136806136807136808136809136810136811136812136813136814136815136816136817136818136819136820136821136822136823136824136825136826136827136828136829136830136831136832136833136834136835136836136837136838136839136840136841136842136843136844136845136846136847136848136849136850136851136852136853136854136855136856136857136858136859136860136861136862136863136864136865136866136867136868136869136870136871136872136873136874136875136876136877136878136879136880136881136882136883136884136885136886136887136888136889136890136891136892136893136894136895136896136897136898136899136900136901136902136903136904136905136906136907136908136909136910136911136912136913136914136915136916136917136918136919136920136921136922136923136924136925136926136927136928136929136930136931136932136933136934136935136936136937136938136939136940136941136942136943136944136945136946136947136948136949136950136951136952136953136954136955136956136957136958136959136960136961136962136963136964136965136966136967136968136969136970136971136972136973136974136975136976136977136978136979136980136981136982136983136984136985136986136987136988136989136990136991136992136993136994136995136996136997136998136999137000137001137002137003137004137005137006137007137008137009137010137011137012137013137014137015137016137017137018137019137020137021137022137023137024137025137026137027137028137029137030137031137032137033137034137035137036137037137038137039137040137041137042137043137044137045137046137047137048137049137050137051137052137053137054137055137056137057137058137059137060137061137062137063137064137065137066137067137068137069137070137071137072137073137074137075137076137077137078137079137080137081137082137083137084137085137086137087137088137089137090137091137092137093137094137095137096137097137098137099137100137101137102137103137104137105137106137107137108137109137110137111137112137113137114137115137116137117137118137119137120137121137122137123137124137125137126137127137128137129137130137131137132137133137134137135137136137137137138137139137140137141137142137143137144137145137146137147137148137149137150137151137152137153137154137155137156137157137158137159137160137161137162137163137164137165137166137167137168137169137170137171137172137173137174137175137176137177137178137179137180137181137182137183137184137185137186137187137188137189137190137191137192137193137194137195137196137197137198137199137200137201137202137203137204137205137206137207137208137209137210137211137212137213137214137215137216137217137218137219137220137221137222137223137224137225137226137227137228137229137230137231137232137233137234137235137236137237137238137239137240137241137242137243137244137245137246137247137248137249137250137251137252137253137254137255137256137257137258137259137260137261137262137263137264137265137266137267137268137269137270137271137272137273137274137275137276137277137278137279137280137281137282137283137284137285137286137287137288137289137290137291137292137293137294137295137296137297137298137299137300137301137302137303137304137305137306137307137308137309137310137311137312137313137314137315137316137317137318137319137320137321137322137323137324137325137326137327137328137329137330137331137332137333137334137335137336137337137338137339137340137341137342137343137344137345137346137347137348137349137350137351137352137353137354137355137356137357137358137359137360137361137362137363137364137365137366137367137368137369137370137371137372137373137374137375137376137377137378137379137380137381137382137383137384137385137386137387137388137389137390137391137392137393137394137395137396137397137398137399137400137401137402137403137404137405137406137407137408137409137410137411137412137413137414137415137416137417137418137419137420137421137422137423137424137425137426137427137428137429137430137431137432137433137434137435137436137437137438137439137440137441137442137443137444137445137446137447137448137449137450137451137452137453137454137455137456137457137458137459137460137461137462137463137464137465137466137467137468137469137470137471137472137473137474137475137476137477137478137479137480137481137482137483137484137485137486137487137488137489137490137491137492137493137494137495137496137497137498137499137500137501137502137503137504137505137506137507137508137509137510137511137512137513137514137515137516137517137518137519137520137521137522137523137524137525137526137527137528137529137530137531137532137533137534137535137536137537137538137539137540137541137542137543137544137545137546137547137548137549137550137551137552137553137554137555137556137557137558137559137560137561137562137563137564137565137566137567137568137569137570137571137572137573137574137575137576137577137578137579137580137581137582137583137584137585137586137587137588137589137590137591137592137593137594137595137596137597137598137599137600137601137602137603137604137605137606137607137608137609137610137611137612137613137614137615137616137617137618137619137620137621137622137623137624137625137626137627137628137629137630137631137632137633137634137635137636137637137638137639137640137641137642137643137644137645137646137647137648137649137650137651137652137653137654137655137656137657137658137659137660137661137662137663137664137665137666137667137668137669137670137671137672137673137674137675137676137677137678137679137680137681137682137683137684137685137686137687137688137689137690137691137692137693137694137695137696137697137698137699137700137701137702137703137704137705137706137707137708137709137710137711137712137713137714137715137716137717137718137719137720137721137722137723137724137725137726137727137728137729137730137731137732137733137734137735137736137737137738137739137740137741137742137743137744137745137746137747137748137749137750137751137752137753137754137755137756137757137758137759137760137761137762137763137764137765137766137767137768137769137770137771137772137773137774137775137776137777137778137779137780137781137782137783137784137785137786137787137788137789137790137791137792137793137794137795137796137797137798137799137800137801137802137803137804137805137806137807137808137809137810137811137812137813137814137815137816137817137818137819137820137821137822137823137824137825137826137827137828137829137830137831137832137833137834137835137836137837137838137839137840137841137842137843137844137845137846137847137848137849137850137851137852137853137854137855137856137857137858137859137860137861137862137863137864137865137866137867137868137869137870137871137872137873137874137875137876137877137878137879137880137881137882137883137884137885137886137887137888137889137890137891137892137893137894137895137896137897137898137899137900137901137902137903137904137905137906137907137908137909137910137911137912137913137914137915137916137917137918137919137920137921137922137923137924137925137926137927137928137929137930137931137932137933137934137935137936137937137938137939137940137941137942137943137944137945137946137947137948137949137950137951137952137953137954137955137956137957137958137959137960137961137962137963137964137965137966137967137968137969137970137971137972137973137974137975137976137977137978137979137980137981137982137983137984137985137986137987137988137989137990137991137992137993137994137995137996137997137998137999138000138001138002138003138004138005138006138007138008138009138010138011138012138013138014138015138016138017138018138019138020138021138022138023138024138025138026138027138028138029138030138031138032138033138034138035138036138037138038138039138040138041138042138043138044138045138046138047138048138049138050138051138052138053138054138055138056138057138058138059138060138061138062138063138064138065138066138067138068138069138070138071138072138073138074138075138076138077138078138079138080138081138082138083138084138085138086138087138088138089138090138091138092138093138094138095138096138097138098138099138100138101138102138103138104138105138106138107138108138109138110138111138112138113138114138115138116138117138118138119138120138121138122138123138124138125138126138127138128138129138130138131138132138133138134138135138136138137138138138139138140138141138142138143138144138145138146138147138148138149138150138151138152138153138154138155138156138157138158138159138160138161138162138163138164138165138166138167138168138169138170138171138172138173138174138175138176138177138178138179138180138181138182138183138184138185138186138187138188138189138190138191138192138193138194138195138196138197138198138199138200138201138202138203138204138205138206138207138208138209138210138211138212138213138214138215138216138217138218138219138220138221138222138223138224138225138226138227138228138229138230138231138232138233138234138235138236138237138238138239138240138241138242138243138244138245138246138247138248138249138250138251138252138253138254138255138256138257138258138259138260138261138262138263138264138265138266138267138268138269138270138271138272138273138274138275138276138277138278138279138280138281138282138283138284138285138286138287138288138289138290138291138292138293138294138295138296138297138298138299138300138301138302138303138304138305138306138307138308138309138310138311138312138313138314138315138316138317138318138319138320138321138322138323138324138325138326138327138328138329138330138331138332138333138334138335138336138337138338138339138340138341138342138343138344138345138346138347138348138349138350138351138352138353138354138355138356138357138358138359138360138361138362138363138364138365138366138367138368138369138370138371138372138373138374138375138376138377138378138379138380138381138382138383138384138385138386138387138388138389138390138391138392138393138394138395138396138397138398138399138400138401138402138403138404138405138406138407138408138409138410138411138412138413138414138415138416138417138418138419138420138421138422138423138424138425138426138427138428138429138430138431138432138433138434138435138436138437138438138439138440138441138442138443138444138445138446138447138448138449138450138451138452138453138454138455138456138457138458138459138460138461138462138463138464138465138466138467138468138469138470138471138472138473138474138475138476138477138478138479138480138481138482138483138484138485138486138487138488138489138490138491138492138493138494138495138496138497138498138499138500138501138502138503138504138505138506138507138508138509138510138511138512138513138514138515138516138517138518138519138520138521138522138523138524138525138526138527138528138529138530138531138532138533138534138535138536138537138538138539138540138541138542138543138544138545138546138547138548138549138550138551138552138553138554138555138556138557138558138559138560138561138562138563138564138565138566138567138568138569138570138571138572138573138574138575138576138577138578138579138580138581138582138583138584138585138586138587138588138589138590138591138592138593138594138595138596138597138598138599138600138601138602138603138604138605138606138607138608138609138610138611138612138613138614138615138616138617138618138619138620138621138622138623138624138625138626138627138628138629138630138631138632138633138634138635138636138637138638138639138640138641138642138643138644138645138646138647138648138649138650138651138652138653138654138655138656138657138658138659138660138661138662138663138664138665138666138667138668138669138670138671138672138673138674138675138676138677138678138679138680138681138682138683138684138685138686138687138688138689138690138691138692138693138694138695138696138697138698138699138700138701138702138703138704138705138706138707138708138709138710138711138712138713138714138715138716138717138718138719138720138721138722138723138724138725138726138727138728138729138730138731138732138733138734138735138736138737138738138739138740138741138742138743138744138745138746138747138748138749138750138751138752138753138754138755138756138757138758138759138760138761138762138763138764138765138766138767138768138769138770138771138772138773138774138775138776138777138778138779138780138781138782138783138784138785138786138787138788138789138790138791138792138793138794138795138796138797138798138799138800138801138802138803138804138805138806138807138808138809138810138811138812138813138814138815138816138817138818138819138820138821138822138823138824138825138826138827138828138829138830138831138832138833138834138835138836138837138838138839138840138841138842138843138844138845138846138847138848138849138850138851138852138853138854138855138856138857138858138859138860138861138862138863138864138865138866138867138868138869138870138871138872138873138874138875138876138877138878138879138880138881138882138883138884138885138886138887138888138889138890138891138892138893138894138895138896138897138898138899138900138901138902138903138904138905138906138907138908138909138910138911138912138913138914138915138916138917138918138919138920138921138922138923138924138925138926138927138928138929138930138931138932138933138934138935138936138937138938138939138940138941138942138943138944138945138946138947138948138949138950138951138952138953138954138955138956138957138958138959138960138961138962138963138964138965138966138967138968138969138970138971138972138973138974138975138976138977138978138979138980138981138982138983138984138985138986138987138988138989138990138991138992138993138994138995138996138997138998138999139000139001139002139003139004139005139006139007139008139009139010139011139012139013139014139015139016139017139018139019139020139021139022139023139024139025139026139027139028139029139030139031139032139033139034139035139036139037139038139039139040139041139042139043139044139045139046139047139048139049139050139051139052139053139054139055139056139057139058139059139060139061139062139063139064139065139066139067139068139069139070139071139072139073139074139075139076139077139078139079139080139081139082139083139084139085139086139087139088139089139090139091139092139093139094139095139096139097139098139099139100139101139102139103139104139105139106139107139108139109139110139111139112139113139114139115139116139117139118139119139120139121139122139123139124139125139126139127139128139129139130139131139132139133139134139135139136139137139138139139139140139141139142139143139144139145139146139147139148139149139150139151139152139153139154139155139156139157139158139159139160139161139162139163139164139165139166139167139168139169139170139171139172139173139174139175139176139177139178139179139180139181139182139183139184139185139186139187139188139189139190139191139192139193139194139195139196139197139198139199139200139201139202139203139204139205139206139207139208139209139210139211139212139213139214139215139216139217139218139219139220139221139222139223139224139225139226139227139228139229139230139231139232139233139234139235139236139237139238139239139240139241139242139243139244139245139246139247139248139249139250139251139252139253139254139255139256139257139258139259139260139261139262139263139264139265139266139267139268139269139270139271139272139273139274139275139276139277139278139279139280139281139282139283139284139285139286139287139288139289139290139291139292139293139294139295139296139297139298139299139300139301139302139303139304139305139306139307139308139309139310139311139312139313139314139315139316139317139318139319139320139321139322139323139324139325139326139327139328139329139330139331139332139333139334139335139336139337139338139339139340139341139342139343139344139345139346139347139348139349139350139351139352139353139354139355139356139357139358139359139360139361139362139363139364139365139366139367139368139369139370139371139372139373139374139375139376139377139378139379139380139381139382139383139384139385139386139387139388139389139390139391139392139393139394139395139396139397139398139399139400139401139402139403139404139405139406139407139408139409139410139411139412139413139414139415139416139417139418139419139420139421139422139423139424139425139426139427139428139429139430139431139432139433139434139435139436139437139438139439139440139441139442139443139444139445139446139447139448139449139450139451139452139453139454139455139456139457139458139459139460139461139462139463139464139465139466139467139468139469139470139471139472139473139474139475139476139477139478139479139480139481139482139483139484139485139486139487139488139489139490139491139492139493139494139495139496139497139498139499139500139501139502139503139504139505139506139507139508139509139510139511139512139513139514139515139516139517139518139519139520139521139522139523139524139525139526139527139528139529139530139531139532139533139534139535139536139537139538139539139540139541139542139543139544139545139546139547139548139549139550139551139552139553139554139555139556139557139558139559139560139561139562139563139564139565139566139567139568139569139570139571139572139573139574139575139576139577139578139579139580139581139582139583139584139585139586139587139588139589139590139591139592139593139594139595139596139597139598139599139600139601139602139603139604139605139606139607139608139609139610139611139612139613139614139615139616139617139618139619139620139621139622139623139624139625139626139627139628139629139630139631139632139633139634139635139636139637139638139639139640139641139642139643139644139645139646139647139648139649139650139651139652139653139654139655139656139657139658139659139660139661139662139663139664139665139666139667139668139669139670139671139672139673139674139675139676139677139678139679139680139681139682139683139684139685139686139687139688139689139690139691139692139693139694139695139696139697139698139699139700139701139702139703139704139705139706139707139708139709139710139711139712139713139714139715139716139717139718139719139720139721139722139723139724139725139726139727139728139729139730139731139732139733139734139735139736139737139738139739139740139741139742139743139744139745139746139747139748139749139750139751139752139753139754139755139756139757139758139759139760139761139762139763139764139765139766139767139768139769139770139771139772139773139774139775139776139777139778139779139780139781139782139783139784139785139786139787139788139789139790139791139792139793139794139795139796139797139798139799139800139801139802139803139804139805139806139807139808139809139810139811139812139813139814139815139816139817139818139819139820139821139822139823139824139825139826139827139828139829139830139831139832139833139834139835139836139837139838139839139840139841139842139843139844139845139846139847139848139849139850139851139852139853139854139855139856139857139858139859139860139861139862139863139864139865139866139867139868139869139870139871139872139873139874139875139876139877139878139879139880139881139882139883139884139885139886139887139888139889139890139891139892139893139894139895139896139897139898139899139900139901139902139903139904139905139906139907139908139909139910139911139912139913139914139915139916139917139918139919139920139921139922139923139924139925139926139927139928139929139930139931139932139933139934139935139936139937139938139939139940139941139942139943139944139945139946139947139948139949139950139951139952139953139954139955139956139957139958139959139960139961139962139963139964139965139966139967139968139969139970139971139972139973139974139975139976139977139978139979139980139981139982139983139984139985139986139987139988139989139990139991139992139993139994139995139996139997139998139999140000140001140002140003140004140005140006140007140008140009140010140011140012140013140014140015140016140017140018140019140020140021140022140023140024140025140026140027140028140029140030140031140032140033140034140035140036140037140038140039140040140041140042140043140044140045140046140047140048140049140050140051140052140053140054140055140056140057140058140059140060140061140062140063140064140065140066140067140068140069140070140071140072140073140074140075140076140077140078140079140080140081140082140083140084140085140086140087140088140089140090140091140092140093140094140095140096140097140098140099140100140101140102140103140104140105140106140107140108140109140110140111140112140113140114140115140116140117140118140119140120140121140122140123140124140125140126140127140128140129140130140131140132140133140134140135140136140137140138140139140140140141140142140143140144140145140146140147140148140149140150140151140152140153140154140155140156140157140158140159140160140161140162140163140164140165140166140167140168140169140170140171140172140173140174140175140176140177140178140179140180140181140182140183140184140185140186140187140188140189140190140191140192140193140194140195140196140197140198140199140200140201140202140203140204140205140206140207140208140209140210140211140212140213140214140215140216140217140218140219140220140221140222140223140224140225140226140227140228140229140230140231140232140233140234140235140236140237140238140239140240140241140242140243140244140245140246140247140248140249140250140251140252140253140254140255140256140257140258140259140260140261140262140263140264140265140266140267140268140269140270140271140272140273140274140275140276140277140278140279140280140281140282140283140284140285140286140287140288140289140290140291140292140293140294140295140296140297140298140299140300140301140302140303140304140305140306140307140308140309140310140311140312140313140314140315140316140317140318140319140320140321140322140323140324140325140326140327140328140329140330140331140332140333140334140335140336140337140338140339140340140341140342140343140344140345140346140347140348140349140350140351140352140353140354140355140356140357140358140359140360140361140362140363140364140365140366140367140368140369140370140371140372140373140374140375140376140377140378140379140380140381140382140383140384140385140386140387140388140389140390140391140392140393140394140395140396140397140398140399140400140401140402140403140404140405140406140407140408140409140410140411140412140413140414140415140416140417140418140419140420140421140422140423140424140425140426140427140428140429140430140431140432140433140434140435140436140437140438140439140440140441140442140443140444140445140446140447140448140449140450140451140452140453140454140455140456140457140458140459140460140461140462140463140464140465140466140467140468140469140470140471140472140473140474140475140476140477140478140479140480140481140482140483140484140485140486140487140488140489140490140491140492140493140494140495140496140497140498140499140500140501140502140503140504140505140506140507140508140509140510140511140512140513140514140515140516140517140518140519140520140521140522140523140524140525140526140527140528140529140530140531140532140533140534140535140536140537140538140539140540140541140542140543140544140545140546140547140548140549140550140551140552140553140554140555140556140557140558140559140560140561140562140563140564140565140566140567140568140569140570140571140572140573140574140575140576140577140578140579140580140581140582140583140584140585140586140587140588140589140590140591140592140593140594140595140596140597140598140599140600140601140602140603140604140605140606140607140608140609140610140611140612140613140614140615140616140617140618140619140620140621140622140623140624140625140626140627140628140629140630140631140632140633140634140635140636140637140638140639140640140641140642140643140644140645140646140647140648140649140650140651140652140653140654140655140656140657140658140659140660140661140662140663140664140665140666140667140668140669140670140671140672140673140674140675140676140677140678140679140680140681140682140683140684140685140686140687140688140689140690140691140692140693140694140695140696140697140698140699140700140701140702140703140704140705140706140707140708140709140710140711140712140713140714140715140716140717140718140719140720140721140722140723140724140725140726140727140728140729140730140731140732140733140734140735140736140737140738140739140740140741140742140743140744140745140746140747140748140749140750140751140752140753140754140755140756140757140758140759140760140761140762140763140764140765140766140767140768140769140770140771140772140773140774140775140776140777140778140779140780140781140782140783140784140785140786140787140788140789140790140791140792140793140794140795140796140797140798140799140800140801140802140803140804140805140806140807140808140809140810140811140812140813140814140815140816140817140818140819140820140821140822140823140824140825140826140827140828140829140830140831140832140833140834140835140836140837140838140839140840140841140842140843140844140845140846140847140848140849140850140851140852140853140854140855140856140857140858140859140860140861140862140863140864140865140866140867140868140869140870140871140872140873140874140875140876140877140878140879140880140881140882140883140884140885140886140887140888140889140890140891140892140893140894140895140896140897140898140899140900140901140902140903140904140905140906140907140908140909140910140911140912140913140914140915140916140917140918140919140920140921140922140923140924140925140926140927140928140929140930140931140932140933140934140935140936140937140938140939140940140941140942140943140944140945140946140947140948140949140950140951140952140953140954140955140956140957140958140959140960140961140962140963140964140965140966140967140968140969140970140971140972140973140974140975140976140977140978140979140980140981140982140983140984140985140986140987140988140989140990140991140992140993140994140995140996140997140998140999141000141001141002141003141004141005141006141007141008141009141010141011141012141013141014141015141016141017141018141019141020141021141022141023141024141025141026141027141028141029141030141031141032141033141034141035141036141037141038141039141040141041141042141043141044141045141046141047141048141049141050141051141052141053141054141055141056141057141058141059141060141061141062141063141064141065141066141067141068141069141070141071141072141073141074141075141076141077141078141079141080141081141082141083141084141085141086141087141088141089141090141091141092141093141094141095141096141097141098141099141100141101141102141103141104141105141106141107141108141109141110141111141112141113141114141115141116141117141118141119141120141121141122141123141124141125141126141127141128141129141130141131141132141133141134141135141136141137141138141139141140141141141142141143141144141145141146141147141148141149141150141151141152141153141154141155141156141157141158141159141160141161141162141163141164141165141166141167141168141169141170141171141172141173141174141175141176141177141178141179141180141181141182141183141184141185141186141187141188141189141190141191141192141193141194141195141196141197141198141199141200141201141202141203141204141205141206141207141208141209141210141211141212141213141214141215141216141217141218141219141220141221141222141223141224141225141226141227141228141229141230141231141232141233141234141235141236141237141238141239141240141241141242141243141244141245141246141247141248141249141250141251141252141253141254141255141256141257141258141259141260141261141262141263141264141265141266141267141268141269141270141271141272141273141274141275141276141277141278141279141280141281141282141283141284141285141286141287141288141289141290141291141292141293141294141295141296141297141298141299141300141301141302141303141304141305141306141307141308141309141310141311141312141313141314141315141316141317141318141319141320141321141322141323141324141325141326141327141328141329141330141331141332141333141334141335141336141337141338141339141340141341141342141343141344141345141346141347141348141349141350141351141352141353141354141355141356141357141358141359141360141361141362141363141364141365141366141367141368141369141370141371141372141373141374141375141376141377141378141379141380141381141382141383141384141385141386141387141388141389141390141391141392141393141394141395141396141397141398141399141400141401141402141403141404141405141406141407141408141409141410141411141412141413141414141415141416141417141418141419141420141421141422141423141424141425141426141427141428141429141430141431141432141433141434141435141436141437141438141439141440141441141442141443141444141445141446141447141448141449141450141451141452141453141454141455141456141457141458141459141460141461141462141463141464141465141466141467141468141469141470141471141472141473141474141475141476141477141478141479141480141481141482141483141484141485141486141487141488141489141490141491141492141493141494141495141496141497141498141499141500141501141502141503141504141505141506141507141508141509141510141511141512141513141514141515141516141517141518141519141520141521141522141523141524141525141526141527141528141529141530141531141532141533141534141535141536141537141538141539141540141541141542141543141544141545141546141547141548141549141550141551141552141553141554141555141556141557141558141559141560141561141562141563141564141565141566141567141568141569141570141571141572141573141574141575141576141577141578141579141580141581141582141583141584141585141586141587141588141589141590141591141592141593141594141595141596141597141598141599141600141601141602141603141604141605141606141607141608141609141610141611141612141613141614141615141616141617141618141619141620141621141622141623141624141625141626141627141628141629141630141631141632141633141634141635141636141637141638141639141640141641141642141643141644141645141646141647141648141649141650141651141652141653141654141655141656141657141658141659141660141661141662141663141664141665141666141667141668141669141670141671141672141673141674141675141676141677141678141679141680141681141682141683141684141685141686141687141688141689141690141691141692141693141694141695141696141697141698141699141700141701141702141703141704141705141706141707141708141709141710141711141712141713141714141715141716141717141718141719141720141721141722141723141724141725141726141727141728141729141730141731141732141733141734141735141736141737141738141739141740141741141742141743141744141745141746141747141748141749141750141751141752141753141754141755141756141757141758141759141760141761141762141763141764141765141766141767141768141769141770141771141772141773141774141775141776141777141778141779141780141781141782141783141784141785141786141787141788141789141790141791141792141793141794141795141796141797141798141799141800141801141802141803141804141805141806141807141808141809141810141811141812141813141814141815141816141817141818141819141820141821141822141823141824141825141826141827141828141829141830141831141832141833141834141835141836141837141838141839141840141841141842141843141844141845141846141847141848141849141850141851141852141853141854141855141856141857141858141859141860141861141862141863141864141865141866141867141868141869141870141871141872141873141874141875141876141877141878141879141880141881141882141883141884141885141886141887141888141889141890141891141892141893141894141895141896141897141898141899141900141901141902141903141904141905141906141907141908141909141910141911141912141913141914141915141916141917141918141919141920141921141922141923141924141925141926141927141928141929141930141931141932141933141934141935141936141937141938141939141940141941141942141943141944141945141946141947141948141949141950141951141952141953141954141955141956141957141958141959141960141961141962141963141964141965141966141967141968141969141970141971141972141973141974141975141976141977141978141979141980141981141982141983141984141985141986141987141988141989141990141991141992141993141994141995141996141997141998141999142000142001142002142003142004142005142006142007142008142009142010142011142012142013142014142015142016142017142018142019142020142021142022142023142024142025142026142027142028142029142030142031142032142033142034142035142036142037142038142039142040142041142042142043142044142045142046142047142048142049142050142051142052142053142054142055142056142057142058142059142060142061142062142063142064142065142066142067142068142069142070142071142072142073142074142075142076142077142078142079142080142081142082142083142084142085142086142087142088142089142090142091142092142093142094142095142096142097142098142099142100142101142102142103142104142105142106142107142108142109142110142111142112142113142114142115142116142117142118142119142120142121142122142123142124142125142126142127142128142129142130142131142132142133142134142135142136142137142138142139142140142141142142142143142144142145142146142147142148142149142150142151142152142153142154142155142156142157142158142159142160142161142162142163142164142165142166142167142168142169142170142171142172142173142174142175142176142177142178142179142180142181142182142183142184142185142186142187142188142189142190142191142192142193142194142195142196142197142198142199142200142201142202142203142204142205142206142207142208142209142210142211142212142213142214142215142216142217142218142219142220142221142222142223142224142225142226142227142228142229142230142231142232142233142234142235142236142237142238142239142240142241142242142243142244142245142246142247142248142249142250142251142252142253142254142255142256142257142258142259142260142261142262142263142264142265142266142267142268142269142270142271142272142273142274142275142276142277142278142279142280142281142282142283142284142285142286142287142288142289142290142291142292142293142294142295142296142297142298142299142300142301142302142303142304142305142306142307142308142309142310142311142312142313142314142315142316142317142318142319142320142321142322142323142324142325142326142327142328142329142330142331142332142333142334142335142336142337142338142339142340142341142342142343142344142345142346142347142348142349142350142351142352142353142354142355142356142357142358142359142360142361142362142363142364142365142366142367142368142369142370142371142372142373142374142375142376142377142378142379142380142381142382142383142384142385142386142387142388142389142390142391142392142393142394142395142396142397142398142399142400142401142402142403142404142405142406142407142408142409142410142411142412142413142414142415142416142417142418142419142420142421142422142423142424142425142426142427142428142429142430142431142432142433142434142435142436142437142438142439142440142441142442142443142444142445142446142447142448142449142450142451142452142453142454142455142456142457142458142459142460142461142462142463142464142465142466142467142468142469142470142471142472142473142474142475142476142477142478142479142480142481142482142483142484142485142486142487142488142489142490142491142492142493142494142495142496142497142498142499142500142501142502142503142504142505142506142507142508142509142510142511142512142513142514142515142516142517142518142519142520142521142522142523142524142525142526142527142528142529142530142531142532142533142534142535142536142537142538142539142540142541142542142543142544142545142546142547142548142549142550142551142552142553142554142555142556142557142558142559142560142561142562142563142564142565142566142567142568142569142570142571142572142573142574142575142576142577142578142579142580142581142582142583142584142585142586142587142588142589142590142591142592142593142594142595142596142597142598142599142600142601142602142603142604142605142606142607142608142609142610142611142612142613142614142615142616142617142618142619142620142621142622142623142624142625142626142627142628142629142630142631142632142633142634142635142636142637142638142639142640142641142642142643142644142645142646142647142648142649142650142651142652142653142654142655142656142657142658142659142660142661142662142663142664142665142666142667142668142669142670142671142672142673142674142675142676142677142678142679142680142681142682142683142684142685142686142687142688142689142690142691142692142693142694142695142696142697142698142699142700142701142702142703142704142705142706142707142708142709142710142711142712142713142714142715142716142717142718142719142720142721142722142723142724142725142726142727142728142729142730142731142732142733142734142735142736142737142738142739142740142741142742142743142744142745142746142747142748142749142750142751142752142753142754142755142756142757142758142759142760142761142762142763142764142765142766142767142768142769142770142771142772142773142774142775142776142777142778142779142780142781142782142783142784142785142786142787142788142789142790142791142792142793142794142795142796142797142798142799142800142801142802142803142804142805142806142807142808142809142810142811142812142813142814142815142816142817142818142819142820142821142822142823142824142825142826142827142828142829142830142831142832142833142834142835142836142837142838142839142840142841142842142843142844142845142846142847142848142849142850142851142852142853142854142855142856142857142858142859142860142861142862142863142864142865142866142867142868142869142870142871142872142873142874142875142876142877142878142879142880142881142882142883142884142885142886142887142888142889142890142891142892142893142894142895142896142897142898142899142900142901142902142903142904142905142906142907142908142909142910142911142912142913142914142915142916142917142918142919142920142921142922142923142924142925142926142927142928142929142930142931142932142933142934142935142936142937142938142939142940142941142942142943142944142945142946142947142948142949142950142951142952142953142954142955142956142957142958142959142960142961142962142963142964142965142966142967142968142969142970142971142972142973142974142975142976142977142978142979142980142981142982142983142984142985142986142987142988142989142990142991142992142993142994142995142996142997142998142999143000143001143002143003143004143005143006143007143008143009143010143011143012143013143014143015143016143017143018143019143020143021143022143023143024143025143026143027143028143029143030143031143032143033143034143035143036143037143038143039143040143041143042143043143044143045143046143047143048143049143050143051143052143053143054143055143056143057143058143059143060143061143062143063143064143065143066143067143068143069143070143071143072143073143074143075143076143077143078143079143080143081143082143083143084143085143086143087143088143089143090143091143092143093143094143095143096143097143098143099143100143101143102143103143104143105143106143107143108143109143110143111143112143113143114143115143116143117143118143119143120143121143122143123143124143125143126143127143128143129143130143131143132143133143134143135143136143137143138143139143140143141143142143143143144143145143146143147143148143149143150143151143152143153143154143155143156143157143158143159143160143161143162143163143164143165143166143167143168143169143170143171143172143173143174143175143176143177143178143179143180143181143182143183143184143185143186143187143188143189143190143191143192143193143194143195143196143197143198143199143200143201143202143203143204143205143206143207143208143209143210143211143212143213143214143215143216143217143218143219143220143221143222143223143224143225143226143227143228143229143230143231143232143233143234143235143236143237143238143239143240143241143242143243143244143245143246143247143248143249143250143251143252143253143254143255143256143257143258143259143260143261143262143263143264143265143266143267143268143269143270143271143272143273143274143275143276143277143278143279143280143281143282143283143284143285143286143287143288143289143290143291143292143293143294143295143296143297143298143299143300143301143302143303143304143305143306143307143308143309143310143311143312143313143314143315143316143317143318143319143320143321143322143323143324143325143326143327143328143329143330143331143332143333143334143335143336143337143338143339143340143341143342143343143344143345143346143347143348143349143350143351143352143353143354143355143356143357143358143359143360143361143362143363143364143365143366143367143368143369143370143371143372143373143374143375143376143377143378143379143380143381143382143383143384143385143386143387143388143389143390143391143392143393143394143395143396143397143398143399143400143401143402143403143404143405143406143407
  1. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708_common.dtsi linux-rpi/arch/arm/boot/dts/bcm2708_common.dtsi
  2. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708_common.dtsi 1970-01-01 01:00:00.000000000 +0100
  3. +++ linux-rpi/arch/arm/boot/dts/bcm2708_common.dtsi 2015-11-29 09:42:34.571454018 +0100
  4. @@ -0,0 +1,321 @@
  5. +/include/ "skeleton.dtsi"
  6. +
  7. +/ {
  8. + interrupt-parent = <&intc>;
  9. +
  10. + aliases {
  11. + audio = &audio;
  12. + sound = &sound;
  13. + soc = &soc;
  14. + dma = &dma;
  15. + intc = &intc;
  16. + watchdog = &watchdog;
  17. + random = &random;
  18. + mailbox = &mailbox;
  19. + gpio = &gpio;
  20. + uart0 = &uart0;
  21. + i2s = &i2s;
  22. + spi0 = &spi0;
  23. + i2c0 = &i2c0;
  24. + uart1 = &uart1;
  25. + mmc = &mmc;
  26. + i2c1 = &i2c1;
  27. + i2c2 = &i2c2;
  28. + usb = &usb;
  29. + leds = &leds;
  30. + fb = &fb;
  31. + vchiq = &vchiq;
  32. + thermal = &thermal;
  33. + clocks = &clocks;
  34. + };
  35. +
  36. + /* Onboard audio */
  37. + audio: audio {
  38. + compatible = "brcm,bcm2835-audio";
  39. + brcm,pwm-channels = <8>;
  40. + status = "disabled";
  41. + };
  42. +
  43. + /* External sound card */
  44. + sound: sound {
  45. + };
  46. +
  47. + soc: soc {
  48. + compatible = "simple-bus";
  49. + #address-cells = <1>;
  50. + #size-cells = <1>;
  51. +
  52. + dma: dma@7e007000 {
  53. + compatible = "brcm,bcm2835-dma";
  54. + reg = <0x7e007000 0xf00>;
  55. + interrupts = <1 16>,
  56. + <1 17>,
  57. + <1 18>,
  58. + <1 19>,
  59. + <1 20>,
  60. + <1 21>,
  61. + <1 22>,
  62. + <1 23>,
  63. + <1 24>,
  64. + <1 25>,
  65. + <1 26>,
  66. + <1 27>;
  67. +
  68. + #dma-cells = <1>;
  69. + brcm,dma-channel-mask = <0x0f35>;
  70. + };
  71. +
  72. + intc: interrupt-controller {
  73. + compatible = "brcm,bcm2708-armctrl-ic";
  74. + reg = <0x7e00b200 0x200>;
  75. + interrupt-controller;
  76. + #interrupt-cells = <2>;
  77. + };
  78. +
  79. + mailbox: mailbox@7e00b800 {
  80. + compatible = "brcm,bcm2835-mbox";
  81. + reg = <0x7e00b880 0x40>;
  82. + interrupts = <0 1>;
  83. + #mbox-cells = <0>;
  84. + };
  85. +
  86. + watchdog: watchdog@7e100000 {
  87. + compatible = "brcm,bcm2835-pm-wdt";
  88. + reg = <0x7e100000 0x28>;
  89. + status = "disabled";
  90. + };
  91. +
  92. + random: rng@7e104000 {
  93. + compatible = "brcm,bcm2835-rng";
  94. + reg = <0x7e104000 0x10>;
  95. + status = "disabled";
  96. + };
  97. +
  98. + gpio: gpio@7e200000 {
  99. + compatible = "brcm,bcm2835-gpio";
  100. + reg = <0x7e200000 0xb4>;
  101. + interrupts = <2 17>, <2 18>;
  102. +
  103. + gpio-controller;
  104. + #gpio-cells = <2>;
  105. +
  106. + interrupt-controller;
  107. + #interrupt-cells = <2>;
  108. + };
  109. +
  110. + uart0: uart@7e201000 {
  111. + compatible = "arm,pl011", "arm,primecell";
  112. + reg = <0x7e201000 0x1000>;
  113. + interrupts = <2 25>;
  114. + clocks = <&clk_uart0 &clk_apb_p>;
  115. + clock-names = "uartclk","apb_pclk";
  116. + arm,primecell-periphid = <0x00241011>; // For an explanation, see
  117. + // https://github.com/raspberrypi/linux/commit/13731d862cf5219216533a3b0de052cee4cc5038
  118. + status = "disabled";
  119. + };
  120. +
  121. + i2s: i2s@7e203000 {
  122. + compatible = "brcm,bcm2708-i2s";
  123. + reg = <0x7e203000 0x24>,
  124. + <0x7e101098 0x08>;
  125. +
  126. + //dmas = <&dma 2>,
  127. + // <&dma 3>;
  128. + dma-names = "tx", "rx";
  129. + status = "disabled";
  130. + };
  131. +
  132. + spi0: spi@7e204000 {
  133. + compatible = "brcm,bcm2835-spi";
  134. + reg = <0x7e204000 0x1000>;
  135. + interrupts = <2 22>;
  136. + clocks = <&clk_core>;
  137. + #address-cells = <1>;
  138. + #size-cells = <0>;
  139. + status = "disabled";
  140. + /* the dma channels */
  141. + dmas = <&dma 6>, <&dma 7>;
  142. + dma-names = "tx", "rx";
  143. + /* the chipselects used - <0> means native GPIO
  144. + * add more gpios if necessary as <&gpio 6 1>
  145. + * (but do not forget to make them output!)
  146. + */
  147. + cs-gpios = <0>, <0>;
  148. + };
  149. +
  150. + i2c0: i2c@7e205000 {
  151. + compatible = "brcm,bcm2708-i2c";
  152. + reg = <0x7e205000 0x1000>;
  153. + interrupts = <2 21>;
  154. + clocks = <&clk_i2c>;
  155. + #address-cells = <1>;
  156. + #size-cells = <0>;
  157. + status = "disabled";
  158. + };
  159. +
  160. + pwm: pwm@7e20c000 {
  161. + compatible = "brcm,bcm2835-pwm";
  162. + reg = <0x7e20c000 0x28>;
  163. + clocks = <&clk_pwm>;
  164. + #pwm-cells = <2>;
  165. + status = "disabled";
  166. + };
  167. +
  168. + uart1: uart@7e215040 {
  169. + compatible = "brcm,bcm2835-aux-uart", "ns16550";
  170. + reg = <0x7e215040 0x40>;
  171. + interrupts = <1 29>;
  172. + clocks = <&clk_uart1>;
  173. + reg-shift = <2>;
  174. + no-loopback-test;
  175. + status = "disabled";
  176. + };
  177. +
  178. + mmc: mmc@7e300000 {
  179. + compatible = "brcm,bcm2835-mmc";
  180. + reg = <0x7e300000 0x100>;
  181. + interrupts = <2 30>;
  182. + clocks = <&clk_mmc>;
  183. + dmas = <&dma 11>,
  184. + <&dma 11>;
  185. + dma-names = "tx", "rx";
  186. + status = "disabled";
  187. + };
  188. +
  189. + i2c1: i2c@7e804000 {
  190. + compatible = "brcm,bcm2708-i2c";
  191. + reg = <0x7e804000 0x1000>;
  192. + interrupts = <2 21>;
  193. + clocks = <&clk_i2c>;
  194. + #address-cells = <1>;
  195. + #size-cells = <0>;
  196. + status = "disabled";
  197. + };
  198. +
  199. + i2c2: i2c@7e805000 {
  200. + // Beware - this is shared with the HDMI module.
  201. + // Careless use may break (really) your display.
  202. + // Caveat emptor.
  203. + compatible = "brcm,bcm2708-i2c";
  204. + reg = <0x7e805000 0x1000>;
  205. + interrupts = <2 21>;
  206. + clocks = <&clk_i2c>;
  207. + #address-cells = <1>;
  208. + #size-cells = <0>;
  209. + status = "disabled";
  210. + };
  211. +
  212. + smi: smi@7e600000 {
  213. + compatible = "brcm,bcm2835-smi";
  214. + reg = <0x7e600000 0x44>, <0x7e1010b0 0x8>;
  215. + interrupts = <2 16>;
  216. + brcm,smi-clock-source = <6>;
  217. + brcm,smi-clock-divisor = <4>;
  218. + dmas = <&dma 4>;
  219. + dma-names = "rx-tx";
  220. + status = "disabled";
  221. + };
  222. +
  223. + usb: usb@7e980000 {
  224. + compatible = "brcm,bcm2708-usb";
  225. + reg = <0x7e980000 0x10000>,
  226. + <0x7e006000 0x1000>;
  227. + interrupts = <2 0>,
  228. + <1 9>;
  229. + };
  230. +
  231. + firmware: firmware {
  232. + compatible = "raspberrypi,bcm2835-firmware";
  233. + mboxes = <&mailbox>;
  234. + };
  235. +
  236. + leds: leds {
  237. + compatible = "gpio-leds";
  238. + };
  239. +
  240. + fb: fb {
  241. + compatible = "brcm,bcm2708-fb";
  242. + firmware = <&firmware>;
  243. + status = "disabled";
  244. + };
  245. +
  246. + vchiq: vchiq {
  247. + compatible = "brcm,bcm2835-vchiq";
  248. + reg = <0x7e00b840 0xf>;
  249. + interrupts = <0 2>;
  250. + cache-line-size = <32>;
  251. + firmware = <&firmware>;
  252. + };
  253. +
  254. + thermal: thermal {
  255. + compatible = "brcm,bcm2835-thermal";
  256. + firmware = <&firmware>;
  257. + };
  258. + };
  259. +
  260. + clocks: clocks {
  261. + compatible = "simple-bus";
  262. + #address-cells = <1>;
  263. + #size-cells = <0>;
  264. +
  265. + clk_mmc: clock@0 {
  266. + compatible = "fixed-clock";
  267. + reg = <0>;
  268. + #clock-cells = <0>;
  269. + clock-output-names = "mmc";
  270. + clock-frequency = <250000000>;
  271. + };
  272. +
  273. + clk_i2c: clock@1 {
  274. + compatible = "fixed-clock";
  275. + reg = <1>;
  276. + #clock-cells = <0>;
  277. + clock-output-names = "i2c";
  278. + clock-frequency = <250000000>;
  279. + };
  280. +
  281. + clk_core: clock@2 {
  282. + compatible = "fixed-clock";
  283. + reg = <2>;
  284. + #clock-cells = <0>;
  285. + clock-output-names = "core";
  286. + clock-frequency = <250000000>;
  287. + };
  288. +
  289. + clk_uart0: clock@3 {
  290. + compatible = "fixed-clock";
  291. + reg = <3>;
  292. + #clock-cells = <0>;
  293. + clock-output-names = "uart0_pclk";
  294. + clock-frequency = <3000000>;
  295. + };
  296. +
  297. + clk_apb_p: clock@4 {
  298. + compatible = "fixed-clock";
  299. + reg = <4>;
  300. + #clock-cells = <0>;
  301. + clock-output-names = "apb_pclk";
  302. + clock-frequency = <126000000>;
  303. + };
  304. +
  305. + clk_pwm: clock@5 {
  306. + compatible = "fixed-clock";
  307. + reg = <3>;
  308. + #clock-cells = <0>;
  309. + clock-output-names = "pwm";
  310. + clock-frequency = <100000000>;
  311. + };
  312. +
  313. + clk_uart1: clock@6 {
  314. + compatible = "fixed-factor-clock";
  315. + clocks = <&clk_core>;
  316. + #clock-cells = <0>;
  317. + clock-div = <1>;
  318. + clock-mult = <2>;
  319. + };
  320. + };
  321. +
  322. + __overrides__ {
  323. + cache_line_size = <&vchiq>, "cache-line-size:0";
  324. + };
  325. +};
  326. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708.dtsi linux-rpi/arch/arm/boot/dts/bcm2708.dtsi
  327. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708.dtsi 1970-01-01 01:00:00.000000000 +0100
  328. +++ linux-rpi/arch/arm/boot/dts/bcm2708.dtsi 2015-11-29 09:42:34.571454018 +0100
  329. @@ -0,0 +1,25 @@
  330. +/include/ "bcm2708_common.dtsi"
  331. +
  332. +/ {
  333. + compatible = "brcm,bcm2708";
  334. + model = "BCM2708";
  335. +
  336. + chosen {
  337. + /* No padding required - the boot loader can do that. */
  338. + bootargs = "";
  339. + };
  340. +
  341. + soc {
  342. + ranges = <0x7e000000 0x20000000 0x01000000>;
  343. +
  344. + arm-pmu {
  345. + compatible = "arm,arm1176-pmu";
  346. + };
  347. +
  348. + gpiomem {
  349. + compatible = "brcm,bcm2835-gpiomem";
  350. + reg = <0x7e200000 0x1000>;
  351. + status = "okay";
  352. + };
  353. + };
  354. +};
  355. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-b.dts linux-rpi/arch/arm/boot/dts/bcm2708-rpi-b.dts
  356. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-b.dts 1970-01-01 01:00:00.000000000 +0100
  357. +++ linux-rpi/arch/arm/boot/dts/bcm2708-rpi-b.dts 2015-11-29 09:42:34.571454018 +0100
  358. @@ -0,0 +1,118 @@
  359. +/dts-v1/;
  360. +
  361. +/include/ "bcm2708.dtsi"
  362. +
  363. +/ {
  364. + compatible = "brcm,bcm2708";
  365. + model = "Raspberry Pi Model B";
  366. +};
  367. +
  368. +&gpio {
  369. + spi0_pins: spi0_pins {
  370. + brcm,pins = <7 8 9 10 11>;
  371. + brcm,function = <4>; /* alt0 */
  372. + };
  373. +
  374. + i2c0_pins: i2c0 {
  375. + brcm,pins = <0 1>;
  376. + brcm,function = <4>;
  377. + };
  378. +
  379. + i2c1_pins: i2c1 {
  380. + brcm,pins = <2 3>;
  381. + brcm,function = <4>;
  382. + };
  383. +
  384. + i2s_pins: i2s {
  385. + brcm,pins = <28 29 30 31>;
  386. + brcm,function = <6>; /* alt2 */
  387. + };
  388. +};
  389. +
  390. +&mmc {
  391. + status = "okay";
  392. + bus-width = <4>;
  393. +};
  394. +
  395. +&fb {
  396. + status = "okay";
  397. +};
  398. +
  399. +&uart0 {
  400. + status = "okay";
  401. +};
  402. +
  403. +&spi0 {
  404. + pinctrl-names = "default";
  405. + pinctrl-0 = <&spi0_pins>;
  406. +
  407. + spidev@0{
  408. + compatible = "spidev";
  409. + reg = <0>; /* CE0 */
  410. + #address-cells = <1>;
  411. + #size-cells = <0>;
  412. + spi-max-frequency = <500000>;
  413. + };
  414. +
  415. + spidev@1{
  416. + compatible = "spidev";
  417. + reg = <1>; /* CE1 */
  418. + #address-cells = <1>;
  419. + #size-cells = <0>;
  420. + spi-max-frequency = <500000>;
  421. + };
  422. +};
  423. +
  424. +&i2c0 {
  425. + pinctrl-names = "default";
  426. + pinctrl-0 = <&i2c0_pins>;
  427. + clock-frequency = <100000>;
  428. +};
  429. +
  430. +&i2c1 {
  431. + pinctrl-names = "default";
  432. + pinctrl-0 = <&i2c1_pins>;
  433. + clock-frequency = <100000>;
  434. +};
  435. +
  436. +&i2c2 {
  437. + clock-frequency = <100000>;
  438. +};
  439. +
  440. +&i2s {
  441. + #sound-dai-cells = <0>;
  442. + pinctrl-names = "default";
  443. + pinctrl-0 = <&i2s_pins>;
  444. +};
  445. +
  446. +&leds {
  447. + act_led: act {
  448. + label = "led0";
  449. + linux,default-trigger = "mmc0";
  450. + gpios = <&gpio 16 1>;
  451. + };
  452. +};
  453. +
  454. +/ {
  455. + __overrides__ {
  456. + uart0 = <&uart0>,"status";
  457. + uart0_clkrate = <&clk_uart0>,"clock-frequency:0";
  458. + i2s = <&i2s>,"status";
  459. + spi = <&spi0>,"status";
  460. + i2c0 = <&i2c0>,"status";
  461. + i2c1 = <&i2c1>,"status";
  462. + i2c2_iknowwhatimdoing = <&i2c2>,"status";
  463. + i2c0_baudrate = <&i2c0>,"clock-frequency:0";
  464. + i2c1_baudrate = <&i2c1>,"clock-frequency:0";
  465. + i2c2_baudrate = <&i2c2>,"clock-frequency:0";
  466. + core_freq = <&clk_core>,"clock-frequency:0";
  467. +
  468. + act_led_gpio = <&act_led>,"gpios:4";
  469. + act_led_activelow = <&act_led>,"gpios:8";
  470. + act_led_trigger = <&act_led>,"linux,default-trigger";
  471. +
  472. + audio = <&audio>,"status";
  473. + watchdog = <&watchdog>,"status";
  474. + random = <&random>,"status";
  475. + };
  476. +};
  477. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-b-plus.dts linux-rpi/arch/arm/boot/dts/bcm2708-rpi-b-plus.dts
  478. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-b-plus.dts 1970-01-01 01:00:00.000000000 +0100
  479. +++ linux-rpi/arch/arm/boot/dts/bcm2708-rpi-b-plus.dts 2015-11-29 09:42:34.571454018 +0100
  480. @@ -0,0 +1,128 @@
  481. +/dts-v1/;
  482. +
  483. +/include/ "bcm2708.dtsi"
  484. +
  485. +/ {
  486. + compatible = "brcm,bcm2708";
  487. + model = "Raspberry Pi Model B+";
  488. +};
  489. +
  490. +&gpio {
  491. + spi0_pins: spi0_pins {
  492. + brcm,pins = <7 8 9 10 11>;
  493. + brcm,function = <4>; /* alt0 */
  494. + };
  495. +
  496. + i2c0_pins: i2c0 {
  497. + brcm,pins = <0 1>;
  498. + brcm,function = <4>;
  499. + };
  500. +
  501. + i2c1_pins: i2c1 {
  502. + brcm,pins = <2 3>;
  503. + brcm,function = <4>;
  504. + };
  505. +
  506. + i2s_pins: i2s {
  507. + brcm,pins = <18 19 20 21>;
  508. + brcm,function = <4>; /* alt0 */
  509. + };
  510. +};
  511. +
  512. +&mmc {
  513. + status = "okay";
  514. + bus-width = <4>;
  515. +};
  516. +
  517. +&fb {
  518. + status = "okay";
  519. +};
  520. +
  521. +&uart0 {
  522. + status = "okay";
  523. +};
  524. +
  525. +&spi0 {
  526. + pinctrl-names = "default";
  527. + pinctrl-0 = <&spi0_pins>;
  528. +
  529. + spidev@0{
  530. + compatible = "spidev";
  531. + reg = <0>; /* CE0 */
  532. + #address-cells = <1>;
  533. + #size-cells = <0>;
  534. + spi-max-frequency = <500000>;
  535. + };
  536. +
  537. + spidev@1{
  538. + compatible = "spidev";
  539. + reg = <1>; /* CE1 */
  540. + #address-cells = <1>;
  541. + #size-cells = <0>;
  542. + spi-max-frequency = <500000>;
  543. + };
  544. +};
  545. +
  546. +&i2c0 {
  547. + pinctrl-names = "default";
  548. + pinctrl-0 = <&i2c0_pins>;
  549. + clock-frequency = <100000>;
  550. +};
  551. +
  552. +&i2c1 {
  553. + pinctrl-names = "default";
  554. + pinctrl-0 = <&i2c1_pins>;
  555. + clock-frequency = <100000>;
  556. +};
  557. +
  558. +&i2c2 {
  559. + clock-frequency = <100000>;
  560. +};
  561. +
  562. +&i2s {
  563. + #sound-dai-cells = <0>;
  564. + pinctrl-names = "default";
  565. + pinctrl-0 = <&i2s_pins>;
  566. +};
  567. +
  568. +&leds {
  569. + act_led: act {
  570. + label = "led0";
  571. + linux,default-trigger = "mmc0";
  572. + gpios = <&gpio 47 0>;
  573. + };
  574. +
  575. + pwr_led: pwr {
  576. + label = "led1";
  577. + linux,default-trigger = "input";
  578. + gpios = <&gpio 35 0>;
  579. + };
  580. +};
  581. +
  582. +/ {
  583. + __overrides__ {
  584. + uart0 = <&uart0>,"status";
  585. + uart0_clkrate = <&clk_uart0>,"clock-frequency:0";
  586. + i2s = <&i2s>,"status";
  587. + spi = <&spi0>,"status";
  588. + i2c0 = <&i2c0>,"status";
  589. + i2c1 = <&i2c1>,"status";
  590. + i2c2_iknowwhatimdoing = <&i2c2>,"status";
  591. + i2c0_baudrate = <&i2c0>,"clock-frequency:0";
  592. + i2c1_baudrate = <&i2c1>,"clock-frequency:0";
  593. + i2c2_baudrate = <&i2c2>,"clock-frequency:0";
  594. + core_freq = <&clk_core>,"clock-frequency:0";
  595. +
  596. + act_led_gpio = <&act_led>,"gpios:4";
  597. + act_led_activelow = <&act_led>,"gpios:8";
  598. + act_led_trigger = <&act_led>,"linux,default-trigger";
  599. +
  600. + pwr_led_gpio = <&pwr_led>,"gpios:4";
  601. + pwr_led_activelow = <&pwr_led>,"gpios:8";
  602. + pwr_led_trigger = <&pwr_led>,"linux,default-trigger";
  603. +
  604. + audio = <&audio>,"status";
  605. + watchdog = <&watchdog>,"status";
  606. + random = <&random>,"status";
  607. + };
  608. +};
  609. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-cm.dts linux-rpi/arch/arm/boot/dts/bcm2708-rpi-cm.dts
  610. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-cm.dts 1970-01-01 01:00:00.000000000 +0100
  611. +++ linux-rpi/arch/arm/boot/dts/bcm2708-rpi-cm.dts 2015-11-29 09:42:34.571454018 +0100
  612. @@ -0,0 +1,92 @@
  613. +/dts-v1/;
  614. +
  615. +/include/ "bcm2708-rpi-cm.dtsi"
  616. +
  617. +/ {
  618. + model = "Raspberry Pi Compute Module";
  619. +};
  620. +
  621. +&uart0 {
  622. + status = "okay";
  623. +};
  624. +
  625. +&gpio {
  626. + spi0_pins: spi0_pins {
  627. + brcm,pins = <7 8 9 10 11>;
  628. + brcm,function = <4>; /* alt0 */
  629. + };
  630. +
  631. + i2c0_pins: i2c0 {
  632. + brcm,pins = <0 1>;
  633. + brcm,function = <4>;
  634. + };
  635. +
  636. + i2c1_pins: i2c1 {
  637. + brcm,pins = <2 3>;
  638. + brcm,function = <4>;
  639. + };
  640. +
  641. + i2s_pins: i2s {
  642. + brcm,pins = <18 19 20 21>;
  643. + brcm,function = <4>; /* alt0 */
  644. + };
  645. +};
  646. +
  647. +&spi0 {
  648. + pinctrl-names = "default";
  649. + pinctrl-0 = <&spi0_pins>;
  650. +
  651. + spidev@0{
  652. + compatible = "spidev";
  653. + reg = <0>; /* CE0 */
  654. + #address-cells = <1>;
  655. + #size-cells = <0>;
  656. + spi-max-frequency = <500000>;
  657. + };
  658. +
  659. + spidev@1{
  660. + compatible = "spidev";
  661. + reg = <1>; /* CE1 */
  662. + #address-cells = <1>;
  663. + #size-cells = <0>;
  664. + spi-max-frequency = <500000>;
  665. + };
  666. +};
  667. +
  668. +&i2c0 {
  669. + pinctrl-names = "default";
  670. + pinctrl-0 = <&i2c0_pins>;
  671. + clock-frequency = <100000>;
  672. +};
  673. +
  674. +&i2c1 {
  675. + pinctrl-names = "default";
  676. + pinctrl-0 = <&i2c1_pins>;
  677. + clock-frequency = <100000>;
  678. +};
  679. +
  680. +&i2c2 {
  681. + clock-frequency = <100000>;
  682. +};
  683. +
  684. +&i2s {
  685. + #sound-dai-cells = <0>;
  686. + pinctrl-names = "default";
  687. + pinctrl-0 = <&i2s_pins>;
  688. +};
  689. +
  690. +/ {
  691. + __overrides__ {
  692. + uart0 = <&uart0>,"status";
  693. + uart0_clkrate = <&clk_uart0>,"clock-frequency:0";
  694. + i2s = <&i2s>,"status";
  695. + spi = <&spi0>,"status";
  696. + i2c0 = <&i2c0>,"status";
  697. + i2c1 = <&i2c1>,"status";
  698. + i2c2_iknowwhatimdoing = <&i2c2>,"status";
  699. + i2c0_baudrate = <&i2c0>,"clock-frequency:0";
  700. + i2c1_baudrate = <&i2c1>,"clock-frequency:0";
  701. + i2c2_baudrate = <&i2c2>,"clock-frequency:0";
  702. + core_freq = <&clk_core>,"clock-frequency:0";
  703. + };
  704. +};
  705. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-cm.dtsi linux-rpi/arch/arm/boot/dts/bcm2708-rpi-cm.dtsi
  706. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2708-rpi-cm.dtsi 1970-01-01 01:00:00.000000000 +0100
  707. +++ linux-rpi/arch/arm/boot/dts/bcm2708-rpi-cm.dtsi 2015-11-29 09:42:34.571454018 +0100
  708. @@ -0,0 +1,30 @@
  709. +/include/ "bcm2708.dtsi"
  710. +
  711. +&leds {
  712. + act_led: act {
  713. + label = "led0";
  714. + linux,default-trigger = "mmc0";
  715. + gpios = <&gpio 47 0>;
  716. + };
  717. +};
  718. +
  719. +&mmc {
  720. + status = "okay";
  721. + bus-width = <4>;
  722. +};
  723. +
  724. +&fb {
  725. + status = "okay";
  726. +};
  727. +
  728. +/ {
  729. + __overrides__ {
  730. + act_led_gpio = <&act_led>,"gpios:4";
  731. + act_led_activelow = <&act_led>,"gpios:8";
  732. + act_led_trigger = <&act_led>,"linux,default-trigger";
  733. +
  734. + audio = <&audio>,"status";
  735. + watchdog = <&watchdog>,"status";
  736. + random = <&random>,"status";
  737. + };
  738. +};
  739. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2709.dtsi linux-rpi/arch/arm/boot/dts/bcm2709.dtsi
  740. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2709.dtsi 1970-01-01 01:00:00.000000000 +0100
  741. +++ linux-rpi/arch/arm/boot/dts/bcm2709.dtsi 2015-11-29 09:42:34.571454018 +0100
  742. @@ -0,0 +1,76 @@
  743. +/include/ "bcm2708_common.dtsi"
  744. +
  745. +/ {
  746. + compatible = "brcm,bcm2709";
  747. + model = "BCM2709";
  748. +
  749. + chosen {
  750. + /* No padding required - the boot loader can do that. */
  751. + bootargs = "";
  752. + };
  753. +
  754. + soc {
  755. + ranges = <0x7e000000 0x3f000000 0x01000000>;
  756. +
  757. + arm-pmu {
  758. + compatible = "arm,cortex-a7-pmu";
  759. + interrupts = <3 9>;
  760. + };
  761. +
  762. + gpiomem {
  763. + compatible = "brcm,bcm2835-gpiomem";
  764. + reg = <0x7e200000 0x1000>;
  765. + status = "okay";
  766. + };
  767. + };
  768. +
  769. + timer {
  770. + compatible = "arm,armv7-timer";
  771. + clock-frequency = <19200000>;
  772. + interrupts = <3 0>, // PHYS_SECURE_PPI
  773. + <3 1>, // PHYS_NONSECURE_PPI
  774. + <3 3>, // VIRT_PPI
  775. + <3 2>; // HYP_PPI
  776. + always-on;
  777. + };
  778. +
  779. + cpus: cpus {
  780. + #address-cells = <1>;
  781. + #size-cells = <0>;
  782. +
  783. + v7_cpu0: cpu@0 {
  784. + device_type = "cpu";
  785. + compatible = "arm,cortex-a7";
  786. + reg = <0xf00>;
  787. + clock-frequency = <800000000>;
  788. + };
  789. +
  790. + v7_cpu1: cpu@1 {
  791. + device_type = "cpu";
  792. + compatible = "arm,cortex-a7";
  793. + reg = <0xf01>;
  794. + clock-frequency = <800000000>;
  795. + };
  796. +
  797. + v7_cpu2: cpu@2 {
  798. + device_type = "cpu";
  799. + compatible = "arm,cortex-a7";
  800. + reg = <0xf02>;
  801. + clock-frequency = <800000000>;
  802. + };
  803. +
  804. + v7_cpu3: cpu@3 {
  805. + device_type = "cpu";
  806. + compatible = "arm,cortex-a7";
  807. + reg = <0xf03>;
  808. + clock-frequency = <800000000>;
  809. + };
  810. + };
  811. +
  812. + __overrides__ {
  813. + arm_freq = <&v7_cpu0>, "clock-frequency:0",
  814. + <&v7_cpu1>, "clock-frequency:0",
  815. + <&v7_cpu2>, "clock-frequency:0",
  816. + <&v7_cpu3>, "clock-frequency:0";
  817. + };
  818. +};
  819. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2709-rpi-2-b.dts linux-rpi/arch/arm/boot/dts/bcm2709-rpi-2-b.dts
  820. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2709-rpi-2-b.dts 1970-01-01 01:00:00.000000000 +0100
  821. +++ linux-rpi/arch/arm/boot/dts/bcm2709-rpi-2-b.dts 2015-11-29 09:42:34.571454018 +0100
  822. @@ -0,0 +1,128 @@
  823. +/dts-v1/;
  824. +
  825. +/include/ "bcm2709.dtsi"
  826. +
  827. +/ {
  828. + compatible = "brcm,bcm2709";
  829. + model = "Raspberry Pi 2 Model B";
  830. +};
  831. +
  832. +&gpio {
  833. + spi0_pins: spi0_pins {
  834. + brcm,pins = <7 8 9 10 11>;
  835. + brcm,function = <4>; /* alt0 */
  836. + };
  837. +
  838. + i2c0_pins: i2c0 {
  839. + brcm,pins = <0 1>;
  840. + brcm,function = <4>;
  841. + };
  842. +
  843. + i2c1_pins: i2c1 {
  844. + brcm,pins = <2 3>;
  845. + brcm,function = <4>;
  846. + };
  847. +
  848. + i2s_pins: i2s {
  849. + brcm,pins = <18 19 20 21>;
  850. + brcm,function = <4>; /* alt0 */
  851. + };
  852. +};
  853. +
  854. +&mmc {
  855. + status = "okay";
  856. + bus-width = <4>;
  857. +};
  858. +
  859. +&fb {
  860. + status = "okay";
  861. +};
  862. +
  863. +&uart0 {
  864. + status = "okay";
  865. +};
  866. +
  867. +&spi0 {
  868. + pinctrl-names = "default";
  869. + pinctrl-0 = <&spi0_pins>;
  870. +
  871. + spidev@0{
  872. + compatible = "spidev";
  873. + reg = <0>; /* CE0 */
  874. + #address-cells = <1>;
  875. + #size-cells = <0>;
  876. + spi-max-frequency = <500000>;
  877. + };
  878. +
  879. + spidev@1{
  880. + compatible = "spidev";
  881. + reg = <1>; /* CE1 */
  882. + #address-cells = <1>;
  883. + #size-cells = <0>;
  884. + spi-max-frequency = <500000>;
  885. + };
  886. +};
  887. +
  888. +&i2c0 {
  889. + pinctrl-names = "default";
  890. + pinctrl-0 = <&i2c0_pins>;
  891. + clock-frequency = <100000>;
  892. +};
  893. +
  894. +&i2c1 {
  895. + pinctrl-names = "default";
  896. + pinctrl-0 = <&i2c1_pins>;
  897. + clock-frequency = <100000>;
  898. +};
  899. +
  900. +&i2c2 {
  901. + clock-frequency = <100000>;
  902. +};
  903. +
  904. +&i2s {
  905. + #sound-dai-cells = <0>;
  906. + pinctrl-names = "default";
  907. + pinctrl-0 = <&i2s_pins>;
  908. +};
  909. +
  910. +&leds {
  911. + act_led: act {
  912. + label = "led0";
  913. + linux,default-trigger = "mmc0";
  914. + gpios = <&gpio 47 0>;
  915. + };
  916. +
  917. + pwr_led: pwr {
  918. + label = "led1";
  919. + linux,default-trigger = "input";
  920. + gpios = <&gpio 35 0>;
  921. + };
  922. +};
  923. +
  924. +/ {
  925. + __overrides__ {
  926. + uart0 = <&uart0>,"status";
  927. + uart0_clkrate = <&clk_uart0>,"clock-frequency:0";
  928. + i2s = <&i2s>,"status";
  929. + spi = <&spi0>,"status";
  930. + i2c0 = <&i2c0>,"status";
  931. + i2c1 = <&i2c1>,"status";
  932. + i2c2_iknowwhatimdoing = <&i2c2>,"status";
  933. + i2c0_baudrate = <&i2c0>,"clock-frequency:0";
  934. + i2c1_baudrate = <&i2c1>,"clock-frequency:0";
  935. + i2c2_baudrate = <&i2c2>,"clock-frequency:0";
  936. + core_freq = <&clk_core>,"clock-frequency:0";
  937. +
  938. + act_led_gpio = <&act_led>,"gpios:4";
  939. + act_led_activelow = <&act_led>,"gpios:8";
  940. + act_led_trigger = <&act_led>,"linux,default-trigger";
  941. +
  942. + pwr_led_gpio = <&pwr_led>,"gpios:4";
  943. + pwr_led_activelow = <&pwr_led>,"gpios:8";
  944. + pwr_led_trigger = <&pwr_led>,"linux,default-trigger";
  945. +
  946. + audio = <&audio>,"status";
  947. + watchdog = <&watchdog>,"status";
  948. + random = <&random>,"status";
  949. + };
  950. +};
  951. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2835.dtsi linux-rpi/arch/arm/boot/dts/bcm2835.dtsi
  952. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2835.dtsi 2015-11-09 23:34:10.000000000 +0100
  953. +++ linux-rpi/arch/arm/boot/dts/bcm2835.dtsi 2015-11-29 09:42:34.571454018 +0100
  954. @@ -6,14 +6,15 @@
  955. interrupt-parent = <&intc>;
  956. chosen {
  957. - bootargs = "earlyprintk console=ttyAMA0";
  958. + bootargs = "";
  959. };
  960. - soc {
  961. + soc: soc {
  962. compatible = "simple-bus";
  963. #address-cells = <1>;
  964. #size-cells = <1>;
  965. ranges = <0x7e000000 0x20000000 0x02000000>;
  966. + dma-ranges = <0x40000000 0x00000000 0x20000000>;
  967. timer@7e003000 {
  968. compatible = "brcm,bcm2835-system-timer";
  969. @@ -50,16 +51,23 @@
  970. #interrupt-cells = <2>;
  971. };
  972. - watchdog@7e100000 {
  973. + watchdog: watchdog@7e100000 {
  974. compatible = "brcm,bcm2835-pm-wdt";
  975. reg = <0x7e100000 0x28>;
  976. };
  977. - rng@7e104000 {
  978. + random: rng@7e104000 {
  979. compatible = "brcm,bcm2835-rng";
  980. reg = <0x7e104000 0x10>;
  981. };
  982. + mailbox: mailbox@7e00b800 {
  983. + compatible = "brcm,bcm2835-mbox";
  984. + reg = <0x7e00b880 0x40>;
  985. + interrupts = <0 1>;
  986. + #mbox-cells = <0>;
  987. + };
  988. +
  989. gpio: gpio@7e200000 {
  990. compatible = "brcm,bcm2835-gpio";
  991. reg = <0x7e200000 0xb4>;
  992. @@ -83,7 +91,7 @@
  993. #interrupt-cells = <2>;
  994. };
  995. - uart@7e201000 {
  996. + uart0: uart@7e201000 {
  997. compatible = "brcm,bcm2835-pl011", "arm,pl011", "arm,primecell";
  998. reg = <0x7e201000 0x1000>;
  999. interrupts = <2 25>;
  1000. @@ -93,8 +101,8 @@
  1001. i2s: i2s@7e203000 {
  1002. compatible = "brcm,bcm2835-i2s";
  1003. - reg = <0x7e203000 0x20>,
  1004. - <0x7e101098 0x02>;
  1005. + reg = <0x7e203000 0x24>,
  1006. + <0x7e101098 0x08>;
  1007. dmas = <&dma 2>,
  1008. <&dma 3>;
  1009. @@ -102,7 +110,7 @@
  1010. status = "disabled";
  1011. };
  1012. - spi: spi@7e204000 {
  1013. + spi0: spi@7e204000 {
  1014. compatible = "brcm,bcm2835-spi";
  1015. reg = <0x7e204000 0x1000>;
  1016. interrupts = <2 22>;
  1017. @@ -122,11 +130,14 @@
  1018. status = "disabled";
  1019. };
  1020. - sdhci: sdhci@7e300000 {
  1021. - compatible = "brcm,bcm2835-sdhci";
  1022. + mmc: mmc@7e300000 {
  1023. + compatible = "brcm,bcm2835-mmc";
  1024. reg = <0x7e300000 0x100>;
  1025. interrupts = <2 30>;
  1026. clocks = <&clk_mmc>;
  1027. + dmas = <&dma 11>,
  1028. + <&dma 11>;
  1029. + dma-names = "tx", "rx";
  1030. status = "disabled";
  1031. };
  1032. @@ -140,10 +151,12 @@
  1033. status = "disabled";
  1034. };
  1035. - usb@7e980000 {
  1036. - compatible = "brcm,bcm2835-usb";
  1037. - reg = <0x7e980000 0x10000>;
  1038. - interrupts = <1 9>;
  1039. + usb: usb@7e980000 {
  1040. + compatible = "brcm,bcm2708-usb";
  1041. + reg = <0x7e980000 0x10000>,
  1042. + <0x7e006000 0x1000>;
  1043. + interrupts = <2 0>,
  1044. + <1 9>;
  1045. };
  1046. arm-pmu {
  1047. @@ -161,7 +174,7 @@
  1048. reg = <0>;
  1049. #clock-cells = <0>;
  1050. clock-output-names = "mmc";
  1051. - clock-frequency = <100000000>;
  1052. + clock-frequency = <250000000>;
  1053. };
  1054. clk_i2c: clock@1 {
  1055. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi-b.dts linux-rpi/arch/arm/boot/dts/bcm2835-rpi-b.dts
  1056. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi-b.dts 2015-11-09 23:34:10.000000000 +0100
  1057. +++ linux-rpi/arch/arm/boot/dts/bcm2835-rpi-b.dts 2015-11-29 09:42:34.571454018 +0100
  1058. @@ -5,19 +5,28 @@
  1059. compatible = "raspberrypi,model-b", "brcm,bcm2835";
  1060. model = "Raspberry Pi Model B";
  1061. - leds {
  1062. - act {
  1063. - gpios = <&gpio 16 1>;
  1064. - };
  1065. - };
  1066. };
  1067. &gpio {
  1068. - pinctrl-0 = <&gpioout &alt0 &i2s_alt2 &alt3>;
  1069. -
  1070. - /* I2S interface */
  1071. - i2s_alt2: i2s_alt2 {
  1072. + i2s_pins: i2s {
  1073. brcm,pins = <28 29 30 31>;
  1074. - brcm,function = <6>; /* alt2 */
  1075. + brcm,function = <4>; /* alt0 */
  1076. + };
  1077. +};
  1078. +
  1079. +&i2s {
  1080. + #sound-dai-cells = <0>;
  1081. + pinctrl-names = "default";
  1082. + pinctrl-0 = <&i2s_pins>;
  1083. +};
  1084. +
  1085. +&act_led {
  1086. + gpios = <&gpio 16 1>;
  1087. +};
  1088. +
  1089. +/ {
  1090. + __overrides__ {
  1091. + act_led_gpio = <&act_led>,"gpios:4";
  1092. + act_led_activelow = <&act_led>,"gpios:8";
  1093. };
  1094. };
  1095. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi-b-plus.dts linux-rpi/arch/arm/boot/dts/bcm2835-rpi-b-plus.dts
  1096. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi-b-plus.dts 2015-11-09 23:34:10.000000000 +0100
  1097. +++ linux-rpi/arch/arm/boot/dts/bcm2835-rpi-b-plus.dts 2015-11-29 09:42:34.571454018 +0100
  1098. @@ -4,27 +4,40 @@
  1099. / {
  1100. compatible = "raspberrypi,model-b-plus", "brcm,bcm2835";
  1101. model = "Raspberry Pi Model B+";
  1102. -
  1103. - leds {
  1104. - act {
  1105. - gpios = <&gpio 47 0>;
  1106. - };
  1107. -
  1108. - pwr {
  1109. - label = "PWR";
  1110. - gpios = <&gpio 35 0>;
  1111. - default-state = "keep";
  1112. - linux,default-trigger = "default-on";
  1113. - };
  1114. - };
  1115. };
  1116. &gpio {
  1117. - pinctrl-0 = <&gpioout &alt0 &i2s_alt0 &alt3>;
  1118. -
  1119. - /* I2S interface */
  1120. - i2s_alt0: i2s_alt0 {
  1121. + i2s_pins: i2s {
  1122. brcm,pins = <18 19 20 21>;
  1123. brcm,function = <4>; /* alt0 */
  1124. };
  1125. };
  1126. +
  1127. +&i2s {
  1128. + #sound-dai-cells = <0>;
  1129. + pinctrl-names = "default";
  1130. + pinctrl-0 = <&i2s_pins>;
  1131. +};
  1132. +
  1133. +&act_led {
  1134. + gpios = <&gpio 47 0>;
  1135. +};
  1136. +
  1137. +&leds {
  1138. + pwr_led: pwr {
  1139. + label = "led1";
  1140. + linux,default-trigger = "input";
  1141. + gpios = <&gpio 35 0>;
  1142. + };
  1143. +};
  1144. +
  1145. +/ {
  1146. + __overrides__ {
  1147. + act_led_gpio = <&act_led>,"gpios:4";
  1148. + act_led_activelow = <&act_led>,"gpios:8";
  1149. +
  1150. + pwr_led_gpio = <&pwr_led>,"gpios:4";
  1151. + pwr_led_activelow = <&pwr_led>,"gpios:8";
  1152. + pwr_led_trigger = <&pwr_led>,"linux,default-trigger";
  1153. + };
  1154. +};
  1155. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi.dtsi linux-rpi/arch/arm/boot/dts/bcm2835-rpi.dtsi
  1156. --- linux-4.1.13.orig/arch/arm/boot/dts/bcm2835-rpi.dtsi 2015-11-09 23:34:10.000000000 +0100
  1157. +++ linux-rpi/arch/arm/boot/dts/bcm2835-rpi.dtsi 2015-11-29 09:42:34.571454018 +0100
  1158. @@ -1,51 +1,133 @@
  1159. /include/ "bcm2835.dtsi"
  1160. / {
  1161. + /* This is left here in case u-boot needs it */
  1162. memory {
  1163. reg = <0 0x10000000>;
  1164. };
  1165. - leds {
  1166. + aliases {
  1167. + soc = &soc;
  1168. + spi0 = &spi0;
  1169. + i2c0 = &i2c0;
  1170. + i2c1 = &i2c1;
  1171. + i2s = &i2s;
  1172. + gpio = &gpio;
  1173. + intc = &intc;
  1174. + leds = &leds;
  1175. + sound = &sound;
  1176. + };
  1177. +
  1178. + leds: leds {
  1179. compatible = "gpio-leds";
  1180. - act {
  1181. - label = "ACT";
  1182. - default-state = "keep";
  1183. - linux,default-trigger = "heartbeat";
  1184. + act_led: act {
  1185. + label = "led0";
  1186. + linux,default-trigger = "mmc0";
  1187. + };
  1188. + };
  1189. +
  1190. + soc {
  1191. + firmware: firmware {
  1192. + compatible = "raspberrypi,bcm2835-firmware";
  1193. + mboxes = <&mailbox>;
  1194. + };
  1195. +
  1196. + fb: fb {
  1197. + compatible = "brcm,bcm2708-fb";
  1198. + firmware = <&firmware>;
  1199. + };
  1200. +
  1201. + thermal: thermal {
  1202. + compatible = "brcm,bcm2835-thermal";
  1203. + firmware = <&firmware>;
  1204. + };
  1205. +
  1206. + vchiq: vchiq {
  1207. + compatible = "brcm,bcm2835-vchiq";
  1208. + reg = <0x7e00b840 0xf>;
  1209. + interrupts = <0 2>;
  1210. + cache-line-size = <32>;
  1211. + firmware = <&firmware>;
  1212. };
  1213. };
  1214. +
  1215. + /* Onboard audio */
  1216. + audio: audio {
  1217. + compatible = "brcm,bcm2835-audio";
  1218. + brcm,pwm-channels = <8>;
  1219. + status = "disabled";
  1220. + };
  1221. +
  1222. + /* External sound card */
  1223. + sound: sound {
  1224. + };
  1225. };
  1226. &gpio {
  1227. - pinctrl-names = "default";
  1228. + spi0_pins: spi0_pins {
  1229. + brcm,pins = <7 8 9 10 11>;
  1230. + brcm,function = <4>; /* alt0 */
  1231. + };
  1232. - gpioout: gpioout {
  1233. - brcm,pins = <6>;
  1234. - brcm,function = <1>; /* GPIO out */
  1235. + i2c0_pins: i2c0 {
  1236. + brcm,pins = <0 1>;
  1237. + brcm,function = <4>;
  1238. };
  1239. - alt0: alt0 {
  1240. - brcm,pins = <0 1 2 3 4 5 7 8 9 10 11 14 15 40 45>;
  1241. - brcm,function = <4>; /* alt0 */
  1242. + i2c1_pins: i2c1 {
  1243. + brcm,pins = <2 3>;
  1244. + brcm,function = <4>;
  1245. + };
  1246. +};
  1247. +
  1248. +&spi0 {
  1249. + pinctrl-names = "default";
  1250. + pinctrl-0 = <&spi0_pins>;
  1251. +
  1252. + spidev@0{
  1253. + compatible = "spidev";
  1254. + reg = <0>; /* CE0 */
  1255. + #address-cells = <1>;
  1256. + #size-cells = <0>;
  1257. + spi-max-frequency = <500000>;
  1258. };
  1259. - alt3: alt3 {
  1260. - brcm,pins = <48 49 50 51 52 53>;
  1261. - brcm,function = <7>; /* alt3 */
  1262. + spidev@1{
  1263. + compatible = "spidev";
  1264. + reg = <1>; /* CE1 */
  1265. + #address-cells = <1>;
  1266. + #size-cells = <0>;
  1267. + spi-max-frequency = <500000>;
  1268. };
  1269. };
  1270. &i2c0 {
  1271. - status = "okay";
  1272. + pinctrl-names = "default";
  1273. + pinctrl-0 = <&i2c0_pins>;
  1274. clock-frequency = <100000>;
  1275. };
  1276. &i2c1 {
  1277. - status = "okay";
  1278. + pinctrl-names = "default";
  1279. + pinctrl-0 = <&i2c1_pins>;
  1280. clock-frequency = <100000>;
  1281. };
  1282. -&sdhci {
  1283. +&mmc {
  1284. status = "okay";
  1285. bus-width = <4>;
  1286. };
  1287. +
  1288. +/ {
  1289. + __overrides__ {
  1290. + i2s = <&i2s>,"status";
  1291. + spi = <&spi0>,"status";
  1292. + i2c0 = <&i2c0>,"status";
  1293. + i2c1 = <&i2c1>,"status";
  1294. + i2c0_baudrate = <&i2c0>,"clock-frequency:0";
  1295. + i2c1_baudrate = <&i2c1>,"clock-frequency:0";
  1296. + act_led_trigger = <&act_led>,"linux,default-trigger";
  1297. + audio = <&audio>,"status";
  1298. + };
  1299. +};
  1300. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/Makefile linux-rpi/arch/arm/boot/dts/Makefile
  1301. --- linux-4.1.13.orig/arch/arm/boot/dts/Makefile 2015-11-09 23:34:10.000000000 +0100
  1302. +++ linux-rpi/arch/arm/boot/dts/Makefile 2015-11-29 09:42:34.559454815 +0100
  1303. @@ -1,5 +1,24 @@
  1304. ifeq ($(CONFIG_OF),y)
  1305. +dtb-$(CONFIG_BCM2708_DT) += bcm2708-rpi-b.dtb
  1306. +dtb-$(CONFIG_BCM2708_DT) += bcm2708-rpi-b-plus.dtb
  1307. +dtb-$(CONFIG_BCM2708_DT) += bcm2708-rpi-cm.dtb
  1308. +dtb-$(CONFIG_BCM2709_DT) += bcm2709-rpi-2-b.dtb
  1309. +
  1310. +# Raspberry Pi
  1311. +ifeq ($(CONFIG_BCM2708_DT),y)
  1312. + RPI_DT_OVERLAYS=y
  1313. +endif
  1314. +ifeq ($(CONFIG_BCM2709_DT),y)
  1315. + RPI_DT_OVERLAYS=y
  1316. +endif
  1317. +ifeq ($(CONFIG_ARCH_BCM2835),y)
  1318. + RPI_DT_OVERLAYS=y
  1319. +endif
  1320. +ifeq ($(RPI_DT_OVERLAYS),y)
  1321. + dts-dirs += overlays
  1322. +endif
  1323. +
  1324. dtb-$(CONFIG_ARCH_ALPINE) += \
  1325. alpine-db.dtb
  1326. dtb-$(CONFIG_MACH_ASM9260) += \
  1327. @@ -660,7 +679,17 @@
  1328. mt6592-evb.dtb \
  1329. mt8127-moose.dtb \
  1330. mt8135-evbp1.dtb
  1331. +
  1332. +targets += dtbs dtbs_install
  1333. +targets += $(dtb-y)
  1334. +
  1335. endif
  1336. always := $(dtb-y)
  1337. +subdir-y := $(dts-dirs)
  1338. clean-files := *.dtb
  1339. +
  1340. +# Enable fixups to support overlays on BCM2708 platforms
  1341. +ifeq ($(RPI_DT_OVERLAYS),y)
  1342. + DTC_FLAGS ?= -@
  1343. +endif
  1344. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/ads7846-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/ads7846-overlay.dts
  1345. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/ads7846-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1346. +++ linux-rpi/arch/arm/boot/dts/overlays/ads7846-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1347. @@ -0,0 +1,83 @@
  1348. +/*
  1349. + * Generic Device Tree overlay for the ADS7846 touch controller
  1350. + *
  1351. + */
  1352. +
  1353. +/dts-v1/;
  1354. +/plugin/;
  1355. +
  1356. +/ {
  1357. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  1358. +
  1359. + fragment@0 {
  1360. + target = <&spi0>;
  1361. + __overlay__ {
  1362. + status = "okay";
  1363. +
  1364. + spidev@0{
  1365. + status = "disabled";
  1366. + };
  1367. +
  1368. + spidev@1{
  1369. + status = "disabled";
  1370. + };
  1371. + };
  1372. + };
  1373. +
  1374. + fragment@1 {
  1375. + target = <&gpio>;
  1376. + __overlay__ {
  1377. + ads7846_pins: ads7846_pins {
  1378. + brcm,pins = <255>; /* illegal default value */
  1379. + brcm,function = <0>; /* in */
  1380. + brcm,pull = <0>; /* none */
  1381. + };
  1382. + };
  1383. + };
  1384. +
  1385. + fragment@2 {
  1386. + target = <&spi0>;
  1387. + __overlay__ {
  1388. + /* needed to avoid dtc warning */
  1389. + #address-cells = <1>;
  1390. + #size-cells = <0>;
  1391. +
  1392. + ads7846: ads7846@1 {
  1393. + compatible = "ti,ads7846";
  1394. + reg = <1>;
  1395. + pinctrl-names = "default";
  1396. + pinctrl-0 = <&ads7846_pins>;
  1397. +
  1398. + spi-max-frequency = <2000000>;
  1399. + interrupts = <255 2>; /* high-to-low edge triggered */
  1400. + interrupt-parent = <&gpio>;
  1401. + pendown-gpio = <&gpio 255 0>;
  1402. +
  1403. + /* driver defaults */
  1404. + ti,x-min = /bits/ 16 <0>;
  1405. + ti,y-min = /bits/ 16 <0>;
  1406. + ti,x-max = /bits/ 16 <0x0FFF>;
  1407. + ti,y-max = /bits/ 16 <0x0FFF>;
  1408. + ti,pressure-min = /bits/ 16 <0>;
  1409. + ti,pressure-max = /bits/ 16 <0xFFFF>;
  1410. + ti,x-plate-ohms = /bits/ 16 <400>;
  1411. + };
  1412. + };
  1413. + };
  1414. + __overrides__ {
  1415. + cs = <&ads7846>,"reg:0";
  1416. + speed = <&ads7846>,"spi-max-frequency:0";
  1417. + penirq = <&ads7846_pins>,"brcm,pins:0", /* REQUIRED */
  1418. + <&ads7846>,"interrupts:0",
  1419. + <&ads7846>,"pendown-gpio:4";
  1420. + penirq_pull = <&ads7846_pins>,"brcm,pull:0";
  1421. + swapxy = <&ads7846>,"ti,swap-xy?";
  1422. + xmin = <&ads7846>,"ti,x-min;0";
  1423. + ymin = <&ads7846>,"ti,y-min;0";
  1424. + xmax = <&ads7846>,"ti,x-max;0";
  1425. + ymax = <&ads7846>,"ti,y-max;0";
  1426. + pmin = <&ads7846>,"ti,pressure-min;0";
  1427. + pmax = <&ads7846>,"ti,pressure-max;0";
  1428. + xohms = <&ads7846>,"ti,x-plate-ohms;0";
  1429. + };
  1430. +};
  1431. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/at86rf233-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/at86rf233-overlay.dts
  1432. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/at86rf233-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1433. +++ linux-rpi/arch/arm/boot/dts/overlays/at86rf233-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1434. @@ -0,0 +1,54 @@
  1435. +/dts-v1/;
  1436. +/plugin/;
  1437. +
  1438. +/* Overlay for Atmel AT86RF233 IEEE 802.15.4 WPAN transceiver on spi0.0 */
  1439. +
  1440. +/ {
  1441. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  1442. +
  1443. + fragment@0 {
  1444. + target = <&spi0>;
  1445. + __overlay__ {
  1446. + #address-cells = <1>;
  1447. + #size-cells = <0>;
  1448. +
  1449. + status = "okay";
  1450. +
  1451. + spidev@0{
  1452. + status = "disabled";
  1453. + };
  1454. +
  1455. + lowpan0: at86rf233@0 {
  1456. + compatible = "atmel,at86rf233";
  1457. + reg = <0>;
  1458. + interrupt-parent = <&gpio>;
  1459. + interrupts = <23 4>; /* active high */
  1460. + reset-gpio = <&gpio 24 1>;
  1461. + sleep-gpio = <&gpio 25 1>;
  1462. + spi-max-frequency = <6000000>;
  1463. + xtal-trim = /bits/ 8 <0xf>;
  1464. + };
  1465. + };
  1466. + };
  1467. +
  1468. + fragment@1 {
  1469. + target = <&gpio>;
  1470. + __overlay__ {
  1471. + lowpan0_pins: lowpan0_pins {
  1472. + brcm,pins = <23 24 25>;
  1473. + brcm,function = <0 1 1>; /* in out out */
  1474. + };
  1475. + };
  1476. + };
  1477. +
  1478. + __overrides__ {
  1479. + interrupt = <&lowpan0>, "interrupts:0",
  1480. + <&lowpan0_pins>, "brcm,pins:0";
  1481. + reset = <&lowpan0>, "reset-gpio:4",
  1482. + <&lowpan0_pins>, "brcm,pins:4";
  1483. + sleep = <&lowpan0>, "sleep-gpio:4",
  1484. + <&lowpan0_pins>, "brcm,pins:8";
  1485. + speed = <&lowpan0>, "spi-max-frequency:0";
  1486. + trim = <&lowpan0>, "xtal-trim.0";
  1487. + };
  1488. +};
  1489. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/bmp085_i2c-sensor-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/bmp085_i2c-sensor-overlay.dts
  1490. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/bmp085_i2c-sensor-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1491. +++ linux-rpi/arch/arm/boot/dts/overlays/bmp085_i2c-sensor-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1492. @@ -0,0 +1,23 @@
  1493. +// Definitions for BMP085/BMP180 digital barometric pressure and temperature sensors from Bosch Sensortec
  1494. +/dts-v1/;
  1495. +/plugin/;
  1496. +
  1497. +/ {
  1498. + compatible = "brcm,bcm2708";
  1499. +
  1500. + fragment@0 {
  1501. + target = <&i2c_arm>;
  1502. + __overlay__ {
  1503. + #address-cells = <1>;
  1504. + #size-cells = <0>;
  1505. + status = "okay";
  1506. +
  1507. + bmp085@77 {
  1508. + compatible = "bosch,bmp085";
  1509. + reg = <0x77>;
  1510. + default-oversampling = <3>;
  1511. + status = "okay";
  1512. + };
  1513. + };
  1514. + };
  1515. +};
  1516. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/dht11-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/dht11-overlay.dts
  1517. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/dht11-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1518. +++ linux-rpi/arch/arm/boot/dts/overlays/dht11-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1519. @@ -0,0 +1,39 @@
  1520. +/*
  1521. + * Overlay for the DHT11/21/22 humidity/temperature sensor modules.
  1522. + */
  1523. +/dts-v1/;
  1524. +/plugin/;
  1525. +
  1526. +/ {
  1527. + compatible = "brcm,bcm2708";
  1528. +
  1529. + fragment@0 {
  1530. + target-path = "/";
  1531. + __overlay__ {
  1532. +
  1533. + dht11: dht11@0 {
  1534. + compatible = "dht11";
  1535. + pinctrl-names = "default";
  1536. + pinctrl-0 = <&dht11_pins>;
  1537. + gpios = <&gpio 4 0>;
  1538. + status = "okay";
  1539. + };
  1540. + };
  1541. + };
  1542. +
  1543. + fragment@1 {
  1544. + target = <&gpio>;
  1545. + __overlay__ {
  1546. + dht11_pins: dht11_pins {
  1547. + brcm,pins = <4>;
  1548. + brcm,function = <0>; // in
  1549. + brcm,pull = <0>; // off
  1550. + };
  1551. + };
  1552. + };
  1553. +
  1554. + __overrides__ {
  1555. + gpiopin = <&dht11_pins>,"brcm,pins:0",
  1556. + <&dht11>,"gpios:4";
  1557. + };
  1558. +};
  1559. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/enc28j60-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/enc28j60-overlay.dts
  1560. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/enc28j60-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1561. +++ linux-rpi/arch/arm/boot/dts/overlays/enc28j60-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1562. @@ -0,0 +1,50 @@
  1563. +// Overlay for the Microchip ENC28J60 Ethernet Controller
  1564. +/dts-v1/;
  1565. +/plugin/;
  1566. +
  1567. +/ {
  1568. + compatible = "brcm,bcm2708";
  1569. +
  1570. + fragment@0 {
  1571. + target = <&spi0>;
  1572. + __overlay__ {
  1573. + /* needed to avoid dtc warning */
  1574. + #address-cells = <1>;
  1575. + #size-cells = <0>;
  1576. +
  1577. + status = "okay";
  1578. +
  1579. + spidev@0{
  1580. + status = "disabled";
  1581. + };
  1582. +
  1583. + eth1: enc28j60@0{
  1584. + compatible = "microchip,enc28j60";
  1585. + reg = <0>; /* CE0 */
  1586. + pinctrl-names = "default";
  1587. + pinctrl-0 = <&eth1_pins>;
  1588. + interrupt-parent = <&gpio>;
  1589. + interrupts = <25 0x2>; /* falling edge */
  1590. + spi-max-frequency = <12000000>;
  1591. + status = "okay";
  1592. + };
  1593. + };
  1594. + };
  1595. +
  1596. + fragment@1 {
  1597. + target = <&gpio>;
  1598. + __overlay__ {
  1599. + eth1_pins: eth1_pins {
  1600. + brcm,pins = <25>;
  1601. + brcm,function = <0>; /* in */
  1602. + brcm,pull = <0>; /* none */
  1603. + };
  1604. + };
  1605. + };
  1606. +
  1607. + __overrides__ {
  1608. + int_pin = <&eth1>, "interrupts:0",
  1609. + <&eth1_pins>, "brcm,pins:0";
  1610. + speed = <&eth1>, "spi-max-frequency:0";
  1611. + };
  1612. +};
  1613. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/gpio-ir-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/gpio-ir-overlay.dts
  1614. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/gpio-ir-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1615. +++ linux-rpi/arch/arm/boot/dts/overlays/gpio-ir-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1616. @@ -0,0 +1,45 @@
  1617. +// Definitions for ir-gpio module
  1618. +/dts-v1/;
  1619. +/plugin/;
  1620. +
  1621. +/ {
  1622. + compatible = "brcm,bcm2708";
  1623. +
  1624. + fragment@0 {
  1625. + target-path = "/";
  1626. + __overlay__ {
  1627. + gpio_ir: ir-receiver {
  1628. + compatible = "gpio-ir-receiver";
  1629. +
  1630. + // pin number, high or low
  1631. + gpios = <&gpio 18 1>;
  1632. +
  1633. + // parameter for keymap name
  1634. + linux,rc-map-name = "rc-rc6-mce";
  1635. +
  1636. + status = "okay";
  1637. + };
  1638. + };
  1639. + };
  1640. +
  1641. + fragment@1 {
  1642. + target = <&gpio>;
  1643. + __overlay__ {
  1644. + gpio_ir_pins: gpio_ir_pins {
  1645. + brcm,pins = <18>; // pin 18
  1646. + brcm,function = <0>; // in
  1647. + brcm,pull = <1>; // down
  1648. + };
  1649. + };
  1650. + };
  1651. +
  1652. + __overrides__ {
  1653. + // parameters
  1654. + gpio_pin = <&gpio_ir>,"gpios:4",
  1655. + <&gpio_ir_pins>,"brcm,pins:0",
  1656. + <&gpio_ir_pins>,"brcm,pull:0"; // pin number
  1657. + gpio_pull = <&gpio_ir_pins>,"brcm,pull:0"; // pull-up/down state
  1658. +
  1659. + rc-map-name = <&gpio_ir>,"linux,rc-map-name"; // default rc map
  1660. + };
  1661. +};
  1662. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/gpio-poweroff-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/gpio-poweroff-overlay.dts
  1663. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/gpio-poweroff-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1664. +++ linux-rpi/arch/arm/boot/dts/overlays/gpio-poweroff-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1665. @@ -0,0 +1,34 @@
  1666. +// Definitions for gpio-poweroff module
  1667. +/dts-v1/;
  1668. +/plugin/;
  1669. +
  1670. +/ {
  1671. + compatible = "brcm,bcm2708";
  1672. +
  1673. + fragment@0 {
  1674. + target-path = "/";
  1675. + __overlay__ {
  1676. + power_ctrl: power_ctrl {
  1677. + compatible = "gpio-poweroff";
  1678. + gpios = <&gpio 26 0>;
  1679. + force;
  1680. + };
  1681. + };
  1682. + };
  1683. +
  1684. + fragment@1 {
  1685. + target = <&gpio>;
  1686. + __overlay__ {
  1687. + power_ctrl_pins: power_ctrl_pins {
  1688. + brcm,pins = <26>;
  1689. + brcm,function = <1>; // out
  1690. + };
  1691. + };
  1692. + };
  1693. +
  1694. + __overrides__ {
  1695. + gpiopin = <&power_ctrl>,"gpios:4",
  1696. + <&power_ctrl_pins>,"brcm,pins:0";
  1697. + active_low = <&power_ctrl>,"gpios:8";
  1698. + };
  1699. +};
  1700. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-amp-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hifiberry-amp-overlay.dts
  1701. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-amp-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1702. +++ linux-rpi/arch/arm/boot/dts/overlays/hifiberry-amp-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1703. @@ -0,0 +1,39 @@
  1704. +// Definitions for HiFiBerry Amp/Amp+
  1705. +/dts-v1/;
  1706. +/plugin/;
  1707. +
  1708. +/ {
  1709. + compatible = "brcm,bcm2708";
  1710. +
  1711. + fragment@0 {
  1712. + target = <&sound>;
  1713. + __overlay__ {
  1714. + compatible = "hifiberry,hifiberry-amp";
  1715. + i2s-controller = <&i2s>;
  1716. + status = "okay";
  1717. + };
  1718. + };
  1719. +
  1720. + fragment@1 {
  1721. + target = <&i2s>;
  1722. + __overlay__ {
  1723. + status = "okay";
  1724. + };
  1725. + };
  1726. +
  1727. + fragment@2 {
  1728. + target = <&i2c1>;
  1729. + __overlay__ {
  1730. + #address-cells = <1>;
  1731. + #size-cells = <0>;
  1732. + status = "okay";
  1733. +
  1734. + tas5713@1b {
  1735. + #sound-dai-cells = <0>;
  1736. + compatible = "ti,tas5713";
  1737. + reg = <0x1b>;
  1738. + status = "okay";
  1739. + };
  1740. + };
  1741. + };
  1742. +};
  1743. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-dac-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hifiberry-dac-overlay.dts
  1744. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-dac-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1745. +++ linux-rpi/arch/arm/boot/dts/overlays/hifiberry-dac-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1746. @@ -0,0 +1,34 @@
  1747. +// Definitions for HiFiBerry DAC
  1748. +/dts-v1/;
  1749. +/plugin/;
  1750. +
  1751. +/ {
  1752. + compatible = "brcm,bcm2708";
  1753. +
  1754. + fragment@0 {
  1755. + target = <&sound>;
  1756. + __overlay__ {
  1757. + compatible = "hifiberry,hifiberry-dac";
  1758. + i2s-controller = <&i2s>;
  1759. + status = "okay";
  1760. + };
  1761. + };
  1762. +
  1763. + fragment@1 {
  1764. + target = <&i2s>;
  1765. + __overlay__ {
  1766. + status = "okay";
  1767. + };
  1768. + };
  1769. +
  1770. + fragment@2 {
  1771. + target-path = "/";
  1772. + __overlay__ {
  1773. + pcm5102a-codec {
  1774. + #sound-dai-cells = <0>;
  1775. + compatible = "ti,pcm5102a";
  1776. + status = "okay";
  1777. + };
  1778. + };
  1779. + };
  1780. +};
  1781. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-dacplus-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hifiberry-dacplus-overlay.dts
  1782. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-dacplus-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1783. +++ linux-rpi/arch/arm/boot/dts/overlays/hifiberry-dacplus-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1784. @@ -0,0 +1,50 @@
  1785. +// Definitions for HiFiBerry DAC+
  1786. +/dts-v1/;
  1787. +/plugin/;
  1788. +
  1789. +/ {
  1790. + compatible = "brcm,bcm2708";
  1791. +
  1792. + fragment@0 {
  1793. + target-path = "/clocks";
  1794. + __overlay__ {
  1795. + dacpro_osc: dacpro_osc {
  1796. + compatible = "hifiberry,dacpro-clk";
  1797. + #clock-cells = <0>;
  1798. + };
  1799. + };
  1800. + };
  1801. +
  1802. + fragment@1 {
  1803. + target = <&sound>;
  1804. + __overlay__ {
  1805. + compatible = "hifiberry,hifiberry-dacplus";
  1806. + i2s-controller = <&i2s>;
  1807. + status = "okay";
  1808. + };
  1809. + };
  1810. +
  1811. + fragment@2 {
  1812. + target = <&i2s>;
  1813. + __overlay__ {
  1814. + status = "okay";
  1815. + };
  1816. + };
  1817. +
  1818. + fragment@3 {
  1819. + target = <&i2c1>;
  1820. + __overlay__ {
  1821. + #address-cells = <1>;
  1822. + #size-cells = <0>;
  1823. + status = "okay";
  1824. +
  1825. + pcm5122@4d {
  1826. + #sound-dai-cells = <0>;
  1827. + compatible = "ti,pcm5122";
  1828. + reg = <0x4d>;
  1829. + clocks = <&dacpro_osc>;
  1830. + status = "okay";
  1831. + };
  1832. + };
  1833. + };
  1834. +};
  1835. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-digi-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hifiberry-digi-overlay.dts
  1836. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hifiberry-digi-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1837. +++ linux-rpi/arch/arm/boot/dts/overlays/hifiberry-digi-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1838. @@ -0,0 +1,39 @@
  1839. +// Definitions for HiFiBerry Digi
  1840. +/dts-v1/;
  1841. +/plugin/;
  1842. +
  1843. +/ {
  1844. + compatible = "brcm,bcm2708";
  1845. +
  1846. + fragment@0 {
  1847. + target = <&sound>;
  1848. + __overlay__ {
  1849. + compatible = "hifiberry,hifiberry-digi";
  1850. + i2s-controller = <&i2s>;
  1851. + status = "okay";
  1852. + };
  1853. + };
  1854. +
  1855. + fragment@1 {
  1856. + target = <&i2s>;
  1857. + __overlay__ {
  1858. + status = "okay";
  1859. + };
  1860. + };
  1861. +
  1862. + fragment@2 {
  1863. + target = <&i2c1>;
  1864. + __overlay__ {
  1865. + #address-cells = <1>;
  1866. + #size-cells = <0>;
  1867. + status = "okay";
  1868. +
  1869. + wm8804@3b {
  1870. + #sound-dai-cells = <0>;
  1871. + compatible = "wlf,wm8804";
  1872. + reg = <0x3b>;
  1873. + status = "okay";
  1874. + };
  1875. + };
  1876. + };
  1877. +};
  1878. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hy28a-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hy28a-overlay.dts
  1879. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hy28a-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1880. +++ linux-rpi/arch/arm/boot/dts/overlays/hy28a-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1881. @@ -0,0 +1,87 @@
  1882. +/*
  1883. + * Device Tree overlay for HY28A display
  1884. + *
  1885. + */
  1886. +
  1887. +/dts-v1/;
  1888. +/plugin/;
  1889. +
  1890. +/ {
  1891. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  1892. +
  1893. + fragment@0 {
  1894. + target = <&spi0>;
  1895. + __overlay__ {
  1896. + status = "okay";
  1897. +
  1898. + spidev@0{
  1899. + status = "disabled";
  1900. + };
  1901. +
  1902. + spidev@1{
  1903. + status = "disabled";
  1904. + };
  1905. + };
  1906. + };
  1907. +
  1908. + fragment@1 {
  1909. + target = <&gpio>;
  1910. + __overlay__ {
  1911. + hy28a_pins: hy28a_pins {
  1912. + brcm,pins = <17 25 18>;
  1913. + brcm,function = <0 1 1>; /* in out out */
  1914. + };
  1915. + };
  1916. + };
  1917. +
  1918. + fragment@2 {
  1919. + target = <&spi0>;
  1920. + __overlay__ {
  1921. + /* needed to avoid dtc warning */
  1922. + #address-cells = <1>;
  1923. + #size-cells = <0>;
  1924. +
  1925. + hy28a: hy28a@0{
  1926. + compatible = "ilitek,ili9320";
  1927. + reg = <0>;
  1928. + pinctrl-names = "default";
  1929. + pinctrl-0 = <&hy28a_pins>;
  1930. +
  1931. + spi-max-frequency = <32000000>;
  1932. + spi-cpol;
  1933. + spi-cpha;
  1934. + rotate = <270>;
  1935. + bgr;
  1936. + fps = <50>;
  1937. + buswidth = <8>;
  1938. + startbyte = <0x70>;
  1939. + reset-gpios = <&gpio 25 0>;
  1940. + led-gpios = <&gpio 18 1>;
  1941. + debug = <0>;
  1942. + };
  1943. +
  1944. + hy28a_ts: hy28a-ts@1 {
  1945. + compatible = "ti,ads7846";
  1946. + reg = <1>;
  1947. +
  1948. + spi-max-frequency = <2000000>;
  1949. + interrupts = <17 2>; /* high-to-low edge triggered */
  1950. + interrupt-parent = <&gpio>;
  1951. + pendown-gpio = <&gpio 17 0>;
  1952. + ti,x-plate-ohms = /bits/ 16 <100>;
  1953. + ti,pressure-max = /bits/ 16 <255>;
  1954. + };
  1955. + };
  1956. + };
  1957. + __overrides__ {
  1958. + speed = <&hy28a>,"spi-max-frequency:0";
  1959. + rotate = <&hy28a>,"rotate:0";
  1960. + fps = <&hy28a>,"fps:0";
  1961. + debug = <&hy28a>,"debug:0";
  1962. + xohms = <&hy28a_ts>,"ti,x-plate-ohms;0";
  1963. + resetgpio = <&hy28a>,"reset-gpios:4",
  1964. + <&hy28a_pins>, "brcm,pins:1";
  1965. + ledgpio = <&hy28a>,"led-gpios:4",
  1966. + <&hy28a_pins>, "brcm,pins:2";
  1967. + };
  1968. +};
  1969. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/hy28b-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/hy28b-overlay.dts
  1970. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/hy28b-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  1971. +++ linux-rpi/arch/arm/boot/dts/overlays/hy28b-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  1972. @@ -0,0 +1,142 @@
  1973. +/*
  1974. + * Device Tree overlay for HY28b display shield by Texy
  1975. + *
  1976. + */
  1977. +
  1978. +/dts-v1/;
  1979. +/plugin/;
  1980. +
  1981. +/ {
  1982. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  1983. +
  1984. + fragment@0 {
  1985. + target = <&spi0>;
  1986. + __overlay__ {
  1987. + status = "okay";
  1988. +
  1989. + spidev@0{
  1990. + status = "disabled";
  1991. + };
  1992. +
  1993. + spidev@1{
  1994. + status = "disabled";
  1995. + };
  1996. + };
  1997. + };
  1998. +
  1999. + fragment@1 {
  2000. + target = <&gpio>;
  2001. + __overlay__ {
  2002. + hy28b_pins: hy28b_pins {
  2003. + brcm,pins = <17 25 18>;
  2004. + brcm,function = <0 1 1>; /* in out out */
  2005. + };
  2006. + };
  2007. + };
  2008. +
  2009. + fragment@2 {
  2010. + target = <&spi0>;
  2011. + __overlay__ {
  2012. + /* needed to avoid dtc warning */
  2013. + #address-cells = <1>;
  2014. + #size-cells = <0>;
  2015. +
  2016. + hy28b: hy28b@0{
  2017. + compatible = "ilitek,ili9325";
  2018. + reg = <0>;
  2019. + pinctrl-names = "default";
  2020. + pinctrl-0 = <&hy28b_pins>;
  2021. +
  2022. + spi-max-frequency = <48000000>;
  2023. + spi-cpol;
  2024. + spi-cpha;
  2025. + rotate = <270>;
  2026. + bgr;
  2027. + fps = <50>;
  2028. + buswidth = <8>;
  2029. + startbyte = <0x70>;
  2030. + reset-gpios = <&gpio 25 0>;
  2031. + led-gpios = <&gpio 18 1>;
  2032. +
  2033. + gamma = "04 1F 4 7 7 0 7 7 6 0\n0F 00 1 7 4 0 0 0 6 7";
  2034. +
  2035. + init = <0x10000e7 0x0010
  2036. + 0x1000000 0x0001
  2037. + 0x1000001 0x0100
  2038. + 0x1000002 0x0700
  2039. + 0x1000003 0x1030
  2040. + 0x1000004 0x0000
  2041. + 0x1000008 0x0207
  2042. + 0x1000009 0x0000
  2043. + 0x100000a 0x0000
  2044. + 0x100000c 0x0001
  2045. + 0x100000d 0x0000
  2046. + 0x100000f 0x0000
  2047. + 0x1000010 0x0000
  2048. + 0x1000011 0x0007
  2049. + 0x1000012 0x0000
  2050. + 0x1000013 0x0000
  2051. + 0x2000032
  2052. + 0x1000010 0x1590
  2053. + 0x1000011 0x0227
  2054. + 0x2000032
  2055. + 0x1000012 0x009c
  2056. + 0x2000032
  2057. + 0x1000013 0x1900
  2058. + 0x1000029 0x0023
  2059. + 0x100002b 0x000e
  2060. + 0x2000032
  2061. + 0x1000020 0x0000
  2062. + 0x1000021 0x0000
  2063. + 0x2000032
  2064. + 0x1000050 0x0000
  2065. + 0x1000051 0x00ef
  2066. + 0x1000052 0x0000
  2067. + 0x1000053 0x013f
  2068. + 0x1000060 0xa700
  2069. + 0x1000061 0x0001
  2070. + 0x100006a 0x0000
  2071. + 0x1000080 0x0000
  2072. + 0x1000081 0x0000
  2073. + 0x1000082 0x0000
  2074. + 0x1000083 0x0000
  2075. + 0x1000084 0x0000
  2076. + 0x1000085 0x0000
  2077. + 0x1000090 0x0010
  2078. + 0x1000092 0x0000
  2079. + 0x1000093 0x0003
  2080. + 0x1000095 0x0110
  2081. + 0x1000097 0x0000
  2082. + 0x1000098 0x0000
  2083. + 0x1000007 0x0133
  2084. + 0x1000020 0x0000
  2085. + 0x1000021 0x0000
  2086. + 0x2000064>;
  2087. + debug = <0>;
  2088. + };
  2089. +
  2090. + hy28b_ts: hy28b-ts@1 {
  2091. + compatible = "ti,ads7846";
  2092. + reg = <1>;
  2093. +
  2094. + spi-max-frequency = <2000000>;
  2095. + interrupts = <17 2>; /* high-to-low edge triggered */
  2096. + interrupt-parent = <&gpio>;
  2097. + pendown-gpio = <&gpio 17 0>;
  2098. + ti,x-plate-ohms = /bits/ 16 <100>;
  2099. + ti,pressure-max = /bits/ 16 <255>;
  2100. + };
  2101. + };
  2102. + };
  2103. + __overrides__ {
  2104. + speed = <&hy28b>,"spi-max-frequency:0";
  2105. + rotate = <&hy28b>,"rotate:0";
  2106. + fps = <&hy28b>,"fps:0";
  2107. + debug = <&hy28b>,"debug:0";
  2108. + xohms = <&hy28b_ts>,"ti,x-plate-ohms;0";
  2109. + resetgpio = <&hy28b>,"reset-gpios:4",
  2110. + <&hy28b_pins>, "brcm,pins:1";
  2111. + ledgpio = <&hy28b>,"led-gpios:4",
  2112. + <&hy28b_pins>, "brcm,pins:2";
  2113. + };
  2114. +};
  2115. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2c-gpio-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/i2c-gpio-overlay.dts
  2116. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2c-gpio-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2117. +++ linux-rpi/arch/arm/boot/dts/overlays/i2c-gpio-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2118. @@ -0,0 +1,28 @@
  2119. +// Overlay for i2c_gpio bitbanging host bus.
  2120. +/dts-v1/;
  2121. +/plugin/;
  2122. +
  2123. +/ {
  2124. + compatible = "brcm,bcm2708";
  2125. +
  2126. + fragment@0 {
  2127. + target-path = "/";
  2128. + __overlay__ {
  2129. + i2c_gpio: i2c@0 {
  2130. + compatible = "i2c-gpio";
  2131. + gpios = <&gpio 23 0 /* sda */
  2132. + &gpio 24 0 /* scl */
  2133. + >;
  2134. + i2c-gpio,delay-us = <2>; /* ~100 kHz */
  2135. + #address-cells = <1>;
  2136. + #size-cells = <0>;
  2137. + };
  2138. + };
  2139. + };
  2140. + __overrides__ {
  2141. + i2c_gpio_sda = <&i2c_gpio>,"gpios:4";
  2142. + i2c_gpio_scl = <&i2c_gpio>,"gpios:16";
  2143. + i2c_gpio_delay_us = <&i2c_gpio>,"i2c-gpio,delay-us:0";
  2144. + };
  2145. +};
  2146. +
  2147. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2c-rtc-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/i2c-rtc-overlay.dts
  2148. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2c-rtc-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2149. +++ linux-rpi/arch/arm/boot/dts/overlays/i2c-rtc-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2150. @@ -0,0 +1,55 @@
  2151. +// Definitions for several I2C based Real Time Clocks
  2152. +/dts-v1/;
  2153. +/plugin/;
  2154. +
  2155. +/ {
  2156. + compatible = "brcm,bcm2708";
  2157. +
  2158. + fragment@0 {
  2159. + target = <&i2c_arm>;
  2160. + __overlay__ {
  2161. + #address-cells = <1>;
  2162. + #size-cells = <0>;
  2163. + status = "okay";
  2164. +
  2165. + ds1307: ds1307@68 {
  2166. + compatible = "maxim,ds1307";
  2167. + reg = <0x68>;
  2168. + status = "disable";
  2169. + };
  2170. + mcp7941x: mcp7941x@6f {
  2171. + compatible = "microchip,mcp7941x";
  2172. + reg = <0x6f>;
  2173. + status = "disable";
  2174. + };
  2175. + ds3231: ds3231@68 {
  2176. + compatible = "maxim,ds3231";
  2177. + reg = <0x68>;
  2178. + status = "disable";
  2179. + };
  2180. + pcf2127: pcf2127@51 {
  2181. + compatible = "nxp,pcf2127";
  2182. + reg = <0x51>;
  2183. + status = "disable";
  2184. + };
  2185. + pcf8523: pcf8523@68 {
  2186. + compatible = "nxp,pcf8523";
  2187. + reg = <0x68>;
  2188. + status = "disable";
  2189. + };
  2190. + pcf8563: pcf8563@51 {
  2191. + compatible = "nxp,pcf8563";
  2192. + reg = <0x51>;
  2193. + status = "disable";
  2194. + };
  2195. + };
  2196. + };
  2197. + __overrides__ {
  2198. + ds1307 = <&ds1307>,"status";
  2199. + ds3231 = <&ds3231>,"status";
  2200. + mcp7941x = <&mcp7941x>,"status";
  2201. + pcf2127 = <&pcf2127>,"status";
  2202. + pcf8523 = <&pcf8523>,"status";
  2203. + pcf8563 = <&pcf8563>,"status";
  2204. + };
  2205. +};
  2206. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2s-mmap-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/i2s-mmap-overlay.dts
  2207. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/i2s-mmap-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2208. +++ linux-rpi/arch/arm/boot/dts/overlays/i2s-mmap-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2209. @@ -0,0 +1,13 @@
  2210. +/dts-v1/;
  2211. +/plugin/;
  2212. +
  2213. +/{
  2214. + compatible = "brcm,bcm2708";
  2215. +
  2216. + fragment@0 {
  2217. + target = <&i2s>;
  2218. + __overlay__ {
  2219. + brcm,enable-mmap;
  2220. + };
  2221. + };
  2222. +};
  2223. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/iqaudio-dac-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/iqaudio-dac-overlay.dts
  2224. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/iqaudio-dac-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2225. +++ linux-rpi/arch/arm/boot/dts/overlays/iqaudio-dac-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2226. @@ -0,0 +1,39 @@
  2227. +// Definitions for IQaudIO DAC
  2228. +/dts-v1/;
  2229. +/plugin/;
  2230. +
  2231. +/ {
  2232. + compatible = "brcm,bcm2708";
  2233. +
  2234. + fragment@0 {
  2235. + target = <&sound>;
  2236. + __overlay__ {
  2237. + compatible = "iqaudio,iqaudio-dac";
  2238. + i2s-controller = <&i2s>;
  2239. + status = "okay";
  2240. + };
  2241. + };
  2242. +
  2243. + fragment@1 {
  2244. + target = <&i2s>;
  2245. + __overlay__ {
  2246. + status = "okay";
  2247. + };
  2248. + };
  2249. +
  2250. + fragment@2 {
  2251. + target = <&i2c1>;
  2252. + __overlay__ {
  2253. + #address-cells = <1>;
  2254. + #size-cells = <0>;
  2255. + status = "okay";
  2256. +
  2257. + pcm5122@4c {
  2258. + #sound-dai-cells = <0>;
  2259. + compatible = "ti,pcm5122";
  2260. + reg = <0x4c>;
  2261. + status = "okay";
  2262. + };
  2263. + };
  2264. + };
  2265. +};
  2266. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/iqaudio-dacplus-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/iqaudio-dacplus-overlay.dts
  2267. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/iqaudio-dacplus-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2268. +++ linux-rpi/arch/arm/boot/dts/overlays/iqaudio-dacplus-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2269. @@ -0,0 +1,39 @@
  2270. +// Definitions for IQaudIO DAC+
  2271. +/dts-v1/;
  2272. +/plugin/;
  2273. +
  2274. +/ {
  2275. + compatible = "brcm,bcm2708";
  2276. +
  2277. + fragment@0 {
  2278. + target = <&sound>;
  2279. + __overlay__ {
  2280. + compatible = "iqaudio,iqaudio-dac";
  2281. + i2s-controller = <&i2s>;
  2282. + status = "okay";
  2283. + };
  2284. + };
  2285. +
  2286. + fragment@1 {
  2287. + target = <&i2s>;
  2288. + __overlay__ {
  2289. + status = "okay";
  2290. + };
  2291. + };
  2292. +
  2293. + fragment@2 {
  2294. + target = <&i2c1>;
  2295. + __overlay__ {
  2296. + #address-cells = <1>;
  2297. + #size-cells = <0>;
  2298. + status = "okay";
  2299. +
  2300. + pcm5122@4c {
  2301. + #sound-dai-cells = <0>;
  2302. + compatible = "ti,pcm5122";
  2303. + reg = <0x4c>;
  2304. + status = "okay";
  2305. + };
  2306. + };
  2307. + };
  2308. +};
  2309. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/lirc-rpi-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/lirc-rpi-overlay.dts
  2310. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/lirc-rpi-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2311. +++ linux-rpi/arch/arm/boot/dts/overlays/lirc-rpi-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2312. @@ -0,0 +1,57 @@
  2313. +// Definitions for lirc-rpi module
  2314. +/dts-v1/;
  2315. +/plugin/;
  2316. +
  2317. +/ {
  2318. + compatible = "brcm,bcm2708";
  2319. +
  2320. + fragment@0 {
  2321. + target-path = "/";
  2322. + __overlay__ {
  2323. + lirc_rpi: lirc_rpi {
  2324. + compatible = "rpi,lirc-rpi";
  2325. + pinctrl-names = "default";
  2326. + pinctrl-0 = <&lirc_pins>;
  2327. + status = "okay";
  2328. +
  2329. + // Override autodetection of IR receiver circuit
  2330. + // (0 = active high, 1 = active low, -1 = no override )
  2331. + rpi,sense = <0xffffffff>;
  2332. +
  2333. + // Software carrier
  2334. + // (0 = off, 1 = on)
  2335. + rpi,softcarrier = <1>;
  2336. +
  2337. + // Invert output
  2338. + // (0 = off, 1 = on)
  2339. + rpi,invert = <0>;
  2340. +
  2341. + // Enable debugging messages
  2342. + // (0 = off, 1 = on)
  2343. + rpi,debug = <0>;
  2344. + };
  2345. + };
  2346. + };
  2347. +
  2348. + fragment@1 {
  2349. + target = <&gpio>;
  2350. + __overlay__ {
  2351. + lirc_pins: lirc_pins {
  2352. + brcm,pins = <17 18>;
  2353. + brcm,function = <1 0>; // out in
  2354. + brcm,pull = <0 1>; // off down
  2355. + };
  2356. + };
  2357. + };
  2358. +
  2359. + __overrides__ {
  2360. + gpio_out_pin = <&lirc_pins>,"brcm,pins:0";
  2361. + gpio_in_pin = <&lirc_pins>,"brcm,pins:4";
  2362. + gpio_in_pull = <&lirc_pins>,"brcm,pull:4";
  2363. +
  2364. + sense = <&lirc_rpi>,"rpi,sense:0";
  2365. + softcarrier = <&lirc_rpi>,"rpi,softcarrier:0";
  2366. + invert = <&lirc_rpi>,"rpi,invert:0";
  2367. + debug = <&lirc_rpi>,"rpi,debug:0";
  2368. + };
  2369. +};
  2370. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/Makefile linux-rpi/arch/arm/boot/dts/overlays/Makefile
  2371. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/Makefile 1970-01-01 01:00:00.000000000 +0100
  2372. +++ linux-rpi/arch/arm/boot/dts/overlays/Makefile 2015-11-29 09:42:34.663447905 +0100
  2373. @@ -0,0 +1,77 @@
  2374. +ifeq ($(CONFIG_OF),y)
  2375. +
  2376. +# Overlays for the Raspberry Pi platform
  2377. +
  2378. +ifeq ($(CONFIG_BCM2708_DT),y)
  2379. + RPI_DT_OVERLAYS=y
  2380. +endif
  2381. +ifeq ($(CONFIG_BCM2709_DT),y)
  2382. + RPI_DT_OVERLAYS=y
  2383. +endif
  2384. +ifeq ($(CONFIG_ARCH_BCM2835),y)
  2385. + RPI_DT_OVERLAYS=y
  2386. +endif
  2387. +
  2388. +dtb-$(RPI_DT_OVERLAYS) += ads7846-overlay.dtb
  2389. +dtb-$(RPI_DT_OVERLAYS) += at86rf233-overlay.dtb
  2390. +dtb-$(RPI_DT_OVERLAYS) += bmp085_i2c-sensor-overlay.dtb
  2391. +dtb-$(RPI_DT_OVERLAYS) += dht11-overlay.dtb
  2392. +dtb-$(RPI_DT_OVERLAYS) += enc28j60-overlay.dtb
  2393. +dtb-$(RPI_DT_OVERLAYS) += gpio-ir-overlay.dtb
  2394. +dtb-$(RPI_DT_OVERLAYS) += gpio-poweroff-overlay.dtb
  2395. +dtb-$(RPI_DT_OVERLAYS) += hifiberry-amp-overlay.dtb
  2396. +dtb-$(RPI_DT_OVERLAYS) += hifiberry-dac-overlay.dtb
  2397. +dtb-$(RPI_DT_OVERLAYS) += hifiberry-dacplus-overlay.dtb
  2398. +dtb-$(RPI_DT_OVERLAYS) += hifiberry-digi-overlay.dtb
  2399. +dtb-$(RPI_DT_OVERLAYS) += hy28a-overlay.dtb
  2400. +dtb-$(RPI_DT_OVERLAYS) += hy28b-overlay.dtb
  2401. +dtb-$(RPI_DT_OVERLAYS) += i2c-rtc-overlay.dtb
  2402. +dtb-$(RPI_DT_OVERLAYS) += i2c-gpio-overlay.dtb
  2403. +dtb-$(RPI_DT_OVERLAYS) += i2s-mmap-overlay.dtb
  2404. +dtb-$(RPI_DT_OVERLAYS) += iqaudio-dac-overlay.dtb
  2405. +dtb-$(RPI_DT_OVERLAYS) += iqaudio-dacplus-overlay.dtb
  2406. +dtb-$(RPI_DT_OVERLAYS) += lirc-rpi-overlay.dtb
  2407. +dtb-$(RPI_DT_OVERLAYS) += mcp2515-can0-overlay.dtb
  2408. +dtb-$(RPI_DT_OVERLAYS) += mcp2515-can1-overlay.dtb
  2409. +dtb-$(RPI_DT_OVERLAYS) += mmc-overlay.dtb
  2410. +dtb-$(RPI_DT_OVERLAYS) += mz61581-overlay.dtb
  2411. +dtb-$(RPI_DT_OVERLAYS) += piscreen-overlay.dtb
  2412. +dtb-$(RPI_DT_OVERLAYS) += piscreen2r-overlay.dtb
  2413. +dtb-$(RPI_DT_OVERLAYS) += pitft28-capacitive-overlay.dtb
  2414. +dtb-$(RPI_DT_OVERLAYS) += pitft28-resistive-overlay.dtb
  2415. +dtb-$(RPI_DT_OVERLAYS) += pps-gpio-overlay.dtb
  2416. +dtb-$(RPI_DT_OVERLAYS) += pwm-overlay.dtb
  2417. +dtb-$(RPI_DT_OVERLAYS) += pwm-2chan-overlay.dtb
  2418. +dtb-$(RPI_DT_OVERLAYS) += raspidac3-overlay.dtb
  2419. +dtb-$(RPI_DT_OVERLAYS) += rpi-backlight-overlay.dtb
  2420. +dtb-$(RPI_DT_OVERLAYS) += rpi-dac-overlay.dtb
  2421. +dtb-$(RPI_DT_OVERLAYS) += rpi-display-overlay.dtb
  2422. +dtb-$(RPI_DT_OVERLAYS) += rpi-ft5406-overlay.dtb
  2423. +dtb-$(RPI_DT_OVERLAYS) += rpi-proto-overlay.dtb
  2424. +dtb-$(RPI_DT_OVERLAYS) += rpi-sense-overlay.dtb
  2425. +dtb-$(RPI_DT_OVERLAYS) += sdhost-overlay.dtb
  2426. +dtb-$(RPI_DT_OVERLAYS) += sdio-overlay.dtb
  2427. +dtb-$(RPI_DT_OVERLAYS) += smi-dev-overlay.dtb
  2428. +dtb-$(RPI_DT_OVERLAYS) += smi-nand-overlay.dtb
  2429. +dtb-$(RPI_DT_OVERLAYS) += smi-overlay.dtb
  2430. +dtb-$(RPI_DT_OVERLAYS) += spi-bcm2708-overlay.dtb
  2431. +dtb-$(RPI_DT_OVERLAYS) += spi-bcm2835-overlay.dtb
  2432. +dtb-$(RPI_DT_OVERLAYS) += spi-dma-overlay.dtb
  2433. +dtb-$(RPI_DT_OVERLAYS) += tinylcd35-overlay.dtb
  2434. +dtb-$(RPI_DT_OVERLAYS) += uart1-overlay.dtb
  2435. +dtb-$(RPI_DT_OVERLAYS) += vga666-overlay.dtb
  2436. +dtb-$(RPI_DT_OVERLAYS) += w1-gpio-overlay.dtb
  2437. +dtb-$(RPI_DT_OVERLAYS) += w1-gpio-pullup-overlay.dtb
  2438. +
  2439. +targets += dtbs dtbs_install
  2440. +targets += $(dtb-y)
  2441. +
  2442. +endif
  2443. +
  2444. +always := $(dtb-y)
  2445. +clean-files := *.dtb
  2446. +
  2447. +# Enable fixups to support overlays on BCM2708 platforms
  2448. +ifeq ($(RPI_DT_OVERLAYS),y)
  2449. + DTC_FLAGS ?= -@
  2450. +endif
  2451. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/mcp2515-can0-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/mcp2515-can0-overlay.dts
  2452. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/mcp2515-can0-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2453. +++ linux-rpi/arch/arm/boot/dts/overlays/mcp2515-can0-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2454. @@ -0,0 +1,69 @@
  2455. +/*
  2456. + * Device tree overlay for mcp251x/can0 on spi0.0
  2457. + */
  2458. +
  2459. +/dts-v1/;
  2460. +/plugin/;
  2461. +
  2462. +/ {
  2463. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  2464. + /* disable spi-dev for spi0.0 */
  2465. + fragment@0 {
  2466. + target = <&spi0>;
  2467. + __overlay__ {
  2468. + status = "okay";
  2469. + spidev@0{
  2470. + status = "disabled";
  2471. + };
  2472. + };
  2473. + };
  2474. +
  2475. + /* the interrupt pin of the can-controller */
  2476. + fragment@1 {
  2477. + target = <&gpio>;
  2478. + __overlay__ {
  2479. + can0_pins: can0_pins {
  2480. + brcm,pins = <25>;
  2481. + brcm,function = <0>; /* input */
  2482. + };
  2483. + };
  2484. + };
  2485. +
  2486. + /* the clock/oscillator of the can-controller */
  2487. + fragment@2 {
  2488. + target-path = "/clocks";
  2489. + __overlay__ {
  2490. + /* external oscillator of mcp2515 on SPI0.0 */
  2491. + can0_osc: can0_osc {
  2492. + compatible = "fixed-clock";
  2493. + #clock-cells = <0>;
  2494. + clock-frequency = <16000000>;
  2495. + };
  2496. + };
  2497. + };
  2498. +
  2499. + /* the spi config of the can-controller itself binding everything together */
  2500. + fragment@3 {
  2501. + target = <&spi0>;
  2502. + __overlay__ {
  2503. + /* needed to avoid dtc warning */
  2504. + #address-cells = <1>;
  2505. + #size-cells = <0>;
  2506. + can0: mcp2515@0 {
  2507. + reg = <0>;
  2508. + compatible = "microchip,mcp2515";
  2509. + pinctrl-names = "default";
  2510. + pinctrl-0 = <&can0_pins>;
  2511. + spi-max-frequency = <10000000>;
  2512. + interrupt-parent = <&gpio>;
  2513. + interrupts = <25 0x2>;
  2514. + clocks = <&can0_osc>;
  2515. + };
  2516. + };
  2517. + };
  2518. + __overrides__ {
  2519. + oscillator = <&can0_osc>,"clock-frequency:0";
  2520. + spimaxfrequency = <&can0>,"spi-max-frequency:0";
  2521. + interrupt = <&can0_pins>,"brcm,pins:0",<&can0>,"interrupts:0";
  2522. + };
  2523. +};
  2524. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/mcp2515-can1-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/mcp2515-can1-overlay.dts
  2525. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/mcp2515-can1-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2526. +++ linux-rpi/arch/arm/boot/dts/overlays/mcp2515-can1-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2527. @@ -0,0 +1,69 @@
  2528. +/*
  2529. + * Device tree overlay for mcp251x/can1 on spi0.1 edited by petit_miner
  2530. + */
  2531. +
  2532. +/dts-v1/;
  2533. +/plugin/;
  2534. +
  2535. +/ {
  2536. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  2537. + /* disable spi-dev for spi0.1 */
  2538. + fragment@0 {
  2539. + target = <&spi0>;
  2540. + __overlay__ {
  2541. + status = "okay";
  2542. + spidev@1{
  2543. + status = "disabled";
  2544. + };
  2545. + };
  2546. + };
  2547. +
  2548. + /* the interrupt pin of the can-controller */
  2549. + fragment@1 {
  2550. + target = <&gpio>;
  2551. + __overlay__ {
  2552. + can1_pins: can1_pins {
  2553. + brcm,pins = <25>;
  2554. + brcm,function = <0>; /* input */
  2555. + };
  2556. + };
  2557. + };
  2558. +
  2559. + /* the clock/oscillator of the can-controller */
  2560. + fragment@2 {
  2561. + target-path = "/clocks";
  2562. + __overlay__ {
  2563. + /* external oscillator of mcp2515 on spi0.1 */
  2564. + can1_osc: can1_osc {
  2565. + compatible = "fixed-clock";
  2566. + #clock-cells = <0>;
  2567. + clock-frequency = <16000000>;
  2568. + };
  2569. + };
  2570. + };
  2571. +
  2572. + /* the spi config of the can-controller itself binding everything together */
  2573. + fragment@3 {
  2574. + target = <&spi0>;
  2575. + __overlay__ {
  2576. + /* needed to avoid dtc warning */
  2577. + #address-cells = <1>;
  2578. + #size-cells = <0>;
  2579. + can1: mcp2515@1 {
  2580. + reg = <1>;
  2581. + compatible = "microchip,mcp2515";
  2582. + pinctrl-names = "default";
  2583. + pinctrl-0 = <&can1_pins>;
  2584. + spi-max-frequency = <10000000>;
  2585. + interrupt-parent = <&gpio>;
  2586. + interrupts = <25 0x2>;
  2587. + clocks = <&can1_osc>;
  2588. + };
  2589. + };
  2590. + };
  2591. + __overrides__ {
  2592. + oscillator = <&can1_osc>,"clock-frequency:0";
  2593. + spimaxfrequency = <&can1>,"spi-max-frequency:0";
  2594. + interrupt = <&can1_pins>,"brcm,pins:0",<&can1>,"interrupts:0";
  2595. + };
  2596. +};
  2597. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/mmc-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/mmc-overlay.dts
  2598. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/mmc-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2599. +++ linux-rpi/arch/arm/boot/dts/overlays/mmc-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2600. @@ -0,0 +1,19 @@
  2601. +/dts-v1/;
  2602. +/plugin/;
  2603. +
  2604. +/{
  2605. + compatible = "brcm,bcm2708";
  2606. +
  2607. + fragment@0 {
  2608. + target = <&mmc>;
  2609. +
  2610. + frag0: __overlay__ {
  2611. + brcm,overclock-50 = <0>;
  2612. + };
  2613. + };
  2614. +
  2615. + __overrides__ {
  2616. + overclock_50 = <&frag0>,"brcm,overclock-50:0";
  2617. + force_pio = <&frag0>,"brcm,force-pio?";
  2618. + };
  2619. +};
  2620. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/mz61581-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/mz61581-overlay.dts
  2621. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/mz61581-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2622. +++ linux-rpi/arch/arm/boot/dts/overlays/mz61581-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2623. @@ -0,0 +1,111 @@
  2624. +/*
  2625. + * Device Tree overlay for MZ61581-PI-EXT 2014.12.28 by Tontec
  2626. + *
  2627. + */
  2628. +
  2629. +/dts-v1/;
  2630. +/plugin/;
  2631. +
  2632. +/ {
  2633. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  2634. +
  2635. + fragment@0 {
  2636. + target = <&spi0>;
  2637. + __overlay__ {
  2638. + status = "okay";
  2639. +
  2640. + spidev@0{
  2641. + status = "disabled";
  2642. + };
  2643. +
  2644. + spidev@1{
  2645. + status = "disabled";
  2646. + };
  2647. + };
  2648. + };
  2649. +
  2650. + fragment@1 {
  2651. + target = <&gpio>;
  2652. + __overlay__ {
  2653. + mz61581_pins: mz61581_pins {
  2654. + brcm,pins = <4 15 18 25>;
  2655. + brcm,function = <0 1 1 1>; /* in out out out */
  2656. + };
  2657. + };
  2658. + };
  2659. +
  2660. + fragment@2 {
  2661. + target = <&spi0>;
  2662. + __overlay__ {
  2663. + /* needed to avoid dtc warning */
  2664. + #address-cells = <1>;
  2665. + #size-cells = <0>;
  2666. +
  2667. + mz61581: mz61581@0{
  2668. + compatible = "samsung,s6d02a1";
  2669. + reg = <0>;
  2670. + pinctrl-names = "default";
  2671. + pinctrl-0 = <&mz61581_pins>;
  2672. +
  2673. + spi-max-frequency = <128000000>;
  2674. + spi-cpol;
  2675. + spi-cpha;
  2676. +
  2677. + width = <320>;
  2678. + height = <480>;
  2679. + rotate = <270>;
  2680. + bgr;
  2681. + fps = <30>;
  2682. + buswidth = <8>;
  2683. + txbuflen = <32768>;
  2684. +
  2685. + reset-gpios = <&gpio 15 0>;
  2686. + dc-gpios = <&gpio 25 0>;
  2687. + led-gpios = <&gpio 18 0>;
  2688. +
  2689. + init = <0x10000b0 00
  2690. + 0x1000011
  2691. + 0x20000ff
  2692. + 0x10000b3 0x02 0x00 0x00 0x00
  2693. + 0x10000c0 0x13 0x3b 0x00 0x02 0x00 0x01 0x00 0x43
  2694. + 0x10000c1 0x08 0x16 0x08 0x08
  2695. + 0x10000c4 0x11 0x07 0x03 0x03
  2696. + 0x10000c6 0x00
  2697. + 0x10000c8 0x03 0x03 0x13 0x5c 0x03 0x07 0x14 0x08 0x00 0x21 0x08 0x14 0x07 0x53 0x0c 0x13 0x03 0x03 0x21 0x00
  2698. + 0x1000035 0x00
  2699. + 0x1000036 0xa0
  2700. + 0x100003a 0x55
  2701. + 0x1000044 0x00 0x01
  2702. + 0x10000d0 0x07 0x07 0x1d 0x03
  2703. + 0x10000d1 0x03 0x30 0x10
  2704. + 0x10000d2 0x03 0x14 0x04
  2705. + 0x1000029
  2706. + 0x100002c>;
  2707. +
  2708. + /* This is a workaround to make sure the init sequence slows down and doesn't fail */
  2709. + debug = <3>;
  2710. + };
  2711. +
  2712. + mz61581_ts: mz61581_ts@1 {
  2713. + compatible = "ti,ads7846";
  2714. + reg = <1>;
  2715. +
  2716. + spi-max-frequency = <2000000>;
  2717. + interrupts = <4 2>; /* high-to-low edge triggered */
  2718. + interrupt-parent = <&gpio>;
  2719. + pendown-gpio = <&gpio 4 0>;
  2720. +
  2721. + ti,x-plate-ohms = /bits/ 16 <60>;
  2722. + ti,pressure-max = /bits/ 16 <255>;
  2723. + };
  2724. + };
  2725. + };
  2726. + __overrides__ {
  2727. + speed = <&mz61581>, "spi-max-frequency:0";
  2728. + rotate = <&mz61581>, "rotate:0";
  2729. + fps = <&mz61581>, "fps:0";
  2730. + txbuflen = <&mz61581>, "txbuflen:0";
  2731. + debug = <&mz61581>, "debug:0";
  2732. + xohms = <&mz61581_ts>,"ti,x-plate-ohms;0";
  2733. + };
  2734. +};
  2735. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/piscreen2r-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/piscreen2r-overlay.dts
  2736. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/piscreen2r-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2737. +++ linux-rpi/arch/arm/boot/dts/overlays/piscreen2r-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2738. @@ -0,0 +1,100 @@
  2739. + /*
  2740. + * Device Tree overlay for PiScreen2 3.5" TFT with resistive touch by Ozzmaker.com
  2741. + *
  2742. + */
  2743. +
  2744. +/dts-v1/;
  2745. +/plugin/;
  2746. +
  2747. +/ {
  2748. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  2749. +
  2750. + fragment@0 {
  2751. + target = <&spi0>;
  2752. + __overlay__ {
  2753. + status = "okay";
  2754. +
  2755. + spidev@0{
  2756. + status = "disabled";
  2757. + };
  2758. +
  2759. + spidev@1{
  2760. + status = "disabled";
  2761. + };
  2762. + };
  2763. + };
  2764. +
  2765. + fragment@1 {
  2766. + target = <&gpio>;
  2767. + __overlay__ {
  2768. + piscreen2_pins: piscreen2_pins {
  2769. + brcm,pins = <17 25 24 22>;
  2770. + brcm,function = <0 1 1 1>; /* in out out out */
  2771. + };
  2772. + };
  2773. + };
  2774. +
  2775. + fragment@2 {
  2776. + target = <&spi0>;
  2777. + __overlay__ {
  2778. + /* needed to avoid dtc warning */
  2779. + #address-cells = <1>;
  2780. + #size-cells = <0>;
  2781. +
  2782. + piscreen2: piscreen2@0{
  2783. + compatible = "ilitek,ili9486";
  2784. + reg = <0>;
  2785. + pinctrl-names = "default";
  2786. + pinctrl-0 = <&piscreen2_pins>;
  2787. + bgr;
  2788. + spi-max-frequency = <64000000>;
  2789. + rotate = <90>;
  2790. + fps = <30>;
  2791. + buswidth = <8>;
  2792. + regwidth = <16>;
  2793. + txbuflen = <32768>;
  2794. + reset-gpios = <&gpio 25 0>;
  2795. + dc-gpios = <&gpio 24 0>;
  2796. + led-gpios = <&gpio 22 1>;
  2797. + debug = <0>;
  2798. +
  2799. + init = <0x10000b0 0x00
  2800. + 0x1000011
  2801. + 0x20000ff
  2802. + 0x100003a 0x55
  2803. + 0x1000036 0x28
  2804. + 0x10000c0 0x11 0x09
  2805. + 0x10000c1 0x41
  2806. + 0x10000c5 0x00 0x00 0x00 0x00
  2807. + 0x10000b6 0x00 0x02
  2808. + 0x10000f7 0xa9 0x51 0x2c 0x2
  2809. + 0x10000be 0x00 0x04
  2810. + 0x10000e9 0x00
  2811. + 0x1000011
  2812. + 0x1000029>;
  2813. +
  2814. + };
  2815. +
  2816. + piscreen2_ts: piscreen2-ts@1 {
  2817. + compatible = "ti,ads7846";
  2818. + reg = <1>;
  2819. +
  2820. + spi-max-frequency = <2000000>;
  2821. + interrupts = <17 2>; /* high-to-low edge triggered */
  2822. + interrupt-parent = <&gpio>;
  2823. + pendown-gpio = <&gpio 17 0>;
  2824. + ti,swap-xy;
  2825. + ti,x-plate-ohms = /bits/ 16 <100>;
  2826. + ti,pressure-max = /bits/ 16 <255>;
  2827. + };
  2828. + };
  2829. + };
  2830. + __overrides__ {
  2831. + speed = <&piscreen2>,"spi-max-frequency:0";
  2832. + rotate = <&piscreen2>,"rotate:0";
  2833. + fps = <&piscreen2>,"fps:0";
  2834. + debug = <&piscreen2>,"debug:0";
  2835. + xohms = <&piscreen2_ts>,"ti,x-plate-ohms;0";
  2836. + };
  2837. +};
  2838. +
  2839. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/piscreen-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/piscreen-overlay.dts
  2840. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/piscreen-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2841. +++ linux-rpi/arch/arm/boot/dts/overlays/piscreen-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2842. @@ -0,0 +1,96 @@
  2843. +/*
  2844. + * Device Tree overlay for PiScreen 3.5" display shield by Ozzmaker
  2845. + *
  2846. + */
  2847. +
  2848. +/dts-v1/;
  2849. +/plugin/;
  2850. +
  2851. +/ {
  2852. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  2853. +
  2854. + fragment@0 {
  2855. + target = <&spi0>;
  2856. + __overlay__ {
  2857. + status = "okay";
  2858. +
  2859. + spidev@0{
  2860. + status = "disabled";
  2861. + };
  2862. +
  2863. + spidev@1{
  2864. + status = "disabled";
  2865. + };
  2866. + };
  2867. + };
  2868. +
  2869. + fragment@1 {
  2870. + target = <&gpio>;
  2871. + __overlay__ {
  2872. + piscreen_pins: piscreen_pins {
  2873. + brcm,pins = <17 25 24 22>;
  2874. + brcm,function = <0 1 1 1>; /* in out out out */
  2875. + };
  2876. + };
  2877. + };
  2878. +
  2879. + fragment@2 {
  2880. + target = <&spi0>;
  2881. + __overlay__ {
  2882. + /* needed to avoid dtc warning */
  2883. + #address-cells = <1>;
  2884. + #size-cells = <0>;
  2885. +
  2886. + piscreen: piscreen@0{
  2887. + compatible = "ilitek,ili9486";
  2888. + reg = <0>;
  2889. + pinctrl-names = "default";
  2890. + pinctrl-0 = <&piscreen_pins>;
  2891. +
  2892. + spi-max-frequency = <24000000>;
  2893. + rotate = <270>;
  2894. + bgr;
  2895. + fps = <30>;
  2896. + buswidth = <8>;
  2897. + regwidth = <16>;
  2898. + reset-gpios = <&gpio 25 0>;
  2899. + dc-gpios = <&gpio 24 0>;
  2900. + led-gpios = <&gpio 22 1>;
  2901. + debug = <0>;
  2902. +
  2903. + init = <0x10000b0 0x00
  2904. + 0x1000011
  2905. + 0x20000ff
  2906. + 0x100003a 0x55
  2907. + 0x1000036 0x28
  2908. + 0x10000c2 0x44
  2909. + 0x10000c5 0x00 0x00 0x00 0x00
  2910. + 0x10000e0 0x0f 0x1f 0x1c 0x0c 0x0f 0x08 0x48 0x98 0x37 0x0a 0x13 0x04 0x11 0x0d 0x00
  2911. + 0x10000e1 0x0f 0x32 0x2e 0x0b 0x0d 0x05 0x47 0x75 0x37 0x06 0x10 0x03 0x24 0x20 0x00
  2912. + 0x10000e2 0x0f 0x32 0x2e 0x0b 0x0d 0x05 0x47 0x75 0x37 0x06 0x10 0x03 0x24 0x20 0x00
  2913. + 0x1000011
  2914. + 0x1000029>;
  2915. + };
  2916. +
  2917. + piscreen_ts: piscreen-ts@1 {
  2918. + compatible = "ti,ads7846";
  2919. + reg = <1>;
  2920. +
  2921. + spi-max-frequency = <2000000>;
  2922. + interrupts = <17 2>; /* high-to-low edge triggered */
  2923. + interrupt-parent = <&gpio>;
  2924. + pendown-gpio = <&gpio 17 0>;
  2925. + ti,swap-xy;
  2926. + ti,x-plate-ohms = /bits/ 16 <100>;
  2927. + ti,pressure-max = /bits/ 16 <255>;
  2928. + };
  2929. + };
  2930. + };
  2931. + __overrides__ {
  2932. + speed = <&piscreen>,"spi-max-frequency:0";
  2933. + rotate = <&piscreen>,"rotate:0";
  2934. + fps = <&piscreen>,"fps:0";
  2935. + debug = <&piscreen>,"debug:0";
  2936. + xohms = <&piscreen_ts>,"ti,x-plate-ohms;0";
  2937. + };
  2938. +};
  2939. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/pitft28-capacitive-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/pitft28-capacitive-overlay.dts
  2940. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/pitft28-capacitive-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  2941. +++ linux-rpi/arch/arm/boot/dts/overlays/pitft28-capacitive-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  2942. @@ -0,0 +1,88 @@
  2943. +/*
  2944. + * Device Tree overlay for Adafruit PiTFT 2.8" capacitive touch screen
  2945. + *
  2946. + */
  2947. +
  2948. +/dts-v1/;
  2949. +/plugin/;
  2950. +
  2951. +/ {
  2952. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  2953. +
  2954. + fragment@0 {
  2955. + target = <&spi0>;
  2956. + __overlay__ {
  2957. + status = "okay";
  2958. +
  2959. + spidev@0{
  2960. + status = "disabled";
  2961. + };
  2962. + };
  2963. + };
  2964. +
  2965. + fragment@1 {
  2966. + target = <&gpio>;
  2967. + __overlay__ {
  2968. + pitft_pins: pitft_pins {
  2969. + brcm,pins = <24 25>;
  2970. + brcm,function = <0 1>; /* in out */
  2971. + brcm,pull = <2 0>; /* pullup none */
  2972. + };
  2973. + };
  2974. + };
  2975. +
  2976. + fragment@2 {
  2977. + target = <&spi0>;
  2978. + __overlay__ {
  2979. + /* needed to avoid dtc warning */
  2980. + #address-cells = <1>;
  2981. + #size-cells = <0>;
  2982. +
  2983. + pitft: pitft@0{
  2984. + compatible = "ilitek,ili9340";
  2985. + reg = <0>;
  2986. + pinctrl-names = "default";
  2987. + pinctrl-0 = <&pitft_pins>;
  2988. +
  2989. + spi-max-frequency = <32000000>;
  2990. + rotate = <90>;
  2991. + fps = <25>;
  2992. + bgr;
  2993. + buswidth = <8>;
  2994. + dc-gpios = <&gpio 25 0>;
  2995. + debug = <0>;
  2996. + };
  2997. + };
  2998. + };
  2999. +
  3000. + fragment@3 {
  3001. + target = <&i2c1>;
  3002. + __overlay__ {
  3003. + /* needed to avoid dtc warning */
  3004. + #address-cells = <1>;
  3005. + #size-cells = <0>;
  3006. +
  3007. + ft6236: ft6236@38 {
  3008. + compatible = "focaltech,ft6236";
  3009. + reg = <0x38>;
  3010. +
  3011. + interrupt-parent = <&gpio>;
  3012. + interrupts = <24 2>;
  3013. + touchscreen-size-x = <240>;
  3014. + touchscreen-size-y = <320>;
  3015. + };
  3016. + };
  3017. + };
  3018. +
  3019. + __overrides__ {
  3020. + speed = <&pitft>,"spi-max-frequency:0";
  3021. + rotate = <&pitft>,"rotate:0";
  3022. + fps = <&pitft>,"fps:0";
  3023. + debug = <&pitft>,"debug:0";
  3024. + touch-sizex = <&ft6236>,"touchscreen-size-x?";
  3025. + touch-sizey = <&ft6236>,"touchscreen-size-y?";
  3026. + touch-invx = <&ft6236>,"touchscreen-inverted-x?";
  3027. + touch-invy = <&ft6236>,"touchscreen-inverted-y?";
  3028. + touch-swapxy = <&ft6236>,"touchscreen-swapped-x-y?";
  3029. + };
  3030. +};
  3031. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/pitft28-resistive-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/pitft28-resistive-overlay.dts
  3032. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/pitft28-resistive-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  3033. +++ linux-rpi/arch/arm/boot/dts/overlays/pitft28-resistive-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  3034. @@ -0,0 +1,115 @@
  3035. +/*
  3036. + * Device Tree overlay for Adafruit PiTFT 2.8" resistive touch screen
  3037. + *
  3038. + */
  3039. +
  3040. +/dts-v1/;
  3041. +/plugin/;
  3042. +
  3043. +/ {
  3044. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  3045. +
  3046. + fragment@0 {
  3047. + target = <&spi0>;
  3048. + __overlay__ {
  3049. + status = "okay";
  3050. +
  3051. + spidev@0{
  3052. + status = "disabled";
  3053. + };
  3054. +
  3055. + spidev@1{
  3056. + status = "disabled";
  3057. + };
  3058. + };
  3059. + };
  3060. +
  3061. + fragment@1 {
  3062. + target = <&gpio>;
  3063. + __overlay__ {
  3064. + pitft_pins: pitft_pins {
  3065. + brcm,pins = <24 25>;
  3066. + brcm,function = <0 1>; /* in out */
  3067. + brcm,pull = <2 0>; /* pullup none */
  3068. + };
  3069. + };
  3070. + };
  3071. +
  3072. + fragment@2 {
  3073. + target = <&spi0>;
  3074. + __overlay__ {
  3075. + /* needed to avoid dtc warning */
  3076. + #address-cells = <1>;
  3077. + #size-cells = <0>;
  3078. +
  3079. + pitft: pitft@0{
  3080. + compatible = "ilitek,ili9340";
  3081. + reg = <0>;
  3082. + pinctrl-names = "default";
  3083. + pinctrl-0 = <&pitft_pins>;
  3084. +
  3085. + spi-max-frequency = <32000000>;
  3086. + rotate = <90>;
  3087. + fps = <25>;
  3088. + bgr;
  3089. + buswidth = <8>;
  3090. + dc-gpios = <&gpio 25 0>;
  3091. + debug = <0>;
  3092. + };
  3093. +
  3094. + pitft_ts@1 {
  3095. + #address-cells = <1>;
  3096. + #size-cells = <0>;
  3097. + compatible = "st,stmpe610";
  3098. + reg = <1>;
  3099. +
  3100. + spi-max-frequency = <500000>;
  3101. + irq-gpio = <&gpio 24 0x2>; /* IRQF_TRIGGER_FALLING */
  3102. + interrupts = <24 2>; /* high-to-low edge triggered */
  3103. + interrupt-parent = <&gpio>;
  3104. + interrupt-controller;
  3105. +
  3106. + stmpe_touchscreen {
  3107. + compatible = "st,stmpe-ts";
  3108. + st,sample-time = <4>;
  3109. + st,mod-12b = <1>;
  3110. + st,ref-sel = <0>;
  3111. + st,adc-freq = <2>;
  3112. + st,ave-ctrl = <3>;
  3113. + st,touch-det-delay = <4>;
  3114. + st,settling = <2>;
  3115. + st,fraction-z = <7>;
  3116. + st,i-drive = <0>;
  3117. + };
  3118. +
  3119. + stmpe_gpio: stmpe_gpio {
  3120. + #gpio-cells = <2>;
  3121. + compatible = "st,stmpe-gpio";
  3122. + /*
  3123. + * only GPIO2 is wired/available
  3124. + * and it is wired to the backlight
  3125. + */
  3126. + st,norequest-mask = <0x7b>;
  3127. + };
  3128. + };
  3129. + };
  3130. + };
  3131. +
  3132. + fragment@3 {
  3133. + target-path = "/soc";
  3134. + __overlay__ {
  3135. + backlight {
  3136. + compatible = "gpio-backlight";
  3137. + gpios = <&stmpe_gpio 2 0>;
  3138. + default-on;
  3139. + };
  3140. + };
  3141. + };
  3142. +
  3143. + __overrides__ {
  3144. + speed = <&pitft>,"spi-max-frequency:0";
  3145. + rotate = <&pitft>,"rotate:0";
  3146. + fps = <&pitft>,"fps:0";
  3147. + debug = <&pitft>,"debug:0";
  3148. + };
  3149. +};
  3150. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/pps-gpio-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/pps-gpio-overlay.dts
  3151. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/pps-gpio-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  3152. +++ linux-rpi/arch/arm/boot/dts/overlays/pps-gpio-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  3153. @@ -0,0 +1,34 @@
  3154. +/dts-v1/;
  3155. +/plugin/;
  3156. +
  3157. +/ {
  3158. + compatible = "brcm,bcm2708";
  3159. + fragment@0 {
  3160. + target-path = "/";
  3161. + __overlay__ {
  3162. + pps: pps {
  3163. + compatible = "pps-gpio";
  3164. + pinctrl-names = "default";
  3165. + pinctrl-0 = <&pps_pins>;
  3166. + gpios = <&gpio 18 0>;
  3167. + status = "okay";
  3168. + };
  3169. + };
  3170. + };
  3171. +
  3172. + fragment@1 {
  3173. + target = <&gpio>;
  3174. + __overlay__ {
  3175. + pps_pins: pps_pins {
  3176. + brcm,pins = <18>;
  3177. + brcm,function = <0>; // in
  3178. + brcm,pull = <0>; // off
  3179. + };
  3180. + };
  3181. + };
  3182. +
  3183. + __overrides__ {
  3184. + gpiopin = <&pps>,"gpios:4",
  3185. + <&pps_pins>,"brcm,pins:0";
  3186. + };
  3187. +};
  3188. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/pwm-2chan-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/pwm-2chan-overlay.dts
  3189. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/pwm-2chan-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  3190. +++ linux-rpi/arch/arm/boot/dts/overlays/pwm-2chan-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  3191. @@ -0,0 +1,46 @@
  3192. +/dts-v1/;
  3193. +/plugin/;
  3194. +
  3195. +/*
  3196. +This is the 2-channel overlay - only use it if you need both channels.
  3197. +
  3198. +Legal pin,function combinations for each channel:
  3199. + PWM0: 12,4(Alt0) 18,2(Alt5) 40,4(Alt0) 52,5(Alt1)
  3200. + PWM1: 13,4(Alt0) 19,2(Alt5) 41,4(Alt0) 45,4(Alt0) 53,5(Alt1)
  3201. +
  3202. +N.B.:
  3203. + 1) Pin 18 is the only one available on all platforms, and
  3204. + it is the one used by the I2S audio interface.
  3205. + Pins 12 and 13 might be better choices on an A+, B+ or Pi2.
  3206. + 2) The onboard analogue audio output uses both PWM channels.
  3207. + 3) So be careful mixing audio and PWM.
  3208. +*/
  3209. +
  3210. +/ {
  3211. + fragment@0 {
  3212. + target = <&gpio>;
  3213. + __overlay__ {
  3214. + pwm_pins: pwm_pins {
  3215. + brcm,pins = <18 19>;
  3216. + brcm,function = <2 2>; /* Alt5 */
  3217. + };
  3218. + };
  3219. + };
  3220. +
  3221. + fragment@1 {
  3222. + target = <&pwm>;
  3223. + __overlay__ {
  3224. + pinctrl-names = "default";
  3225. + pinctrl-0 = <&pwm_pins>;
  3226. + status = "okay";
  3227. + };
  3228. + };
  3229. +
  3230. + __overrides__ {
  3231. + pin = <&pwm_pins>,"brcm,pins:0";
  3232. + pin2 = <&pwm_pins>,"brcm,pins:4";
  3233. + func = <&pwm_pins>,"brcm,function:0";
  3234. + func2 = <&pwm_pins>,"brcm,function:4";
  3235. + clock = <&clk_pwm>,"clock-frequency:0";
  3236. + };
  3237. +};
  3238. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/pwm-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/pwm-overlay.dts
  3239. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/pwm-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  3240. +++ linux-rpi/arch/arm/boot/dts/overlays/pwm-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  3241. @@ -0,0 +1,42 @@
  3242. +/dts-v1/;
  3243. +/plugin/;
  3244. +
  3245. +/*
  3246. +Legal pin,function combinations for each channel:
  3247. + PWM0: 12,4(Alt0) 18,2(Alt5) 40,4(Alt0) 52,5(Alt1)
  3248. + PWM1: 13,4(Alt0) 19,2(Alt5) 41,4(Alt0) 45,4(Alt0) 53,5(Alt1)
  3249. +
  3250. +N.B.:
  3251. + 1) Pin 18 is the only one available on all platforms, and
  3252. + it is the one used by the I2S audio interface.
  3253. + Pins 12 and 13 might be better choices on an A+, B+ or Pi2.
  3254. + 2) The onboard analogue audio output uses both PWM channels.
  3255. + 3) So be careful mixing audio and PWM.
  3256. +*/
  3257. +
  3258. +/ {
  3259. + fragment@0 {
  3260. + target = <&gpio>;
  3261. + __overlay__ {
  3262. + pwm_pins: pwm_pins {
  3263. + brcm,pins = <18>;
  3264. + brcm,function = <2>; /* Alt5 */
  3265. + };
  3266. + };
  3267. + };
  3268. +
  3269. + fragment@1 {
  3270. + target = <&pwm>;
  3271. + __overlay__ {
  3272. + pinctrl-names = "default";
  3273. + pinctrl-0 = <&pwm_pins>;
  3274. + status = "okay";
  3275. + };
  3276. + };
  3277. +
  3278. + __overrides__ {
  3279. + pin = <&pwm_pins>,"brcm,pins:0";
  3280. + func = <&pwm_pins>,"brcm,function:0";
  3281. + clock = <&clk_pwm>,"clock-frequency:0";
  3282. + };
  3283. +};
  3284. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/raspidac3-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/raspidac3-overlay.dts
  3285. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/raspidac3-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  3286. +++ linux-rpi/arch/arm/boot/dts/overlays/raspidac3-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  3287. @@ -0,0 +1,45 @@
  3288. +// Definitions for RaspiDACv3
  3289. +/dts-v1/;
  3290. +/plugin/;
  3291. +
  3292. +/ {
  3293. + compatible = "brcm,bcm2708";
  3294. +
  3295. + fragment@0 {
  3296. + target = <&sound>;
  3297. + __overlay__ {
  3298. + compatible = "jg,raspidacv3";
  3299. + i2s-controller = <&i2s>;
  3300. + status = "okay";
  3301. + };
  3302. + };
  3303. +
  3304. + fragment@1 {
  3305. + target = <&i2s>;
  3306. + __overlay__ {
  3307. + status = "okay";
  3308. + };
  3309. + };
  3310. +
  3311. + fragment@2 {
  3312. + target = <&i2c1>;
  3313. + __overlay__ {
  3314. + #address-cells = <1>;
  3315. + #size-cells = <0>;
  3316. + status = "okay";
  3317. +
  3318. + pcm5122@4c {
  3319. + #sound-dai-cells = <0>;
  3320. + compatible = "ti,pcm5122";
  3321. + reg = <0x4c>;
  3322. + status = "okay";
  3323. + };
  3324. +
  3325. + tpa6130a2: tpa6130a2@60 {
  3326. + compatible = "ti,tpa6130a2";
  3327. + reg = <0x60>;
  3328. + status = "okay";
  3329. + };
  3330. + };
  3331. + };
  3332. +};
  3333. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/README linux-rpi/arch/arm/boot/dts/overlays/README
  3334. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/README 1970-01-01 01:00:00.000000000 +0100
  3335. +++ linux-rpi/arch/arm/boot/dts/overlays/README 2015-11-29 09:42:34.663447905 +0100
  3336. @@ -0,0 +1,742 @@
  3337. +Introduction
  3338. +============
  3339. +
  3340. +This directory contains Device Tree overlays. Device Tree makes it possible
  3341. +to support many hardware configurations with a single kernel and without the
  3342. +need to explicitly load or blacklist kernel modules. Note that this isn't a
  3343. +"pure" Device Tree configuration (c.f. MACH_BCM2835) - some on-board devices
  3344. +are still configured by the board support code, but the intention is to
  3345. +eventually reach that goal.
  3346. +
  3347. +On Raspberry Pi, Device Tree usage is controlled from /boot/config.txt. By
  3348. +default, the Raspberry Pi kernel boots with device tree enabled. You can
  3349. +completely disable DT usage (for now) by adding:
  3350. +
  3351. + device_tree=
  3352. +
  3353. +to your config.txt, which should cause your Pi to revert to the old way of
  3354. +doing things after a reboot.
  3355. +
  3356. +In /boot you will find a .dtb for each base platform. This describes the
  3357. +hardware that is part of the Raspberry Pi board. The loader (start.elf and its
  3358. +siblings) selects the .dtb file appropriate for the platform by name, and reads
  3359. +it into memory. At this point, all of the optional interfaces (i2c, i2s, spi)
  3360. +are disabled, but they can be enabled using Device Tree parameters:
  3361. +
  3362. + dtparam=i2c=on,i2s=on,spi=on
  3363. +
  3364. +However, this shouldn't be necessary in many use cases because loading an
  3365. +overlay that requires one of those interfaces will cause it to be enabled
  3366. +automatically, and it is advisable to only enable interfaces if they are
  3367. +needed.
  3368. +
  3369. +Configuring additional, optional hardware is done using Device Tree overlays
  3370. +(see below).
  3371. +
  3372. +raspi-config
  3373. +============
  3374. +
  3375. +The Advanced Options section of the raspi-config utility can enable and disable
  3376. +Device Tree use, as well as toggling the I2C and SPI interfaces. Note that it
  3377. +is possible to both enable an interface and blacklist the driver, if for some
  3378. +reason you should want to defer the loading.
  3379. +
  3380. +Modules
  3381. +=======
  3382. +
  3383. +As well as describing the hardware, Device Tree also gives enough information
  3384. +to allow suitable driver modules to be located and loaded, with the corollary
  3385. +that unneeded modules are not loaded. As a result it should be possible to
  3386. +remove lines from /etc/modules, and /etc/modprobe.d/raspi-blacklist.conf can
  3387. +have its contents deleted (or commented out).
  3388. +
  3389. +Using Overlays
  3390. +==============
  3391. +
  3392. +Overlays are loaded using the "dtoverlay" directive. As an example, consider the
  3393. +popular lirc-rpi module, the Linux Infrared Remote Control driver. In the
  3394. +pre-DT world this would be loaded from /etc/modules, with an explicit
  3395. +"modprobe lirc-rpi" command, or programmatically by lircd. With DT enabled,
  3396. +this becomes a line in config.txt:
  3397. +
  3398. + dtoverlay=lirc-rpi
  3399. +
  3400. +This causes the file /boot/overlays/lirc-rpi-overlay.dtb to be loaded. By
  3401. +default it will use GPIOs 17 (out) and 18 (in), but this can be modified using
  3402. +DT parameters:
  3403. +
  3404. + dtoverlay=lirc-rpi,gpio_out_pin=17,gpio_in_pin=13
  3405. +
  3406. +Parameters always have default values, although in some cases (e.g. "w1-gpio")
  3407. +it is necessary to provided multiple overlays in order to get the desired
  3408. +behaviour. See the list of overlays below for a description of the parameters
  3409. +and their defaults.
  3410. +
  3411. +The Overlay and Parameter Reference
  3412. +===================================
  3413. +
  3414. +N.B. When editing this file, please preserve the indentation levels to make it
  3415. +simple to parse programmatically. NO HARD TABS.
  3416. +
  3417. +
  3418. +Name: <The base DTB>
  3419. +Info: Configures the base Raspberry Pi hardware
  3420. +Load: <loaded automatically>
  3421. +Params:
  3422. + audio Set to "on" to enable the onboard ALSA audio
  3423. + interface (default "off")
  3424. +
  3425. + i2c_arm Set to "on" to enable the ARM's i2c interface
  3426. + (default "off")
  3427. +
  3428. + i2c_vc Set to "on" to enable the i2c interface
  3429. + usually reserved for the VideoCore processor
  3430. + (default "off")
  3431. +
  3432. + i2c An alias for i2c_arm
  3433. +
  3434. + i2c_arm_baudrate Set the baudrate of the ARM's i2c interface
  3435. + (default "100000")
  3436. +
  3437. + i2c_vc_baudrate Set the baudrate of the VideoCore i2c interface
  3438. + (default "100000")
  3439. +
  3440. + i2c_baudrate An alias for i2c_arm_baudrate
  3441. +
  3442. + i2s Set to "on" to enable the i2s interface
  3443. + (default "off")
  3444. +
  3445. + spi Set to "on" to enable the spi interfaces
  3446. + (default "off")
  3447. +
  3448. + random Set to "on" to enable the hardware random
  3449. + number generator (default "off")
  3450. +
  3451. + uart0 Set to "off" to disable uart0 (default "on")
  3452. +
  3453. + watchdog Set to "on" to enable the hardware watchdog
  3454. + (default "off")
  3455. +
  3456. + act_led_trigger Choose which activity the LED tracks.
  3457. + Use "heartbeat" for a nice load indicator.
  3458. + (default "mmc")
  3459. +
  3460. + act_led_activelow Set to "on" to invert the sense of the LED
  3461. + (default "off")
  3462. +
  3463. + act_led_gpio Set which GPIO to use for the activity LED
  3464. + (in case you want to connect it to an external
  3465. + device)
  3466. + (default "16" on a non-Plus board, "47" on a
  3467. + Plus or Pi 2)
  3468. +
  3469. + pwr_led_trigger
  3470. + pwr_led_activelow
  3471. + pwr_led_gpio
  3472. + As for act_led_*, but using the PWR LED.
  3473. + Not available on Model A/B boards.
  3474. +
  3475. + N.B. It is recommended to only enable those interfaces that are needed.
  3476. + Leaving all interfaces enabled can lead to unwanted behaviour (i2c_vc
  3477. + interfering with Pi Camera, I2S and SPI hogging GPIO pins, etc.)
  3478. + Note also that i2c, i2c_arm and i2c_vc are aliases for the physical
  3479. + interfaces i2c0 and i2c1. Use of the numeric variants is still possible
  3480. + but deprecated because the ARM/VC assignments differ between board
  3481. + revisions. The same board-specific mapping applies to i2c_baudrate,
  3482. + and the other i2c baudrate parameters.
  3483. +
  3484. +
  3485. +Name: ads7846
  3486. +Info: ADS7846 Touch controller
  3487. +Load: dtoverlay=ads7846,<param>=<val>
  3488. +Params: cs SPI bus Chip Select (default 1)
  3489. + speed SPI bus speed (default 2MHz, max 3.25MHz)
  3490. + penirq GPIO used for PENIRQ. REQUIRED
  3491. + penirq_pull Set GPIO pull (default 0=none, 2=pullup)
  3492. + swapxy Swap x and y axis
  3493. + xmin Minimum value on the X axis (default 0)
  3494. + ymin Minimum value on the Y axis (default 0)
  3495. + xmax Maximum value on the X axis (default 4095)
  3496. + ymax Maximum value on the Y axis (default 4095)
  3497. + pmin Minimum reported pressure value (default 0)
  3498. + pmax Maximum reported pressure value (default 65535)
  3499. + xohms Touchpanel sensitivity (X-plate resistance)
  3500. + (default 400)
  3501. +
  3502. + penirq is required and usually xohms (60-100) has to be set as well.
  3503. + Apart from that, pmax (255) and swapxy are also common.
  3504. + The rest of the calibration can be done with xinput-calibrator.
  3505. + See: github.com/notro/fbtft/wiki/FBTFT-on-Raspian
  3506. + Device Tree binding document:
  3507. + www.kernel.org/doc/Documentation/devicetree/bindings/input/ads7846.txt
  3508. +
  3509. +
  3510. +Name: at86rf233
  3511. +Info: Configures the Atmel AT86RF233 802.15.4 low-power WPAN transceiver,
  3512. + connected to spi0.0
  3513. +Load: dtoverlay=at86rf233,<param>=<val>
  3514. +Params: interrupt GPIO used for INT (default 23)
  3515. + reset GPIO used for Reset (default 24)
  3516. + sleep GPIO used for Sleep (default 25)
  3517. + speed SPI bus speed in Hz (default 6000000)
  3518. + trim Fine tuning of the internal capacitance
  3519. + arrays (0=+0pF, 15=+4.5pF, default 15)
  3520. +
  3521. +
  3522. +Name: bmp085_i2c-sensor
  3523. +Info: Configures the BMP085/BMP180 digital barometric pressure and temperature
  3524. + sensors from Bosch Sensortec
  3525. +Load: dtoverlay=bmp085_i2c-sensor
  3526. +Params: <None>
  3527. +
  3528. +
  3529. +Name: dht11
  3530. +Info: Overlay for the DHT11/DHT21/DHT22 humidity/temperature sensors
  3531. + Also sometimes found with the part number(s) AM230x.
  3532. +Load: dtoverlay=dht11,<param>=<val>
  3533. +Params: gpiopin GPIO connected to the sensor's DATA output.
  3534. + (default 4)
  3535. +
  3536. +
  3537. +[ The ds1307-rtc overlay has been deleted. See i2c-rtc. ]
  3538. +
  3539. +
  3540. +Name: enc28j60
  3541. +Info: Overlay for the Microchip ENC28J60 Ethernet Controller (SPI)
  3542. +Load: dtoverlay=enc28j60,<param>=<val>
  3543. +Params: int_pin GPIO used for INT (default 25)
  3544. +
  3545. + speed SPI bus speed (default 12000000)
  3546. +
  3547. +
  3548. +Name: gpio-ir
  3549. +Info: Use GPIO pin as rc-core style infrared receiver input. The rc-core-
  3550. + based gpio_ir_recv driver maps received keys directly to a
  3551. + /dev/input/event* device, all decoding is done by the kernel - LIRC is
  3552. + not required! The key mapping and other decoding parameters can be
  3553. + configured by "ir-keytable" tool.
  3554. +Load: dtoverlay=gpio-ir,<param>=<val>
  3555. +Params: gpio_pin Input pin number. Default is 18.
  3556. +
  3557. + gpio_pull Desired pull-up/down state (off, down, up)
  3558. + Default is "down".
  3559. +
  3560. + rc-map-name Default rc keymap (can also be changed by
  3561. + ir-keytable), defaults to "rc-rc6-mce"
  3562. +
  3563. +
  3564. +Name: gpio-poweroff
  3565. +Info: Drives a GPIO high or low on reboot
  3566. +Load: dtoverlay=gpio-poweroff,<param>=<val>
  3567. +Params: gpiopin GPIO for signalling (default 26)
  3568. +
  3569. + active_low Set if the power control device requires a
  3570. + high->low transition to trigger a power-down.
  3571. + Note that this will require the support of a
  3572. + custom dt-blob.bin to prevent a power-down
  3573. + during the boot process, and that a reboot
  3574. + will also cause the pin to go low.
  3575. +
  3576. +
  3577. +Name: hifiberry-amp
  3578. +Info: Configures the HifiBerry Amp and Amp+ audio cards
  3579. +Load: dtoverlay=hifiberry-amp
  3580. +Params: <None>
  3581. +
  3582. +
  3583. +Name: hifiberry-dac
  3584. +Info: Configures the HifiBerry DAC audio card
  3585. +Load: dtoverlay=hifiberry-dac
  3586. +Params: <None>
  3587. +
  3588. +
  3589. +Name: hifiberry-dacplus
  3590. +Info: Configures the HifiBerry DAC+ audio card
  3591. +Load: dtoverlay=hifiberry-dacplus
  3592. +Params: <None>
  3593. +
  3594. +
  3595. +Name: hifiberry-digi
  3596. +Info: Configures the HifiBerry Digi audio card
  3597. +Load: dtoverlay=hifiberry-digi
  3598. +Params: <None>
  3599. +
  3600. +
  3601. +Name: hy28a
  3602. +Info: HY28A - 2.8" TFT LCD Display Module by HAOYU Electronics
  3603. + Default values match Texy's display shield
  3604. +Load: dtoverlay=hy28a,<param>=<val>
  3605. +Params: speed Display SPI bus speed
  3606. +
  3607. + rotate Display rotation {0,90,180,270}
  3608. +
  3609. + fps Delay between frame updates
  3610. +
  3611. + debug Debug output level {0-7}
  3612. +
  3613. + xohms Touchpanel sensitivity (X-plate resistance)
  3614. +
  3615. + resetgpio GPIO used to reset controller
  3616. +
  3617. + ledgpio GPIO used to control backlight
  3618. +
  3619. +
  3620. +Name: hy28b
  3621. +Info: HY28B - 2.8" TFT LCD Display Module by HAOYU Electronics
  3622. + Default values match Texy's display shield
  3623. +Load: dtoverlay=hy28b,<param>=<val>
  3624. +Params: speed Display SPI bus speed
  3625. +
  3626. + rotate Display rotation {0,90,180,270}
  3627. +
  3628. + fps Delay between frame updates
  3629. +
  3630. + debug Debug output level {0-7}
  3631. +
  3632. + xohms Touchpanel sensitivity (X-plate resistance)
  3633. +
  3634. + resetgpio GPIO used to reset controller
  3635. +
  3636. + ledgpio GPIO used to control backlight
  3637. +
  3638. +
  3639. +Name: i2c-gpio
  3640. +Info: Adds support for software i2c controller on gpio pins
  3641. +Load: dtoverlay=i2c-gpio,<param>=<val>
  3642. +Params: i2c_gpio_sda GPIO used for I2C data (default "23")
  3643. +
  3644. + i2c_gpio_scl GPIO used for I2C clock (default "24")
  3645. +
  3646. + i2c_gpio_delay_us Clock delay in microseconds
  3647. + (default "2" = ~100kHz)
  3648. +
  3649. +
  3650. +Name: i2c-rtc
  3651. +Info: Adds support for a number of I2C Real Time Clock devices
  3652. +Load: dtoverlay=i2c-rtc,<param>=<val>
  3653. +Params: ds1307 Select the DS1307 device
  3654. +
  3655. + ds3231 Select the DS3231 device
  3656. +
  3657. + mcp7941x Select the MCP7941x device
  3658. +
  3659. + pcf2127 Select the PCF2127 device
  3660. +
  3661. + pcf8523 Select the PCF8523 device
  3662. +
  3663. + pcf8563 Select the PCF8563 device
  3664. +
  3665. +
  3666. +Name: i2s-mmap
  3667. +Info: Enables mmap support in the bcm2708-i2s driver
  3668. +Load: dtoverlay=i2s-mmap
  3669. +Params: <None>
  3670. +
  3671. +
  3672. +Name: iqaudio-dac
  3673. +Info: Configures the IQaudio DAC audio card
  3674. +Load: dtoverlay=iqaudio-dac
  3675. +Params: <None>
  3676. +
  3677. +
  3678. +Name: iqaudio-dacplus
  3679. +Info: Configures the IQaudio DAC+ audio card
  3680. +Load: dtoverlay=iqaudio-dacplus
  3681. +Params: <None>
  3682. +
  3683. +
  3684. +Name: lirc-rpi
  3685. +Info: Configures lirc-rpi (Linux Infrared Remote Control for Raspberry Pi)
  3686. + Consult the module documentation for more details.
  3687. +Load: dtoverlay=lirc-rpi,<param>=<val>
  3688. +Params: gpio_out_pin GPIO for output (default "17")
  3689. +
  3690. + gpio_in_pin GPIO for input (default "18")
  3691. +
  3692. + gpio_in_pull Pull up/down/off on the input pin
  3693. + (default "down")
  3694. +
  3695. + sense Override the IR receive auto-detection logic:
  3696. + "0" = force active-high
  3697. + "1" = force active-low
  3698. + "-1" = use auto-detection
  3699. + (default "-1")
  3700. +
  3701. + softcarrier Turn the software carrier "on" or "off"
  3702. + (default "on")
  3703. +
  3704. + invert "on" = invert the output pin (default "off")
  3705. +
  3706. + debug "on" = enable additional debug messages
  3707. + (default "off")
  3708. +
  3709. +
  3710. +Name: mcp2515-can0
  3711. +Info: Configures the MCP2515 CAN controller on spi0.0
  3712. +Load: dtoverlay=mcp2515-can0,<param>=<val>
  3713. +Params: oscillator Clock frequency for the CAN controller (Hz)
  3714. +
  3715. + spimaxfrequency Maximum SPI frequence (Hz)
  3716. +
  3717. + interrupt GPIO for interrupt signal
  3718. +
  3719. +
  3720. +Name: mcp2515-can1
  3721. +Info: Configures the MCP2515 CAN controller on spi0.1
  3722. +Load: dtoverlay=mcp2515-can1,<param>=<val>
  3723. +Params: oscillator Clock frequency for the CAN controller (Hz)
  3724. +
  3725. + spimaxfrequency Maximum SPI frequence (Hz)
  3726. +
  3727. + interrupt GPIO for interrupt signal
  3728. +
  3729. +
  3730. +Name: mmc
  3731. +Info: Selects the bcm2835-mmc SD/MMC driver, optionally with overclock
  3732. +Load: dtoverlay=mmc,<param>=<val>
  3733. +Params: overclock_50 Clock (in MHz) to use when the MMC framework
  3734. + requests 50MHz
  3735. + force_pio Disable DMA support
  3736. +
  3737. +
  3738. +Name: mz61581
  3739. +Info: MZ61581 display by Tontec
  3740. +Load: dtoverlay=mz61581,<param>=<val>
  3741. +Params: speed Display SPI bus speed
  3742. +
  3743. + rotate Display rotation {0,90,180,270}
  3744. +
  3745. + fps Delay between frame updates
  3746. +
  3747. + txbuflen Transmit buffer length (default 32768)
  3748. +
  3749. + debug Debug output level {0-7}
  3750. +
  3751. + xohms Touchpanel sensitivity (X-plate resistance)
  3752. +
  3753. +
  3754. +[ The pcf2127-rtc overlay has been deleted. See i2c-rtc. ]
  3755. +
  3756. +
  3757. +[ The pcf8523-rtc overlay has been deleted. See i2c-rtc. ]
  3758. +
  3759. +
  3760. +[ The pcf8563-rtc overlay has been deleted. See i2c-rtc. ]
  3761. +
  3762. +
  3763. +Name: piscreen
  3764. +Info: PiScreen display by OzzMaker.com
  3765. +Load: dtoverlay=piscreen,<param>=<val>
  3766. +Params: speed Display SPI bus speed
  3767. +
  3768. + rotate Display rotation {0,90,180,270}
  3769. +
  3770. + fps Delay between frame updates
  3771. +
  3772. + debug Debug output level {0-7}
  3773. +
  3774. + xohms Touchpanel sensitivity (X-plate resistance)
  3775. +
  3776. +
  3777. +Name: piscreen2r
  3778. +Info: PiScreen 2 with resistive TP display by OzzMaker.com
  3779. +Load: dtoverlay=piscreen2r,<param>=<val>
  3780. +Params: speed Display SPI bus speed
  3781. +
  3782. + rotate Display rotation {0,90,180,270}
  3783. +
  3784. + fps Delay between frame updates
  3785. +
  3786. + debug Debug output level {0-7}
  3787. +
  3788. + xohms Touchpanel sensitivity (X-plate resistance)
  3789. +
  3790. +
  3791. +Name: pitft28-capacitive
  3792. +Info: Adafruit PiTFT 2.8" capacitive touch screen
  3793. +Load: dtoverlay=pitft28-capacitive,<param>=<val>
  3794. +Params: speed Display SPI bus speed
  3795. +
  3796. + rotate Display rotation {0,90,180,270}
  3797. +
  3798. + fps Delay between frame updates
  3799. +
  3800. + debug Debug output level {0-7}
  3801. +
  3802. + touch-sizex Touchscreen size x (default 240)
  3803. +
  3804. + touch-sizey Touchscreen size y (default 320)
  3805. +
  3806. + touch-invx Touchscreen inverted x axis
  3807. +
  3808. + touch-invy Touchscreen inverted y axis
  3809. +
  3810. + touch-swapxy Touchscreen swapped x y axis
  3811. +
  3812. +
  3813. +Name: pitft28-resistive
  3814. +Info: Adafruit PiTFT 2.8" resistive touch screen
  3815. +Load: dtoverlay=pitft28-resistive,<param>=<val>
  3816. +Params: speed Display SPI bus speed
  3817. +
  3818. + rotate Display rotation {0,90,180,270}
  3819. +
  3820. + fps Delay between frame updates
  3821. +
  3822. + debug Debug output level {0-7}
  3823. +
  3824. +
  3825. +Name: pps-gpio
  3826. +Info: Configures the pps-gpio (pulse-per-second time signal via GPIO).
  3827. +Load: dtoverlay=pps-gpio,<param>=<val>
  3828. +Params: gpiopin Input GPIO (default "18")
  3829. +
  3830. +
  3831. +Name: pwm
  3832. +Info: Configures a single PWM channel
  3833. + Legal pin,function combinations for each channel:
  3834. + PWM0: 12,4(Alt0) 18,2(Alt5) 40,4(Alt0) 52,5(Alt1)
  3835. + PWM1: 13,4(Alt0) 19,2(Alt5) 41,4(Alt0) 45,4(Alt0) 53,5(Alt1)
  3836. + N.B.:
  3837. + 1) Pin 18 is the only one available on all platforms, and
  3838. + it is the one used by the I2S audio interface.
  3839. + Pins 12 and 13 might be better choices on an A+, B+ or Pi2.
  3840. + 2) The onboard analogue audio output uses both PWM channels.
  3841. + 3) So be careful mixing audio and PWM.
  3842. + 4) Currently the clock must have been enabled and configured
  3843. + by other means.
  3844. +Load: dtoverlay=pwm,<param>=<val>
  3845. +Params: pin Output pin (default 18) - see table
  3846. + func Pin function (default 2 = Alt5) - see above
  3847. + clock PWM clock frequency (informational)
  3848. +
  3849. +
  3850. +Name: pwm-2chan
  3851. +Info: Configures both PWM channels
  3852. + Legal pin,function combinations for each channel:
  3853. + PWM0: 12,4(Alt0) 18,2(Alt5) 40,4(Alt0) 52,5(Alt1)
  3854. + PWM1: 13,4(Alt0) 19,2(Alt5) 41,4(Alt0) 45,4(Alt0) 53,5(Alt1)
  3855. + N.B.:
  3856. + 1) Pin 18 is the only one available on all platforms, and
  3857. + it is the one used by the I2S audio interface.
  3858. + Pins 12 and 13 might be better choices on an A+, B+ or Pi2.
  3859. + 2) The onboard analogue audio output uses both PWM channels.
  3860. + 3) So be careful mixing audio and PWM.
  3861. + 4) Currently the clock must have been enabled and configured
  3862. + by other means.
  3863. +Load: dtoverlay=pwm-2chan,<param>=<val>
  3864. +Params: pin Output pin (default 18) - see table
  3865. + pin2 Output pin for other channel (default 19)
  3866. + func Pin function (default 2 = Alt5) - see above
  3867. + func2 Function for pin2 (default 2 = Alt5)
  3868. + clock PWM clock frequency (informational)
  3869. +
  3870. +
  3871. +Name: raspidac3
  3872. +Info: Configures the RaspiDAV Rev.3x audio card
  3873. +Load: dtoverlay=raspidac3
  3874. +Params: <None>
  3875. +
  3876. +
  3877. +Name: rpi-backlight
  3878. +Info: Raspberry Pi official display backlight driver
  3879. +Load: dtoverlay=rpi-backlight
  3880. +Params: <None>
  3881. +
  3882. +
  3883. +Name: rpi-dac
  3884. +Info: Configures the RPi DAC audio card
  3885. +Load: dtoverlay=rpi-dac
  3886. +Params: <None>
  3887. +
  3888. +
  3889. +Name: rpi-display
  3890. +Info: RPi-Display - 2.8" Touch Display by Watterott
  3891. +Load: dtoverlay=rpi-display,<param>=<val>
  3892. +Params: speed Display SPI bus speed
  3893. +
  3894. + rotate Display rotation {0,90,180,270}
  3895. +
  3896. + fps Delay between frame updates
  3897. +
  3898. + debug Debug output level {0-7}
  3899. +
  3900. + xohms Touchpanel sensitivity (X-plate resistance)
  3901. +
  3902. +
  3903. +Name: rpi-ft5406
  3904. +Info: Official Raspberry Pi display touchscreen
  3905. +Load: dtoverlay=rpi-ft5406
  3906. +Params: <None>
  3907. +
  3908. +
  3909. +Name: rpi-proto
  3910. +Info: Configures the RPi Proto audio card
  3911. +Load: dtoverlay=rpi-proto
  3912. +Params: <None>
  3913. +
  3914. +
  3915. +Name: rpi-sense
  3916. +Info: Raspberry Pi Sense HAT
  3917. +Load: dtoverlay=rpi-sense
  3918. +Params: <None>
  3919. +
  3920. +
  3921. +Name: sdhost
  3922. +Info: Selects the bcm2835-sdhost SD/MMC driver, optionally with overclock
  3923. +Load: dtoverlay=sdhost,<param>=<val>
  3924. +Params: overclock_50 Clock (in MHz) to use when the MMC framework
  3925. + requests 50MHz
  3926. +
  3927. + force_pio Disable DMA support (default off)
  3928. +
  3929. + pio_limit Number of blocks above which to use DMA
  3930. + (default 1)
  3931. +
  3932. + debug Enable debug output (default off)
  3933. +
  3934. +
  3935. +Name: sdio
  3936. +Info: Selects the bcm2835-sdhost SD/MMC driver, optionally with overclock,
  3937. + and enables SDIO via GPIOs 22-27.
  3938. +Load: dtoverlay=sdio,<param>=<val>
  3939. +Params: overclock_50 Clock (in MHz) to use when the MMC framework
  3940. + requests 50MHz
  3941. +
  3942. + force_pio Disable DMA support (default off)
  3943. +
  3944. + pio_limit Number of blocks above which to use DMA
  3945. + (default 1)
  3946. +
  3947. + debug Enable debug output (default off)
  3948. +
  3949. + poll_once Disable SDIO-device polling every second
  3950. + (default on: polling once at boot-time)
  3951. +
  3952. +
  3953. +Name: smi
  3954. +Info: Enables the Secondary Memory Interface peripheral. Uses GPIOs 2-25!
  3955. +Load: dtoverlay=smi
  3956. +Params: <None>
  3957. +
  3958. +
  3959. +Name: smi-dev
  3960. +Info: Enables the userspace interface for the SMI driver
  3961. +Load: dtoverlay=smi-dev
  3962. +Params: <None>
  3963. +
  3964. +
  3965. +Name: smi-nand
  3966. +Info: Enables access to NAND flash via the SMI interface
  3967. +Load: dtoverlay=smi-nand
  3968. +Params: <None>
  3969. +
  3970. +
  3971. +Name: spi-bcm2708
  3972. +Info: Selects the bcm2708-spi SPI driver
  3973. +Load: dtoverlay=spi-bcm2708
  3974. +Params: <None>
  3975. +
  3976. +
  3977. +Name: spi-bcm2835
  3978. +Info: Selects the bcm2835-spi SPI driver
  3979. +Load: dtoverlay=spi-bcm2835
  3980. +Params: <None>
  3981. +
  3982. +
  3983. +Name: spi-dma
  3984. +Info: enables dma modes for spi-bcm2835
  3985. +Load: dtoverlay=spi-dma
  3986. +Params: <None>
  3987. +
  3988. +
  3989. +Name: tinylcd35
  3990. +Info: 3.5" Color TFT Display by www.tinylcd.com
  3991. + Options: Touch, RTC, keypad
  3992. +Load: dtoverlay=tinylcd35,<param>=<val>
  3993. +Params: speed Display SPI bus speed
  3994. +
  3995. + rotate Display rotation {0,90,180,270}
  3996. +
  3997. + fps Delay between frame updates
  3998. +
  3999. + debug Debug output level {0-7}
  4000. +
  4001. + touch Enable touch panel
  4002. +
  4003. + touchgpio Touch controller IRQ GPIO
  4004. +
  4005. + xohms Touchpanel: Resistance of X-plate in ohms
  4006. +
  4007. + rtc-pcf PCF8563 Real Time Clock
  4008. +
  4009. + rtc-ds DS1307 Real Time Clock
  4010. +
  4011. + keypad Enable keypad
  4012. +
  4013. + Examples:
  4014. + Display with touchpanel, PCF8563 RTC and keypad:
  4015. + dtoverlay=tinylcd35,touch,rtc-pcf,keypad
  4016. + Old touch display:
  4017. + dtoverlay=tinylcd35,touch,touchgpio=3
  4018. +
  4019. +
  4020. +Name: uart1
  4021. +Info: Enable uart1 in place of uart0
  4022. +Load: dtoverlay=uart1,<param>=<val>
  4023. +Params: txd1_pin GPIO pin for TXD1 (14, 32 or 40 - default 14)
  4024. +
  4025. + rxd1_pin GPIO pin for RXD1 (15, 33 or 41 - default 15)
  4026. +
  4027. +
  4028. +Name: vga666
  4029. +Info: Overlay for the Fen Logic VGA666 board
  4030. + This uses GPIOs 2-21 (so no I2C), and activates the output 2-3 seconds
  4031. + after the kernel has started.
  4032. +Load: dtoverlay=vga666
  4033. +Params: <None>
  4034. +
  4035. +
  4036. +Name: w1-gpio
  4037. +Info: Configures the w1-gpio Onewire interface module.
  4038. + Use this overlay if you *don't* need a GPIO to drive an external pullup.
  4039. +Load: dtoverlay=w1-gpio,<param>=<val>
  4040. +Params: gpiopin GPIO for I/O (default "4")
  4041. +
  4042. + pullup Non-zero, "on", or "y" to enable the parasitic
  4043. + power (2-wire, power-on-data) feature
  4044. +
  4045. +
  4046. +Name: w1-gpio-pullup
  4047. +Info: Configures the w1-gpio Onewire interface module.
  4048. + Use this overlay if you *do* need a GPIO to drive an external pullup.
  4049. +Load: dtoverlay=w1-gpio-pullup,<param>=<val>
  4050. +Params: gpiopin GPIO for I/O (default "4")
  4051. +
  4052. + pullup Non-zero, "on", or "y" to enable the parasitic
  4053. + power (2-wire, power-on-data) feature
  4054. +
  4055. + extpullup GPIO for external pullup (default "5")
  4056. +
  4057. +
  4058. +Troubleshooting
  4059. +===============
  4060. +
  4061. +If you are experiencing problems that you think are DT-related, enable DT
  4062. +diagnostic output by adding this to /boot/config.txt:
  4063. +
  4064. + dtdebug=on
  4065. +
  4066. +and rebooting. Then run:
  4067. +
  4068. + sudo vcdbg log msg
  4069. +
  4070. +and look for relevant messages.
  4071. +
  4072. +Further reading
  4073. +===============
  4074. +
  4075. +This is only meant to be a quick introduction to the subject of Device Tree on
  4076. +Raspberry Pi. There is a more complete explanation here:
  4077. +
  4078. +http://www.raspberrypi.org/documentation/configuration/device-tree.md
  4079. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-backlight-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-backlight-overlay.dts
  4080. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-backlight-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4081. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-backlight-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4082. @@ -0,0 +1,21 @@
  4083. +/*
  4084. + * Devicetree overlay for mailbox-driven Raspberry Pi DSI Display
  4085. + * backlight controller
  4086. + */
  4087. +/dts-v1/;
  4088. +/plugin/;
  4089. +
  4090. +/ {
  4091. + compatible = "brcm,bcm2708";
  4092. +
  4093. + fragment@0 {
  4094. + target-path = "/";
  4095. + __overlay__ {
  4096. + rpi_backlight: rpi_backlight {
  4097. + compatible = "raspberrypi,rpi-backlight";
  4098. + firmware = <&firmware>;
  4099. + status = "okay";
  4100. + };
  4101. + };
  4102. + };
  4103. +};
  4104. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-dac-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-dac-overlay.dts
  4105. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-dac-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4106. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-dac-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4107. @@ -0,0 +1,34 @@
  4108. +// Definitions for RPi DAC
  4109. +/dts-v1/;
  4110. +/plugin/;
  4111. +
  4112. +/ {
  4113. + compatible = "brcm,bcm2708";
  4114. +
  4115. + fragment@0 {
  4116. + target = <&sound>;
  4117. + __overlay__ {
  4118. + compatible = "rpi,rpi-dac";
  4119. + i2s-controller = <&i2s>;
  4120. + status = "okay";
  4121. + };
  4122. + };
  4123. +
  4124. + fragment@1 {
  4125. + target = <&i2s>;
  4126. + __overlay__ {
  4127. + status = "okay";
  4128. + };
  4129. + };
  4130. +
  4131. + fragment@2 {
  4132. + target-path = "/";
  4133. + __overlay__ {
  4134. + pcm1794a-codec {
  4135. + #sound-dai-cells = <0>;
  4136. + compatible = "ti,pcm1794a";
  4137. + status = "okay";
  4138. + };
  4139. + };
  4140. + };
  4141. +};
  4142. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-display-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-display-overlay.dts
  4143. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-display-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4144. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-display-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4145. @@ -0,0 +1,82 @@
  4146. +/*
  4147. + * Device Tree overlay for rpi-display by Watterott
  4148. + *
  4149. + */
  4150. +
  4151. +/dts-v1/;
  4152. +/plugin/;
  4153. +
  4154. +/ {
  4155. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  4156. +
  4157. + fragment@0 {
  4158. + target = <&spi0>;
  4159. + __overlay__ {
  4160. + status = "okay";
  4161. +
  4162. + spidev@0{
  4163. + status = "disabled";
  4164. + };
  4165. +
  4166. + spidev@1{
  4167. + status = "disabled";
  4168. + };
  4169. + };
  4170. + };
  4171. +
  4172. + fragment@1 {
  4173. + target = <&gpio>;
  4174. + __overlay__ {
  4175. + rpi_display_pins: rpi_display_pins {
  4176. + brcm,pins = <18 23 24 25>;
  4177. + brcm,function = <1 1 1 0>; /* out out out in */
  4178. + brcm,pull = <0 0 0 2>; /* - - - up */
  4179. + };
  4180. + };
  4181. + };
  4182. +
  4183. + fragment@2 {
  4184. + target = <&spi0>;
  4185. + __overlay__ {
  4186. + /* needed to avoid dtc warning */
  4187. + #address-cells = <1>;
  4188. + #size-cells = <0>;
  4189. +
  4190. + rpidisplay: rpi-display@0{
  4191. + compatible = "ilitek,ili9341";
  4192. + reg = <0>;
  4193. + pinctrl-names = "default";
  4194. + pinctrl-0 = <&rpi_display_pins>;
  4195. +
  4196. + spi-max-frequency = <32000000>;
  4197. + rotate = <270>;
  4198. + bgr;
  4199. + fps = <30>;
  4200. + buswidth = <8>;
  4201. + reset-gpios = <&gpio 23 0>;
  4202. + dc-gpios = <&gpio 24 0>;
  4203. + led-gpios = <&gpio 18 1>;
  4204. + debug = <0>;
  4205. + };
  4206. +
  4207. + rpidisplay_ts: rpi-display-ts@1 {
  4208. + compatible = "ti,ads7846";
  4209. + reg = <1>;
  4210. +
  4211. + spi-max-frequency = <2000000>;
  4212. + interrupts = <25 2>; /* high-to-low edge triggered */
  4213. + interrupt-parent = <&gpio>;
  4214. + pendown-gpio = <&gpio 25 0>;
  4215. + ti,x-plate-ohms = /bits/ 16 <60>;
  4216. + ti,pressure-max = /bits/ 16 <255>;
  4217. + };
  4218. + };
  4219. + };
  4220. + __overrides__ {
  4221. + speed = <&rpidisplay>,"spi-max-frequency:0";
  4222. + rotate = <&rpidisplay>,"rotate:0";
  4223. + fps = <&rpidisplay>,"fps:0";
  4224. + debug = <&rpidisplay>,"debug:0";
  4225. + xohms = <&rpidisplay_ts>,"ti,x-plate-ohms;0";
  4226. + };
  4227. +};
  4228. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-ft5406-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-ft5406-overlay.dts
  4229. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-ft5406-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4230. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-ft5406-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4231. @@ -0,0 +1,17 @@
  4232. +/dts-v1/;
  4233. +/plugin/;
  4234. +
  4235. +/ {
  4236. + compatible = "brcm,bcm2708";
  4237. +
  4238. + fragment@0 {
  4239. + target-path = "/";
  4240. + __overlay__ {
  4241. + rpi_ft5406: rpi_ft5406 {
  4242. + compatible = "rpi,rpi-ft5406";
  4243. + firmware = <&firmware>;
  4244. + status = "okay";
  4245. + };
  4246. + };
  4247. + };
  4248. +};
  4249. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-proto-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-proto-overlay.dts
  4250. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-proto-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4251. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-proto-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4252. @@ -0,0 +1,39 @@
  4253. +// Definitions for Rpi-Proto
  4254. +/dts-v1/;
  4255. +/plugin/;
  4256. +
  4257. +/ {
  4258. + compatible = "brcm,bcm2708";
  4259. +
  4260. + fragment@0 {
  4261. + target = <&sound>;
  4262. + __overlay__ {
  4263. + compatible = "rpi,rpi-proto";
  4264. + i2s-controller = <&i2s>;
  4265. + status = "okay";
  4266. + };
  4267. + };
  4268. +
  4269. + fragment@1 {
  4270. + target = <&i2s>;
  4271. + __overlay__ {
  4272. + status = "okay";
  4273. + };
  4274. + };
  4275. +
  4276. + fragment@2 {
  4277. + target = <&i2c1>;
  4278. + __overlay__ {
  4279. + #address-cells = <1>;
  4280. + #size-cells = <0>;
  4281. + status = "okay";
  4282. +
  4283. + wm8731@1a {
  4284. + #sound-dai-cells = <0>;
  4285. + compatible = "wlf,wm8731";
  4286. + reg = <0x1a>;
  4287. + status = "okay";
  4288. + };
  4289. + };
  4290. + };
  4291. +};
  4292. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-sense-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/rpi-sense-overlay.dts
  4293. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/rpi-sense-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4294. +++ linux-rpi/arch/arm/boot/dts/overlays/rpi-sense-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4295. @@ -0,0 +1,47 @@
  4296. +// rpi-sense HAT
  4297. +/dts-v1/;
  4298. +/plugin/;
  4299. +
  4300. +/ {
  4301. + compatible = "brcm,bcm2708", "brcm,bcm2709";
  4302. +
  4303. + fragment@0 {
  4304. + target = <&i2c1>;
  4305. + __overlay__ {
  4306. + #address-cells = <1>;
  4307. + #size-cells = <0>;
  4308. + status = "okay";
  4309. +
  4310. + rpi-sense@46 {
  4311. + compatible = "rpi,rpi-sense";
  4312. + reg = <0x46>;
  4313. + keys-int-gpios = <&gpio 23 1>;
  4314. + status = "okay";
  4315. + };
  4316. +
  4317. + lsm9ds1-magn@1c {
  4318. + compatible = "st,lsm9ds1-magn";
  4319. + reg = <0x1c>;
  4320. + status = "okay";
  4321. + };
  4322. +
  4323. + lsm9ds1-accel6a {
  4324. + compatible = "st,lsm9ds1-accel";
  4325. + reg = <0x6a>;
  4326. + status = "okay";
  4327. + };
  4328. +
  4329. + lps25h-press@5c {
  4330. + compatible = "st,lps25h-press";
  4331. + reg = <0x5c>;
  4332. + status = "okay";
  4333. + };
  4334. +
  4335. + hts221-humid@5f {
  4336. + compatible = "st,hts221-humid";
  4337. + reg = <0x5f>;
  4338. + status = "okay";
  4339. + };
  4340. + };
  4341. + };
  4342. +};
  4343. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/sdhost-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/sdhost-overlay.dts
  4344. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/sdhost-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4345. +++ linux-rpi/arch/arm/boot/dts/overlays/sdhost-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4346. @@ -0,0 +1,56 @@
  4347. +/dts-v1/;
  4348. +/plugin/;
  4349. +
  4350. +/{
  4351. + compatible = "brcm,bcm2708";
  4352. +
  4353. + fragment@0 {
  4354. + target = <&soc>;
  4355. + __overlay__ {
  4356. + #address-cells = <1>;
  4357. + #size-cells = <1>;
  4358. +
  4359. + sdhost: sdhost@7e202000 {
  4360. + compatible = "brcm,bcm2835-sdhost";
  4361. + reg = <0x7e202000 0x100>;
  4362. + pinctrl-names = "default";
  4363. + pinctrl-0 = <&sdhost_pins>;
  4364. + interrupts = <2 24>;
  4365. + clocks = <&clk_core>;
  4366. + dmas = <&dma 13>,
  4367. + <&dma 13>;
  4368. + dma-names = "tx", "rx";
  4369. + brcm,delay-after-stop = <0>;
  4370. + brcm,overclock-50 = <0>;
  4371. + brcm,pio-limit = <1>;
  4372. + status = "okay";
  4373. + };
  4374. + };
  4375. + };
  4376. +
  4377. + fragment@1 {
  4378. + target = <&gpio>;
  4379. + __overlay__ {
  4380. + sdhost_pins: sdhost_pins {
  4381. + brcm,pins = <48 49 50 51 52 53>;
  4382. + brcm,function = <4>; /* alt0 */
  4383. + };
  4384. + };
  4385. + };
  4386. +
  4387. + fragment@2 {
  4388. + target = <&mmc>;
  4389. + __overlay__ {
  4390. + /* Find a way to disable the other driver */
  4391. + compatible = "";
  4392. + status = "disabled";
  4393. + };
  4394. + };
  4395. +
  4396. + __overrides__ {
  4397. + overclock_50 = <&sdhost>,"brcm,overclock-50:0";
  4398. + force_pio = <&sdhost>,"brcm,force-pio?";
  4399. + pio_limit = <&sdhost>,"brcm,pio-limit:0";
  4400. + debug = <&sdhost>,"brcm,debug?";
  4401. + };
  4402. +};
  4403. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/sdio-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/sdio-overlay.dts
  4404. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/sdio-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4405. +++ linux-rpi/arch/arm/boot/dts/overlays/sdio-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4406. @@ -0,0 +1,33 @@
  4407. +/* Enable SDIO from MMC interface via GPIOs 22-27. Includes sdhost overlay. */
  4408. +
  4409. +/include/ "sdhost-overlay.dts"
  4410. +
  4411. +/{
  4412. + compatible = "brcm,bcm2708";
  4413. +
  4414. + fragment@3 {
  4415. + target = <&mmc>;
  4416. + sdio_mmc: __overlay__ {
  4417. + compatible = "brcm,bcm2835-mmc";
  4418. + pinctrl-names = "default";
  4419. + pinctrl-0 = <&sdio_pins>;
  4420. + non-removable;
  4421. + status = "okay";
  4422. + };
  4423. + };
  4424. +
  4425. + fragment@4 {
  4426. + target = <&gpio>;
  4427. + __overlay__ {
  4428. + sdio_pins: sdio_pins {
  4429. + brcm,pins = <22 23 24 25 26 27>;
  4430. + brcm,function = <7 7 7 7 7 7>; /* ALT3 = SD1 */
  4431. + brcm,pull = <0 2 2 2 2 2>;
  4432. + };
  4433. + };
  4434. + };
  4435. +
  4436. + __overrides__ {
  4437. + poll_once = <&sdio_mmc>,"non-removable?";
  4438. + };
  4439. +};
  4440. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-dev-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/smi-dev-overlay.dts
  4441. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-dev-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4442. +++ linux-rpi/arch/arm/boot/dts/overlays/smi-dev-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4443. @@ -0,0 +1,18 @@
  4444. +// Description: Overlay to enable character device interface for SMI.
  4445. +// Author: Luke Wren <luke@raspberrypi.org>
  4446. +
  4447. +/dts-v1/;
  4448. +/plugin/;
  4449. +
  4450. +/{
  4451. + fragment@0 {
  4452. + target = <&soc>;
  4453. + __overlay__ {
  4454. + smi_dev {
  4455. + compatible = "brcm,bcm2835-smi-dev";
  4456. + smi_handle = <&smi>;
  4457. + status = "okay";
  4458. + };
  4459. + };
  4460. + };
  4461. +};
  4462. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-nand-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/smi-nand-overlay.dts
  4463. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-nand-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4464. +++ linux-rpi/arch/arm/boot/dts/overlays/smi-nand-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4465. @@ -0,0 +1,69 @@
  4466. +// Description: Overlay to enable NAND flash through
  4467. +// the secondary memory interface
  4468. +// Author: Luke Wren
  4469. +
  4470. +/dts-v1/;
  4471. +/plugin/;
  4472. +
  4473. +/{
  4474. + compatible = "brcm,bcm2708";
  4475. +
  4476. + fragment@0 {
  4477. + target = <&smi>;
  4478. + __overlay__ {
  4479. + pinctrl-names = "default";
  4480. + pinctrl-0 = <&smi_pins>;
  4481. + status = "okay";
  4482. + };
  4483. + };
  4484. +
  4485. + fragment@1 {
  4486. + target = <&soc>;
  4487. + __overlay__ {
  4488. + #address-cells = <1>;
  4489. + #size-cells = <1>;
  4490. +
  4491. + nand: flash@0 {
  4492. + compatible = "brcm,bcm2835-smi-nand";
  4493. + smi_handle = <&smi>;
  4494. + #address-cells = <1>;
  4495. + #size-cells = <1>;
  4496. + status = "okay";
  4497. +
  4498. + partition@0 {
  4499. + label = "stage2";
  4500. + // 128k
  4501. + reg = <0 0x20000>;
  4502. + read-only;
  4503. + };
  4504. + partition@1 {
  4505. + label = "firmware";
  4506. + // 16M
  4507. + reg = <0x20000 0x1000000>;
  4508. + read-only;
  4509. + };
  4510. + partition@2 {
  4511. + label = "root";
  4512. + // 2G (will need to use 64 bit for >=4G)
  4513. + reg = <0x1020000 0x80000000>;
  4514. + };
  4515. + };
  4516. + };
  4517. + };
  4518. +
  4519. + fragment@2 {
  4520. + target = <&gpio>;
  4521. + __overlay__ {
  4522. + smi_pins: smi_pins {
  4523. + brcm,pins = <0 1 2 3 4 5 6 7 8 9 10 11
  4524. + 12 13 14 15>;
  4525. + /* Alt 1: SMI */
  4526. + brcm,function = <5 5 5 5 5 5 5 5 5 5 5
  4527. + 5 5 5 5 5>;
  4528. + /* /CS, /WE and /OE are pulled high, as they are
  4529. + generally active low signals */
  4530. + brcm,pull = <2 2 2 2 2 2 2 2 0 0 0 0 0 0 0 0>;
  4531. + };
  4532. + };
  4533. + };
  4534. +};
  4535. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/smi-overlay.dts
  4536. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/smi-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4537. +++ linux-rpi/arch/arm/boot/dts/overlays/smi-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4538. @@ -0,0 +1,37 @@
  4539. +// Description: Overlay to enable the secondary memory interface peripheral
  4540. +// Author: Luke Wren
  4541. +
  4542. +/dts-v1/;
  4543. +/plugin/;
  4544. +
  4545. +/{
  4546. + compatible = "brcm,bcm2708";
  4547. +
  4548. + fragment@0 {
  4549. + target = <&smi>;
  4550. + __overlay__ {
  4551. + pinctrl-names = "default";
  4552. + pinctrl-0 = <&smi_pins>;
  4553. + status = "okay";
  4554. + };
  4555. + };
  4556. +
  4557. + fragment@1 {
  4558. + target = <&gpio>;
  4559. + __overlay__ {
  4560. + smi_pins: smi_pins {
  4561. + /* Don't configure the top two address bits, as
  4562. + these are already used as ID_SD and ID_SC */
  4563. + brcm,pins = <2 3 4 5 6 7 8 9 10 11 12 13 14 15
  4564. + 16 17 18 19 20 21 22 23 24 25>;
  4565. + /* Alt 0: SMI */
  4566. + brcm,function = <5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
  4567. + 5 5 5 5 5 5 5 5 5>;
  4568. + /* /CS, /WE and /OE are pulled high, as they are
  4569. + generally active low signals */
  4570. + brcm,pull = <2 2 2 2 2 2 0 0 0 0 0 0 0 0 0 0 0
  4571. + 0 0 0 0 0 0 0>;
  4572. + };
  4573. + };
  4574. + };
  4575. +};
  4576. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-bcm2708-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/spi-bcm2708-overlay.dts
  4577. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-bcm2708-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4578. +++ linux-rpi/arch/arm/boot/dts/overlays/spi-bcm2708-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4579. @@ -0,0 +1,18 @@
  4580. +/*
  4581. + * Device tree overlay for spi-bcm2835
  4582. + */
  4583. +
  4584. +/dts-v1/;
  4585. +/plugin/;
  4586. +
  4587. +/ {
  4588. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  4589. + /* setting up compatiblity to allow loading the spi-bcm2835 driver */
  4590. + fragment@0 {
  4591. + target = <&spi0>;
  4592. + __overlay__ {
  4593. + status = "okay";
  4594. + compatible = "brcm,bcm2708-spi";
  4595. + };
  4596. + };
  4597. +};
  4598. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-bcm2835-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/spi-bcm2835-overlay.dts
  4599. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-bcm2835-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4600. +++ linux-rpi/arch/arm/boot/dts/overlays/spi-bcm2835-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4601. @@ -0,0 +1,18 @@
  4602. +/*
  4603. + * Device tree overlay for spi-bcm2835
  4604. + */
  4605. +
  4606. +/dts-v1/;
  4607. +/plugin/;
  4608. +
  4609. +/ {
  4610. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  4611. + /* setting up compatiblity to allow loading the spi-bcm2835 driver */
  4612. + fragment@0 {
  4613. + target = <&spi0>;
  4614. + __overlay__ {
  4615. + status = "okay";
  4616. + compatible = "brcm,bcm2835-spi";
  4617. + };
  4618. + };
  4619. +};
  4620. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-dma-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/spi-dma-overlay.dts
  4621. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/spi-dma-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4622. +++ linux-rpi/arch/arm/boot/dts/overlays/spi-dma-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4623. @@ -0,0 +1,20 @@
  4624. +/*
  4625. + * Device tree overlay for spi-bcm2835 to allow dma
  4626. + */
  4627. +
  4628. +/dts-v1/;
  4629. +/plugin/;
  4630. +
  4631. +/ {
  4632. + compatible = "brcm,bcm2835", "brcm,bcm2836", "brcm,bcm2708", "brcm,bcm2709";
  4633. +
  4634. + fragment@0 {
  4635. + target = <&spi0>;
  4636. + __overlay__ {
  4637. + #address-cells = <1>;
  4638. + #size-cells = <0>;
  4639. + dmas = <&dma 6>, <&dma 7>;
  4640. + dma-names = "tx", "rx";
  4641. + };
  4642. + };
  4643. + };
  4644. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/tinylcd35-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/tinylcd35-overlay.dts
  4645. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/tinylcd35-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4646. +++ linux-rpi/arch/arm/boot/dts/overlays/tinylcd35-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4647. @@ -0,0 +1,216 @@
  4648. +/*
  4649. + * tinylcd35-overlay.dts
  4650. + *
  4651. + * -------------------------------------------------
  4652. + * www.tinlylcd.com
  4653. + * -------------------------------------------------
  4654. + * Device---Driver-----BUS GPIO's
  4655. + * display tinylcd35 spi0.0 25 24 18
  4656. + * touch ads7846 spi0.1 5
  4657. + * rtc ds1307 i2c1-0068
  4658. + * rtc pcf8563 i2c1-0051
  4659. + * keypad gpio-keys --------- 17 22 27 23 28
  4660. + *
  4661. + *
  4662. + * TinyLCD.com 3.5 inch TFT
  4663. + *
  4664. + * Version 001
  4665. + * 5/3/2015 -- Noralf Trønnes Initial Device tree framework
  4666. + * 10/3/2015 -- tinylcd@gmail.com added ds1307 support.
  4667. + *
  4668. + */
  4669. +
  4670. +/dts-v1/;
  4671. +/plugin/;
  4672. +
  4673. +/ {
  4674. + compatible = "brcm,bcm2835", "brcm,bcm2708", "brcm,bcm2709";
  4675. +
  4676. + fragment@0 {
  4677. + target = <&spi0>;
  4678. + __overlay__ {
  4679. + status = "okay";
  4680. +
  4681. + spidev@0{
  4682. + status = "disabled";
  4683. + };
  4684. +
  4685. + spidev@1{
  4686. + status = "disabled";
  4687. + };
  4688. + };
  4689. + };
  4690. +
  4691. + fragment@1 {
  4692. + target = <&gpio>;
  4693. + __overlay__ {
  4694. + tinylcd35_pins: tinylcd35_pins {
  4695. + brcm,pins = <25 24 18>;
  4696. + brcm,function = <1>; /* out */
  4697. + };
  4698. + tinylcd35_ts_pins: tinylcd35_ts_pins {
  4699. + brcm,pins = <5>;
  4700. + brcm,function = <0>; /* in */
  4701. + };
  4702. + keypad_pins: keypad_pins {
  4703. + brcm,pins = <4 17 22 23 27>;
  4704. + brcm,function = <0>; /* in */
  4705. + brcm,pull = <1>; /* down */
  4706. + };
  4707. + };
  4708. + };
  4709. +
  4710. + fragment@2 {
  4711. + target = <&spi0>;
  4712. + __overlay__ {
  4713. + /* needed to avoid dtc warning */
  4714. + #address-cells = <1>;
  4715. + #size-cells = <0>;
  4716. +
  4717. + tinylcd35: tinylcd35@0{
  4718. + compatible = "neosec,tinylcd";
  4719. + reg = <0>;
  4720. + pinctrl-names = "default";
  4721. + pinctrl-0 = <&tinylcd35_pins>,
  4722. + <&tinylcd35_ts_pins>;
  4723. +
  4724. + spi-max-frequency = <48000000>;
  4725. + rotate = <270>;
  4726. + fps = <20>;
  4727. + bgr;
  4728. + buswidth = <8>;
  4729. + reset-gpios = <&gpio 25 0>;
  4730. + dc-gpios = <&gpio 24 0>;
  4731. + led-gpios = <&gpio 18 1>;
  4732. + debug = <0>;
  4733. +
  4734. + init = <0x10000B0 0x80
  4735. + 0x10000C0 0x0A 0x0A
  4736. + 0x10000C1 0x01 0x01
  4737. + 0x10000C2 0x33
  4738. + 0x10000C5 0x00 0x42 0x80
  4739. + 0x10000B1 0xD0 0x11
  4740. + 0x10000B4 0x02
  4741. + 0x10000B6 0x00 0x22 0x3B
  4742. + 0x10000B7 0x07
  4743. + 0x1000036 0x58
  4744. + 0x10000F0 0x36 0xA5 0xD3
  4745. + 0x10000E5 0x80
  4746. + 0x10000E5 0x01
  4747. + 0x10000B3 0x00
  4748. + 0x10000E5 0x00
  4749. + 0x10000F0 0x36 0xA5 0x53
  4750. + 0x10000E0 0x00 0x35 0x33 0x00 0x00 0x00 0x00 0x35 0x33 0x00 0x00 0x00
  4751. + 0x100003A 0x55
  4752. + 0x1000011
  4753. + 0x2000001
  4754. + 0x1000029>;
  4755. + };
  4756. +
  4757. + tinylcd35_ts: tinylcd35_ts@1 {
  4758. + compatible = "ti,ads7846";
  4759. + reg = <1>;
  4760. + status = "disabled";
  4761. +
  4762. + spi-max-frequency = <2000000>;
  4763. + interrupts = <5 2>; /* high-to-low edge triggered */
  4764. + interrupt-parent = <&gpio>;
  4765. + pendown-gpio = <&gpio 5 0>;
  4766. + ti,x-plate-ohms = /bits/ 16 <100>;
  4767. + ti,pressure-max = /bits/ 16 <255>;
  4768. + };
  4769. + };
  4770. + };
  4771. +
  4772. + /* RTC */
  4773. +
  4774. + fragment@3 {
  4775. + target = <&i2c1>;
  4776. + __overlay__ {
  4777. + #address-cells = <1>;
  4778. + #size-cells = <0>;
  4779. +
  4780. + pcf8563: pcf8563@51 {
  4781. + compatible = "nxp,pcf8563";
  4782. + reg = <0x51>;
  4783. + status = "disabled";
  4784. + };
  4785. + };
  4786. + };
  4787. +
  4788. + fragment@4 {
  4789. + target = <&i2c1>;
  4790. + __overlay__ {
  4791. + #address-cells = <1>;
  4792. + #size-cells = <0>;
  4793. +
  4794. + ds1307: ds1307@68 {
  4795. + compatible = "maxim,ds1307";
  4796. + reg = <0x68>;
  4797. + status = "disabled";
  4798. + };
  4799. + };
  4800. + };
  4801. +
  4802. + /*
  4803. + * Values for input event code is found under the
  4804. + * 'Keys and buttons' heading in include/uapi/linux/input.h
  4805. + */
  4806. + fragment@5 {
  4807. + target-path = "/soc";
  4808. + __overlay__ {
  4809. + keypad: keypad {
  4810. + compatible = "gpio-keys";
  4811. + #address-cells = <1>;
  4812. + #size-cells = <0>;
  4813. + pinctrl-names = "default";
  4814. + pinctrl-0 = <&keypad_pins>;
  4815. + status = "disabled";
  4816. + autorepeat;
  4817. +
  4818. + button@17 {
  4819. + label = "GPIO KEY_UP";
  4820. + linux,code = <103>;
  4821. + gpios = <&gpio 17 0>;
  4822. + };
  4823. + button@22 {
  4824. + label = "GPIO KEY_DOWN";
  4825. + linux,code = <108>;
  4826. + gpios = <&gpio 22 0>;
  4827. + };
  4828. + button@27 {
  4829. + label = "GPIO KEY_LEFT";
  4830. + linux,code = <105>;
  4831. + gpios = <&gpio 27 0>;
  4832. + };
  4833. + button@23 {
  4834. + label = "GPIO KEY_RIGHT";
  4835. + linux,code = <106>;
  4836. + gpios = <&gpio 23 0>;
  4837. + };
  4838. + button@4 {
  4839. + label = "GPIO KEY_ENTER";
  4840. + linux,code = <28>;
  4841. + gpios = <&gpio 4 0>;
  4842. + };
  4843. + };
  4844. + };
  4845. + };
  4846. +
  4847. + __overrides__ {
  4848. + speed = <&tinylcd35>,"spi-max-frequency:0";
  4849. + rotate = <&tinylcd35>,"rotate:0";
  4850. + fps = <&tinylcd35>,"fps:0";
  4851. + debug = <&tinylcd35>,"debug:0";
  4852. + touch = <&tinylcd35_ts>,"status";
  4853. + touchgpio = <&tinylcd35_ts_pins>,"brcm,pins:0",
  4854. + <&tinylcd35_ts>,"interrupts:0",
  4855. + <&tinylcd35_ts>,"pendown-gpio:4";
  4856. + xohms = <&tinylcd35_ts>,"ti,x-plate-ohms;0";
  4857. + rtc-pcf = <&i2c1>,"status",
  4858. + <&pcf8563>,"status";
  4859. + rtc-ds = <&i2c1>,"status",
  4860. + <&ds1307>,"status";
  4861. + keypad = <&keypad>,"status";
  4862. + };
  4863. +};
  4864. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/uart1-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/uart1-overlay.dts
  4865. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/uart1-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4866. +++ linux-rpi/arch/arm/boot/dts/overlays/uart1-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4867. @@ -0,0 +1,38 @@
  4868. +/dts-v1/;
  4869. +/plugin/;
  4870. +
  4871. +/{
  4872. + compatible = "brcm,bcm2708";
  4873. +
  4874. + fragment@0 {
  4875. + target = <&uart1>;
  4876. + __overlay__ {
  4877. + pinctrl-names = "default";
  4878. + pinctrl-0 = <&uart1_pins>;
  4879. + status = "okay";
  4880. + };
  4881. + };
  4882. +
  4883. + fragment@1 {
  4884. + target = <&gpio>;
  4885. + __overlay__ {
  4886. + uart1_pins: uart1_pins {
  4887. + brcm,pins = <14 15>;
  4888. + brcm,function = <2>; /* alt5 */
  4889. + brcm,pull = <0 2>;
  4890. + };
  4891. + };
  4892. + };
  4893. +
  4894. + fragment@2 {
  4895. + target-path = "/chosen";
  4896. + __overlay__ {
  4897. + bootargs = "8250.nr_uarts=1";
  4898. + };
  4899. + };
  4900. +
  4901. + __overrides__ {
  4902. + txd1_pin = <&uart1_pins>,"brcm,pins:0";
  4903. + rxd1_pin = <&uart1_pins>,"brcm,pins:4";
  4904. + };
  4905. +};
  4906. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/vga666-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/vga666-overlay.dts
  4907. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/vga666-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4908. +++ linux-rpi/arch/arm/boot/dts/overlays/vga666-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4909. @@ -0,0 +1,30 @@
  4910. +/dts-v1/;
  4911. +/plugin/;
  4912. +
  4913. +/{
  4914. + compatible = "brcm,bcm2708";
  4915. +
  4916. + // There is no VGA driver module, but we need a platform device
  4917. + // node (that doesn't already use pinctrl) to hang the pinctrl
  4918. + // reference on - leds will do
  4919. +
  4920. + fragment@0 {
  4921. + target = <&leds>;
  4922. + __overlay__ {
  4923. + pinctrl-names = "default";
  4924. + pinctrl-0 = <&vga666_pins>;
  4925. + };
  4926. + };
  4927. +
  4928. + fragment@1 {
  4929. + target = <&gpio>;
  4930. + __overlay__ {
  4931. + vga666_pins: vga666_pins {
  4932. + brcm,pins = <2 3 4 5 6 7 8 9 10 11 12
  4933. + 13 14 15 16 17 18 19 20 21>;
  4934. + brcm,function = <6>; /* alt2 */
  4935. + brcm,pull = <0>; /* no pull */
  4936. + };
  4937. + };
  4938. + };
  4939. +};
  4940. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/w1-gpio-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/w1-gpio-overlay.dts
  4941. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/w1-gpio-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4942. +++ linux-rpi/arch/arm/boot/dts/overlays/w1-gpio-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4943. @@ -0,0 +1,39 @@
  4944. +// Definitions for w1-gpio module (without external pullup)
  4945. +/dts-v1/;
  4946. +/plugin/;
  4947. +
  4948. +/ {
  4949. + compatible = "brcm,bcm2708";
  4950. +
  4951. + fragment@0 {
  4952. + target-path = "/";
  4953. + __overlay__ {
  4954. +
  4955. + w1: onewire@0 {
  4956. + compatible = "w1-gpio";
  4957. + pinctrl-names = "default";
  4958. + pinctrl-0 = <&w1_pins>;
  4959. + gpios = <&gpio 4 0>;
  4960. + rpi,parasitic-power = <0>;
  4961. + status = "okay";
  4962. + };
  4963. + };
  4964. + };
  4965. +
  4966. + fragment@1 {
  4967. + target = <&gpio>;
  4968. + __overlay__ {
  4969. + w1_pins: w1_pins {
  4970. + brcm,pins = <4>;
  4971. + brcm,function = <0>; // in (initially)
  4972. + brcm,pull = <0>; // off
  4973. + };
  4974. + };
  4975. + };
  4976. +
  4977. + __overrides__ {
  4978. + gpiopin = <&w1>,"gpios:4",
  4979. + <&w1_pins>,"brcm,pins:0";
  4980. + pullup = <&w1>,"rpi,parasitic-power:0";
  4981. + };
  4982. +};
  4983. diff -Nur linux-4.1.13.orig/arch/arm/boot/dts/overlays/w1-gpio-pullup-overlay.dts linux-rpi/arch/arm/boot/dts/overlays/w1-gpio-pullup-overlay.dts
  4984. --- linux-4.1.13.orig/arch/arm/boot/dts/overlays/w1-gpio-pullup-overlay.dts 1970-01-01 01:00:00.000000000 +0100
  4985. +++ linux-rpi/arch/arm/boot/dts/overlays/w1-gpio-pullup-overlay.dts 2015-11-29 09:42:34.663447905 +0100
  4986. @@ -0,0 +1,41 @@
  4987. +// Definitions for w1-gpio module (with external pullup)
  4988. +/dts-v1/;
  4989. +/plugin/;
  4990. +
  4991. +/ {
  4992. + compatible = "brcm,bcm2708";
  4993. +
  4994. + fragment@0 {
  4995. + target-path = "/";
  4996. + __overlay__ {
  4997. +
  4998. + w1: onewire@0 {
  4999. + compatible = "w1-gpio";
  5000. + pinctrl-names = "default";
  5001. + pinctrl-0 = <&w1_pins>;
  5002. + gpios = <&gpio 4 0>, <&gpio 5 1>;
  5003. + rpi,parasitic-power = <0>;
  5004. + status = "okay";
  5005. + };
  5006. + };
  5007. + };
  5008. +
  5009. + fragment@1 {
  5010. + target = <&gpio>;
  5011. + __overlay__ {
  5012. + w1_pins: w1_pins {
  5013. + brcm,pins = <4 5>;
  5014. + brcm,function = <0 1>; // in out
  5015. + brcm,pull = <0 0>; // off off
  5016. + };
  5017. + };
  5018. + };
  5019. +
  5020. + __overrides__ {
  5021. + gpiopin = <&w1>,"gpios:4",
  5022. + <&w1_pins>,"brcm,pins:0";
  5023. + extpullup = <&w1>,"gpios:16",
  5024. + <&w1_pins>,"brcm,pins:4";
  5025. + pullup = <&w1>,"rpi,parasitic-power:0";
  5026. + };
  5027. +};
  5028. diff -Nur linux-4.1.13.orig/arch/arm/configs/bcm2709_defconfig linux-rpi/arch/arm/configs/bcm2709_defconfig
  5029. --- linux-4.1.13.orig/arch/arm/configs/bcm2709_defconfig 1970-01-01 01:00:00.000000000 +0100
  5030. +++ linux-rpi/arch/arm/configs/bcm2709_defconfig 2015-11-29 09:42:34.707444982 +0100
  5031. @@ -0,0 +1,1260 @@
  5032. +# CONFIG_ARM_PATCH_PHYS_VIRT is not set
  5033. +CONFIG_PHYS_OFFSET=0
  5034. +CONFIG_LOCALVERSION="-v7"
  5035. +# CONFIG_LOCALVERSION_AUTO is not set
  5036. +CONFIG_SYSVIPC=y
  5037. +CONFIG_POSIX_MQUEUE=y
  5038. +CONFIG_FHANDLE=y
  5039. +CONFIG_NO_HZ=y
  5040. +CONFIG_HIGH_RES_TIMERS=y
  5041. +CONFIG_BSD_PROCESS_ACCT=y
  5042. +CONFIG_BSD_PROCESS_ACCT_V3=y
  5043. +CONFIG_TASKSTATS=y
  5044. +CONFIG_TASK_DELAY_ACCT=y
  5045. +CONFIG_TASK_XACCT=y
  5046. +CONFIG_TASK_IO_ACCOUNTING=y
  5047. +CONFIG_IKCONFIG=m
  5048. +CONFIG_IKCONFIG_PROC=y
  5049. +CONFIG_CGROUP_FREEZER=y
  5050. +CONFIG_CGROUP_DEVICE=y
  5051. +CONFIG_CPUSETS=y
  5052. +CONFIG_CGROUP_CPUACCT=y
  5053. +CONFIG_MEMCG=y
  5054. +CONFIG_BLK_CGROUP=y
  5055. +CONFIG_NAMESPACES=y
  5056. +CONFIG_SCHED_AUTOGROUP=y
  5057. +CONFIG_BLK_DEV_INITRD=y
  5058. +CONFIG_EMBEDDED=y
  5059. +# CONFIG_COMPAT_BRK is not set
  5060. +CONFIG_PROFILING=y
  5061. +CONFIG_OPROFILE=m
  5062. +CONFIG_KPROBES=y
  5063. +CONFIG_JUMP_LABEL=y
  5064. +CONFIG_MODULES=y
  5065. +CONFIG_MODULE_UNLOAD=y
  5066. +CONFIG_MODVERSIONS=y
  5067. +CONFIG_MODULE_SRCVERSION_ALL=y
  5068. +CONFIG_BLK_DEV_THROTTLING=y
  5069. +CONFIG_PARTITION_ADVANCED=y
  5070. +CONFIG_MAC_PARTITION=y
  5071. +CONFIG_CFQ_GROUP_IOSCHED=y
  5072. +CONFIG_ARCH_BCM2709=y
  5073. +CONFIG_BCM2709_DT=y
  5074. +# CONFIG_CACHE_L2X0 is not set
  5075. +CONFIG_SMP=y
  5076. +CONFIG_HAVE_ARM_ARCH_TIMER=y
  5077. +CONFIG_VMSPLIT_2G=y
  5078. +CONFIG_PREEMPT=y
  5079. +CONFIG_AEABI=y
  5080. +CONFIG_OABI_COMPAT=y
  5081. +CONFIG_CLEANCACHE=y
  5082. +CONFIG_FRONTSWAP=y
  5083. +CONFIG_CMA=y
  5084. +CONFIG_ZSMALLOC=m
  5085. +CONFIG_PGTABLE_MAPPING=y
  5086. +CONFIG_UACCESS_WITH_MEMCPY=y
  5087. +CONFIG_SECCOMP=y
  5088. +CONFIG_ZBOOT_ROM_TEXT=0x0
  5089. +CONFIG_ZBOOT_ROM_BSS=0x0
  5090. +CONFIG_CMDLINE="console=ttyAMA0,115200 kgdboc=ttyAMA0,115200 root=/dev/mmcblk0p2 rootfstype=ext4 rootwait"
  5091. +CONFIG_CPU_FREQ=y
  5092. +CONFIG_CPU_FREQ_STAT=m
  5093. +CONFIG_CPU_FREQ_STAT_DETAILS=y
  5094. +CONFIG_CPU_FREQ_DEFAULT_GOV_POWERSAVE=y
  5095. +CONFIG_CPU_FREQ_GOV_PERFORMANCE=y
  5096. +CONFIG_CPU_FREQ_GOV_USERSPACE=y
  5097. +CONFIG_CPU_FREQ_GOV_ONDEMAND=y
  5098. +CONFIG_CPU_FREQ_GOV_CONSERVATIVE=y
  5099. +CONFIG_VFP=y
  5100. +CONFIG_NEON=y
  5101. +CONFIG_KERNEL_MODE_NEON=y
  5102. +CONFIG_BINFMT_MISC=m
  5103. +# CONFIG_SUSPEND is not set
  5104. +CONFIG_NET=y
  5105. +CONFIG_PACKET=y
  5106. +CONFIG_UNIX=y
  5107. +CONFIG_XFRM_USER=y
  5108. +CONFIG_NET_KEY=m
  5109. +CONFIG_INET=y
  5110. +CONFIG_IP_MULTICAST=y
  5111. +CONFIG_IP_ADVANCED_ROUTER=y
  5112. +CONFIG_IP_MULTIPLE_TABLES=y
  5113. +CONFIG_IP_ROUTE_MULTIPATH=y
  5114. +CONFIG_IP_ROUTE_VERBOSE=y
  5115. +CONFIG_IP_PNP=y
  5116. +CONFIG_IP_PNP_DHCP=y
  5117. +CONFIG_IP_PNP_RARP=y
  5118. +CONFIG_NET_IPIP=m
  5119. +CONFIG_NET_IPGRE_DEMUX=m
  5120. +CONFIG_NET_IPGRE=m
  5121. +CONFIG_IP_MROUTE=y
  5122. +CONFIG_IP_MROUTE_MULTIPLE_TABLES=y
  5123. +CONFIG_IP_PIMSM_V1=y
  5124. +CONFIG_IP_PIMSM_V2=y
  5125. +CONFIG_SYN_COOKIES=y
  5126. +CONFIG_INET_AH=m
  5127. +CONFIG_INET_ESP=m
  5128. +CONFIG_INET_IPCOMP=m
  5129. +CONFIG_INET_XFRM_MODE_TRANSPORT=m
  5130. +CONFIG_INET_XFRM_MODE_TUNNEL=m
  5131. +CONFIG_INET_XFRM_MODE_BEET=m
  5132. +CONFIG_INET_LRO=m
  5133. +CONFIG_INET_DIAG=m
  5134. +CONFIG_INET6_AH=m
  5135. +CONFIG_INET6_ESP=m
  5136. +CONFIG_INET6_IPCOMP=m
  5137. +CONFIG_IPV6_TUNNEL=m
  5138. +CONFIG_IPV6_MULTIPLE_TABLES=y
  5139. +CONFIG_IPV6_MROUTE=y
  5140. +CONFIG_IPV6_MROUTE_MULTIPLE_TABLES=y
  5141. +CONFIG_IPV6_PIMSM_V2=y
  5142. +CONFIG_NETFILTER=y
  5143. +CONFIG_NF_CONNTRACK=m
  5144. +CONFIG_NF_CONNTRACK_ZONES=y
  5145. +CONFIG_NF_CONNTRACK_EVENTS=y
  5146. +CONFIG_NF_CONNTRACK_TIMESTAMP=y
  5147. +CONFIG_NF_CT_PROTO_DCCP=m
  5148. +CONFIG_NF_CT_PROTO_UDPLITE=m
  5149. +CONFIG_NF_CONNTRACK_AMANDA=m
  5150. +CONFIG_NF_CONNTRACK_FTP=m
  5151. +CONFIG_NF_CONNTRACK_H323=m
  5152. +CONFIG_NF_CONNTRACK_IRC=m
  5153. +CONFIG_NF_CONNTRACK_NETBIOS_NS=m
  5154. +CONFIG_NF_CONNTRACK_SNMP=m
  5155. +CONFIG_NF_CONNTRACK_PPTP=m
  5156. +CONFIG_NF_CONNTRACK_SANE=m
  5157. +CONFIG_NF_CONNTRACK_SIP=m
  5158. +CONFIG_NF_CONNTRACK_TFTP=m
  5159. +CONFIG_NF_CT_NETLINK=m
  5160. +CONFIG_NETFILTER_XT_SET=m
  5161. +CONFIG_NETFILTER_XT_TARGET_CHECKSUM=m
  5162. +CONFIG_NETFILTER_XT_TARGET_CLASSIFY=m
  5163. +CONFIG_NETFILTER_XT_TARGET_CONNMARK=m
  5164. +CONFIG_NETFILTER_XT_TARGET_DSCP=m
  5165. +CONFIG_NETFILTER_XT_TARGET_HMARK=m
  5166. +CONFIG_NETFILTER_XT_TARGET_IDLETIMER=m
  5167. +CONFIG_NETFILTER_XT_TARGET_LED=m
  5168. +CONFIG_NETFILTER_XT_TARGET_LOG=m
  5169. +CONFIG_NETFILTER_XT_TARGET_MARK=m
  5170. +CONFIG_NETFILTER_XT_TARGET_NFLOG=m
  5171. +CONFIG_NETFILTER_XT_TARGET_NFQUEUE=m
  5172. +CONFIG_NETFILTER_XT_TARGET_NOTRACK=m
  5173. +CONFIG_NETFILTER_XT_TARGET_TEE=m
  5174. +CONFIG_NETFILTER_XT_TARGET_TPROXY=m
  5175. +CONFIG_NETFILTER_XT_TARGET_TRACE=m
  5176. +CONFIG_NETFILTER_XT_TARGET_TCPMSS=m
  5177. +CONFIG_NETFILTER_XT_TARGET_TCPOPTSTRIP=m
  5178. +CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=m
  5179. +CONFIG_NETFILTER_XT_MATCH_BPF=m
  5180. +CONFIG_NETFILTER_XT_MATCH_CLUSTER=m
  5181. +CONFIG_NETFILTER_XT_MATCH_COMMENT=m
  5182. +CONFIG_NETFILTER_XT_MATCH_CONNBYTES=m
  5183. +CONFIG_NETFILTER_XT_MATCH_CONNLABEL=m
  5184. +CONFIG_NETFILTER_XT_MATCH_CONNLIMIT=m
  5185. +CONFIG_NETFILTER_XT_MATCH_CONNMARK=m
  5186. +CONFIG_NETFILTER_XT_MATCH_CONNTRACK=m
  5187. +CONFIG_NETFILTER_XT_MATCH_CPU=m
  5188. +CONFIG_NETFILTER_XT_MATCH_DCCP=m
  5189. +CONFIG_NETFILTER_XT_MATCH_DEVGROUP=m
  5190. +CONFIG_NETFILTER_XT_MATCH_DSCP=m
  5191. +CONFIG_NETFILTER_XT_MATCH_ESP=m
  5192. +CONFIG_NETFILTER_XT_MATCH_HASHLIMIT=m
  5193. +CONFIG_NETFILTER_XT_MATCH_HELPER=m
  5194. +CONFIG_NETFILTER_XT_MATCH_IPRANGE=m
  5195. +CONFIG_NETFILTER_XT_MATCH_IPVS=m
  5196. +CONFIG_NETFILTER_XT_MATCH_LENGTH=m
  5197. +CONFIG_NETFILTER_XT_MATCH_LIMIT=m
  5198. +CONFIG_NETFILTER_XT_MATCH_MAC=m
  5199. +CONFIG_NETFILTER_XT_MATCH_MARK=m
  5200. +CONFIG_NETFILTER_XT_MATCH_MULTIPORT=m
  5201. +CONFIG_NETFILTER_XT_MATCH_NFACCT=m
  5202. +CONFIG_NETFILTER_XT_MATCH_OSF=m
  5203. +CONFIG_NETFILTER_XT_MATCH_OWNER=m
  5204. +CONFIG_NETFILTER_XT_MATCH_POLICY=m
  5205. +CONFIG_NETFILTER_XT_MATCH_PHYSDEV=m
  5206. +CONFIG_NETFILTER_XT_MATCH_PKTTYPE=m
  5207. +CONFIG_NETFILTER_XT_MATCH_QUOTA=m
  5208. +CONFIG_NETFILTER_XT_MATCH_RATEEST=m
  5209. +CONFIG_NETFILTER_XT_MATCH_REALM=m
  5210. +CONFIG_NETFILTER_XT_MATCH_RECENT=m
  5211. +CONFIG_NETFILTER_XT_MATCH_SOCKET=m
  5212. +CONFIG_NETFILTER_XT_MATCH_STATE=m
  5213. +CONFIG_NETFILTER_XT_MATCH_STATISTIC=m
  5214. +CONFIG_NETFILTER_XT_MATCH_STRING=m
  5215. +CONFIG_NETFILTER_XT_MATCH_TCPMSS=m
  5216. +CONFIG_NETFILTER_XT_MATCH_TIME=m
  5217. +CONFIG_NETFILTER_XT_MATCH_U32=m
  5218. +CONFIG_IP_SET=m
  5219. +CONFIG_IP_SET_BITMAP_IP=m
  5220. +CONFIG_IP_SET_BITMAP_IPMAC=m
  5221. +CONFIG_IP_SET_BITMAP_PORT=m
  5222. +CONFIG_IP_SET_HASH_IP=m
  5223. +CONFIG_IP_SET_HASH_IPPORT=m
  5224. +CONFIG_IP_SET_HASH_IPPORTIP=m
  5225. +CONFIG_IP_SET_HASH_IPPORTNET=m
  5226. +CONFIG_IP_SET_HASH_NET=m
  5227. +CONFIG_IP_SET_HASH_NETPORT=m
  5228. +CONFIG_IP_SET_HASH_NETIFACE=m
  5229. +CONFIG_IP_SET_LIST_SET=m
  5230. +CONFIG_IP_VS=m
  5231. +CONFIG_IP_VS_PROTO_TCP=y
  5232. +CONFIG_IP_VS_PROTO_UDP=y
  5233. +CONFIG_IP_VS_PROTO_ESP=y
  5234. +CONFIG_IP_VS_PROTO_AH=y
  5235. +CONFIG_IP_VS_PROTO_SCTP=y
  5236. +CONFIG_IP_VS_RR=m
  5237. +CONFIG_IP_VS_WRR=m
  5238. +CONFIG_IP_VS_LC=m
  5239. +CONFIG_IP_VS_WLC=m
  5240. +CONFIG_IP_VS_LBLC=m
  5241. +CONFIG_IP_VS_LBLCR=m
  5242. +CONFIG_IP_VS_DH=m
  5243. +CONFIG_IP_VS_SH=m
  5244. +CONFIG_IP_VS_SED=m
  5245. +CONFIG_IP_VS_NQ=m
  5246. +CONFIG_IP_VS_FTP=m
  5247. +CONFIG_IP_VS_PE_SIP=m
  5248. +CONFIG_NF_CONNTRACK_IPV4=m
  5249. +CONFIG_IP_NF_IPTABLES=m
  5250. +CONFIG_IP_NF_MATCH_AH=m
  5251. +CONFIG_IP_NF_MATCH_ECN=m
  5252. +CONFIG_IP_NF_MATCH_TTL=m
  5253. +CONFIG_IP_NF_FILTER=m
  5254. +CONFIG_IP_NF_TARGET_REJECT=m
  5255. +CONFIG_IP_NF_NAT=m
  5256. +CONFIG_IP_NF_TARGET_MASQUERADE=m
  5257. +CONFIG_IP_NF_TARGET_NETMAP=m
  5258. +CONFIG_IP_NF_TARGET_REDIRECT=m
  5259. +CONFIG_IP_NF_MANGLE=m
  5260. +CONFIG_IP_NF_TARGET_CLUSTERIP=m
  5261. +CONFIG_IP_NF_TARGET_ECN=m
  5262. +CONFIG_IP_NF_TARGET_TTL=m
  5263. +CONFIG_IP_NF_RAW=m
  5264. +CONFIG_IP_NF_ARPTABLES=m
  5265. +CONFIG_IP_NF_ARPFILTER=m
  5266. +CONFIG_IP_NF_ARP_MANGLE=m
  5267. +CONFIG_NF_CONNTRACK_IPV6=m
  5268. +CONFIG_IP6_NF_IPTABLES=m
  5269. +CONFIG_IP6_NF_MATCH_AH=m
  5270. +CONFIG_IP6_NF_MATCH_EUI64=m
  5271. +CONFIG_IP6_NF_MATCH_FRAG=m
  5272. +CONFIG_IP6_NF_MATCH_OPTS=m
  5273. +CONFIG_IP6_NF_MATCH_HL=m
  5274. +CONFIG_IP6_NF_MATCH_IPV6HEADER=m
  5275. +CONFIG_IP6_NF_MATCH_MH=m
  5276. +CONFIG_IP6_NF_MATCH_RT=m
  5277. +CONFIG_IP6_NF_TARGET_HL=m
  5278. +CONFIG_IP6_NF_FILTER=m
  5279. +CONFIG_IP6_NF_TARGET_REJECT=m
  5280. +CONFIG_IP6_NF_MANGLE=m
  5281. +CONFIG_IP6_NF_RAW=m
  5282. +CONFIG_IP6_NF_NAT=m
  5283. +CONFIG_IP6_NF_TARGET_MASQUERADE=m
  5284. +CONFIG_IP6_NF_TARGET_NPT=m
  5285. +CONFIG_BRIDGE_NF_EBTABLES=m
  5286. +CONFIG_BRIDGE_EBT_BROUTE=m
  5287. +CONFIG_BRIDGE_EBT_T_FILTER=m
  5288. +CONFIG_BRIDGE_EBT_T_NAT=m
  5289. +CONFIG_BRIDGE_EBT_802_3=m
  5290. +CONFIG_BRIDGE_EBT_AMONG=m
  5291. +CONFIG_BRIDGE_EBT_ARP=m
  5292. +CONFIG_BRIDGE_EBT_IP=m
  5293. +CONFIG_BRIDGE_EBT_IP6=m
  5294. +CONFIG_BRIDGE_EBT_LIMIT=m
  5295. +CONFIG_BRIDGE_EBT_MARK=m
  5296. +CONFIG_BRIDGE_EBT_PKTTYPE=m
  5297. +CONFIG_BRIDGE_EBT_STP=m
  5298. +CONFIG_BRIDGE_EBT_VLAN=m
  5299. +CONFIG_BRIDGE_EBT_ARPREPLY=m
  5300. +CONFIG_BRIDGE_EBT_DNAT=m
  5301. +CONFIG_BRIDGE_EBT_MARK_T=m
  5302. +CONFIG_BRIDGE_EBT_REDIRECT=m
  5303. +CONFIG_BRIDGE_EBT_SNAT=m
  5304. +CONFIG_BRIDGE_EBT_LOG=m
  5305. +CONFIG_BRIDGE_EBT_NFLOG=m
  5306. +CONFIG_SCTP_COOKIE_HMAC_SHA1=y
  5307. +CONFIG_ATM=m
  5308. +CONFIG_L2TP=m
  5309. +CONFIG_L2TP_V3=y
  5310. +CONFIG_L2TP_IP=m
  5311. +CONFIG_L2TP_ETH=m
  5312. +CONFIG_BRIDGE=m
  5313. +CONFIG_VLAN_8021Q=m
  5314. +CONFIG_VLAN_8021Q_GVRP=y
  5315. +CONFIG_ATALK=m
  5316. +CONFIG_6LOWPAN=m
  5317. +CONFIG_IEEE802154=m
  5318. +CONFIG_IEEE802154_6LOWPAN=m
  5319. +CONFIG_MAC802154=m
  5320. +CONFIG_NET_SCHED=y
  5321. +CONFIG_NET_SCH_CBQ=m
  5322. +CONFIG_NET_SCH_HTB=m
  5323. +CONFIG_NET_SCH_HFSC=m
  5324. +CONFIG_NET_SCH_PRIO=m
  5325. +CONFIG_NET_SCH_MULTIQ=m
  5326. +CONFIG_NET_SCH_RED=m
  5327. +CONFIG_NET_SCH_SFB=m
  5328. +CONFIG_NET_SCH_SFQ=m
  5329. +CONFIG_NET_SCH_TEQL=m
  5330. +CONFIG_NET_SCH_TBF=m
  5331. +CONFIG_NET_SCH_GRED=m
  5332. +CONFIG_NET_SCH_DSMARK=m
  5333. +CONFIG_NET_SCH_NETEM=m
  5334. +CONFIG_NET_SCH_DRR=m
  5335. +CONFIG_NET_SCH_MQPRIO=m
  5336. +CONFIG_NET_SCH_CHOKE=m
  5337. +CONFIG_NET_SCH_QFQ=m
  5338. +CONFIG_NET_SCH_CODEL=m
  5339. +CONFIG_NET_SCH_FQ_CODEL=m
  5340. +CONFIG_NET_SCH_INGRESS=m
  5341. +CONFIG_NET_SCH_PLUG=m
  5342. +CONFIG_NET_CLS_BASIC=m
  5343. +CONFIG_NET_CLS_TCINDEX=m
  5344. +CONFIG_NET_CLS_ROUTE4=m
  5345. +CONFIG_NET_CLS_FW=m
  5346. +CONFIG_NET_CLS_U32=m
  5347. +CONFIG_CLS_U32_MARK=y
  5348. +CONFIG_NET_CLS_RSVP=m
  5349. +CONFIG_NET_CLS_RSVP6=m
  5350. +CONFIG_NET_CLS_FLOW=m
  5351. +CONFIG_NET_CLS_CGROUP=m
  5352. +CONFIG_NET_EMATCH=y
  5353. +CONFIG_NET_EMATCH_CMP=m
  5354. +CONFIG_NET_EMATCH_NBYTE=m
  5355. +CONFIG_NET_EMATCH_U32=m
  5356. +CONFIG_NET_EMATCH_META=m
  5357. +CONFIG_NET_EMATCH_TEXT=m
  5358. +CONFIG_NET_EMATCH_IPSET=m
  5359. +CONFIG_NET_CLS_ACT=y
  5360. +CONFIG_NET_ACT_POLICE=m
  5361. +CONFIG_NET_ACT_GACT=m
  5362. +CONFIG_GACT_PROB=y
  5363. +CONFIG_NET_ACT_MIRRED=m
  5364. +CONFIG_NET_ACT_IPT=m
  5365. +CONFIG_NET_ACT_NAT=m
  5366. +CONFIG_NET_ACT_PEDIT=m
  5367. +CONFIG_NET_ACT_SIMP=m
  5368. +CONFIG_NET_ACT_SKBEDIT=m
  5369. +CONFIG_NET_ACT_CSUM=m
  5370. +CONFIG_BATMAN_ADV=m
  5371. +CONFIG_OPENVSWITCH=m
  5372. +CONFIG_NET_PKTGEN=m
  5373. +CONFIG_HAMRADIO=y
  5374. +CONFIG_AX25=m
  5375. +CONFIG_NETROM=m
  5376. +CONFIG_ROSE=m
  5377. +CONFIG_MKISS=m
  5378. +CONFIG_6PACK=m
  5379. +CONFIG_BPQETHER=m
  5380. +CONFIG_BAYCOM_SER_FDX=m
  5381. +CONFIG_BAYCOM_SER_HDX=m
  5382. +CONFIG_YAM=m
  5383. +CONFIG_CAN=m
  5384. +CONFIG_CAN_VCAN=m
  5385. +CONFIG_CAN_MCP251X=m
  5386. +CONFIG_IRDA=m
  5387. +CONFIG_IRLAN=m
  5388. +CONFIG_IRNET=m
  5389. +CONFIG_IRCOMM=m
  5390. +CONFIG_IRDA_ULTRA=y
  5391. +CONFIG_IRDA_CACHE_LAST_LSAP=y
  5392. +CONFIG_IRDA_FAST_RR=y
  5393. +CONFIG_IRTTY_SIR=m
  5394. +CONFIG_KINGSUN_DONGLE=m
  5395. +CONFIG_KSDAZZLE_DONGLE=m
  5396. +CONFIG_KS959_DONGLE=m
  5397. +CONFIG_USB_IRDA=m
  5398. +CONFIG_SIGMATEL_FIR=m
  5399. +CONFIG_MCS_FIR=m
  5400. +CONFIG_BT=m
  5401. +CONFIG_BT_RFCOMM=m
  5402. +CONFIG_BT_RFCOMM_TTY=y
  5403. +CONFIG_BT_BNEP=m
  5404. +CONFIG_BT_BNEP_MC_FILTER=y
  5405. +CONFIG_BT_BNEP_PROTO_FILTER=y
  5406. +CONFIG_BT_HIDP=m
  5407. +CONFIG_BT_6LOWPAN=m
  5408. +CONFIG_BT_HCIBTUSB=m
  5409. +CONFIG_BT_HCIBCM203X=m
  5410. +CONFIG_BT_HCIBPA10X=m
  5411. +CONFIG_BT_HCIBFUSB=m
  5412. +CONFIG_BT_HCIVHCI=m
  5413. +CONFIG_BT_MRVL=m
  5414. +CONFIG_BT_MRVL_SDIO=m
  5415. +CONFIG_BT_ATH3K=m
  5416. +CONFIG_BT_WILINK=m
  5417. +CONFIG_MAC80211=m
  5418. +CONFIG_MAC80211_MESH=y
  5419. +CONFIG_WIMAX=m
  5420. +CONFIG_RFKILL=m
  5421. +CONFIG_RFKILL_INPUT=y
  5422. +CONFIG_NET_9P=m
  5423. +CONFIG_NFC=m
  5424. +CONFIG_NFC_PN533=m
  5425. +CONFIG_DEVTMPFS=y
  5426. +CONFIG_DEVTMPFS_MOUNT=y
  5427. +CONFIG_DMA_CMA=y
  5428. +CONFIG_CMA_SIZE_MBYTES=5
  5429. +CONFIG_MTD=m
  5430. +CONFIG_MTD_BLOCK=m
  5431. +CONFIG_MTD_NAND=m
  5432. +CONFIG_MTD_UBI=m
  5433. +CONFIG_ZRAM=m
  5434. +CONFIG_ZRAM_LZ4_COMPRESS=y
  5435. +CONFIG_BLK_DEV_LOOP=y
  5436. +CONFIG_BLK_DEV_CRYPTOLOOP=m
  5437. +CONFIG_BLK_DEV_DRBD=m
  5438. +CONFIG_BLK_DEV_NBD=m
  5439. +CONFIG_BLK_DEV_RAM=y
  5440. +CONFIG_CDROM_PKTCDVD=m
  5441. +CONFIG_ATA_OVER_ETH=m
  5442. +CONFIG_EEPROM_AT24=m
  5443. +CONFIG_TI_ST=m
  5444. +CONFIG_SCSI=y
  5445. +# CONFIG_SCSI_PROC_FS is not set
  5446. +CONFIG_BLK_DEV_SD=y
  5447. +CONFIG_CHR_DEV_ST=m
  5448. +CONFIG_CHR_DEV_OSST=m
  5449. +CONFIG_BLK_DEV_SR=m
  5450. +CONFIG_CHR_DEV_SG=m
  5451. +CONFIG_SCSI_ISCSI_ATTRS=y
  5452. +CONFIG_ISCSI_TCP=m
  5453. +CONFIG_ISCSI_BOOT_SYSFS=m
  5454. +CONFIG_MD=y
  5455. +CONFIG_MD_LINEAR=m
  5456. +CONFIG_MD_RAID0=m
  5457. +CONFIG_BLK_DEV_DM=m
  5458. +CONFIG_DM_CRYPT=m
  5459. +CONFIG_DM_SNAPSHOT=m
  5460. +CONFIG_DM_THIN_PROVISIONING=m
  5461. +CONFIG_DM_MIRROR=m
  5462. +CONFIG_DM_LOG_USERSPACE=m
  5463. +CONFIG_DM_RAID=m
  5464. +CONFIG_DM_ZERO=m
  5465. +CONFIG_DM_DELAY=m
  5466. +CONFIG_NETDEVICES=y
  5467. +CONFIG_BONDING=m
  5468. +CONFIG_DUMMY=m
  5469. +CONFIG_IFB=m
  5470. +CONFIG_MACVLAN=m
  5471. +CONFIG_NETCONSOLE=m
  5472. +CONFIG_TUN=m
  5473. +CONFIG_VETH=m
  5474. +CONFIG_ENC28J60=m
  5475. +CONFIG_MDIO_BITBANG=m
  5476. +CONFIG_PPP=m
  5477. +CONFIG_PPP_BSDCOMP=m
  5478. +CONFIG_PPP_DEFLATE=m
  5479. +CONFIG_PPP_FILTER=y
  5480. +CONFIG_PPP_MPPE=m
  5481. +CONFIG_PPP_MULTILINK=y
  5482. +CONFIG_PPPOATM=m
  5483. +CONFIG_PPPOE=m
  5484. +CONFIG_PPPOL2TP=m
  5485. +CONFIG_PPP_ASYNC=m
  5486. +CONFIG_PPP_SYNC_TTY=m
  5487. +CONFIG_SLIP=m
  5488. +CONFIG_SLIP_COMPRESSED=y
  5489. +CONFIG_SLIP_SMART=y
  5490. +CONFIG_USB_CATC=m
  5491. +CONFIG_USB_KAWETH=m
  5492. +CONFIG_USB_PEGASUS=m
  5493. +CONFIG_USB_RTL8150=m
  5494. +CONFIG_USB_RTL8152=m
  5495. +CONFIG_USB_USBNET=y
  5496. +CONFIG_USB_NET_AX8817X=m
  5497. +CONFIG_USB_NET_AX88179_178A=m
  5498. +CONFIG_USB_NET_CDCETHER=m
  5499. +CONFIG_USB_NET_CDC_EEM=m
  5500. +CONFIG_USB_NET_CDC_NCM=m
  5501. +CONFIG_USB_NET_HUAWEI_CDC_NCM=m
  5502. +CONFIG_USB_NET_CDC_MBIM=m
  5503. +CONFIG_USB_NET_DM9601=m
  5504. +CONFIG_USB_NET_SR9700=m
  5505. +CONFIG_USB_NET_SR9800=m
  5506. +CONFIG_USB_NET_SMSC75XX=m
  5507. +CONFIG_USB_NET_SMSC95XX=y
  5508. +CONFIG_USB_NET_GL620A=m
  5509. +CONFIG_USB_NET_NET1080=m
  5510. +CONFIG_USB_NET_PLUSB=m
  5511. +CONFIG_USB_NET_MCS7830=m
  5512. +CONFIG_USB_NET_CDC_SUBSET=m
  5513. +CONFIG_USB_ALI_M5632=y
  5514. +CONFIG_USB_AN2720=y
  5515. +CONFIG_USB_EPSON2888=y
  5516. +CONFIG_USB_KC2190=y
  5517. +CONFIG_USB_NET_ZAURUS=m
  5518. +CONFIG_USB_NET_CX82310_ETH=m
  5519. +CONFIG_USB_NET_KALMIA=m
  5520. +CONFIG_USB_NET_QMI_WWAN=m
  5521. +CONFIG_USB_HSO=m
  5522. +CONFIG_USB_NET_INT51X1=m
  5523. +CONFIG_USB_IPHETH=m
  5524. +CONFIG_USB_SIERRA_NET=m
  5525. +CONFIG_USB_VL600=m
  5526. +CONFIG_LIBERTAS_THINFIRM=m
  5527. +CONFIG_LIBERTAS_THINFIRM_USB=m
  5528. +CONFIG_AT76C50X_USB=m
  5529. +CONFIG_USB_ZD1201=m
  5530. +CONFIG_USB_NET_RNDIS_WLAN=m
  5531. +CONFIG_RTL8187=m
  5532. +CONFIG_MAC80211_HWSIM=m
  5533. +CONFIG_ATH_CARDS=m
  5534. +CONFIG_ATH9K=m
  5535. +CONFIG_ATH9K_HTC=m
  5536. +CONFIG_CARL9170=m
  5537. +CONFIG_ATH6KL=m
  5538. +CONFIG_ATH6KL_USB=m
  5539. +CONFIG_AR5523=m
  5540. +CONFIG_B43=m
  5541. +# CONFIG_B43_PHY_N is not set
  5542. +CONFIG_B43LEGACY=m
  5543. +CONFIG_BRCMFMAC=m
  5544. +CONFIG_BRCMFMAC_USB=y
  5545. +CONFIG_HOSTAP=m
  5546. +CONFIG_LIBERTAS=m
  5547. +CONFIG_LIBERTAS_USB=m
  5548. +CONFIG_LIBERTAS_SDIO=m
  5549. +CONFIG_P54_COMMON=m
  5550. +CONFIG_P54_USB=m
  5551. +CONFIG_RT2X00=m
  5552. +CONFIG_RT2500USB=m
  5553. +CONFIG_RT73USB=m
  5554. +CONFIG_RT2800USB=m
  5555. +CONFIG_RT2800USB_RT3573=y
  5556. +CONFIG_RT2800USB_RT53XX=y
  5557. +CONFIG_RT2800USB_RT55XX=y
  5558. +CONFIG_RT2800USB_UNKNOWN=y
  5559. +CONFIG_WL_MEDIATEK=y
  5560. +CONFIG_MT7601U=m
  5561. +CONFIG_RTL8192CU=m
  5562. +CONFIG_ZD1211RW=m
  5563. +CONFIG_MWIFIEX=m
  5564. +CONFIG_MWIFIEX_SDIO=m
  5565. +CONFIG_WIMAX_I2400M_USB=m
  5566. +CONFIG_IEEE802154_AT86RF230=m
  5567. +CONFIG_IEEE802154_MRF24J40=m
  5568. +CONFIG_IEEE802154_CC2520=m
  5569. +CONFIG_INPUT_POLLDEV=m
  5570. +# CONFIG_INPUT_MOUSEDEV_PSAUX is not set
  5571. +CONFIG_INPUT_JOYDEV=m
  5572. +CONFIG_INPUT_EVDEV=m
  5573. +# CONFIG_KEYBOARD_ATKBD is not set
  5574. +CONFIG_KEYBOARD_GPIO=m
  5575. +# CONFIG_INPUT_MOUSE is not set
  5576. +CONFIG_INPUT_JOYSTICK=y
  5577. +CONFIG_JOYSTICK_IFORCE=m
  5578. +CONFIG_JOYSTICK_IFORCE_USB=y
  5579. +CONFIG_JOYSTICK_XPAD=m
  5580. +CONFIG_JOYSTICK_XPAD_FF=y
  5581. +CONFIG_JOYSTICK_RPISENSE=m
  5582. +CONFIG_INPUT_TOUCHSCREEN=y
  5583. +CONFIG_TOUCHSCREEN_ADS7846=m
  5584. +CONFIG_TOUCHSCREEN_EGALAX=m
  5585. +CONFIG_TOUCHSCREEN_FT6236=m
  5586. +CONFIG_TOUCHSCREEN_RPI_FT5406=m
  5587. +CONFIG_TOUCHSCREEN_USB_COMPOSITE=m
  5588. +CONFIG_TOUCHSCREEN_STMPE=m
  5589. +CONFIG_INPUT_MISC=y
  5590. +CONFIG_INPUT_AD714X=m
  5591. +CONFIG_INPUT_ATI_REMOTE2=m
  5592. +CONFIG_INPUT_KEYSPAN_REMOTE=m
  5593. +CONFIG_INPUT_POWERMATE=m
  5594. +CONFIG_INPUT_YEALINK=m
  5595. +CONFIG_INPUT_CM109=m
  5596. +CONFIG_INPUT_UINPUT=m
  5597. +CONFIG_INPUT_GPIO_ROTARY_ENCODER=m
  5598. +CONFIG_INPUT_ADXL34X=m
  5599. +CONFIG_INPUT_CMA3000=m
  5600. +CONFIG_SERIO=m
  5601. +CONFIG_SERIO_RAW=m
  5602. +CONFIG_GAMEPORT=m
  5603. +CONFIG_GAMEPORT_NS558=m
  5604. +CONFIG_GAMEPORT_L4=m
  5605. +CONFIG_DEVPTS_MULTIPLE_INSTANCES=y
  5606. +# CONFIG_LEGACY_PTYS is not set
  5607. +# CONFIG_DEVKMEM is not set
  5608. +CONFIG_SERIAL_8250=y
  5609. +# CONFIG_SERIAL_8250_DEPRECATED_OPTIONS is not set
  5610. +CONFIG_SERIAL_8250_CONSOLE=y
  5611. +# CONFIG_SERIAL_8250_DMA is not set
  5612. +CONFIG_SERIAL_8250_NR_UARTS=1
  5613. +CONFIG_SERIAL_8250_RUNTIME_UARTS=0
  5614. +CONFIG_SERIAL_AMBA_PL011=y
  5615. +CONFIG_SERIAL_AMBA_PL011_CONSOLE=y
  5616. +CONFIG_SERIAL_OF_PLATFORM=y
  5617. +CONFIG_TTY_PRINTK=y
  5618. +CONFIG_HW_RANDOM=y
  5619. +CONFIG_HW_RANDOM_BCM2835=m
  5620. +CONFIG_HW_RANDOM_BCM2708=m
  5621. +CONFIG_RAW_DRIVER=y
  5622. +CONFIG_BRCM_CHAR_DRIVERS=y
  5623. +CONFIG_BCM_VC_CMA=y
  5624. +CONFIG_BCM_VCIO=y
  5625. +CONFIG_BCM_VC_SM=y
  5626. +CONFIG_I2C=y
  5627. +CONFIG_I2C_CHARDEV=m
  5628. +CONFIG_I2C_BCM2708=m
  5629. +CONFIG_I2C_GPIO=m
  5630. +CONFIG_SPI=y
  5631. +CONFIG_SPI_BCM2835=m
  5632. +CONFIG_SPI_BCM2708=m
  5633. +CONFIG_SPI_SPIDEV=y
  5634. +CONFIG_PPS=m
  5635. +CONFIG_PPS_CLIENT_LDISC=m
  5636. +CONFIG_PPS_CLIENT_GPIO=m
  5637. +CONFIG_GPIO_SYSFS=y
  5638. +CONFIG_GPIO_ARIZONA=m
  5639. +CONFIG_GPIO_STMPE=y
  5640. +CONFIG_W1=m
  5641. +CONFIG_W1_MASTER_DS2490=m
  5642. +CONFIG_W1_MASTER_DS2482=m
  5643. +CONFIG_W1_MASTER_DS1WM=m
  5644. +CONFIG_W1_MASTER_GPIO=m
  5645. +CONFIG_W1_SLAVE_THERM=m
  5646. +CONFIG_W1_SLAVE_SMEM=m
  5647. +CONFIG_W1_SLAVE_DS2408=m
  5648. +CONFIG_W1_SLAVE_DS2413=m
  5649. +CONFIG_W1_SLAVE_DS2406=m
  5650. +CONFIG_W1_SLAVE_DS2423=m
  5651. +CONFIG_W1_SLAVE_DS2431=m
  5652. +CONFIG_W1_SLAVE_DS2433=m
  5653. +CONFIG_W1_SLAVE_DS2760=m
  5654. +CONFIG_W1_SLAVE_DS2780=m
  5655. +CONFIG_W1_SLAVE_DS2781=m
  5656. +CONFIG_W1_SLAVE_DS28E04=m
  5657. +CONFIG_W1_SLAVE_BQ27000=m
  5658. +CONFIG_BATTERY_DS2760=m
  5659. +CONFIG_POWER_RESET=y
  5660. +CONFIG_POWER_RESET_GPIO=y
  5661. +CONFIG_HWMON=m
  5662. +CONFIG_SENSORS_SHT21=m
  5663. +CONFIG_SENSORS_SHTC1=m
  5664. +CONFIG_THERMAL=y
  5665. +CONFIG_THERMAL_BCM2835=y
  5666. +CONFIG_WATCHDOG=y
  5667. +CONFIG_BCM2708_WDT=m
  5668. +CONFIG_BCM2835_WDT=m
  5669. +CONFIG_UCB1400_CORE=m
  5670. +CONFIG_MFD_STMPE=y
  5671. +CONFIG_STMPE_SPI=y
  5672. +CONFIG_MFD_ARIZONA_I2C=m
  5673. +CONFIG_MFD_ARIZONA_SPI=m
  5674. +CONFIG_MFD_WM5102=y
  5675. +CONFIG_MEDIA_SUPPORT=m
  5676. +CONFIG_MEDIA_CAMERA_SUPPORT=y
  5677. +CONFIG_MEDIA_ANALOG_TV_SUPPORT=y
  5678. +CONFIG_MEDIA_DIGITAL_TV_SUPPORT=y
  5679. +CONFIG_MEDIA_RADIO_SUPPORT=y
  5680. +CONFIG_MEDIA_RC_SUPPORT=y
  5681. +CONFIG_MEDIA_CONTROLLER=y
  5682. +CONFIG_LIRC=m
  5683. +CONFIG_RC_DEVICES=y
  5684. +CONFIG_RC_ATI_REMOTE=m
  5685. +CONFIG_IR_IMON=m
  5686. +CONFIG_IR_MCEUSB=m
  5687. +CONFIG_IR_REDRAT3=m
  5688. +CONFIG_IR_STREAMZAP=m
  5689. +CONFIG_IR_IGUANA=m
  5690. +CONFIG_IR_TTUSBIR=m
  5691. +CONFIG_RC_LOOPBACK=m
  5692. +CONFIG_IR_GPIO_CIR=m
  5693. +CONFIG_MEDIA_USB_SUPPORT=y
  5694. +CONFIG_USB_VIDEO_CLASS=m
  5695. +CONFIG_USB_M5602=m
  5696. +CONFIG_USB_STV06XX=m
  5697. +CONFIG_USB_GL860=m
  5698. +CONFIG_USB_GSPCA_BENQ=m
  5699. +CONFIG_USB_GSPCA_CONEX=m
  5700. +CONFIG_USB_GSPCA_CPIA1=m
  5701. +CONFIG_USB_GSPCA_DTCS033=m
  5702. +CONFIG_USB_GSPCA_ETOMS=m
  5703. +CONFIG_USB_GSPCA_FINEPIX=m
  5704. +CONFIG_USB_GSPCA_JEILINJ=m
  5705. +CONFIG_USB_GSPCA_JL2005BCD=m
  5706. +CONFIG_USB_GSPCA_KINECT=m
  5707. +CONFIG_USB_GSPCA_KONICA=m
  5708. +CONFIG_USB_GSPCA_MARS=m
  5709. +CONFIG_USB_GSPCA_MR97310A=m
  5710. +CONFIG_USB_GSPCA_NW80X=m
  5711. +CONFIG_USB_GSPCA_OV519=m
  5712. +CONFIG_USB_GSPCA_OV534=m
  5713. +CONFIG_USB_GSPCA_OV534_9=m
  5714. +CONFIG_USB_GSPCA_PAC207=m
  5715. +CONFIG_USB_GSPCA_PAC7302=m
  5716. +CONFIG_USB_GSPCA_PAC7311=m
  5717. +CONFIG_USB_GSPCA_SE401=m
  5718. +CONFIG_USB_GSPCA_SN9C2028=m
  5719. +CONFIG_USB_GSPCA_SN9C20X=m
  5720. +CONFIG_USB_GSPCA_SONIXB=m
  5721. +CONFIG_USB_GSPCA_SONIXJ=m
  5722. +CONFIG_USB_GSPCA_SPCA500=m
  5723. +CONFIG_USB_GSPCA_SPCA501=m
  5724. +CONFIG_USB_GSPCA_SPCA505=m
  5725. +CONFIG_USB_GSPCA_SPCA506=m
  5726. +CONFIG_USB_GSPCA_SPCA508=m
  5727. +CONFIG_USB_GSPCA_SPCA561=m
  5728. +CONFIG_USB_GSPCA_SPCA1528=m
  5729. +CONFIG_USB_GSPCA_SQ905=m
  5730. +CONFIG_USB_GSPCA_SQ905C=m
  5731. +CONFIG_USB_GSPCA_SQ930X=m
  5732. +CONFIG_USB_GSPCA_STK014=m
  5733. +CONFIG_USB_GSPCA_STK1135=m
  5734. +CONFIG_USB_GSPCA_STV0680=m
  5735. +CONFIG_USB_GSPCA_SUNPLUS=m
  5736. +CONFIG_USB_GSPCA_T613=m
  5737. +CONFIG_USB_GSPCA_TOPRO=m
  5738. +CONFIG_USB_GSPCA_TV8532=m
  5739. +CONFIG_USB_GSPCA_VC032X=m
  5740. +CONFIG_USB_GSPCA_VICAM=m
  5741. +CONFIG_USB_GSPCA_XIRLINK_CIT=m
  5742. +CONFIG_USB_GSPCA_ZC3XX=m
  5743. +CONFIG_USB_PWC=m
  5744. +CONFIG_VIDEO_CPIA2=m
  5745. +CONFIG_USB_ZR364XX=m
  5746. +CONFIG_USB_STKWEBCAM=m
  5747. +CONFIG_USB_S2255=m
  5748. +CONFIG_VIDEO_USBTV=m
  5749. +CONFIG_VIDEO_PVRUSB2=m
  5750. +CONFIG_VIDEO_HDPVR=m
  5751. +CONFIG_VIDEO_USBVISION=m
  5752. +CONFIG_VIDEO_STK1160_COMMON=m
  5753. +CONFIG_VIDEO_STK1160_AC97=y
  5754. +CONFIG_VIDEO_GO7007=m
  5755. +CONFIG_VIDEO_GO7007_USB=m
  5756. +CONFIG_VIDEO_GO7007_USB_S2250_BOARD=m
  5757. +CONFIG_VIDEO_AU0828=m
  5758. +CONFIG_VIDEO_AU0828_RC=y
  5759. +CONFIG_VIDEO_CX231XX=m
  5760. +CONFIG_VIDEO_CX231XX_ALSA=m
  5761. +CONFIG_VIDEO_CX231XX_DVB=m
  5762. +CONFIG_VIDEO_TM6000=m
  5763. +CONFIG_VIDEO_TM6000_ALSA=m
  5764. +CONFIG_VIDEO_TM6000_DVB=m
  5765. +CONFIG_DVB_USB=m
  5766. +CONFIG_DVB_USB_A800=m
  5767. +CONFIG_DVB_USB_DIBUSB_MB=m
  5768. +CONFIG_DVB_USB_DIBUSB_MB_FAULTY=y
  5769. +CONFIG_DVB_USB_DIBUSB_MC=m
  5770. +CONFIG_DVB_USB_DIB0700=m
  5771. +CONFIG_DVB_USB_UMT_010=m
  5772. +CONFIG_DVB_USB_CXUSB=m
  5773. +CONFIG_DVB_USB_M920X=m
  5774. +CONFIG_DVB_USB_DIGITV=m
  5775. +CONFIG_DVB_USB_VP7045=m
  5776. +CONFIG_DVB_USB_VP702X=m
  5777. +CONFIG_DVB_USB_GP8PSK=m
  5778. +CONFIG_DVB_USB_NOVA_T_USB2=m
  5779. +CONFIG_DVB_USB_TTUSB2=m
  5780. +CONFIG_DVB_USB_DTT200U=m
  5781. +CONFIG_DVB_USB_OPERA1=m
  5782. +CONFIG_DVB_USB_AF9005=m
  5783. +CONFIG_DVB_USB_AF9005_REMOTE=m
  5784. +CONFIG_DVB_USB_PCTV452E=m
  5785. +CONFIG_DVB_USB_DW2102=m
  5786. +CONFIG_DVB_USB_CINERGY_T2=m
  5787. +CONFIG_DVB_USB_DTV5100=m
  5788. +CONFIG_DVB_USB_FRIIO=m
  5789. +CONFIG_DVB_USB_AZ6027=m
  5790. +CONFIG_DVB_USB_TECHNISAT_USB2=m
  5791. +CONFIG_DVB_USB_V2=m
  5792. +CONFIG_DVB_USB_AF9015=m
  5793. +CONFIG_DVB_USB_AF9035=m
  5794. +CONFIG_DVB_USB_ANYSEE=m
  5795. +CONFIG_DVB_USB_AU6610=m
  5796. +CONFIG_DVB_USB_AZ6007=m
  5797. +CONFIG_DVB_USB_CE6230=m
  5798. +CONFIG_DVB_USB_EC168=m
  5799. +CONFIG_DVB_USB_GL861=m
  5800. +CONFIG_DVB_USB_LME2510=m
  5801. +CONFIG_DVB_USB_MXL111SF=m
  5802. +CONFIG_DVB_USB_RTL28XXU=m
  5803. +CONFIG_DVB_USB_DVBSKY=m
  5804. +CONFIG_SMS_USB_DRV=m
  5805. +CONFIG_DVB_B2C2_FLEXCOP_USB=m
  5806. +CONFIG_DVB_AS102=m
  5807. +CONFIG_VIDEO_EM28XX=m
  5808. +CONFIG_VIDEO_EM28XX_V4L2=m
  5809. +CONFIG_VIDEO_EM28XX_ALSA=m
  5810. +CONFIG_VIDEO_EM28XX_DVB=m
  5811. +CONFIG_V4L_PLATFORM_DRIVERS=y
  5812. +CONFIG_VIDEO_BCM2835=y
  5813. +CONFIG_VIDEO_BCM2835_MMAL=m
  5814. +CONFIG_RADIO_SI470X=y
  5815. +CONFIG_USB_SI470X=m
  5816. +CONFIG_I2C_SI470X=m
  5817. +CONFIG_RADIO_SI4713=m
  5818. +CONFIG_I2C_SI4713=m
  5819. +CONFIG_USB_MR800=m
  5820. +CONFIG_USB_DSBR=m
  5821. +CONFIG_RADIO_SHARK=m
  5822. +CONFIG_RADIO_SHARK2=m
  5823. +CONFIG_USB_KEENE=m
  5824. +CONFIG_USB_MA901=m
  5825. +CONFIG_RADIO_TEA5764=m
  5826. +CONFIG_RADIO_SAA7706H=m
  5827. +CONFIG_RADIO_TEF6862=m
  5828. +CONFIG_RADIO_WL1273=m
  5829. +CONFIG_RADIO_WL128X=m
  5830. +# CONFIG_MEDIA_SUBDRV_AUTOSELECT is not set
  5831. +CONFIG_VIDEO_UDA1342=m
  5832. +CONFIG_VIDEO_SONY_BTF_MPX=m
  5833. +CONFIG_VIDEO_TVP5150=m
  5834. +CONFIG_VIDEO_TW2804=m
  5835. +CONFIG_VIDEO_TW9903=m
  5836. +CONFIG_VIDEO_TW9906=m
  5837. +CONFIG_VIDEO_OV7640=m
  5838. +CONFIG_VIDEO_MT9V011=m
  5839. +CONFIG_FB=y
  5840. +CONFIG_FB_BCM2708=y
  5841. +CONFIG_FB_UDL=m
  5842. +CONFIG_FB_SSD1307=m
  5843. +CONFIG_FB_RPISENSE=m
  5844. +# CONFIG_BACKLIGHT_GENERIC is not set
  5845. +CONFIG_BACKLIGHT_RPI=m
  5846. +CONFIG_BACKLIGHT_GPIO=m
  5847. +CONFIG_FRAMEBUFFER_CONSOLE=y
  5848. +CONFIG_LOGO=y
  5849. +# CONFIG_LOGO_LINUX_MONO is not set
  5850. +# CONFIG_LOGO_LINUX_VGA16 is not set
  5851. +CONFIG_SOUND=y
  5852. +CONFIG_SND=m
  5853. +CONFIG_SND_SEQUENCER=m
  5854. +CONFIG_SND_SEQ_DUMMY=m
  5855. +CONFIG_SND_MIXER_OSS=m
  5856. +CONFIG_SND_PCM_OSS=m
  5857. +CONFIG_SND_SEQUENCER_OSS=y
  5858. +CONFIG_SND_HRTIMER=m
  5859. +CONFIG_SND_DUMMY=m
  5860. +CONFIG_SND_ALOOP=m
  5861. +CONFIG_SND_VIRMIDI=m
  5862. +CONFIG_SND_MTPAV=m
  5863. +CONFIG_SND_SERIAL_U16550=m
  5864. +CONFIG_SND_MPU401=m
  5865. +CONFIG_SND_BCM2835=m
  5866. +CONFIG_SND_USB_AUDIO=m
  5867. +CONFIG_SND_USB_UA101=m
  5868. +CONFIG_SND_USB_CAIAQ=m
  5869. +CONFIG_SND_USB_CAIAQ_INPUT=y
  5870. +CONFIG_SND_USB_6FIRE=m
  5871. +CONFIG_SND_SOC=m
  5872. +CONFIG_SND_BCM2708_SOC_I2S=m
  5873. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC=m
  5874. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS=m
  5875. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI=m
  5876. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP=m
  5877. +CONFIG_SND_BCM2708_SOC_RPI_DAC=m
  5878. +CONFIG_SND_BCM2708_SOC_RPI_PROTO=m
  5879. +CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC=m
  5880. +CONFIG_SND_BCM2708_SOC_RASPIDAC3=m
  5881. +CONFIG_SND_SOC_ADAU1701=m
  5882. +CONFIG_SND_SOC_WM8804_I2C=m
  5883. +CONFIG_SND_SIMPLE_CARD=m
  5884. +CONFIG_SOUND_PRIME=m
  5885. +CONFIG_HIDRAW=y
  5886. +CONFIG_UHID=m
  5887. +CONFIG_HID_A4TECH=m
  5888. +CONFIG_HID_ACRUX=m
  5889. +CONFIG_HID_APPLE=m
  5890. +CONFIG_HID_BELKIN=m
  5891. +CONFIG_HID_CHERRY=m
  5892. +CONFIG_HID_CHICONY=m
  5893. +CONFIG_HID_CYPRESS=m
  5894. +CONFIG_HID_DRAGONRISE=m
  5895. +CONFIG_HID_EMS_FF=m
  5896. +CONFIG_HID_ELECOM=m
  5897. +CONFIG_HID_ELO=m
  5898. +CONFIG_HID_EZKEY=m
  5899. +CONFIG_HID_HOLTEK=m
  5900. +CONFIG_HID_KEYTOUCH=m
  5901. +CONFIG_HID_KYE=m
  5902. +CONFIG_HID_UCLOGIC=m
  5903. +CONFIG_HID_WALTOP=m
  5904. +CONFIG_HID_GYRATION=m
  5905. +CONFIG_HID_TWINHAN=m
  5906. +CONFIG_HID_KENSINGTON=m
  5907. +CONFIG_HID_LCPOWER=m
  5908. +CONFIG_HID_LOGITECH=m
  5909. +CONFIG_HID_MAGICMOUSE=m
  5910. +CONFIG_HID_MICROSOFT=m
  5911. +CONFIG_HID_MONTEREY=m
  5912. +CONFIG_HID_MULTITOUCH=m
  5913. +CONFIG_HID_NTRIG=m
  5914. +CONFIG_HID_ORTEK=m
  5915. +CONFIG_HID_PANTHERLORD=m
  5916. +CONFIG_HID_PETALYNX=m
  5917. +CONFIG_HID_PICOLCD=m
  5918. +CONFIG_HID_ROCCAT=m
  5919. +CONFIG_HID_SAMSUNG=m
  5920. +CONFIG_HID_SONY=m
  5921. +CONFIG_HID_SPEEDLINK=m
  5922. +CONFIG_HID_SUNPLUS=m
  5923. +CONFIG_HID_GREENASIA=m
  5924. +CONFIG_HID_SMARTJOYPLUS=m
  5925. +CONFIG_HID_TOPSEED=m
  5926. +CONFIG_HID_THINGM=m
  5927. +CONFIG_HID_THRUSTMASTER=m
  5928. +CONFIG_HID_WACOM=m
  5929. +CONFIG_HID_WIIMOTE=m
  5930. +CONFIG_HID_XINMO=m
  5931. +CONFIG_HID_ZEROPLUS=m
  5932. +CONFIG_HID_ZYDACRON=m
  5933. +CONFIG_HID_PID=y
  5934. +CONFIG_USB_HIDDEV=y
  5935. +CONFIG_USB=y
  5936. +CONFIG_USB_ANNOUNCE_NEW_DEVICES=y
  5937. +CONFIG_USB_MON=m
  5938. +CONFIG_USB_DWCOTG=y
  5939. +CONFIG_USB_PRINTER=m
  5940. +CONFIG_USB_STORAGE=y
  5941. +CONFIG_USB_STORAGE_REALTEK=m
  5942. +CONFIG_USB_STORAGE_DATAFAB=m
  5943. +CONFIG_USB_STORAGE_FREECOM=m
  5944. +CONFIG_USB_STORAGE_ISD200=m
  5945. +CONFIG_USB_STORAGE_USBAT=m
  5946. +CONFIG_USB_STORAGE_SDDR09=m
  5947. +CONFIG_USB_STORAGE_SDDR55=m
  5948. +CONFIG_USB_STORAGE_JUMPSHOT=m
  5949. +CONFIG_USB_STORAGE_ALAUDA=m
  5950. +CONFIG_USB_STORAGE_ONETOUCH=m
  5951. +CONFIG_USB_STORAGE_KARMA=m
  5952. +CONFIG_USB_STORAGE_CYPRESS_ATACB=m
  5953. +CONFIG_USB_STORAGE_ENE_UB6250=m
  5954. +CONFIG_USB_MDC800=m
  5955. +CONFIG_USB_MICROTEK=m
  5956. +CONFIG_USBIP_CORE=m
  5957. +CONFIG_USBIP_VHCI_HCD=m
  5958. +CONFIG_USBIP_HOST=m
  5959. +CONFIG_USB_SERIAL=m
  5960. +CONFIG_USB_SERIAL_GENERIC=y
  5961. +CONFIG_USB_SERIAL_AIRCABLE=m
  5962. +CONFIG_USB_SERIAL_ARK3116=m
  5963. +CONFIG_USB_SERIAL_BELKIN=m
  5964. +CONFIG_USB_SERIAL_CH341=m
  5965. +CONFIG_USB_SERIAL_WHITEHEAT=m
  5966. +CONFIG_USB_SERIAL_DIGI_ACCELEPORT=m
  5967. +CONFIG_USB_SERIAL_CP210X=m
  5968. +CONFIG_USB_SERIAL_CYPRESS_M8=m
  5969. +CONFIG_USB_SERIAL_EMPEG=m
  5970. +CONFIG_USB_SERIAL_FTDI_SIO=m
  5971. +CONFIG_USB_SERIAL_VISOR=m
  5972. +CONFIG_USB_SERIAL_IPAQ=m
  5973. +CONFIG_USB_SERIAL_IR=m
  5974. +CONFIG_USB_SERIAL_EDGEPORT=m
  5975. +CONFIG_USB_SERIAL_EDGEPORT_TI=m
  5976. +CONFIG_USB_SERIAL_F81232=m
  5977. +CONFIG_USB_SERIAL_GARMIN=m
  5978. +CONFIG_USB_SERIAL_IPW=m
  5979. +CONFIG_USB_SERIAL_IUU=m
  5980. +CONFIG_USB_SERIAL_KEYSPAN_PDA=m
  5981. +CONFIG_USB_SERIAL_KEYSPAN=m
  5982. +CONFIG_USB_SERIAL_KLSI=m
  5983. +CONFIG_USB_SERIAL_KOBIL_SCT=m
  5984. +CONFIG_USB_SERIAL_MCT_U232=m
  5985. +CONFIG_USB_SERIAL_METRO=m
  5986. +CONFIG_USB_SERIAL_MOS7720=m
  5987. +CONFIG_USB_SERIAL_MOS7840=m
  5988. +CONFIG_USB_SERIAL_NAVMAN=m
  5989. +CONFIG_USB_SERIAL_PL2303=m
  5990. +CONFIG_USB_SERIAL_OTI6858=m
  5991. +CONFIG_USB_SERIAL_QCAUX=m
  5992. +CONFIG_USB_SERIAL_QUALCOMM=m
  5993. +CONFIG_USB_SERIAL_SPCP8X5=m
  5994. +CONFIG_USB_SERIAL_SAFE=m
  5995. +CONFIG_USB_SERIAL_SIERRAWIRELESS=m
  5996. +CONFIG_USB_SERIAL_SYMBOL=m
  5997. +CONFIG_USB_SERIAL_TI=m
  5998. +CONFIG_USB_SERIAL_CYBERJACK=m
  5999. +CONFIG_USB_SERIAL_XIRCOM=m
  6000. +CONFIG_USB_SERIAL_OPTION=m
  6001. +CONFIG_USB_SERIAL_OMNINET=m
  6002. +CONFIG_USB_SERIAL_OPTICON=m
  6003. +CONFIG_USB_SERIAL_XSENS_MT=m
  6004. +CONFIG_USB_SERIAL_WISHBONE=m
  6005. +CONFIG_USB_SERIAL_SSU100=m
  6006. +CONFIG_USB_SERIAL_QT2=m
  6007. +CONFIG_USB_SERIAL_DEBUG=m
  6008. +CONFIG_USB_EMI62=m
  6009. +CONFIG_USB_EMI26=m
  6010. +CONFIG_USB_ADUTUX=m
  6011. +CONFIG_USB_SEVSEG=m
  6012. +CONFIG_USB_RIO500=m
  6013. +CONFIG_USB_LEGOTOWER=m
  6014. +CONFIG_USB_LCD=m
  6015. +CONFIG_USB_LED=m
  6016. +CONFIG_USB_CYPRESS_CY7C63=m
  6017. +CONFIG_USB_CYTHERM=m
  6018. +CONFIG_USB_IDMOUSE=m
  6019. +CONFIG_USB_FTDI_ELAN=m
  6020. +CONFIG_USB_APPLEDISPLAY=m
  6021. +CONFIG_USB_LD=m
  6022. +CONFIG_USB_TRANCEVIBRATOR=m
  6023. +CONFIG_USB_IOWARRIOR=m
  6024. +CONFIG_USB_TEST=m
  6025. +CONFIG_USB_ISIGHTFW=m
  6026. +CONFIG_USB_YUREX=m
  6027. +CONFIG_USB_ATM=m
  6028. +CONFIG_USB_SPEEDTOUCH=m
  6029. +CONFIG_USB_CXACRU=m
  6030. +CONFIG_USB_UEAGLEATM=m
  6031. +CONFIG_USB_XUSBATM=m
  6032. +CONFIG_MMC=y
  6033. +CONFIG_MMC_BLOCK_MINORS=32
  6034. +CONFIG_MMC_BCM2835=y
  6035. +CONFIG_MMC_BCM2835_DMA=y
  6036. +CONFIG_MMC_BCM2835_SDHOST=y
  6037. +CONFIG_MMC_SDHCI=y
  6038. +CONFIG_MMC_SDHCI_PLTFM=y
  6039. +CONFIG_MMC_SPI=m
  6040. +CONFIG_LEDS_CLASS=y
  6041. +CONFIG_LEDS_GPIO=y
  6042. +CONFIG_LEDS_TRIGGER_TIMER=y
  6043. +CONFIG_LEDS_TRIGGER_ONESHOT=y
  6044. +CONFIG_LEDS_TRIGGER_HEARTBEAT=y
  6045. +CONFIG_LEDS_TRIGGER_BACKLIGHT=y
  6046. +CONFIG_LEDS_TRIGGER_CPU=y
  6047. +CONFIG_LEDS_TRIGGER_GPIO=y
  6048. +CONFIG_LEDS_TRIGGER_DEFAULT_ON=y
  6049. +CONFIG_LEDS_TRIGGER_TRANSIENT=m
  6050. +CONFIG_LEDS_TRIGGER_CAMERA=m
  6051. +CONFIG_LEDS_TRIGGER_INPUT=y
  6052. +CONFIG_RTC_CLASS=y
  6053. +# CONFIG_RTC_HCTOSYS is not set
  6054. +CONFIG_RTC_DRV_DS1307=m
  6055. +CONFIG_RTC_DRV_DS1374=m
  6056. +CONFIG_RTC_DRV_DS1672=m
  6057. +CONFIG_RTC_DRV_DS3232=m
  6058. +CONFIG_RTC_DRV_MAX6900=m
  6059. +CONFIG_RTC_DRV_RS5C372=m
  6060. +CONFIG_RTC_DRV_ISL1208=m
  6061. +CONFIG_RTC_DRV_ISL12022=m
  6062. +CONFIG_RTC_DRV_ISL12057=m
  6063. +CONFIG_RTC_DRV_X1205=m
  6064. +CONFIG_RTC_DRV_PCF2127=m
  6065. +CONFIG_RTC_DRV_PCF8523=m
  6066. +CONFIG_RTC_DRV_PCF8563=m
  6067. +CONFIG_RTC_DRV_PCF8583=m
  6068. +CONFIG_RTC_DRV_M41T80=m
  6069. +CONFIG_RTC_DRV_BQ32K=m
  6070. +CONFIG_RTC_DRV_S35390A=m
  6071. +CONFIG_RTC_DRV_FM3130=m
  6072. +CONFIG_RTC_DRV_RX8581=m
  6073. +CONFIG_RTC_DRV_RX8025=m
  6074. +CONFIG_RTC_DRV_EM3027=m
  6075. +CONFIG_RTC_DRV_RV3029C2=m
  6076. +CONFIG_RTC_DRV_M41T93=m
  6077. +CONFIG_RTC_DRV_M41T94=m
  6078. +CONFIG_RTC_DRV_DS1305=m
  6079. +CONFIG_RTC_DRV_DS1390=m
  6080. +CONFIG_RTC_DRV_MAX6902=m
  6081. +CONFIG_RTC_DRV_R9701=m
  6082. +CONFIG_RTC_DRV_RS5C348=m
  6083. +CONFIG_RTC_DRV_DS3234=m
  6084. +CONFIG_RTC_DRV_PCF2123=m
  6085. +CONFIG_RTC_DRV_RX4581=m
  6086. +CONFIG_DMADEVICES=y
  6087. +CONFIG_DMA_BCM2708=y
  6088. +CONFIG_UIO=m
  6089. +CONFIG_UIO_PDRV_GENIRQ=m
  6090. +CONFIG_STAGING=y
  6091. +CONFIG_PRISM2_USB=m
  6092. +CONFIG_R8712U=m
  6093. +CONFIG_R8188EU=m
  6094. +CONFIG_R8723AU=m
  6095. +CONFIG_VT6656=m
  6096. +CONFIG_SPEAKUP=m
  6097. +CONFIG_SPEAKUP_SYNTH_SOFT=m
  6098. +CONFIG_STAGING_MEDIA=y
  6099. +CONFIG_LIRC_STAGING=y
  6100. +CONFIG_LIRC_IMON=m
  6101. +CONFIG_LIRC_RPI=m
  6102. +CONFIG_LIRC_SASEM=m
  6103. +CONFIG_LIRC_SERIAL=m
  6104. +CONFIG_FB_TFT=m
  6105. +CONFIG_FB_TFT_AGM1264K_FL=m
  6106. +CONFIG_FB_TFT_BD663474=m
  6107. +CONFIG_FB_TFT_HX8340BN=m
  6108. +CONFIG_FB_TFT_HX8347D=m
  6109. +CONFIG_FB_TFT_HX8353D=m
  6110. +CONFIG_FB_TFT_ILI9163=m
  6111. +CONFIG_FB_TFT_ILI9320=m
  6112. +CONFIG_FB_TFT_ILI9325=m
  6113. +CONFIG_FB_TFT_ILI9340=m
  6114. +CONFIG_FB_TFT_ILI9341=m
  6115. +CONFIG_FB_TFT_ILI9481=m
  6116. +CONFIG_FB_TFT_ILI9486=m
  6117. +CONFIG_FB_TFT_PCD8544=m
  6118. +CONFIG_FB_TFT_RA8875=m
  6119. +CONFIG_FB_TFT_S6D02A1=m
  6120. +CONFIG_FB_TFT_S6D1121=m
  6121. +CONFIG_FB_TFT_SSD1289=m
  6122. +CONFIG_FB_TFT_SSD1306=m
  6123. +CONFIG_FB_TFT_SSD1331=m
  6124. +CONFIG_FB_TFT_SSD1351=m
  6125. +CONFIG_FB_TFT_ST7735R=m
  6126. +CONFIG_FB_TFT_TINYLCD=m
  6127. +CONFIG_FB_TFT_TLS8204=m
  6128. +CONFIG_FB_TFT_UC1701=m
  6129. +CONFIG_FB_TFT_UPD161704=m
  6130. +CONFIG_FB_TFT_WATTEROTT=m
  6131. +CONFIG_FB_FLEX=m
  6132. +CONFIG_FB_TFT_FBTFT_DEVICE=m
  6133. +CONFIG_MAILBOX=y
  6134. +CONFIG_BCM2835_MBOX=y
  6135. +# CONFIG_IOMMU_SUPPORT is not set
  6136. +CONFIG_EXTCON=m
  6137. +CONFIG_EXTCON_ARIZONA=m
  6138. +CONFIG_IIO=m
  6139. +CONFIG_IIO_BUFFER=y
  6140. +CONFIG_IIO_BUFFER_CB=y
  6141. +CONFIG_IIO_KFIFO_BUF=m
  6142. +CONFIG_MCP320X=m
  6143. +CONFIG_DHT11=m
  6144. +CONFIG_PWM_BCM2835=m
  6145. +CONFIG_RASPBERRYPI_FIRMWARE=y
  6146. +CONFIG_EXT4_FS=y
  6147. +CONFIG_EXT4_FS_POSIX_ACL=y
  6148. +CONFIG_EXT4_FS_SECURITY=y
  6149. +CONFIG_REISERFS_FS=m
  6150. +CONFIG_REISERFS_FS_XATTR=y
  6151. +CONFIG_REISERFS_FS_POSIX_ACL=y
  6152. +CONFIG_REISERFS_FS_SECURITY=y
  6153. +CONFIG_JFS_FS=m
  6154. +CONFIG_JFS_POSIX_ACL=y
  6155. +CONFIG_JFS_SECURITY=y
  6156. +CONFIG_JFS_STATISTICS=y
  6157. +CONFIG_XFS_FS=m
  6158. +CONFIG_XFS_QUOTA=y
  6159. +CONFIG_XFS_POSIX_ACL=y
  6160. +CONFIG_XFS_RT=y
  6161. +CONFIG_GFS2_FS=m
  6162. +CONFIG_OCFS2_FS=m
  6163. +CONFIG_BTRFS_FS=m
  6164. +CONFIG_BTRFS_FS_POSIX_ACL=y
  6165. +CONFIG_NILFS2_FS=m
  6166. +CONFIG_F2FS_FS=y
  6167. +CONFIG_FANOTIFY=y
  6168. +CONFIG_QFMT_V1=m
  6169. +CONFIG_QFMT_V2=m
  6170. +CONFIG_AUTOFS4_FS=y
  6171. +CONFIG_FUSE_FS=m
  6172. +CONFIG_CUSE=m
  6173. +CONFIG_OVERLAY_FS=m
  6174. +CONFIG_FSCACHE=y
  6175. +CONFIG_FSCACHE_STATS=y
  6176. +CONFIG_FSCACHE_HISTOGRAM=y
  6177. +CONFIG_CACHEFILES=y
  6178. +CONFIG_ISO9660_FS=m
  6179. +CONFIG_JOLIET=y
  6180. +CONFIG_ZISOFS=y
  6181. +CONFIG_UDF_FS=m
  6182. +CONFIG_MSDOS_FS=y
  6183. +CONFIG_VFAT_FS=y
  6184. +CONFIG_FAT_DEFAULT_IOCHARSET="ascii"
  6185. +CONFIG_NTFS_FS=m
  6186. +CONFIG_NTFS_RW=y
  6187. +CONFIG_TMPFS=y
  6188. +CONFIG_TMPFS_POSIX_ACL=y
  6189. +CONFIG_CONFIGFS_FS=y
  6190. +CONFIG_ECRYPT_FS=m
  6191. +CONFIG_HFS_FS=m
  6192. +CONFIG_HFSPLUS_FS=m
  6193. +CONFIG_JFFS2_FS=m
  6194. +CONFIG_JFFS2_SUMMARY=y
  6195. +CONFIG_UBIFS_FS=m
  6196. +CONFIG_SQUASHFS=m
  6197. +CONFIG_SQUASHFS_XATTR=y
  6198. +CONFIG_SQUASHFS_LZO=y
  6199. +CONFIG_SQUASHFS_XZ=y
  6200. +CONFIG_NFS_FS=y
  6201. +CONFIG_NFS_V3_ACL=y
  6202. +CONFIG_NFS_V4=y
  6203. +CONFIG_NFS_SWAP=y
  6204. +CONFIG_ROOT_NFS=y
  6205. +CONFIG_NFS_FSCACHE=y
  6206. +CONFIG_NFSD=m
  6207. +CONFIG_NFSD_V3_ACL=y
  6208. +CONFIG_NFSD_V4=y
  6209. +CONFIG_CIFS=m
  6210. +CONFIG_CIFS_WEAK_PW_HASH=y
  6211. +CONFIG_CIFS_UPCALL=y
  6212. +CONFIG_CIFS_XATTR=y
  6213. +CONFIG_CIFS_POSIX=y
  6214. +CONFIG_CIFS_ACL=y
  6215. +CONFIG_CIFS_DFS_UPCALL=y
  6216. +CONFIG_CIFS_SMB2=y
  6217. +CONFIG_CIFS_FSCACHE=y
  6218. +CONFIG_9P_FS=m
  6219. +CONFIG_9P_FS_POSIX_ACL=y
  6220. +CONFIG_NLS_DEFAULT="utf8"
  6221. +CONFIG_NLS_CODEPAGE_437=y
  6222. +CONFIG_NLS_CODEPAGE_737=m
  6223. +CONFIG_NLS_CODEPAGE_775=m
  6224. +CONFIG_NLS_CODEPAGE_850=m
  6225. +CONFIG_NLS_CODEPAGE_852=m
  6226. +CONFIG_NLS_CODEPAGE_855=m
  6227. +CONFIG_NLS_CODEPAGE_857=m
  6228. +CONFIG_NLS_CODEPAGE_860=m
  6229. +CONFIG_NLS_CODEPAGE_861=m
  6230. +CONFIG_NLS_CODEPAGE_862=m
  6231. +CONFIG_NLS_CODEPAGE_863=m
  6232. +CONFIG_NLS_CODEPAGE_864=m
  6233. +CONFIG_NLS_CODEPAGE_865=m
  6234. +CONFIG_NLS_CODEPAGE_866=m
  6235. +CONFIG_NLS_CODEPAGE_869=m
  6236. +CONFIG_NLS_CODEPAGE_936=m
  6237. +CONFIG_NLS_CODEPAGE_950=m
  6238. +CONFIG_NLS_CODEPAGE_932=m
  6239. +CONFIG_NLS_CODEPAGE_949=m
  6240. +CONFIG_NLS_CODEPAGE_874=m
  6241. +CONFIG_NLS_ISO8859_8=m
  6242. +CONFIG_NLS_CODEPAGE_1250=m
  6243. +CONFIG_NLS_CODEPAGE_1251=m
  6244. +CONFIG_NLS_ASCII=y
  6245. +CONFIG_NLS_ISO8859_1=m
  6246. +CONFIG_NLS_ISO8859_2=m
  6247. +CONFIG_NLS_ISO8859_3=m
  6248. +CONFIG_NLS_ISO8859_4=m
  6249. +CONFIG_NLS_ISO8859_5=m
  6250. +CONFIG_NLS_ISO8859_6=m
  6251. +CONFIG_NLS_ISO8859_7=m
  6252. +CONFIG_NLS_ISO8859_9=m
  6253. +CONFIG_NLS_ISO8859_13=m
  6254. +CONFIG_NLS_ISO8859_14=m
  6255. +CONFIG_NLS_ISO8859_15=m
  6256. +CONFIG_NLS_KOI8_R=m
  6257. +CONFIG_NLS_KOI8_U=m
  6258. +CONFIG_DLM=m
  6259. +CONFIG_PRINTK_TIME=y
  6260. +CONFIG_BOOT_PRINTK_DELAY=y
  6261. +CONFIG_DEBUG_MEMORY_INIT=y
  6262. +CONFIG_DETECT_HUNG_TASK=y
  6263. +CONFIG_TIMER_STATS=y
  6264. +# CONFIG_DEBUG_PREEMPT is not set
  6265. +CONFIG_IRQSOFF_TRACER=y
  6266. +CONFIG_SCHED_TRACER=y
  6267. +CONFIG_STACK_TRACER=y
  6268. +CONFIG_BLK_DEV_IO_TRACE=y
  6269. +# CONFIG_KPROBE_EVENT is not set
  6270. +CONFIG_FUNCTION_PROFILER=y
  6271. +CONFIG_KGDB=y
  6272. +CONFIG_KGDB_KDB=y
  6273. +CONFIG_KDB_KEYBOARD=y
  6274. +CONFIG_CRYPTO_USER=m
  6275. +CONFIG_CRYPTO_CBC=y
  6276. +CONFIG_CRYPTO_CTS=m
  6277. +CONFIG_CRYPTO_XTS=m
  6278. +CONFIG_CRYPTO_XCBC=m
  6279. +CONFIG_CRYPTO_TGR192=m
  6280. +CONFIG_CRYPTO_WP512=m
  6281. +CONFIG_CRYPTO_CAST5=m
  6282. +CONFIG_CRYPTO_DES=y
  6283. +# CONFIG_CRYPTO_ANSI_CPRNG is not set
  6284. +CONFIG_CRYPTO_USER_API_SKCIPHER=m
  6285. +# CONFIG_CRYPTO_HW is not set
  6286. +CONFIG_ARM_CRYPTO=y
  6287. +CONFIG_CRYPTO_SHA1_ARM_NEON=m
  6288. +CONFIG_CRYPTO_SHA512_ARM_NEON=m
  6289. +CONFIG_CRYPTO_AES_ARM_BS=m
  6290. +CONFIG_CRC_ITU_T=y
  6291. +CONFIG_LIBCRC32C=y
  6292. diff -Nur linux-4.1.13.orig/arch/arm/configs/bcm2835_defconfig linux-rpi/arch/arm/configs/bcm2835_defconfig
  6293. --- linux-4.1.13.orig/arch/arm/configs/bcm2835_defconfig 2015-11-09 23:34:10.000000000 +0100
  6294. +++ linux-rpi/arch/arm/configs/bcm2835_defconfig 2015-11-29 09:42:34.707444982 +0100
  6295. @@ -1,105 +1,1075 @@
  6296. # CONFIG_LOCALVERSION_AUTO is not set
  6297. CONFIG_SYSVIPC=y
  6298. +CONFIG_POSIX_MQUEUE=y
  6299. CONFIG_FHANDLE=y
  6300. CONFIG_NO_HZ=y
  6301. CONFIG_HIGH_RES_TIMERS=y
  6302. CONFIG_BSD_PROCESS_ACCT=y
  6303. CONFIG_BSD_PROCESS_ACCT_V3=y
  6304. +CONFIG_TASKSTATS=y
  6305. +CONFIG_TASK_DELAY_ACCT=y
  6306. +CONFIG_TASK_XACCT=y
  6307. +CONFIG_TASK_IO_ACCOUNTING=y
  6308. +CONFIG_IKCONFIG=m
  6309. +CONFIG_IKCONFIG_PROC=y
  6310. CONFIG_LOG_BUF_SHIFT=18
  6311. CONFIG_CGROUP_FREEZER=y
  6312. CONFIG_CGROUP_DEVICE=y
  6313. CONFIG_CPUSETS=y
  6314. CONFIG_CGROUP_CPUACCT=y
  6315. -CONFIG_RESOURCE_COUNTERS=y
  6316. +CONFIG_MEMCG=y
  6317. CONFIG_CGROUP_PERF=y
  6318. CONFIG_CFS_BANDWIDTH=y
  6319. CONFIG_RT_GROUP_SCHED=y
  6320. +CONFIG_BLK_CGROUP=y
  6321. CONFIG_NAMESPACES=y
  6322. CONFIG_SCHED_AUTOGROUP=y
  6323. -CONFIG_RELAY=y
  6324. CONFIG_BLK_DEV_INITRD=y
  6325. -CONFIG_RD_BZIP2=y
  6326. -CONFIG_RD_LZMA=y
  6327. -CONFIG_RD_XZ=y
  6328. -CONFIG_RD_LZO=y
  6329. CONFIG_CC_OPTIMIZE_FOR_SIZE=y
  6330. -CONFIG_KALLSYMS_ALL=y
  6331. CONFIG_EMBEDDED=y
  6332. # CONFIG_COMPAT_BRK is not set
  6333. CONFIG_PROFILING=y
  6334. -CONFIG_OPROFILE=y
  6335. +CONFIG_OPROFILE=m
  6336. +CONFIG_KPROBES=y
  6337. CONFIG_JUMP_LABEL=y
  6338. +CONFIG_CC_STACKPROTECTOR_REGULAR=y
  6339. +CONFIG_MODULES=y
  6340. +CONFIG_MODULE_UNLOAD=y
  6341. +CONFIG_MODVERSIONS=y
  6342. +CONFIG_MODULE_SRCVERSION_ALL=y
  6343. +CONFIG_BLK_DEV_THROTTLING=y
  6344. +CONFIG_PARTITION_ADVANCED=y
  6345. +CONFIG_MAC_PARTITION=y
  6346. +CONFIG_CFQ_GROUP_IOSCHED=y
  6347. CONFIG_ARCH_MULTI_V6=y
  6348. # CONFIG_ARCH_MULTI_V7 is not set
  6349. CONFIG_ARCH_BCM=y
  6350. CONFIG_ARCH_BCM2835=y
  6351. -CONFIG_PREEMPT_VOLUNTARY=y
  6352. +CONFIG_PREEMPT=y
  6353. CONFIG_AEABI=y
  6354. +CONFIG_OABI_COMPAT=y
  6355. CONFIG_KSM=y
  6356. CONFIG_CLEANCACHE=y
  6357. +CONFIG_FRONTSWAP=y
  6358. +CONFIG_CMA=y
  6359. +CONFIG_UACCESS_WITH_MEMCPY=y
  6360. CONFIG_SECCOMP=y
  6361. -CONFIG_CC_STACKPROTECTOR=y
  6362. +CONFIG_ZBOOT_ROM_TEXT=0x0
  6363. +CONFIG_ZBOOT_ROM_BSS=0x0
  6364. CONFIG_KEXEC=y
  6365. CONFIG_CRASH_DUMP=y
  6366. +CONFIG_CPU_FREQ=y
  6367. +CONFIG_CPU_FREQ_STAT=m
  6368. +CONFIG_CPU_FREQ_STAT_DETAILS=y
  6369. +CONFIG_CPU_FREQ_DEFAULT_GOV_POWERSAVE=y
  6370. +CONFIG_CPU_FREQ_GOV_PERFORMANCE=y
  6371. +CONFIG_CPU_FREQ_GOV_USERSPACE=y
  6372. +CONFIG_CPU_FREQ_GOV_ONDEMAND=y
  6373. +CONFIG_CPU_FREQ_GOV_CONSERVATIVE=y
  6374. CONFIG_VFP=y
  6375. # CONFIG_CORE_DUMP_DEFAULT_ELF_HEADERS is not set
  6376. +CONFIG_BINFMT_MISC=m
  6377. # CONFIG_SUSPEND is not set
  6378. CONFIG_NET=y
  6379. CONFIG_PACKET=y
  6380. CONFIG_UNIX=y
  6381. +CONFIG_XFRM_USER=y
  6382. +CONFIG_NET_KEY=m
  6383. CONFIG_INET=y
  6384. +CONFIG_IP_MULTICAST=y
  6385. +CONFIG_IP_ADVANCED_ROUTER=y
  6386. +CONFIG_IP_MULTIPLE_TABLES=y
  6387. +CONFIG_IP_ROUTE_MULTIPATH=y
  6388. +CONFIG_IP_ROUTE_VERBOSE=y
  6389. +CONFIG_IP_PNP=y
  6390. +CONFIG_IP_PNP_DHCP=y
  6391. +CONFIG_IP_PNP_RARP=y
  6392. +CONFIG_NET_IPIP=m
  6393. +CONFIG_NET_IPGRE_DEMUX=m
  6394. +CONFIG_NET_IPGRE=m
  6395. +CONFIG_IP_MROUTE=y
  6396. +CONFIG_IP_MROUTE_MULTIPLE_TABLES=y
  6397. +CONFIG_IP_PIMSM_V1=y
  6398. +CONFIG_IP_PIMSM_V2=y
  6399. +CONFIG_SYN_COOKIES=y
  6400. +CONFIG_INET_AH=m
  6401. +CONFIG_INET_ESP=m
  6402. +CONFIG_INET_IPCOMP=m
  6403. +CONFIG_INET_XFRM_MODE_TRANSPORT=m
  6404. +CONFIG_INET_XFRM_MODE_TUNNEL=m
  6405. +CONFIG_INET_XFRM_MODE_BEET=m
  6406. +CONFIG_INET_LRO=m
  6407. +CONFIG_INET_DIAG=m
  6408. +CONFIG_INET6_AH=m
  6409. +CONFIG_INET6_ESP=m
  6410. +CONFIG_INET6_IPCOMP=m
  6411. +CONFIG_IPV6_TUNNEL=m
  6412. +CONFIG_IPV6_MULTIPLE_TABLES=y
  6413. +CONFIG_IPV6_MROUTE=y
  6414. +CONFIG_IPV6_MROUTE_MULTIPLE_TABLES=y
  6415. +CONFIG_IPV6_PIMSM_V2=y
  6416. CONFIG_NETWORK_SECMARK=y
  6417. CONFIG_NETFILTER=y
  6418. -CONFIG_CFG80211=y
  6419. -CONFIG_MAC80211=y
  6420. +CONFIG_NF_CONNTRACK=m
  6421. +CONFIG_NF_CONNTRACK_ZONES=y
  6422. +CONFIG_NF_CONNTRACK_EVENTS=y
  6423. +CONFIG_NF_CONNTRACK_TIMESTAMP=y
  6424. +CONFIG_NF_CT_PROTO_DCCP=m
  6425. +CONFIG_NF_CT_PROTO_UDPLITE=m
  6426. +CONFIG_NF_CONNTRACK_AMANDA=m
  6427. +CONFIG_NF_CONNTRACK_FTP=m
  6428. +CONFIG_NF_CONNTRACK_H323=m
  6429. +CONFIG_NF_CONNTRACK_IRC=m
  6430. +CONFIG_NF_CONNTRACK_NETBIOS_NS=m
  6431. +CONFIG_NF_CONNTRACK_SNMP=m
  6432. +CONFIG_NF_CONNTRACK_PPTP=m
  6433. +CONFIG_NF_CONNTRACK_SANE=m
  6434. +CONFIG_NF_CONNTRACK_SIP=m
  6435. +CONFIG_NF_CONNTRACK_TFTP=m
  6436. +CONFIG_NF_CT_NETLINK=m
  6437. +CONFIG_NETFILTER_XT_SET=m
  6438. +CONFIG_NETFILTER_XT_TARGET_CHECKSUM=m
  6439. +CONFIG_NETFILTER_XT_TARGET_CLASSIFY=m
  6440. +CONFIG_NETFILTER_XT_TARGET_CONNMARK=m
  6441. +CONFIG_NETFILTER_XT_TARGET_DSCP=m
  6442. +CONFIG_NETFILTER_XT_TARGET_HMARK=m
  6443. +CONFIG_NETFILTER_XT_TARGET_IDLETIMER=m
  6444. +CONFIG_NETFILTER_XT_TARGET_LED=m
  6445. +CONFIG_NETFILTER_XT_TARGET_LOG=m
  6446. +CONFIG_NETFILTER_XT_TARGET_MARK=m
  6447. +CONFIG_NETFILTER_XT_TARGET_NFLOG=m
  6448. +CONFIG_NETFILTER_XT_TARGET_NFQUEUE=m
  6449. +CONFIG_NETFILTER_XT_TARGET_NOTRACK=m
  6450. +CONFIG_NETFILTER_XT_TARGET_TEE=m
  6451. +CONFIG_NETFILTER_XT_TARGET_TPROXY=m
  6452. +CONFIG_NETFILTER_XT_TARGET_TRACE=m
  6453. +CONFIG_NETFILTER_XT_TARGET_TCPMSS=m
  6454. +CONFIG_NETFILTER_XT_TARGET_TCPOPTSTRIP=m
  6455. +CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=m
  6456. +CONFIG_NETFILTER_XT_MATCH_BPF=m
  6457. +CONFIG_NETFILTER_XT_MATCH_CLUSTER=m
  6458. +CONFIG_NETFILTER_XT_MATCH_COMMENT=m
  6459. +CONFIG_NETFILTER_XT_MATCH_CONNBYTES=m
  6460. +CONFIG_NETFILTER_XT_MATCH_CONNLABEL=m
  6461. +CONFIG_NETFILTER_XT_MATCH_CONNLIMIT=m
  6462. +CONFIG_NETFILTER_XT_MATCH_CONNMARK=m
  6463. +CONFIG_NETFILTER_XT_MATCH_CONNTRACK=m
  6464. +CONFIG_NETFILTER_XT_MATCH_CPU=m
  6465. +CONFIG_NETFILTER_XT_MATCH_DCCP=m
  6466. +CONFIG_NETFILTER_XT_MATCH_DEVGROUP=m
  6467. +CONFIG_NETFILTER_XT_MATCH_DSCP=m
  6468. +CONFIG_NETFILTER_XT_MATCH_ESP=m
  6469. +CONFIG_NETFILTER_XT_MATCH_HASHLIMIT=m
  6470. +CONFIG_NETFILTER_XT_MATCH_HELPER=m
  6471. +CONFIG_NETFILTER_XT_MATCH_IPRANGE=m
  6472. +CONFIG_NETFILTER_XT_MATCH_IPVS=m
  6473. +CONFIG_NETFILTER_XT_MATCH_LENGTH=m
  6474. +CONFIG_NETFILTER_XT_MATCH_LIMIT=m
  6475. +CONFIG_NETFILTER_XT_MATCH_MAC=m
  6476. +CONFIG_NETFILTER_XT_MATCH_MARK=m
  6477. +CONFIG_NETFILTER_XT_MATCH_MULTIPORT=m
  6478. +CONFIG_NETFILTER_XT_MATCH_NFACCT=m
  6479. +CONFIG_NETFILTER_XT_MATCH_OSF=m
  6480. +CONFIG_NETFILTER_XT_MATCH_OWNER=m
  6481. +CONFIG_NETFILTER_XT_MATCH_POLICY=m
  6482. +CONFIG_NETFILTER_XT_MATCH_PHYSDEV=m
  6483. +CONFIG_NETFILTER_XT_MATCH_PKTTYPE=m
  6484. +CONFIG_NETFILTER_XT_MATCH_QUOTA=m
  6485. +CONFIG_NETFILTER_XT_MATCH_RATEEST=m
  6486. +CONFIG_NETFILTER_XT_MATCH_REALM=m
  6487. +CONFIG_NETFILTER_XT_MATCH_RECENT=m
  6488. +CONFIG_NETFILTER_XT_MATCH_SOCKET=m
  6489. +CONFIG_NETFILTER_XT_MATCH_STATE=m
  6490. +CONFIG_NETFILTER_XT_MATCH_STATISTIC=m
  6491. +CONFIG_NETFILTER_XT_MATCH_STRING=m
  6492. +CONFIG_NETFILTER_XT_MATCH_TCPMSS=m
  6493. +CONFIG_NETFILTER_XT_MATCH_TIME=m
  6494. +CONFIG_NETFILTER_XT_MATCH_U32=m
  6495. +CONFIG_IP_SET=m
  6496. +CONFIG_IP_SET_BITMAP_IP=m
  6497. +CONFIG_IP_SET_BITMAP_IPMAC=m
  6498. +CONFIG_IP_SET_BITMAP_PORT=m
  6499. +CONFIG_IP_SET_HASH_IP=m
  6500. +CONFIG_IP_SET_HASH_IPPORT=m
  6501. +CONFIG_IP_SET_HASH_IPPORTIP=m
  6502. +CONFIG_IP_SET_HASH_IPPORTNET=m
  6503. +CONFIG_IP_SET_HASH_NET=m
  6504. +CONFIG_IP_SET_HASH_NETPORT=m
  6505. +CONFIG_IP_SET_HASH_NETIFACE=m
  6506. +CONFIG_IP_SET_LIST_SET=m
  6507. +CONFIG_IP_VS=m
  6508. +CONFIG_IP_VS_PROTO_TCP=y
  6509. +CONFIG_IP_VS_PROTO_UDP=y
  6510. +CONFIG_IP_VS_PROTO_ESP=y
  6511. +CONFIG_IP_VS_PROTO_AH=y
  6512. +CONFIG_IP_VS_PROTO_SCTP=y
  6513. +CONFIG_IP_VS_RR=m
  6514. +CONFIG_IP_VS_WRR=m
  6515. +CONFIG_IP_VS_LC=m
  6516. +CONFIG_IP_VS_WLC=m
  6517. +CONFIG_IP_VS_LBLC=m
  6518. +CONFIG_IP_VS_LBLCR=m
  6519. +CONFIG_IP_VS_DH=m
  6520. +CONFIG_IP_VS_SH=m
  6521. +CONFIG_IP_VS_SED=m
  6522. +CONFIG_IP_VS_NQ=m
  6523. +CONFIG_IP_VS_FTP=m
  6524. +CONFIG_IP_VS_PE_SIP=m
  6525. +CONFIG_NF_CONNTRACK_IPV4=m
  6526. +CONFIG_IP_NF_IPTABLES=m
  6527. +CONFIG_IP_NF_MATCH_AH=m
  6528. +CONFIG_IP_NF_MATCH_ECN=m
  6529. +CONFIG_IP_NF_MATCH_TTL=m
  6530. +CONFIG_IP_NF_FILTER=m
  6531. +CONFIG_IP_NF_TARGET_REJECT=m
  6532. +CONFIG_IP_NF_NAT=m
  6533. +CONFIG_IP_NF_TARGET_MASQUERADE=m
  6534. +CONFIG_IP_NF_TARGET_NETMAP=m
  6535. +CONFIG_IP_NF_TARGET_REDIRECT=m
  6536. +CONFIG_IP_NF_MANGLE=m
  6537. +CONFIG_IP_NF_TARGET_CLUSTERIP=m
  6538. +CONFIG_IP_NF_TARGET_ECN=m
  6539. +CONFIG_IP_NF_TARGET_TTL=m
  6540. +CONFIG_IP_NF_RAW=m
  6541. +CONFIG_IP_NF_ARPTABLES=m
  6542. +CONFIG_IP_NF_ARPFILTER=m
  6543. +CONFIG_IP_NF_ARP_MANGLE=m
  6544. +CONFIG_NF_CONNTRACK_IPV6=m
  6545. +CONFIG_IP6_NF_IPTABLES=m
  6546. +CONFIG_IP6_NF_MATCH_AH=m
  6547. +CONFIG_IP6_NF_MATCH_EUI64=m
  6548. +CONFIG_IP6_NF_MATCH_FRAG=m
  6549. +CONFIG_IP6_NF_MATCH_OPTS=m
  6550. +CONFIG_IP6_NF_MATCH_HL=m
  6551. +CONFIG_IP6_NF_MATCH_IPV6HEADER=m
  6552. +CONFIG_IP6_NF_MATCH_MH=m
  6553. +CONFIG_IP6_NF_MATCH_RT=m
  6554. +CONFIG_IP6_NF_TARGET_HL=m
  6555. +CONFIG_IP6_NF_FILTER=m
  6556. +CONFIG_IP6_NF_TARGET_REJECT=m
  6557. +CONFIG_IP6_NF_MANGLE=m
  6558. +CONFIG_IP6_NF_RAW=m
  6559. +CONFIG_IP6_NF_NAT=m
  6560. +CONFIG_IP6_NF_TARGET_MASQUERADE=m
  6561. +CONFIG_IP6_NF_TARGET_NPT=m
  6562. +CONFIG_BRIDGE_NF_EBTABLES=m
  6563. +CONFIG_BRIDGE_EBT_BROUTE=m
  6564. +CONFIG_BRIDGE_EBT_T_FILTER=m
  6565. +CONFIG_BRIDGE_EBT_T_NAT=m
  6566. +CONFIG_BRIDGE_EBT_802_3=m
  6567. +CONFIG_BRIDGE_EBT_AMONG=m
  6568. +CONFIG_BRIDGE_EBT_ARP=m
  6569. +CONFIG_BRIDGE_EBT_IP=m
  6570. +CONFIG_BRIDGE_EBT_IP6=m
  6571. +CONFIG_BRIDGE_EBT_LIMIT=m
  6572. +CONFIG_BRIDGE_EBT_MARK=m
  6573. +CONFIG_BRIDGE_EBT_PKTTYPE=m
  6574. +CONFIG_BRIDGE_EBT_STP=m
  6575. +CONFIG_BRIDGE_EBT_VLAN=m
  6576. +CONFIG_BRIDGE_EBT_ARPREPLY=m
  6577. +CONFIG_BRIDGE_EBT_DNAT=m
  6578. +CONFIG_BRIDGE_EBT_MARK_T=m
  6579. +CONFIG_BRIDGE_EBT_REDIRECT=m
  6580. +CONFIG_BRIDGE_EBT_SNAT=m
  6581. +CONFIG_BRIDGE_EBT_LOG=m
  6582. +CONFIG_BRIDGE_EBT_NFLOG=m
  6583. +CONFIG_SCTP_COOKIE_HMAC_SHA1=y
  6584. +CONFIG_ATM=m
  6585. +CONFIG_L2TP=m
  6586. +CONFIG_L2TP_V3=y
  6587. +CONFIG_L2TP_IP=m
  6588. +CONFIG_L2TP_ETH=m
  6589. +CONFIG_BRIDGE=m
  6590. +CONFIG_VLAN_8021Q=m
  6591. +CONFIG_VLAN_8021Q_GVRP=y
  6592. +CONFIG_ATALK=m
  6593. +CONFIG_6LOWPAN=m
  6594. +CONFIG_NET_SCHED=y
  6595. +CONFIG_NET_SCH_CBQ=m
  6596. +CONFIG_NET_SCH_HTB=m
  6597. +CONFIG_NET_SCH_HFSC=m
  6598. +CONFIG_NET_SCH_PRIO=m
  6599. +CONFIG_NET_SCH_MULTIQ=m
  6600. +CONFIG_NET_SCH_RED=m
  6601. +CONFIG_NET_SCH_SFB=m
  6602. +CONFIG_NET_SCH_SFQ=m
  6603. +CONFIG_NET_SCH_TEQL=m
  6604. +CONFIG_NET_SCH_TBF=m
  6605. +CONFIG_NET_SCH_GRED=m
  6606. +CONFIG_NET_SCH_DSMARK=m
  6607. +CONFIG_NET_SCH_NETEM=m
  6608. +CONFIG_NET_SCH_DRR=m
  6609. +CONFIG_NET_SCH_MQPRIO=m
  6610. +CONFIG_NET_SCH_CHOKE=m
  6611. +CONFIG_NET_SCH_QFQ=m
  6612. +CONFIG_NET_SCH_CODEL=m
  6613. +CONFIG_NET_SCH_FQ_CODEL=m
  6614. +CONFIG_NET_SCH_INGRESS=m
  6615. +CONFIG_NET_SCH_PLUG=m
  6616. +CONFIG_NET_CLS_BASIC=m
  6617. +CONFIG_NET_CLS_TCINDEX=m
  6618. +CONFIG_NET_CLS_ROUTE4=m
  6619. +CONFIG_NET_CLS_FW=m
  6620. +CONFIG_NET_CLS_U32=m
  6621. +CONFIG_CLS_U32_MARK=y
  6622. +CONFIG_NET_CLS_RSVP=m
  6623. +CONFIG_NET_CLS_RSVP6=m
  6624. +CONFIG_NET_CLS_FLOW=m
  6625. +CONFIG_NET_CLS_CGROUP=m
  6626. +CONFIG_NET_EMATCH=y
  6627. +CONFIG_NET_EMATCH_CMP=m
  6628. +CONFIG_NET_EMATCH_NBYTE=m
  6629. +CONFIG_NET_EMATCH_U32=m
  6630. +CONFIG_NET_EMATCH_META=m
  6631. +CONFIG_NET_EMATCH_TEXT=m
  6632. +CONFIG_NET_EMATCH_IPSET=m
  6633. +CONFIG_NET_CLS_ACT=y
  6634. +CONFIG_NET_ACT_POLICE=m
  6635. +CONFIG_NET_ACT_GACT=m
  6636. +CONFIG_GACT_PROB=y
  6637. +CONFIG_NET_ACT_MIRRED=m
  6638. +CONFIG_NET_ACT_IPT=m
  6639. +CONFIG_NET_ACT_NAT=m
  6640. +CONFIG_NET_ACT_PEDIT=m
  6641. +CONFIG_NET_ACT_SIMP=m
  6642. +CONFIG_NET_ACT_SKBEDIT=m
  6643. +CONFIG_NET_ACT_CSUM=m
  6644. +CONFIG_BATMAN_ADV=m
  6645. +CONFIG_OPENVSWITCH=m
  6646. +CONFIG_NET_PKTGEN=m
  6647. +CONFIG_HAMRADIO=y
  6648. +CONFIG_AX25=m
  6649. +CONFIG_NETROM=m
  6650. +CONFIG_ROSE=m
  6651. +CONFIG_MKISS=m
  6652. +CONFIG_6PACK=m
  6653. +CONFIG_BPQETHER=m
  6654. +CONFIG_BAYCOM_SER_FDX=m
  6655. +CONFIG_BAYCOM_SER_HDX=m
  6656. +CONFIG_YAM=m
  6657. +CONFIG_CAN=m
  6658. +CONFIG_CAN_VCAN=m
  6659. +CONFIG_CAN_MCP251X=m
  6660. +CONFIG_IRDA=m
  6661. +CONFIG_IRLAN=m
  6662. +CONFIG_IRNET=m
  6663. +CONFIG_IRCOMM=m
  6664. +CONFIG_IRDA_ULTRA=y
  6665. +CONFIG_IRDA_CACHE_LAST_LSAP=y
  6666. +CONFIG_IRDA_FAST_RR=y
  6667. +CONFIG_IRTTY_SIR=m
  6668. +CONFIG_KINGSUN_DONGLE=m
  6669. +CONFIG_KSDAZZLE_DONGLE=m
  6670. +CONFIG_KS959_DONGLE=m
  6671. +CONFIG_USB_IRDA=m
  6672. +CONFIG_SIGMATEL_FIR=m
  6673. +CONFIG_MCS_FIR=m
  6674. +CONFIG_BT=m
  6675. +CONFIG_BT_RFCOMM=m
  6676. +CONFIG_BT_RFCOMM_TTY=y
  6677. +CONFIG_BT_BNEP=m
  6678. +CONFIG_BT_BNEP_MC_FILTER=y
  6679. +CONFIG_BT_BNEP_PROTO_FILTER=y
  6680. +CONFIG_BT_HIDP=m
  6681. +CONFIG_BT_6LOWPAN=m
  6682. +CONFIG_BT_HCIBTUSB=m
  6683. +CONFIG_BT_HCIBCM203X=m
  6684. +CONFIG_BT_HCIBPA10X=m
  6685. +CONFIG_BT_HCIBFUSB=m
  6686. +CONFIG_BT_HCIVHCI=m
  6687. +CONFIG_BT_MRVL=m
  6688. +CONFIG_BT_MRVL_SDIO=m
  6689. +CONFIG_BT_ATH3K=m
  6690. +CONFIG_BT_WILINK=m
  6691. +CONFIG_MAC80211=m
  6692. +CONFIG_MAC80211_MESH=y
  6693. +CONFIG_WIMAX=m
  6694. +CONFIG_RFKILL=m
  6695. +CONFIG_RFKILL_INPUT=y
  6696. +CONFIG_NET_9P=m
  6697. +CONFIG_NFC=m
  6698. +CONFIG_NFC_PN533=m
  6699. CONFIG_DEVTMPFS=y
  6700. CONFIG_DEVTMPFS_MOUNT=y
  6701. # CONFIG_STANDALONE is not set
  6702. +CONFIG_DMA_CMA=y
  6703. +CONFIG_CMA_SIZE_MBYTES=5
  6704. +CONFIG_BLK_DEV_LOOP=y
  6705. +CONFIG_BLK_DEV_CRYPTOLOOP=m
  6706. +CONFIG_BLK_DEV_DRBD=m
  6707. +CONFIG_BLK_DEV_NBD=m
  6708. +CONFIG_BLK_DEV_RAM=y
  6709. +CONFIG_CDROM_PKTCDVD=m
  6710. +CONFIG_ATA_OVER_ETH=m
  6711. +CONFIG_EEPROM_AT24=m
  6712. +CONFIG_TI_ST=m
  6713. CONFIG_SCSI=y
  6714. +# CONFIG_SCSI_PROC_FS is not set
  6715. CONFIG_BLK_DEV_SD=y
  6716. -CONFIG_SCSI_MULTI_LUN=y
  6717. +CONFIG_CHR_DEV_ST=m
  6718. +CONFIG_CHR_DEV_OSST=m
  6719. +CONFIG_BLK_DEV_SR=m
  6720. +CONFIG_CHR_DEV_SG=m
  6721. CONFIG_SCSI_CONSTANTS=y
  6722. CONFIG_SCSI_SCAN_ASYNC=y
  6723. +CONFIG_SCSI_ISCSI_ATTRS=y
  6724. +CONFIG_ISCSI_TCP=m
  6725. +CONFIG_ISCSI_BOOT_SYSFS=m
  6726. +CONFIG_MD=y
  6727. +CONFIG_MD_LINEAR=m
  6728. +CONFIG_MD_RAID0=m
  6729. +CONFIG_BLK_DEV_DM=m
  6730. +CONFIG_DM_CRYPT=m
  6731. +CONFIG_DM_SNAPSHOT=m
  6732. +CONFIG_DM_MIRROR=m
  6733. +CONFIG_DM_LOG_USERSPACE=m
  6734. +CONFIG_DM_RAID=m
  6735. +CONFIG_DM_ZERO=m
  6736. +CONFIG_DM_DELAY=m
  6737. CONFIG_NETDEVICES=y
  6738. +CONFIG_BONDING=m
  6739. +CONFIG_DUMMY=m
  6740. +CONFIG_IFB=m
  6741. +CONFIG_MACVLAN=m
  6742. +CONFIG_NETCONSOLE=m
  6743. +CONFIG_TUN=m
  6744. +CONFIG_VETH=m
  6745. +CONFIG_ENC28J60=m
  6746. +CONFIG_MDIO_BITBANG=m
  6747. +CONFIG_PPP=m
  6748. +CONFIG_PPP_BSDCOMP=m
  6749. +CONFIG_PPP_DEFLATE=m
  6750. +CONFIG_PPP_FILTER=y
  6751. +CONFIG_PPP_MPPE=m
  6752. +CONFIG_PPP_MULTILINK=y
  6753. +CONFIG_PPPOATM=m
  6754. +CONFIG_PPPOE=m
  6755. +CONFIG_PPPOL2TP=m
  6756. +CONFIG_PPP_ASYNC=m
  6757. +CONFIG_PPP_SYNC_TTY=m
  6758. +CONFIG_SLIP=m
  6759. +CONFIG_SLIP_COMPRESSED=y
  6760. +CONFIG_SLIP_SMART=y
  6761. +CONFIG_USB_CATC=m
  6762. +CONFIG_USB_KAWETH=m
  6763. +CONFIG_USB_PEGASUS=m
  6764. +CONFIG_USB_RTL8150=m
  6765. +CONFIG_USB_RTL8152=m
  6766. CONFIG_USB_USBNET=y
  6767. +CONFIG_USB_NET_AX8817X=m
  6768. +CONFIG_USB_NET_AX88179_178A=m
  6769. +CONFIG_USB_NET_CDCETHER=m
  6770. +CONFIG_USB_NET_CDC_EEM=m
  6771. +CONFIG_USB_NET_CDC_NCM=m
  6772. +CONFIG_USB_NET_HUAWEI_CDC_NCM=m
  6773. +CONFIG_USB_NET_CDC_MBIM=m
  6774. +CONFIG_USB_NET_DM9601=m
  6775. +CONFIG_USB_NET_SR9700=m
  6776. +CONFIG_USB_NET_SR9800=m
  6777. +CONFIG_USB_NET_SMSC75XX=m
  6778. CONFIG_USB_NET_SMSC95XX=y
  6779. -CONFIG_ZD1211RW=y
  6780. -CONFIG_INPUT_EVDEV=y
  6781. +CONFIG_USB_NET_GL620A=m
  6782. +CONFIG_USB_NET_NET1080=m
  6783. +CONFIG_USB_NET_PLUSB=m
  6784. +CONFIG_USB_NET_MCS7830=m
  6785. +CONFIG_USB_NET_CDC_SUBSET=m
  6786. +CONFIG_USB_ALI_M5632=y
  6787. +CONFIG_USB_AN2720=y
  6788. +CONFIG_USB_EPSON2888=y
  6789. +CONFIG_USB_KC2190=y
  6790. +CONFIG_USB_NET_ZAURUS=m
  6791. +CONFIG_USB_NET_CX82310_ETH=m
  6792. +CONFIG_USB_NET_KALMIA=m
  6793. +CONFIG_USB_NET_QMI_WWAN=m
  6794. +CONFIG_USB_HSO=m
  6795. +CONFIG_USB_NET_INT51X1=m
  6796. +CONFIG_USB_IPHETH=m
  6797. +CONFIG_USB_SIERRA_NET=m
  6798. +CONFIG_USB_VL600=m
  6799. +CONFIG_LIBERTAS_THINFIRM=m
  6800. +CONFIG_LIBERTAS_THINFIRM_USB=m
  6801. +CONFIG_AT76C50X_USB=m
  6802. +CONFIG_USB_ZD1201=m
  6803. +CONFIG_USB_NET_RNDIS_WLAN=m
  6804. +CONFIG_RTL8187=m
  6805. +CONFIG_MAC80211_HWSIM=m
  6806. +CONFIG_ATH_CARDS=m
  6807. +CONFIG_ATH9K=m
  6808. +CONFIG_ATH9K_HTC=m
  6809. +CONFIG_CARL9170=m
  6810. +CONFIG_ATH6KL=m
  6811. +CONFIG_ATH6KL_USB=m
  6812. +CONFIG_AR5523=m
  6813. +CONFIG_B43=m
  6814. +# CONFIG_B43_PHY_N is not set
  6815. +CONFIG_B43LEGACY=m
  6816. +CONFIG_BRCMFMAC=m
  6817. +CONFIG_BRCMFMAC_USB=y
  6818. +CONFIG_HOSTAP=m
  6819. +CONFIG_LIBERTAS=m
  6820. +CONFIG_LIBERTAS_USB=m
  6821. +CONFIG_LIBERTAS_SDIO=m
  6822. +CONFIG_P54_COMMON=m
  6823. +CONFIG_P54_USB=m
  6824. +CONFIG_RT2X00=m
  6825. +CONFIG_RT2500USB=m
  6826. +CONFIG_RT73USB=m
  6827. +CONFIG_RT2800USB=m
  6828. +CONFIG_RT2800USB_RT3573=y
  6829. +CONFIG_RT2800USB_RT53XX=y
  6830. +CONFIG_RT2800USB_RT55XX=y
  6831. +CONFIG_RT2800USB_UNKNOWN=y
  6832. +CONFIG_RTL8192CU=m
  6833. +CONFIG_ZD1211RW=m
  6834. +CONFIG_MWIFIEX=m
  6835. +CONFIG_MWIFIEX_SDIO=m
  6836. +CONFIG_WIMAX_I2400M_USB=m
  6837. +CONFIG_INPUT_POLLDEV=m
  6838. +# CONFIG_INPUT_MOUSEDEV_PSAUX is not set
  6839. +CONFIG_INPUT_JOYDEV=m
  6840. +CONFIG_INPUT_EVDEV=m
  6841. +# CONFIG_KEYBOARD_ATKBD is not set
  6842. +CONFIG_KEYBOARD_GPIO=m
  6843. +# CONFIG_INPUT_MOUSE is not set
  6844. +CONFIG_INPUT_JOYSTICK=y
  6845. +CONFIG_JOYSTICK_IFORCE=m
  6846. +CONFIG_JOYSTICK_IFORCE_USB=y
  6847. +CONFIG_JOYSTICK_XPAD=m
  6848. +CONFIG_JOYSTICK_XPAD_FF=y
  6849. +CONFIG_INPUT_TOUCHSCREEN=y
  6850. +CONFIG_TOUCHSCREEN_ADS7846=m
  6851. +CONFIG_TOUCHSCREEN_EGALAX=m
  6852. +CONFIG_TOUCHSCREEN_USB_COMPOSITE=m
  6853. +CONFIG_TOUCHSCREEN_STMPE=m
  6854. +CONFIG_INPUT_MISC=y
  6855. +CONFIG_INPUT_AD714X=m
  6856. +CONFIG_INPUT_ATI_REMOTE2=m
  6857. +CONFIG_INPUT_KEYSPAN_REMOTE=m
  6858. +CONFIG_INPUT_POWERMATE=m
  6859. +CONFIG_INPUT_YEALINK=m
  6860. +CONFIG_INPUT_CM109=m
  6861. +CONFIG_INPUT_UINPUT=m
  6862. +CONFIG_INPUT_GPIO_ROTARY_ENCODER=m
  6863. +CONFIG_INPUT_ADXL34X=m
  6864. +CONFIG_INPUT_CMA3000=m
  6865. +CONFIG_SERIO=m
  6866. +CONFIG_SERIO_RAW=m
  6867. +CONFIG_GAMEPORT=m
  6868. +CONFIG_GAMEPORT_NS558=m
  6869. +CONFIG_GAMEPORT_L4=m
  6870. +CONFIG_DEVPTS_MULTIPLE_INSTANCES=y
  6871. # CONFIG_LEGACY_PTYS is not set
  6872. # CONFIG_DEVKMEM is not set
  6873. CONFIG_SERIAL_AMBA_PL011=y
  6874. CONFIG_SERIAL_AMBA_PL011_CONSOLE=y
  6875. CONFIG_TTY_PRINTK=y
  6876. +CONFIG_HW_RANDOM=y
  6877. +CONFIG_HW_RANDOM_BCM2835=m
  6878. +CONFIG_RAW_DRIVER=y
  6879. +CONFIG_BRCM_CHAR_DRIVERS=y
  6880. +CONFIG_BCM_VC_CMA=y
  6881. +CONFIG_BCM_VCIO=y
  6882. +CONFIG_BCM_VC_SM=y
  6883. CONFIG_I2C=y
  6884. -CONFIG_I2C_CHARDEV=y
  6885. +CONFIG_I2C_CHARDEV=m
  6886. CONFIG_I2C_BCM2835=y
  6887. CONFIG_SPI=y
  6888. -CONFIG_SPI_BCM2835=y
  6889. +CONFIG_SPI_BCM2835=m
  6890. +CONFIG_SPI_SPIDEV=y
  6891. +CONFIG_PPS=m
  6892. +CONFIG_PPS_CLIENT_LDISC=m
  6893. +CONFIG_PPS_CLIENT_GPIO=m
  6894. CONFIG_GPIO_SYSFS=y
  6895. +CONFIG_GPIO_ARIZONA=m
  6896. +CONFIG_GPIO_STMPE=y
  6897. +CONFIG_W1=m
  6898. +CONFIG_W1_MASTER_DS2490=m
  6899. +CONFIG_W1_MASTER_DS2482=m
  6900. +CONFIG_W1_MASTER_DS1WM=m
  6901. +CONFIG_W1_MASTER_GPIO=m
  6902. +CONFIG_W1_SLAVE_THERM=m
  6903. +CONFIG_W1_SLAVE_SMEM=m
  6904. +CONFIG_W1_SLAVE_DS2408=m
  6905. +CONFIG_W1_SLAVE_DS2413=m
  6906. +CONFIG_W1_SLAVE_DS2406=m
  6907. +CONFIG_W1_SLAVE_DS2423=m
  6908. +CONFIG_W1_SLAVE_DS2431=m
  6909. +CONFIG_W1_SLAVE_DS2433=m
  6910. +CONFIG_W1_SLAVE_DS2760=m
  6911. +CONFIG_W1_SLAVE_DS2780=m
  6912. +CONFIG_W1_SLAVE_DS2781=m
  6913. +CONFIG_W1_SLAVE_DS28E04=m
  6914. +CONFIG_W1_SLAVE_BQ27000=m
  6915. +CONFIG_BATTERY_DS2760=m
  6916. # CONFIG_HWMON is not set
  6917. +CONFIG_THERMAL=y
  6918. +CONFIG_THERMAL_BCM2835=y
  6919. +CONFIG_WATCHDOG=y
  6920. +CONFIG_BCM2835_WDT=y
  6921. +CONFIG_UCB1400_CORE=m
  6922. +CONFIG_MFD_STMPE=y
  6923. +CONFIG_STMPE_SPI=y
  6924. +CONFIG_MFD_ARIZONA_I2C=m
  6925. +CONFIG_MFD_ARIZONA_SPI=m
  6926. +CONFIG_MFD_WM5102=y
  6927. +CONFIG_MEDIA_SUPPORT=m
  6928. +CONFIG_MEDIA_CAMERA_SUPPORT=y
  6929. +CONFIG_MEDIA_ANALOG_TV_SUPPORT=y
  6930. +CONFIG_MEDIA_DIGITAL_TV_SUPPORT=y
  6931. +CONFIG_MEDIA_RADIO_SUPPORT=y
  6932. +CONFIG_MEDIA_RC_SUPPORT=y
  6933. +CONFIG_MEDIA_CONTROLLER=y
  6934. +CONFIG_LIRC=m
  6935. +CONFIG_RC_DEVICES=y
  6936. +CONFIG_RC_ATI_REMOTE=m
  6937. +CONFIG_IR_IMON=m
  6938. +CONFIG_IR_MCEUSB=m
  6939. +CONFIG_IR_REDRAT3=m
  6940. +CONFIG_IR_STREAMZAP=m
  6941. +CONFIG_IR_IGUANA=m
  6942. +CONFIG_IR_TTUSBIR=m
  6943. +CONFIG_RC_LOOPBACK=m
  6944. +CONFIG_IR_GPIO_CIR=m
  6945. +CONFIG_MEDIA_USB_SUPPORT=y
  6946. +CONFIG_USB_VIDEO_CLASS=m
  6947. +CONFIG_USB_M5602=m
  6948. +CONFIG_USB_STV06XX=m
  6949. +CONFIG_USB_GL860=m
  6950. +CONFIG_USB_GSPCA_BENQ=m
  6951. +CONFIG_USB_GSPCA_CONEX=m
  6952. +CONFIG_USB_GSPCA_CPIA1=m
  6953. +CONFIG_USB_GSPCA_DTCS033=m
  6954. +CONFIG_USB_GSPCA_ETOMS=m
  6955. +CONFIG_USB_GSPCA_FINEPIX=m
  6956. +CONFIG_USB_GSPCA_JEILINJ=m
  6957. +CONFIG_USB_GSPCA_JL2005BCD=m
  6958. +CONFIG_USB_GSPCA_KINECT=m
  6959. +CONFIG_USB_GSPCA_KONICA=m
  6960. +CONFIG_USB_GSPCA_MARS=m
  6961. +CONFIG_USB_GSPCA_MR97310A=m
  6962. +CONFIG_USB_GSPCA_NW80X=m
  6963. +CONFIG_USB_GSPCA_OV519=m
  6964. +CONFIG_USB_GSPCA_OV534=m
  6965. +CONFIG_USB_GSPCA_OV534_9=m
  6966. +CONFIG_USB_GSPCA_PAC207=m
  6967. +CONFIG_USB_GSPCA_PAC7302=m
  6968. +CONFIG_USB_GSPCA_PAC7311=m
  6969. +CONFIG_USB_GSPCA_SE401=m
  6970. +CONFIG_USB_GSPCA_SN9C2028=m
  6971. +CONFIG_USB_GSPCA_SN9C20X=m
  6972. +CONFIG_USB_GSPCA_SONIXB=m
  6973. +CONFIG_USB_GSPCA_SONIXJ=m
  6974. +CONFIG_USB_GSPCA_SPCA500=m
  6975. +CONFIG_USB_GSPCA_SPCA501=m
  6976. +CONFIG_USB_GSPCA_SPCA505=m
  6977. +CONFIG_USB_GSPCA_SPCA506=m
  6978. +CONFIG_USB_GSPCA_SPCA508=m
  6979. +CONFIG_USB_GSPCA_SPCA561=m
  6980. +CONFIG_USB_GSPCA_SPCA1528=m
  6981. +CONFIG_USB_GSPCA_SQ905=m
  6982. +CONFIG_USB_GSPCA_SQ905C=m
  6983. +CONFIG_USB_GSPCA_SQ930X=m
  6984. +CONFIG_USB_GSPCA_STK014=m
  6985. +CONFIG_USB_GSPCA_STK1135=m
  6986. +CONFIG_USB_GSPCA_STV0680=m
  6987. +CONFIG_USB_GSPCA_SUNPLUS=m
  6988. +CONFIG_USB_GSPCA_T613=m
  6989. +CONFIG_USB_GSPCA_TOPRO=m
  6990. +CONFIG_USB_GSPCA_TV8532=m
  6991. +CONFIG_USB_GSPCA_VC032X=m
  6992. +CONFIG_USB_GSPCA_VICAM=m
  6993. +CONFIG_USB_GSPCA_XIRLINK_CIT=m
  6994. +CONFIG_USB_GSPCA_ZC3XX=m
  6995. +CONFIG_USB_PWC=m
  6996. +CONFIG_VIDEO_CPIA2=m
  6997. +CONFIG_USB_ZR364XX=m
  6998. +CONFIG_USB_STKWEBCAM=m
  6999. +CONFIG_USB_S2255=m
  7000. +CONFIG_VIDEO_USBTV=m
  7001. +CONFIG_VIDEO_PVRUSB2=m
  7002. +CONFIG_VIDEO_HDPVR=m
  7003. +CONFIG_VIDEO_USBVISION=m
  7004. +CONFIG_VIDEO_STK1160_COMMON=m
  7005. +CONFIG_VIDEO_STK1160_AC97=y
  7006. +CONFIG_VIDEO_GO7007=m
  7007. +CONFIG_VIDEO_GO7007_USB=m
  7008. +CONFIG_VIDEO_GO7007_USB_S2250_BOARD=m
  7009. +CONFIG_VIDEO_AU0828=m
  7010. +CONFIG_VIDEO_AU0828_RC=y
  7011. +CONFIG_VIDEO_CX231XX=m
  7012. +CONFIG_VIDEO_CX231XX_ALSA=m
  7013. +CONFIG_VIDEO_CX231XX_DVB=m
  7014. +CONFIG_VIDEO_TM6000=m
  7015. +CONFIG_VIDEO_TM6000_ALSA=m
  7016. +CONFIG_VIDEO_TM6000_DVB=m
  7017. +CONFIG_DVB_USB=m
  7018. +CONFIG_DVB_USB_A800=m
  7019. +CONFIG_DVB_USB_DIBUSB_MB=m
  7020. +CONFIG_DVB_USB_DIBUSB_MB_FAULTY=y
  7021. +CONFIG_DVB_USB_DIBUSB_MC=m
  7022. +CONFIG_DVB_USB_DIB0700=m
  7023. +CONFIG_DVB_USB_UMT_010=m
  7024. +CONFIG_DVB_USB_CXUSB=m
  7025. +CONFIG_DVB_USB_M920X=m
  7026. +CONFIG_DVB_USB_DIGITV=m
  7027. +CONFIG_DVB_USB_VP7045=m
  7028. +CONFIG_DVB_USB_VP702X=m
  7029. +CONFIG_DVB_USB_GP8PSK=m
  7030. +CONFIG_DVB_USB_NOVA_T_USB2=m
  7031. +CONFIG_DVB_USB_TTUSB2=m
  7032. +CONFIG_DVB_USB_DTT200U=m
  7033. +CONFIG_DVB_USB_OPERA1=m
  7034. +CONFIG_DVB_USB_AF9005=m
  7035. +CONFIG_DVB_USB_AF9005_REMOTE=m
  7036. +CONFIG_DVB_USB_PCTV452E=m
  7037. +CONFIG_DVB_USB_DW2102=m
  7038. +CONFIG_DVB_USB_CINERGY_T2=m
  7039. +CONFIG_DVB_USB_DTV5100=m
  7040. +CONFIG_DVB_USB_FRIIO=m
  7041. +CONFIG_DVB_USB_AZ6027=m
  7042. +CONFIG_DVB_USB_TECHNISAT_USB2=m
  7043. +CONFIG_DVB_USB_V2=m
  7044. +CONFIG_DVB_USB_AF9015=m
  7045. +CONFIG_DVB_USB_AF9035=m
  7046. +CONFIG_DVB_USB_ANYSEE=m
  7047. +CONFIG_DVB_USB_AU6610=m
  7048. +CONFIG_DVB_USB_AZ6007=m
  7049. +CONFIG_DVB_USB_CE6230=m
  7050. +CONFIG_DVB_USB_EC168=m
  7051. +CONFIG_DVB_USB_GL861=m
  7052. +CONFIG_DVB_USB_LME2510=m
  7053. +CONFIG_DVB_USB_MXL111SF=m
  7054. +CONFIG_DVB_USB_RTL28XXU=m
  7055. +CONFIG_DVB_USB_DVBSKY=m
  7056. +CONFIG_SMS_USB_DRV=m
  7057. +CONFIG_DVB_B2C2_FLEXCOP_USB=m
  7058. +CONFIG_DVB_AS102=m
  7059. +CONFIG_VIDEO_EM28XX=m
  7060. +CONFIG_VIDEO_EM28XX_V4L2=m
  7061. +CONFIG_VIDEO_EM28XX_ALSA=m
  7062. +CONFIG_VIDEO_EM28XX_DVB=m
  7063. +CONFIG_V4L_PLATFORM_DRIVERS=y
  7064. +CONFIG_VIDEO_BCM2835=y
  7065. +CONFIG_VIDEO_BCM2835_MMAL=m
  7066. +CONFIG_RADIO_SI470X=y
  7067. +CONFIG_USB_SI470X=m
  7068. +CONFIG_I2C_SI470X=m
  7069. +CONFIG_RADIO_SI4713=m
  7070. +CONFIG_I2C_SI4713=m
  7071. +CONFIG_USB_MR800=m
  7072. +CONFIG_USB_DSBR=m
  7073. +CONFIG_RADIO_SHARK=m
  7074. +CONFIG_RADIO_SHARK2=m
  7075. +CONFIG_USB_KEENE=m
  7076. +CONFIG_USB_MA901=m
  7077. +CONFIG_RADIO_TEA5764=m
  7078. +CONFIG_RADIO_SAA7706H=m
  7079. +CONFIG_RADIO_TEF6862=m
  7080. +CONFIG_RADIO_WL1273=m
  7081. +CONFIG_RADIO_WL128X=m
  7082. +# CONFIG_MEDIA_SUBDRV_AUTOSELECT is not set
  7083. +CONFIG_VIDEO_UDA1342=m
  7084. +CONFIG_VIDEO_SONY_BTF_MPX=m
  7085. +CONFIG_VIDEO_TVP5150=m
  7086. +CONFIG_VIDEO_TW2804=m
  7087. +CONFIG_VIDEO_TW9903=m
  7088. +CONFIG_VIDEO_TW9906=m
  7089. +CONFIG_VIDEO_OV7640=m
  7090. +CONFIG_VIDEO_MT9V011=m
  7091. CONFIG_FB=y
  7092. -CONFIG_FB_SIMPLE=y
  7093. +CONFIG_FB_BCM2708=y
  7094. +CONFIG_FB_SSD1307=m
  7095. +# CONFIG_BACKLIGHT_GENERIC is not set
  7096. +CONFIG_BACKLIGHT_GPIO=m
  7097. CONFIG_FRAMEBUFFER_CONSOLE=y
  7098. CONFIG_FRAMEBUFFER_CONSOLE_DETECT_PRIMARY=y
  7099. +CONFIG_LOGO=y
  7100. +# CONFIG_LOGO_LINUX_MONO is not set
  7101. +# CONFIG_LOGO_LINUX_VGA16 is not set
  7102. +CONFIG_SOUND=y
  7103. +CONFIG_SND=m
  7104. +CONFIG_SND_SEQUENCER=m
  7105. +CONFIG_SND_SEQ_DUMMY=m
  7106. +CONFIG_SND_MIXER_OSS=m
  7107. +CONFIG_SND_PCM_OSS=m
  7108. +CONFIG_SND_SEQUENCER_OSS=y
  7109. +CONFIG_SND_HRTIMER=m
  7110. +CONFIG_SND_DUMMY=m
  7111. +CONFIG_SND_ALOOP=m
  7112. +CONFIG_SND_VIRMIDI=m
  7113. +CONFIG_SND_MTPAV=m
  7114. +CONFIG_SND_SERIAL_U16550=m
  7115. +CONFIG_SND_MPU401=m
  7116. +CONFIG_SND_BCM2835=m
  7117. +CONFIG_SND_USB_AUDIO=m
  7118. +CONFIG_SND_USB_UA101=m
  7119. +CONFIG_SND_USB_CAIAQ=m
  7120. +CONFIG_SND_USB_CAIAQ_INPUT=y
  7121. +CONFIG_SND_USB_6FIRE=m
  7122. +CONFIG_SND_SOC=m
  7123. +CONFIG_SND_BCM2835_SOC_I2S=m
  7124. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC=m
  7125. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS=m
  7126. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI=m
  7127. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP=m
  7128. +CONFIG_SND_BCM2708_SOC_RPI_DAC=m
  7129. +CONFIG_SND_BCM2708_SOC_RPI_PROTO=m
  7130. +CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC=m
  7131. +CONFIG_SND_SIMPLE_CARD=m
  7132. +CONFIG_SOUND_PRIME=m
  7133. +CONFIG_HIDRAW=y
  7134. +CONFIG_HID_A4TECH=m
  7135. +CONFIG_HID_ACRUX=m
  7136. +CONFIG_HID_APPLE=m
  7137. +CONFIG_HID_BELKIN=m
  7138. +CONFIG_HID_CHERRY=m
  7139. +CONFIG_HID_CHICONY=m
  7140. +CONFIG_HID_CYPRESS=m
  7141. +CONFIG_HID_DRAGONRISE=m
  7142. +CONFIG_HID_EMS_FF=m
  7143. +CONFIG_HID_ELECOM=m
  7144. +CONFIG_HID_ELO=m
  7145. +CONFIG_HID_EZKEY=m
  7146. +CONFIG_HID_HOLTEK=m
  7147. +CONFIG_HID_KEYTOUCH=m
  7148. +CONFIG_HID_KYE=m
  7149. +CONFIG_HID_UCLOGIC=m
  7150. +CONFIG_HID_WALTOP=m
  7151. +CONFIG_HID_GYRATION=m
  7152. +CONFIG_HID_TWINHAN=m
  7153. +CONFIG_HID_KENSINGTON=m
  7154. +CONFIG_HID_LCPOWER=m
  7155. +CONFIG_HID_LOGITECH=m
  7156. +CONFIG_HID_MAGICMOUSE=m
  7157. +CONFIG_HID_MICROSOFT=m
  7158. +CONFIG_HID_MONTEREY=m
  7159. +CONFIG_HID_MULTITOUCH=m
  7160. +CONFIG_HID_NTRIG=m
  7161. +CONFIG_HID_ORTEK=m
  7162. +CONFIG_HID_PANTHERLORD=m
  7163. +CONFIG_HID_PETALYNX=m
  7164. +CONFIG_HID_PICOLCD=m
  7165. +CONFIG_HID_ROCCAT=m
  7166. +CONFIG_HID_SAMSUNG=m
  7167. +CONFIG_HID_SONY=m
  7168. +CONFIG_HID_SPEEDLINK=m
  7169. +CONFIG_HID_SUNPLUS=m
  7170. +CONFIG_HID_GREENASIA=m
  7171. +CONFIG_HID_SMARTJOYPLUS=m
  7172. +CONFIG_HID_TOPSEED=m
  7173. +CONFIG_HID_THINGM=m
  7174. +CONFIG_HID_THRUSTMASTER=m
  7175. +CONFIG_HID_WACOM=m
  7176. +CONFIG_HID_WIIMOTE=m
  7177. +CONFIG_HID_XINMO=m
  7178. +CONFIG_HID_ZEROPLUS=m
  7179. +CONFIG_HID_ZYDACRON=m
  7180. +CONFIG_HID_PID=y
  7181. +CONFIG_USB_HIDDEV=y
  7182. CONFIG_USB=y
  7183. +CONFIG_USB_ANNOUNCE_NEW_DEVICES=y
  7184. +CONFIG_USB_MON=m
  7185. +CONFIG_USB_DWCOTG=y
  7186. +CONFIG_USB_PRINTER=m
  7187. CONFIG_USB_STORAGE=y
  7188. +CONFIG_USB_STORAGE_REALTEK=m
  7189. +CONFIG_USB_STORAGE_DATAFAB=m
  7190. +CONFIG_USB_STORAGE_FREECOM=m
  7191. +CONFIG_USB_STORAGE_ISD200=m
  7192. +CONFIG_USB_STORAGE_USBAT=m
  7193. +CONFIG_USB_STORAGE_SDDR09=m
  7194. +CONFIG_USB_STORAGE_SDDR55=m
  7195. +CONFIG_USB_STORAGE_JUMPSHOT=m
  7196. +CONFIG_USB_STORAGE_ALAUDA=m
  7197. +CONFIG_USB_STORAGE_ONETOUCH=m
  7198. +CONFIG_USB_STORAGE_KARMA=m
  7199. +CONFIG_USB_STORAGE_CYPRESS_ATACB=m
  7200. +CONFIG_USB_STORAGE_ENE_UB6250=m
  7201. +CONFIG_USB_MDC800=m
  7202. +CONFIG_USB_MICROTEK=m
  7203. +CONFIG_USBIP_CORE=m
  7204. +CONFIG_USBIP_VHCI_HCD=m
  7205. +CONFIG_USBIP_HOST=m
  7206. +CONFIG_USB_DWC2=y
  7207. +CONFIG_USB_SERIAL=m
  7208. +CONFIG_USB_SERIAL_GENERIC=y
  7209. +CONFIG_USB_SERIAL_AIRCABLE=m
  7210. +CONFIG_USB_SERIAL_ARK3116=m
  7211. +CONFIG_USB_SERIAL_BELKIN=m
  7212. +CONFIG_USB_SERIAL_CH341=m
  7213. +CONFIG_USB_SERIAL_WHITEHEAT=m
  7214. +CONFIG_USB_SERIAL_DIGI_ACCELEPORT=m
  7215. +CONFIG_USB_SERIAL_CP210X=m
  7216. +CONFIG_USB_SERIAL_CYPRESS_M8=m
  7217. +CONFIG_USB_SERIAL_EMPEG=m
  7218. +CONFIG_USB_SERIAL_FTDI_SIO=m
  7219. +CONFIG_USB_SERIAL_VISOR=m
  7220. +CONFIG_USB_SERIAL_IPAQ=m
  7221. +CONFIG_USB_SERIAL_IR=m
  7222. +CONFIG_USB_SERIAL_EDGEPORT=m
  7223. +CONFIG_USB_SERIAL_EDGEPORT_TI=m
  7224. +CONFIG_USB_SERIAL_F81232=m
  7225. +CONFIG_USB_SERIAL_GARMIN=m
  7226. +CONFIG_USB_SERIAL_IPW=m
  7227. +CONFIG_USB_SERIAL_IUU=m
  7228. +CONFIG_USB_SERIAL_KEYSPAN_PDA=m
  7229. +CONFIG_USB_SERIAL_KEYSPAN=m
  7230. +CONFIG_USB_SERIAL_KLSI=m
  7231. +CONFIG_USB_SERIAL_KOBIL_SCT=m
  7232. +CONFIG_USB_SERIAL_MCT_U232=m
  7233. +CONFIG_USB_SERIAL_METRO=m
  7234. +CONFIG_USB_SERIAL_MOS7720=m
  7235. +CONFIG_USB_SERIAL_MOS7840=m
  7236. +CONFIG_USB_SERIAL_NAVMAN=m
  7237. +CONFIG_USB_SERIAL_PL2303=m
  7238. +CONFIG_USB_SERIAL_OTI6858=m
  7239. +CONFIG_USB_SERIAL_QCAUX=m
  7240. +CONFIG_USB_SERIAL_QUALCOMM=m
  7241. +CONFIG_USB_SERIAL_SPCP8X5=m
  7242. +CONFIG_USB_SERIAL_SAFE=m
  7243. +CONFIG_USB_SERIAL_SIERRAWIRELESS=m
  7244. +CONFIG_USB_SERIAL_SYMBOL=m
  7245. +CONFIG_USB_SERIAL_TI=m
  7246. +CONFIG_USB_SERIAL_CYBERJACK=m
  7247. +CONFIG_USB_SERIAL_XIRCOM=m
  7248. +CONFIG_USB_SERIAL_OPTION=m
  7249. +CONFIG_USB_SERIAL_OMNINET=m
  7250. +CONFIG_USB_SERIAL_OPTICON=m
  7251. +CONFIG_USB_SERIAL_XSENS_MT=m
  7252. +CONFIG_USB_SERIAL_WISHBONE=m
  7253. +CONFIG_USB_SERIAL_SSU100=m
  7254. +CONFIG_USB_SERIAL_QT2=m
  7255. +CONFIG_USB_SERIAL_DEBUG=m
  7256. +CONFIG_USB_EMI62=m
  7257. +CONFIG_USB_EMI26=m
  7258. +CONFIG_USB_ADUTUX=m
  7259. +CONFIG_USB_SEVSEG=m
  7260. +CONFIG_USB_RIO500=m
  7261. +CONFIG_USB_LEGOTOWER=m
  7262. +CONFIG_USB_LCD=m
  7263. +CONFIG_USB_LED=m
  7264. +CONFIG_USB_CYPRESS_CY7C63=m
  7265. +CONFIG_USB_CYTHERM=m
  7266. +CONFIG_USB_IDMOUSE=m
  7267. +CONFIG_USB_FTDI_ELAN=m
  7268. +CONFIG_USB_APPLEDISPLAY=m
  7269. +CONFIG_USB_LD=m
  7270. +CONFIG_USB_TRANCEVIBRATOR=m
  7271. +CONFIG_USB_IOWARRIOR=m
  7272. +CONFIG_USB_TEST=m
  7273. +CONFIG_USB_ISIGHTFW=m
  7274. +CONFIG_USB_YUREX=m
  7275. +CONFIG_USB_ATM=m
  7276. +CONFIG_USB_SPEEDTOUCH=m
  7277. +CONFIG_USB_CXACRU=m
  7278. +CONFIG_USB_UEAGLEATM=m
  7279. +CONFIG_USB_XUSBATM=m
  7280. CONFIG_MMC=y
  7281. +CONFIG_MMC_BLOCK_MINORS=32
  7282. +CONFIG_MMC_BCM2835=y
  7283. +CONFIG_MMC_BCM2835_DMA=y
  7284. +CONFIG_MMC_BCM2835_SDHOST=y
  7285. CONFIG_MMC_SDHCI=y
  7286. CONFIG_MMC_SDHCI_PLTFM=y
  7287. CONFIG_MMC_SDHCI_BCM2835=y
  7288. +CONFIG_MMC_SPI=m
  7289. +CONFIG_LEDS_CLASS=y
  7290. CONFIG_LEDS_GPIO=y
  7291. CONFIG_LEDS_TRIGGER_TIMER=y
  7292. CONFIG_LEDS_TRIGGER_ONESHOT=y
  7293. CONFIG_LEDS_TRIGGER_HEARTBEAT=y
  7294. +CONFIG_LEDS_TRIGGER_BACKLIGHT=y
  7295. CONFIG_LEDS_TRIGGER_CPU=y
  7296. CONFIG_LEDS_TRIGGER_GPIO=y
  7297. CONFIG_LEDS_TRIGGER_DEFAULT_ON=y
  7298. -CONFIG_LEDS_TRIGGER_TRANSIENT=y
  7299. -CONFIG_LEDS_TRIGGER_CAMERA=y
  7300. +CONFIG_LEDS_TRIGGER_TRANSIENT=m
  7301. +CONFIG_LEDS_TRIGGER_CAMERA=m
  7302. +CONFIG_LEDS_TRIGGER_INPUT=y
  7303. +CONFIG_RTC_CLASS=y
  7304. +# CONFIG_RTC_HCTOSYS is not set
  7305. +CONFIG_RTC_DRV_DS1307=m
  7306. +CONFIG_RTC_DRV_DS1374=m
  7307. +CONFIG_RTC_DRV_DS1672=m
  7308. +CONFIG_RTC_DRV_DS3232=m
  7309. +CONFIG_RTC_DRV_MAX6900=m
  7310. +CONFIG_RTC_DRV_RS5C372=m
  7311. +CONFIG_RTC_DRV_ISL1208=m
  7312. +CONFIG_RTC_DRV_ISL12022=m
  7313. +CONFIG_RTC_DRV_ISL12057=m
  7314. +CONFIG_RTC_DRV_X1205=m
  7315. +CONFIG_RTC_DRV_PCF2127=m
  7316. +CONFIG_RTC_DRV_PCF8523=m
  7317. +CONFIG_RTC_DRV_PCF8563=m
  7318. +CONFIG_RTC_DRV_PCF8583=m
  7319. +CONFIG_RTC_DRV_M41T80=m
  7320. +CONFIG_RTC_DRV_BQ32K=m
  7321. +CONFIG_RTC_DRV_S35390A=m
  7322. +CONFIG_RTC_DRV_FM3130=m
  7323. +CONFIG_RTC_DRV_RX8581=m
  7324. +CONFIG_RTC_DRV_RX8025=m
  7325. +CONFIG_RTC_DRV_EM3027=m
  7326. +CONFIG_RTC_DRV_RV3029C2=m
  7327. +CONFIG_RTC_DRV_M41T93=m
  7328. +CONFIG_RTC_DRV_M41T94=m
  7329. +CONFIG_RTC_DRV_DS1305=m
  7330. +CONFIG_RTC_DRV_DS1390=m
  7331. +CONFIG_RTC_DRV_MAX6902=m
  7332. +CONFIG_RTC_DRV_R9701=m
  7333. +CONFIG_RTC_DRV_RS5C348=m
  7334. +CONFIG_RTC_DRV_DS3234=m
  7335. +CONFIG_RTC_DRV_PCF2123=m
  7336. +CONFIG_RTC_DRV_RX4581=m
  7337. +CONFIG_DMADEVICES=y
  7338. +CONFIG_DMA_BCM2708=y
  7339. +CONFIG_UIO=m
  7340. +CONFIG_UIO_PDRV_GENIRQ=m
  7341. CONFIG_STAGING=y
  7342. -CONFIG_USB_DWC2=y
  7343. -CONFIG_USB_DWC2_HOST=y
  7344. +CONFIG_PRISM2_USB=m
  7345. +CONFIG_R8712U=m
  7346. +CONFIG_R8188EU=m
  7347. +CONFIG_R8723AU=m
  7348. +CONFIG_VT6656=m
  7349. +CONFIG_SPEAKUP=m
  7350. +CONFIG_SPEAKUP_SYNTH_SOFT=m
  7351. +CONFIG_STAGING_MEDIA=y
  7352. +CONFIG_LIRC_STAGING=y
  7353. +CONFIG_LIRC_IMON=m
  7354. +CONFIG_LIRC_SASEM=m
  7355. +CONFIG_LIRC_SERIAL=m
  7356. +CONFIG_FB_TFT=m
  7357. +CONFIG_FB_TFT_AGM1264K_FL=m
  7358. +CONFIG_FB_TFT_BD663474=m
  7359. +CONFIG_FB_TFT_HX8340BN=m
  7360. +CONFIG_FB_TFT_HX8347D=m
  7361. +CONFIG_FB_TFT_HX8353D=m
  7362. +CONFIG_FB_TFT_ILI9320=m
  7363. +CONFIG_FB_TFT_ILI9325=m
  7364. +CONFIG_FB_TFT_ILI9340=m
  7365. +CONFIG_FB_TFT_ILI9341=m
  7366. +CONFIG_FB_TFT_ILI9481=m
  7367. +CONFIG_FB_TFT_ILI9486=m
  7368. +CONFIG_FB_TFT_PCD8544=m
  7369. +CONFIG_FB_TFT_RA8875=m
  7370. +CONFIG_FB_TFT_S6D02A1=m
  7371. +CONFIG_FB_TFT_S6D1121=m
  7372. +CONFIG_FB_TFT_SSD1289=m
  7373. +CONFIG_FB_TFT_SSD1306=m
  7374. +CONFIG_FB_TFT_SSD1331=m
  7375. +CONFIG_FB_TFT_SSD1351=m
  7376. +CONFIG_FB_TFT_ST7735R=m
  7377. +CONFIG_FB_TFT_TINYLCD=m
  7378. +CONFIG_FB_TFT_TLS8204=m
  7379. +CONFIG_FB_TFT_UC1701=m
  7380. +CONFIG_FB_TFT_UPD161704=m
  7381. +CONFIG_FB_TFT_WATTEROTT=m
  7382. +CONFIG_FB_FLEX=m
  7383. +CONFIG_FB_TFT_FBTFT_DEVICE=m
  7384. +CONFIG_MAILBOX=y
  7385. +CONFIG_BCM2835_MBOX=y
  7386. # CONFIG_IOMMU_SUPPORT is not set
  7387. +CONFIG_EXTCON=m
  7388. +CONFIG_EXTCON_ARIZONA=m
  7389. +CONFIG_RASPBERRYPI_FIRMWARE=y
  7390. CONFIG_EXT2_FS=y
  7391. CONFIG_EXT2_FS_XATTR=y
  7392. CONFIG_EXT2_FS_POSIX_ACL=y
  7393. @@ -107,18 +1077,110 @@
  7394. CONFIG_EXT3_FS_POSIX_ACL=y
  7395. CONFIG_EXT4_FS=y
  7396. CONFIG_EXT4_FS_POSIX_ACL=y
  7397. +CONFIG_EXT4_FS_SECURITY=y
  7398. +CONFIG_REISERFS_FS=m
  7399. +CONFIG_REISERFS_FS_XATTR=y
  7400. +CONFIG_REISERFS_FS_POSIX_ACL=y
  7401. +CONFIG_REISERFS_FS_SECURITY=y
  7402. +CONFIG_JFS_FS=m
  7403. +CONFIG_JFS_POSIX_ACL=y
  7404. +CONFIG_JFS_SECURITY=y
  7405. +CONFIG_JFS_STATISTICS=y
  7406. +CONFIG_XFS_FS=m
  7407. +CONFIG_XFS_QUOTA=y
  7408. +CONFIG_XFS_POSIX_ACL=y
  7409. +CONFIG_XFS_RT=y
  7410. +CONFIG_GFS2_FS=m
  7411. +CONFIG_OCFS2_FS=m
  7412. +CONFIG_BTRFS_FS=m
  7413. +CONFIG_BTRFS_FS_POSIX_ACL=y
  7414. +CONFIG_NILFS2_FS=m
  7415. +CONFIG_F2FS_FS=y
  7416. CONFIG_FANOTIFY=y
  7417. +CONFIG_QFMT_V1=m
  7418. +CONFIG_QFMT_V2=m
  7419. +CONFIG_AUTOFS4_FS=y
  7420. +CONFIG_FUSE_FS=m
  7421. +CONFIG_CUSE=m
  7422. +CONFIG_FSCACHE=y
  7423. +CONFIG_FSCACHE_STATS=y
  7424. +CONFIG_FSCACHE_HISTOGRAM=y
  7425. +CONFIG_CACHEFILES=y
  7426. +CONFIG_ISO9660_FS=m
  7427. +CONFIG_JOLIET=y
  7428. +CONFIG_ZISOFS=y
  7429. +CONFIG_UDF_FS=m
  7430. CONFIG_MSDOS_FS=y
  7431. CONFIG_VFAT_FS=y
  7432. +CONFIG_FAT_DEFAULT_IOCHARSET="ascii"
  7433. +CONFIG_NTFS_FS=m
  7434. +CONFIG_NTFS_RW=y
  7435. CONFIG_TMPFS=y
  7436. CONFIG_TMPFS_POSIX_ACL=y
  7437. -# CONFIG_MISC_FILESYSTEMS is not set
  7438. +CONFIG_CONFIGFS_FS=y
  7439. +CONFIG_ECRYPT_FS=m
  7440. +CONFIG_HFS_FS=m
  7441. +CONFIG_HFSPLUS_FS=m
  7442. +CONFIG_SQUASHFS=m
  7443. +CONFIG_SQUASHFS_XATTR=y
  7444. +CONFIG_SQUASHFS_LZO=y
  7445. +CONFIG_SQUASHFS_XZ=y
  7446. CONFIG_NFS_FS=y
  7447. -CONFIG_NFSD=y
  7448. +CONFIG_NFS_V3_ACL=y
  7449. +CONFIG_NFS_V4=y
  7450. +CONFIG_NFS_SWAP=y
  7451. +CONFIG_ROOT_NFS=y
  7452. +CONFIG_NFS_FSCACHE=y
  7453. +CONFIG_NFSD=m
  7454. +CONFIG_NFSD_V3_ACL=y
  7455. +CONFIG_NFSD_V4=y
  7456. +CONFIG_CIFS=m
  7457. +CONFIG_CIFS_WEAK_PW_HASH=y
  7458. +CONFIG_CIFS_UPCALL=y
  7459. +CONFIG_CIFS_XATTR=y
  7460. +CONFIG_CIFS_POSIX=y
  7461. +CONFIG_9P_FS=m
  7462. +CONFIG_9P_FS_POSIX_ACL=y
  7463. +CONFIG_NLS_DEFAULT="utf8"
  7464. CONFIG_NLS_CODEPAGE_437=y
  7465. +CONFIG_NLS_CODEPAGE_737=m
  7466. +CONFIG_NLS_CODEPAGE_775=m
  7467. +CONFIG_NLS_CODEPAGE_850=m
  7468. +CONFIG_NLS_CODEPAGE_852=m
  7469. +CONFIG_NLS_CODEPAGE_855=m
  7470. +CONFIG_NLS_CODEPAGE_857=m
  7471. +CONFIG_NLS_CODEPAGE_860=m
  7472. +CONFIG_NLS_CODEPAGE_861=m
  7473. +CONFIG_NLS_CODEPAGE_862=m
  7474. +CONFIG_NLS_CODEPAGE_863=m
  7475. +CONFIG_NLS_CODEPAGE_864=m
  7476. +CONFIG_NLS_CODEPAGE_865=m
  7477. +CONFIG_NLS_CODEPAGE_866=m
  7478. +CONFIG_NLS_CODEPAGE_869=m
  7479. +CONFIG_NLS_CODEPAGE_936=m
  7480. +CONFIG_NLS_CODEPAGE_950=m
  7481. +CONFIG_NLS_CODEPAGE_932=m
  7482. +CONFIG_NLS_CODEPAGE_949=m
  7483. +CONFIG_NLS_CODEPAGE_874=m
  7484. +CONFIG_NLS_ISO8859_8=m
  7485. +CONFIG_NLS_CODEPAGE_1250=m
  7486. +CONFIG_NLS_CODEPAGE_1251=m
  7487. CONFIG_NLS_ASCII=y
  7488. -CONFIG_NLS_ISO8859_1=y
  7489. +CONFIG_NLS_ISO8859_1=m
  7490. +CONFIG_NLS_ISO8859_2=m
  7491. +CONFIG_NLS_ISO8859_3=m
  7492. +CONFIG_NLS_ISO8859_4=m
  7493. +CONFIG_NLS_ISO8859_5=m
  7494. +CONFIG_NLS_ISO8859_6=m
  7495. +CONFIG_NLS_ISO8859_7=m
  7496. +CONFIG_NLS_ISO8859_9=m
  7497. +CONFIG_NLS_ISO8859_13=m
  7498. +CONFIG_NLS_ISO8859_14=m
  7499. +CONFIG_NLS_ISO8859_15=m
  7500. +CONFIG_NLS_KOI8_R=m
  7501. +CONFIG_NLS_KOI8_U=m
  7502. CONFIG_NLS_UTF8=y
  7503. +CONFIG_DLM=m
  7504. CONFIG_PRINTK_TIME=y
  7505. CONFIG_BOOT_PRINTK_DELAY=y
  7506. CONFIG_DYNAMIC_DEBUG=y
  7507. @@ -128,14 +1190,39 @@
  7508. CONFIG_UNUSED_SYMBOLS=y
  7509. CONFIG_DEBUG_MEMORY_INIT=y
  7510. CONFIG_LOCKUP_DETECTOR=y
  7511. +CONFIG_TIMER_STATS=y
  7512. +# CONFIG_DEBUG_PREEMPT is not set
  7513. +CONFIG_LATENCYTOP=y
  7514. +CONFIG_IRQSOFF_TRACER=y
  7515. CONFIG_SCHED_TRACER=y
  7516. CONFIG_STACK_TRACER=y
  7517. +CONFIG_BLK_DEV_IO_TRACE=y
  7518. +# CONFIG_KPROBE_EVENT is not set
  7519. CONFIG_FUNCTION_PROFILER=y
  7520. CONFIG_TEST_KSTRTOX=y
  7521. CONFIG_KGDB=y
  7522. CONFIG_KGDB_KDB=y
  7523. +CONFIG_KDB_KEYBOARD=y
  7524. CONFIG_STRICT_DEVMEM=y
  7525. CONFIG_DEBUG_LL=y
  7526. CONFIG_EARLY_PRINTK=y
  7527. +CONFIG_CRYPTO_USER=m
  7528. +CONFIG_CRYPTO_CRYPTD=m
  7529. +CONFIG_CRYPTO_CBC=y
  7530. +CONFIG_CRYPTO_CTS=m
  7531. +CONFIG_CRYPTO_XTS=m
  7532. +CONFIG_CRYPTO_XCBC=m
  7533. +CONFIG_CRYPTO_SHA512=m
  7534. +CONFIG_CRYPTO_TGR192=m
  7535. +CONFIG_CRYPTO_WP512=m
  7536. +CONFIG_CRYPTO_CAST5=m
  7537. +CONFIG_CRYPTO_DES=y
  7538. +# CONFIG_CRYPTO_ANSI_CPRNG is not set
  7539. +# CONFIG_CRYPTO_HW is not set
  7540. +CONFIG_ARM_CRYPTO=y
  7541. +CONFIG_CRYPTO_SHA1_ARM=m
  7542. +CONFIG_CRYPTO_AES_ARM=m
  7543. +CONFIG_CRC_ITU_T=y
  7544. +CONFIG_LIBCRC32C=y
  7545. # CONFIG_XZ_DEC_ARM is not set
  7546. # CONFIG_XZ_DEC_ARMTHUMB is not set
  7547. diff -Nur linux-4.1.13.orig/arch/arm/configs/bcmrpi_defconfig linux-rpi/arch/arm/configs/bcmrpi_defconfig
  7548. --- linux-4.1.13.orig/arch/arm/configs/bcmrpi_defconfig 1970-01-01 01:00:00.000000000 +0100
  7549. +++ linux-rpi/arch/arm/configs/bcmrpi_defconfig 2015-11-29 09:42:34.707444982 +0100
  7550. @@ -0,0 +1,1255 @@
  7551. +# CONFIG_ARM_PATCH_PHYS_VIRT is not set
  7552. +CONFIG_PHYS_OFFSET=0
  7553. +# CONFIG_LOCALVERSION_AUTO is not set
  7554. +CONFIG_SYSVIPC=y
  7555. +CONFIG_POSIX_MQUEUE=y
  7556. +CONFIG_FHANDLE=y
  7557. +CONFIG_NO_HZ=y
  7558. +CONFIG_HIGH_RES_TIMERS=y
  7559. +CONFIG_BSD_PROCESS_ACCT=y
  7560. +CONFIG_BSD_PROCESS_ACCT_V3=y
  7561. +CONFIG_TASKSTATS=y
  7562. +CONFIG_TASK_DELAY_ACCT=y
  7563. +CONFIG_TASK_XACCT=y
  7564. +CONFIG_TASK_IO_ACCOUNTING=y
  7565. +CONFIG_IKCONFIG=m
  7566. +CONFIG_IKCONFIG_PROC=y
  7567. +CONFIG_CGROUP_FREEZER=y
  7568. +CONFIG_CGROUP_DEVICE=y
  7569. +CONFIG_CPUSETS=y
  7570. +CONFIG_CGROUP_CPUACCT=y
  7571. +CONFIG_MEMCG=y
  7572. +CONFIG_BLK_CGROUP=y
  7573. +CONFIG_NAMESPACES=y
  7574. +CONFIG_SCHED_AUTOGROUP=y
  7575. +CONFIG_BLK_DEV_INITRD=y
  7576. +CONFIG_EMBEDDED=y
  7577. +# CONFIG_COMPAT_BRK is not set
  7578. +CONFIG_PROFILING=y
  7579. +CONFIG_OPROFILE=m
  7580. +CONFIG_KPROBES=y
  7581. +CONFIG_JUMP_LABEL=y
  7582. +CONFIG_MODULES=y
  7583. +CONFIG_MODULE_UNLOAD=y
  7584. +CONFIG_MODVERSIONS=y
  7585. +CONFIG_MODULE_SRCVERSION_ALL=y
  7586. +CONFIG_BLK_DEV_THROTTLING=y
  7587. +CONFIG_PARTITION_ADVANCED=y
  7588. +CONFIG_MAC_PARTITION=y
  7589. +CONFIG_CFQ_GROUP_IOSCHED=y
  7590. +CONFIG_ARCH_BCM2708=y
  7591. +CONFIG_BCM2708_DT=y
  7592. +CONFIG_PREEMPT=y
  7593. +CONFIG_AEABI=y
  7594. +CONFIG_OABI_COMPAT=y
  7595. +CONFIG_CLEANCACHE=y
  7596. +CONFIG_FRONTSWAP=y
  7597. +CONFIG_CMA=y
  7598. +CONFIG_ZSMALLOC=m
  7599. +CONFIG_PGTABLE_MAPPING=y
  7600. +CONFIG_UACCESS_WITH_MEMCPY=y
  7601. +CONFIG_SECCOMP=y
  7602. +CONFIG_ZBOOT_ROM_TEXT=0x0
  7603. +CONFIG_ZBOOT_ROM_BSS=0x0
  7604. +CONFIG_CMDLINE="console=ttyAMA0,115200 kgdboc=ttyAMA0,115200 root=/dev/mmcblk0p2 rootfstype=ext4 rootwait"
  7605. +CONFIG_CPU_FREQ=y
  7606. +CONFIG_CPU_FREQ_STAT=m
  7607. +CONFIG_CPU_FREQ_STAT_DETAILS=y
  7608. +CONFIG_CPU_FREQ_DEFAULT_GOV_POWERSAVE=y
  7609. +CONFIG_CPU_FREQ_GOV_PERFORMANCE=y
  7610. +CONFIG_CPU_FREQ_GOV_USERSPACE=y
  7611. +CONFIG_CPU_FREQ_GOV_ONDEMAND=y
  7612. +CONFIG_CPU_FREQ_GOV_CONSERVATIVE=y
  7613. +CONFIG_VFP=y
  7614. +CONFIG_BINFMT_MISC=m
  7615. +# CONFIG_SUSPEND is not set
  7616. +CONFIG_NET=y
  7617. +CONFIG_PACKET=y
  7618. +CONFIG_UNIX=y
  7619. +CONFIG_XFRM_USER=y
  7620. +CONFIG_NET_KEY=m
  7621. +CONFIG_INET=y
  7622. +CONFIG_IP_MULTICAST=y
  7623. +CONFIG_IP_ADVANCED_ROUTER=y
  7624. +CONFIG_IP_MULTIPLE_TABLES=y
  7625. +CONFIG_IP_ROUTE_MULTIPATH=y
  7626. +CONFIG_IP_ROUTE_VERBOSE=y
  7627. +CONFIG_IP_PNP=y
  7628. +CONFIG_IP_PNP_DHCP=y
  7629. +CONFIG_IP_PNP_RARP=y
  7630. +CONFIG_NET_IPIP=m
  7631. +CONFIG_NET_IPGRE_DEMUX=m
  7632. +CONFIG_NET_IPGRE=m
  7633. +CONFIG_IP_MROUTE=y
  7634. +CONFIG_IP_MROUTE_MULTIPLE_TABLES=y
  7635. +CONFIG_IP_PIMSM_V1=y
  7636. +CONFIG_IP_PIMSM_V2=y
  7637. +CONFIG_SYN_COOKIES=y
  7638. +CONFIG_INET_AH=m
  7639. +CONFIG_INET_ESP=m
  7640. +CONFIG_INET_IPCOMP=m
  7641. +CONFIG_INET_XFRM_MODE_TRANSPORT=m
  7642. +CONFIG_INET_XFRM_MODE_TUNNEL=m
  7643. +CONFIG_INET_XFRM_MODE_BEET=m
  7644. +CONFIG_INET_LRO=m
  7645. +CONFIG_INET_DIAG=m
  7646. +CONFIG_INET6_AH=m
  7647. +CONFIG_INET6_ESP=m
  7648. +CONFIG_INET6_IPCOMP=m
  7649. +CONFIG_IPV6_TUNNEL=m
  7650. +CONFIG_IPV6_MULTIPLE_TABLES=y
  7651. +CONFIG_IPV6_MROUTE=y
  7652. +CONFIG_IPV6_MROUTE_MULTIPLE_TABLES=y
  7653. +CONFIG_IPV6_PIMSM_V2=y
  7654. +CONFIG_NETFILTER=y
  7655. +CONFIG_NF_CONNTRACK=m
  7656. +CONFIG_NF_CONNTRACK_ZONES=y
  7657. +CONFIG_NF_CONNTRACK_EVENTS=y
  7658. +CONFIG_NF_CONNTRACK_TIMESTAMP=y
  7659. +CONFIG_NF_CT_PROTO_DCCP=m
  7660. +CONFIG_NF_CT_PROTO_UDPLITE=m
  7661. +CONFIG_NF_CONNTRACK_AMANDA=m
  7662. +CONFIG_NF_CONNTRACK_FTP=m
  7663. +CONFIG_NF_CONNTRACK_H323=m
  7664. +CONFIG_NF_CONNTRACK_IRC=m
  7665. +CONFIG_NF_CONNTRACK_NETBIOS_NS=m
  7666. +CONFIG_NF_CONNTRACK_SNMP=m
  7667. +CONFIG_NF_CONNTRACK_PPTP=m
  7668. +CONFIG_NF_CONNTRACK_SANE=m
  7669. +CONFIG_NF_CONNTRACK_SIP=m
  7670. +CONFIG_NF_CONNTRACK_TFTP=m
  7671. +CONFIG_NF_CT_NETLINK=m
  7672. +CONFIG_NETFILTER_XT_SET=m
  7673. +CONFIG_NETFILTER_XT_TARGET_CHECKSUM=m
  7674. +CONFIG_NETFILTER_XT_TARGET_CLASSIFY=m
  7675. +CONFIG_NETFILTER_XT_TARGET_CONNMARK=m
  7676. +CONFIG_NETFILTER_XT_TARGET_DSCP=m
  7677. +CONFIG_NETFILTER_XT_TARGET_HMARK=m
  7678. +CONFIG_NETFILTER_XT_TARGET_IDLETIMER=m
  7679. +CONFIG_NETFILTER_XT_TARGET_LED=m
  7680. +CONFIG_NETFILTER_XT_TARGET_LOG=m
  7681. +CONFIG_NETFILTER_XT_TARGET_MARK=m
  7682. +CONFIG_NETFILTER_XT_TARGET_NFLOG=m
  7683. +CONFIG_NETFILTER_XT_TARGET_NFQUEUE=m
  7684. +CONFIG_NETFILTER_XT_TARGET_NOTRACK=m
  7685. +CONFIG_NETFILTER_XT_TARGET_TEE=m
  7686. +CONFIG_NETFILTER_XT_TARGET_TPROXY=m
  7687. +CONFIG_NETFILTER_XT_TARGET_TRACE=m
  7688. +CONFIG_NETFILTER_XT_TARGET_TCPMSS=m
  7689. +CONFIG_NETFILTER_XT_TARGET_TCPOPTSTRIP=m
  7690. +CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=m
  7691. +CONFIG_NETFILTER_XT_MATCH_BPF=m
  7692. +CONFIG_NETFILTER_XT_MATCH_CLUSTER=m
  7693. +CONFIG_NETFILTER_XT_MATCH_COMMENT=m
  7694. +CONFIG_NETFILTER_XT_MATCH_CONNBYTES=m
  7695. +CONFIG_NETFILTER_XT_MATCH_CONNLABEL=m
  7696. +CONFIG_NETFILTER_XT_MATCH_CONNLIMIT=m
  7697. +CONFIG_NETFILTER_XT_MATCH_CONNMARK=m
  7698. +CONFIG_NETFILTER_XT_MATCH_CONNTRACK=m
  7699. +CONFIG_NETFILTER_XT_MATCH_CPU=m
  7700. +CONFIG_NETFILTER_XT_MATCH_DCCP=m
  7701. +CONFIG_NETFILTER_XT_MATCH_DEVGROUP=m
  7702. +CONFIG_NETFILTER_XT_MATCH_DSCP=m
  7703. +CONFIG_NETFILTER_XT_MATCH_ESP=m
  7704. +CONFIG_NETFILTER_XT_MATCH_HASHLIMIT=m
  7705. +CONFIG_NETFILTER_XT_MATCH_HELPER=m
  7706. +CONFIG_NETFILTER_XT_MATCH_IPRANGE=m
  7707. +CONFIG_NETFILTER_XT_MATCH_IPVS=m
  7708. +CONFIG_NETFILTER_XT_MATCH_LENGTH=m
  7709. +CONFIG_NETFILTER_XT_MATCH_LIMIT=m
  7710. +CONFIG_NETFILTER_XT_MATCH_MAC=m
  7711. +CONFIG_NETFILTER_XT_MATCH_MARK=m
  7712. +CONFIG_NETFILTER_XT_MATCH_MULTIPORT=m
  7713. +CONFIG_NETFILTER_XT_MATCH_NFACCT=m
  7714. +CONFIG_NETFILTER_XT_MATCH_OSF=m
  7715. +CONFIG_NETFILTER_XT_MATCH_OWNER=m
  7716. +CONFIG_NETFILTER_XT_MATCH_POLICY=m
  7717. +CONFIG_NETFILTER_XT_MATCH_PHYSDEV=m
  7718. +CONFIG_NETFILTER_XT_MATCH_PKTTYPE=m
  7719. +CONFIG_NETFILTER_XT_MATCH_QUOTA=m
  7720. +CONFIG_NETFILTER_XT_MATCH_RATEEST=m
  7721. +CONFIG_NETFILTER_XT_MATCH_REALM=m
  7722. +CONFIG_NETFILTER_XT_MATCH_RECENT=m
  7723. +CONFIG_NETFILTER_XT_MATCH_SOCKET=m
  7724. +CONFIG_NETFILTER_XT_MATCH_STATE=m
  7725. +CONFIG_NETFILTER_XT_MATCH_STATISTIC=m
  7726. +CONFIG_NETFILTER_XT_MATCH_STRING=m
  7727. +CONFIG_NETFILTER_XT_MATCH_TCPMSS=m
  7728. +CONFIG_NETFILTER_XT_MATCH_TIME=m
  7729. +CONFIG_NETFILTER_XT_MATCH_U32=m
  7730. +CONFIG_IP_SET=m
  7731. +CONFIG_IP_SET_BITMAP_IP=m
  7732. +CONFIG_IP_SET_BITMAP_IPMAC=m
  7733. +CONFIG_IP_SET_BITMAP_PORT=m
  7734. +CONFIG_IP_SET_HASH_IP=m
  7735. +CONFIG_IP_SET_HASH_IPPORT=m
  7736. +CONFIG_IP_SET_HASH_IPPORTIP=m
  7737. +CONFIG_IP_SET_HASH_IPPORTNET=m
  7738. +CONFIG_IP_SET_HASH_NET=m
  7739. +CONFIG_IP_SET_HASH_NETPORT=m
  7740. +CONFIG_IP_SET_HASH_NETIFACE=m
  7741. +CONFIG_IP_SET_LIST_SET=m
  7742. +CONFIG_IP_VS=m
  7743. +CONFIG_IP_VS_PROTO_TCP=y
  7744. +CONFIG_IP_VS_PROTO_UDP=y
  7745. +CONFIG_IP_VS_PROTO_ESP=y
  7746. +CONFIG_IP_VS_PROTO_AH=y
  7747. +CONFIG_IP_VS_PROTO_SCTP=y
  7748. +CONFIG_IP_VS_RR=m
  7749. +CONFIG_IP_VS_WRR=m
  7750. +CONFIG_IP_VS_LC=m
  7751. +CONFIG_IP_VS_WLC=m
  7752. +CONFIG_IP_VS_LBLC=m
  7753. +CONFIG_IP_VS_LBLCR=m
  7754. +CONFIG_IP_VS_DH=m
  7755. +CONFIG_IP_VS_SH=m
  7756. +CONFIG_IP_VS_SED=m
  7757. +CONFIG_IP_VS_NQ=m
  7758. +CONFIG_IP_VS_FTP=m
  7759. +CONFIG_IP_VS_PE_SIP=m
  7760. +CONFIG_NF_CONNTRACK_IPV4=m
  7761. +CONFIG_IP_NF_IPTABLES=m
  7762. +CONFIG_IP_NF_MATCH_AH=m
  7763. +CONFIG_IP_NF_MATCH_ECN=m
  7764. +CONFIG_IP_NF_MATCH_TTL=m
  7765. +CONFIG_IP_NF_FILTER=m
  7766. +CONFIG_IP_NF_TARGET_REJECT=m
  7767. +CONFIG_IP_NF_NAT=m
  7768. +CONFIG_IP_NF_TARGET_MASQUERADE=m
  7769. +CONFIG_IP_NF_TARGET_NETMAP=m
  7770. +CONFIG_IP_NF_TARGET_REDIRECT=m
  7771. +CONFIG_IP_NF_MANGLE=m
  7772. +CONFIG_IP_NF_TARGET_CLUSTERIP=m
  7773. +CONFIG_IP_NF_TARGET_ECN=m
  7774. +CONFIG_IP_NF_TARGET_TTL=m
  7775. +CONFIG_IP_NF_RAW=m
  7776. +CONFIG_IP_NF_ARPTABLES=m
  7777. +CONFIG_IP_NF_ARPFILTER=m
  7778. +CONFIG_IP_NF_ARP_MANGLE=m
  7779. +CONFIG_NF_CONNTRACK_IPV6=m
  7780. +CONFIG_IP6_NF_IPTABLES=m
  7781. +CONFIG_IP6_NF_MATCH_AH=m
  7782. +CONFIG_IP6_NF_MATCH_EUI64=m
  7783. +CONFIG_IP6_NF_MATCH_FRAG=m
  7784. +CONFIG_IP6_NF_MATCH_OPTS=m
  7785. +CONFIG_IP6_NF_MATCH_HL=m
  7786. +CONFIG_IP6_NF_MATCH_IPV6HEADER=m
  7787. +CONFIG_IP6_NF_MATCH_MH=m
  7788. +CONFIG_IP6_NF_MATCH_RT=m
  7789. +CONFIG_IP6_NF_TARGET_HL=m
  7790. +CONFIG_IP6_NF_FILTER=m
  7791. +CONFIG_IP6_NF_TARGET_REJECT=m
  7792. +CONFIG_IP6_NF_MANGLE=m
  7793. +CONFIG_IP6_NF_RAW=m
  7794. +CONFIG_IP6_NF_NAT=m
  7795. +CONFIG_IP6_NF_TARGET_MASQUERADE=m
  7796. +CONFIG_IP6_NF_TARGET_NPT=m
  7797. +CONFIG_BRIDGE_NF_EBTABLES=m
  7798. +CONFIG_BRIDGE_EBT_BROUTE=m
  7799. +CONFIG_BRIDGE_EBT_T_FILTER=m
  7800. +CONFIG_BRIDGE_EBT_T_NAT=m
  7801. +CONFIG_BRIDGE_EBT_802_3=m
  7802. +CONFIG_BRIDGE_EBT_AMONG=m
  7803. +CONFIG_BRIDGE_EBT_ARP=m
  7804. +CONFIG_BRIDGE_EBT_IP=m
  7805. +CONFIG_BRIDGE_EBT_IP6=m
  7806. +CONFIG_BRIDGE_EBT_LIMIT=m
  7807. +CONFIG_BRIDGE_EBT_MARK=m
  7808. +CONFIG_BRIDGE_EBT_PKTTYPE=m
  7809. +CONFIG_BRIDGE_EBT_STP=m
  7810. +CONFIG_BRIDGE_EBT_VLAN=m
  7811. +CONFIG_BRIDGE_EBT_ARPREPLY=m
  7812. +CONFIG_BRIDGE_EBT_DNAT=m
  7813. +CONFIG_BRIDGE_EBT_MARK_T=m
  7814. +CONFIG_BRIDGE_EBT_REDIRECT=m
  7815. +CONFIG_BRIDGE_EBT_SNAT=m
  7816. +CONFIG_BRIDGE_EBT_LOG=m
  7817. +CONFIG_BRIDGE_EBT_NFLOG=m
  7818. +CONFIG_SCTP_COOKIE_HMAC_SHA1=y
  7819. +CONFIG_ATM=m
  7820. +CONFIG_L2TP=m
  7821. +CONFIG_L2TP_V3=y
  7822. +CONFIG_L2TP_IP=m
  7823. +CONFIG_L2TP_ETH=m
  7824. +CONFIG_BRIDGE=m
  7825. +CONFIG_VLAN_8021Q=m
  7826. +CONFIG_VLAN_8021Q_GVRP=y
  7827. +CONFIG_ATALK=m
  7828. +CONFIG_6LOWPAN=m
  7829. +CONFIG_IEEE802154=m
  7830. +CONFIG_IEEE802154_6LOWPAN=m
  7831. +CONFIG_MAC802154=m
  7832. +CONFIG_NET_SCHED=y
  7833. +CONFIG_NET_SCH_CBQ=m
  7834. +CONFIG_NET_SCH_HTB=m
  7835. +CONFIG_NET_SCH_HFSC=m
  7836. +CONFIG_NET_SCH_PRIO=m
  7837. +CONFIG_NET_SCH_MULTIQ=m
  7838. +CONFIG_NET_SCH_RED=m
  7839. +CONFIG_NET_SCH_SFB=m
  7840. +CONFIG_NET_SCH_SFQ=m
  7841. +CONFIG_NET_SCH_TEQL=m
  7842. +CONFIG_NET_SCH_TBF=m
  7843. +CONFIG_NET_SCH_GRED=m
  7844. +CONFIG_NET_SCH_DSMARK=m
  7845. +CONFIG_NET_SCH_NETEM=m
  7846. +CONFIG_NET_SCH_DRR=m
  7847. +CONFIG_NET_SCH_MQPRIO=m
  7848. +CONFIG_NET_SCH_CHOKE=m
  7849. +CONFIG_NET_SCH_QFQ=m
  7850. +CONFIG_NET_SCH_CODEL=m
  7851. +CONFIG_NET_SCH_FQ_CODEL=m
  7852. +CONFIG_NET_SCH_INGRESS=m
  7853. +CONFIG_NET_SCH_PLUG=m
  7854. +CONFIG_NET_CLS_BASIC=m
  7855. +CONFIG_NET_CLS_TCINDEX=m
  7856. +CONFIG_NET_CLS_ROUTE4=m
  7857. +CONFIG_NET_CLS_FW=m
  7858. +CONFIG_NET_CLS_U32=m
  7859. +CONFIG_CLS_U32_MARK=y
  7860. +CONFIG_NET_CLS_RSVP=m
  7861. +CONFIG_NET_CLS_RSVP6=m
  7862. +CONFIG_NET_CLS_FLOW=m
  7863. +CONFIG_NET_CLS_CGROUP=m
  7864. +CONFIG_NET_EMATCH=y
  7865. +CONFIG_NET_EMATCH_CMP=m
  7866. +CONFIG_NET_EMATCH_NBYTE=m
  7867. +CONFIG_NET_EMATCH_U32=m
  7868. +CONFIG_NET_EMATCH_META=m
  7869. +CONFIG_NET_EMATCH_TEXT=m
  7870. +CONFIG_NET_EMATCH_IPSET=m
  7871. +CONFIG_NET_CLS_ACT=y
  7872. +CONFIG_NET_ACT_POLICE=m
  7873. +CONFIG_NET_ACT_GACT=m
  7874. +CONFIG_GACT_PROB=y
  7875. +CONFIG_NET_ACT_MIRRED=m
  7876. +CONFIG_NET_ACT_IPT=m
  7877. +CONFIG_NET_ACT_NAT=m
  7878. +CONFIG_NET_ACT_PEDIT=m
  7879. +CONFIG_NET_ACT_SIMP=m
  7880. +CONFIG_NET_ACT_SKBEDIT=m
  7881. +CONFIG_NET_ACT_CSUM=m
  7882. +CONFIG_BATMAN_ADV=m
  7883. +CONFIG_OPENVSWITCH=m
  7884. +CONFIG_NET_PKTGEN=m
  7885. +CONFIG_HAMRADIO=y
  7886. +CONFIG_AX25=m
  7887. +CONFIG_NETROM=m
  7888. +CONFIG_ROSE=m
  7889. +CONFIG_MKISS=m
  7890. +CONFIG_6PACK=m
  7891. +CONFIG_BPQETHER=m
  7892. +CONFIG_BAYCOM_SER_FDX=m
  7893. +CONFIG_BAYCOM_SER_HDX=m
  7894. +CONFIG_YAM=m
  7895. +CONFIG_CAN=m
  7896. +CONFIG_CAN_VCAN=m
  7897. +CONFIG_CAN_MCP251X=m
  7898. +CONFIG_IRDA=m
  7899. +CONFIG_IRLAN=m
  7900. +CONFIG_IRNET=m
  7901. +CONFIG_IRCOMM=m
  7902. +CONFIG_IRDA_ULTRA=y
  7903. +CONFIG_IRDA_CACHE_LAST_LSAP=y
  7904. +CONFIG_IRDA_FAST_RR=y
  7905. +CONFIG_IRTTY_SIR=m
  7906. +CONFIG_KINGSUN_DONGLE=m
  7907. +CONFIG_KSDAZZLE_DONGLE=m
  7908. +CONFIG_KS959_DONGLE=m
  7909. +CONFIG_USB_IRDA=m
  7910. +CONFIG_SIGMATEL_FIR=m
  7911. +CONFIG_MCS_FIR=m
  7912. +CONFIG_BT=m
  7913. +CONFIG_BT_RFCOMM=m
  7914. +CONFIG_BT_RFCOMM_TTY=y
  7915. +CONFIG_BT_BNEP=m
  7916. +CONFIG_BT_BNEP_MC_FILTER=y
  7917. +CONFIG_BT_BNEP_PROTO_FILTER=y
  7918. +CONFIG_BT_HIDP=m
  7919. +CONFIG_BT_6LOWPAN=m
  7920. +CONFIG_BT_HCIBTUSB=m
  7921. +CONFIG_BT_HCIBCM203X=m
  7922. +CONFIG_BT_HCIBPA10X=m
  7923. +CONFIG_BT_HCIBFUSB=m
  7924. +CONFIG_BT_HCIVHCI=m
  7925. +CONFIG_BT_MRVL=m
  7926. +CONFIG_BT_MRVL_SDIO=m
  7927. +CONFIG_BT_ATH3K=m
  7928. +CONFIG_BT_WILINK=m
  7929. +CONFIG_MAC80211=m
  7930. +CONFIG_MAC80211_MESH=y
  7931. +CONFIG_WIMAX=m
  7932. +CONFIG_RFKILL=m
  7933. +CONFIG_RFKILL_INPUT=y
  7934. +CONFIG_NET_9P=m
  7935. +CONFIG_NFC=m
  7936. +CONFIG_NFC_PN533=m
  7937. +CONFIG_DEVTMPFS=y
  7938. +CONFIG_DEVTMPFS_MOUNT=y
  7939. +CONFIG_DMA_CMA=y
  7940. +CONFIG_CMA_SIZE_MBYTES=5
  7941. +CONFIG_MTD=m
  7942. +CONFIG_MTD_BLOCK=m
  7943. +CONFIG_MTD_NAND=m
  7944. +CONFIG_MTD_UBI=m
  7945. +CONFIG_ZRAM=m
  7946. +CONFIG_ZRAM_LZ4_COMPRESS=y
  7947. +CONFIG_BLK_DEV_LOOP=y
  7948. +CONFIG_BLK_DEV_CRYPTOLOOP=m
  7949. +CONFIG_BLK_DEV_DRBD=m
  7950. +CONFIG_BLK_DEV_NBD=m
  7951. +CONFIG_BLK_DEV_RAM=y
  7952. +CONFIG_CDROM_PKTCDVD=m
  7953. +CONFIG_ATA_OVER_ETH=m
  7954. +CONFIG_EEPROM_AT24=m
  7955. +CONFIG_TI_ST=m
  7956. +CONFIG_SCSI=y
  7957. +# CONFIG_SCSI_PROC_FS is not set
  7958. +CONFIG_BLK_DEV_SD=y
  7959. +CONFIG_CHR_DEV_ST=m
  7960. +CONFIG_CHR_DEV_OSST=m
  7961. +CONFIG_BLK_DEV_SR=m
  7962. +CONFIG_CHR_DEV_SG=m
  7963. +CONFIG_SCSI_ISCSI_ATTRS=y
  7964. +CONFIG_ISCSI_TCP=m
  7965. +CONFIG_ISCSI_BOOT_SYSFS=m
  7966. +CONFIG_MD=y
  7967. +CONFIG_MD_LINEAR=m
  7968. +CONFIG_MD_RAID0=m
  7969. +CONFIG_BLK_DEV_DM=m
  7970. +CONFIG_DM_CRYPT=m
  7971. +CONFIG_DM_SNAPSHOT=m
  7972. +CONFIG_DM_THIN_PROVISIONING=m
  7973. +CONFIG_DM_MIRROR=m
  7974. +CONFIG_DM_LOG_USERSPACE=m
  7975. +CONFIG_DM_RAID=m
  7976. +CONFIG_DM_ZERO=m
  7977. +CONFIG_DM_DELAY=m
  7978. +CONFIG_NETDEVICES=y
  7979. +CONFIG_BONDING=m
  7980. +CONFIG_DUMMY=m
  7981. +CONFIG_IFB=m
  7982. +CONFIG_MACVLAN=m
  7983. +CONFIG_NETCONSOLE=m
  7984. +CONFIG_TUN=m
  7985. +CONFIG_VETH=m
  7986. +CONFIG_ENC28J60=m
  7987. +CONFIG_MDIO_BITBANG=m
  7988. +CONFIG_PPP=m
  7989. +CONFIG_PPP_BSDCOMP=m
  7990. +CONFIG_PPP_DEFLATE=m
  7991. +CONFIG_PPP_FILTER=y
  7992. +CONFIG_PPP_MPPE=m
  7993. +CONFIG_PPP_MULTILINK=y
  7994. +CONFIG_PPPOATM=m
  7995. +CONFIG_PPPOE=m
  7996. +CONFIG_PPPOL2TP=m
  7997. +CONFIG_PPP_ASYNC=m
  7998. +CONFIG_PPP_SYNC_TTY=m
  7999. +CONFIG_SLIP=m
  8000. +CONFIG_SLIP_COMPRESSED=y
  8001. +CONFIG_SLIP_SMART=y
  8002. +CONFIG_USB_CATC=m
  8003. +CONFIG_USB_KAWETH=m
  8004. +CONFIG_USB_PEGASUS=m
  8005. +CONFIG_USB_RTL8150=m
  8006. +CONFIG_USB_RTL8152=m
  8007. +CONFIG_USB_USBNET=y
  8008. +CONFIG_USB_NET_AX8817X=m
  8009. +CONFIG_USB_NET_AX88179_178A=m
  8010. +CONFIG_USB_NET_CDCETHER=m
  8011. +CONFIG_USB_NET_CDC_EEM=m
  8012. +CONFIG_USB_NET_CDC_NCM=m
  8013. +CONFIG_USB_NET_HUAWEI_CDC_NCM=m
  8014. +CONFIG_USB_NET_CDC_MBIM=m
  8015. +CONFIG_USB_NET_DM9601=m
  8016. +CONFIG_USB_NET_SR9700=m
  8017. +CONFIG_USB_NET_SR9800=m
  8018. +CONFIG_USB_NET_SMSC75XX=m
  8019. +CONFIG_USB_NET_SMSC95XX=y
  8020. +CONFIG_USB_NET_GL620A=m
  8021. +CONFIG_USB_NET_NET1080=m
  8022. +CONFIG_USB_NET_PLUSB=m
  8023. +CONFIG_USB_NET_MCS7830=m
  8024. +CONFIG_USB_NET_CDC_SUBSET=m
  8025. +CONFIG_USB_ALI_M5632=y
  8026. +CONFIG_USB_AN2720=y
  8027. +CONFIG_USB_EPSON2888=y
  8028. +CONFIG_USB_KC2190=y
  8029. +CONFIG_USB_NET_ZAURUS=m
  8030. +CONFIG_USB_NET_CX82310_ETH=m
  8031. +CONFIG_USB_NET_KALMIA=m
  8032. +CONFIG_USB_NET_QMI_WWAN=m
  8033. +CONFIG_USB_HSO=m
  8034. +CONFIG_USB_NET_INT51X1=m
  8035. +CONFIG_USB_IPHETH=m
  8036. +CONFIG_USB_SIERRA_NET=m
  8037. +CONFIG_USB_VL600=m
  8038. +CONFIG_LIBERTAS_THINFIRM=m
  8039. +CONFIG_LIBERTAS_THINFIRM_USB=m
  8040. +CONFIG_AT76C50X_USB=m
  8041. +CONFIG_USB_ZD1201=m
  8042. +CONFIG_USB_NET_RNDIS_WLAN=m
  8043. +CONFIG_RTL8187=m
  8044. +CONFIG_MAC80211_HWSIM=m
  8045. +CONFIG_ATH_CARDS=m
  8046. +CONFIG_ATH9K=m
  8047. +CONFIG_ATH9K_HTC=m
  8048. +CONFIG_CARL9170=m
  8049. +CONFIG_ATH6KL=m
  8050. +CONFIG_ATH6KL_USB=m
  8051. +CONFIG_AR5523=m
  8052. +CONFIG_B43=m
  8053. +# CONFIG_B43_PHY_N is not set
  8054. +CONFIG_B43LEGACY=m
  8055. +CONFIG_BRCMFMAC=m
  8056. +CONFIG_BRCMFMAC_USB=y
  8057. +CONFIG_HOSTAP=m
  8058. +CONFIG_LIBERTAS=m
  8059. +CONFIG_LIBERTAS_USB=m
  8060. +CONFIG_LIBERTAS_SDIO=m
  8061. +CONFIG_P54_COMMON=m
  8062. +CONFIG_P54_USB=m
  8063. +CONFIG_RT2X00=m
  8064. +CONFIG_RT2500USB=m
  8065. +CONFIG_RT73USB=m
  8066. +CONFIG_RT2800USB=m
  8067. +CONFIG_RT2800USB_RT3573=y
  8068. +CONFIG_RT2800USB_RT53XX=y
  8069. +CONFIG_RT2800USB_RT55XX=y
  8070. +CONFIG_RT2800USB_UNKNOWN=y
  8071. +CONFIG_WL_MEDIATEK=y
  8072. +CONFIG_MT7601U=m
  8073. +CONFIG_RTL8192CU=m
  8074. +CONFIG_ZD1211RW=m
  8075. +CONFIG_MWIFIEX=m
  8076. +CONFIG_MWIFIEX_SDIO=m
  8077. +CONFIG_WIMAX_I2400M_USB=m
  8078. +CONFIG_IEEE802154_AT86RF230=m
  8079. +CONFIG_IEEE802154_MRF24J40=m
  8080. +CONFIG_IEEE802154_CC2520=m
  8081. +CONFIG_INPUT_POLLDEV=m
  8082. +# CONFIG_INPUT_MOUSEDEV_PSAUX is not set
  8083. +CONFIG_INPUT_JOYDEV=m
  8084. +CONFIG_INPUT_EVDEV=m
  8085. +# CONFIG_KEYBOARD_ATKBD is not set
  8086. +CONFIG_KEYBOARD_GPIO=m
  8087. +# CONFIG_INPUT_MOUSE is not set
  8088. +CONFIG_INPUT_JOYSTICK=y
  8089. +CONFIG_JOYSTICK_IFORCE=m
  8090. +CONFIG_JOYSTICK_IFORCE_USB=y
  8091. +CONFIG_JOYSTICK_XPAD=m
  8092. +CONFIG_JOYSTICK_XPAD_FF=y
  8093. +CONFIG_JOYSTICK_RPISENSE=m
  8094. +CONFIG_INPUT_TOUCHSCREEN=y
  8095. +CONFIG_TOUCHSCREEN_ADS7846=m
  8096. +CONFIG_TOUCHSCREEN_EGALAX=m
  8097. +CONFIG_TOUCHSCREEN_FT6236=m
  8098. +CONFIG_TOUCHSCREEN_RPI_FT5406=m
  8099. +CONFIG_TOUCHSCREEN_USB_COMPOSITE=m
  8100. +CONFIG_TOUCHSCREEN_STMPE=m
  8101. +CONFIG_INPUT_MISC=y
  8102. +CONFIG_INPUT_AD714X=m
  8103. +CONFIG_INPUT_ATI_REMOTE2=m
  8104. +CONFIG_INPUT_KEYSPAN_REMOTE=m
  8105. +CONFIG_INPUT_POWERMATE=m
  8106. +CONFIG_INPUT_YEALINK=m
  8107. +CONFIG_INPUT_CM109=m
  8108. +CONFIG_INPUT_UINPUT=m
  8109. +CONFIG_INPUT_GPIO_ROTARY_ENCODER=m
  8110. +CONFIG_INPUT_ADXL34X=m
  8111. +CONFIG_INPUT_CMA3000=m
  8112. +CONFIG_SERIO=m
  8113. +CONFIG_SERIO_RAW=m
  8114. +CONFIG_GAMEPORT=m
  8115. +CONFIG_GAMEPORT_NS558=m
  8116. +CONFIG_GAMEPORT_L4=m
  8117. +CONFIG_DEVPTS_MULTIPLE_INSTANCES=y
  8118. +# CONFIG_LEGACY_PTYS is not set
  8119. +# CONFIG_DEVKMEM is not set
  8120. +CONFIG_SERIAL_8250=y
  8121. +# CONFIG_SERIAL_8250_DEPRECATED_OPTIONS is not set
  8122. +CONFIG_SERIAL_8250_CONSOLE=y
  8123. +# CONFIG_SERIAL_8250_DMA is not set
  8124. +CONFIG_SERIAL_8250_NR_UARTS=1
  8125. +CONFIG_SERIAL_8250_RUNTIME_UARTS=0
  8126. +CONFIG_SERIAL_AMBA_PL011=y
  8127. +CONFIG_SERIAL_AMBA_PL011_CONSOLE=y
  8128. +CONFIG_SERIAL_OF_PLATFORM=y
  8129. +CONFIG_TTY_PRINTK=y
  8130. +CONFIG_HW_RANDOM=y
  8131. +CONFIG_HW_RANDOM_BCM2835=m
  8132. +CONFIG_HW_RANDOM_BCM2708=m
  8133. +CONFIG_RAW_DRIVER=y
  8134. +CONFIG_BRCM_CHAR_DRIVERS=y
  8135. +CONFIG_BCM_VC_CMA=y
  8136. +CONFIG_BCM_VCIO=y
  8137. +CONFIG_BCM_VC_SM=y
  8138. +CONFIG_I2C=y
  8139. +CONFIG_I2C_CHARDEV=m
  8140. +CONFIG_I2C_BCM2708=m
  8141. +CONFIG_I2C_GPIO=m
  8142. +CONFIG_SPI=y
  8143. +CONFIG_SPI_BCM2835=m
  8144. +CONFIG_SPI_BCM2708=m
  8145. +CONFIG_SPI_SPIDEV=y
  8146. +CONFIG_PPS=m
  8147. +CONFIG_PPS_CLIENT_LDISC=m
  8148. +CONFIG_PPS_CLIENT_GPIO=m
  8149. +CONFIG_GPIO_SYSFS=y
  8150. +CONFIG_GPIO_ARIZONA=m
  8151. +CONFIG_GPIO_STMPE=y
  8152. +CONFIG_W1=m
  8153. +CONFIG_W1_MASTER_DS2490=m
  8154. +CONFIG_W1_MASTER_DS2482=m
  8155. +CONFIG_W1_MASTER_DS1WM=m
  8156. +CONFIG_W1_MASTER_GPIO=m
  8157. +CONFIG_W1_SLAVE_THERM=m
  8158. +CONFIG_W1_SLAVE_SMEM=m
  8159. +CONFIG_W1_SLAVE_DS2408=m
  8160. +CONFIG_W1_SLAVE_DS2413=m
  8161. +CONFIG_W1_SLAVE_DS2406=m
  8162. +CONFIG_W1_SLAVE_DS2423=m
  8163. +CONFIG_W1_SLAVE_DS2431=m
  8164. +CONFIG_W1_SLAVE_DS2433=m
  8165. +CONFIG_W1_SLAVE_DS2760=m
  8166. +CONFIG_W1_SLAVE_DS2780=m
  8167. +CONFIG_W1_SLAVE_DS2781=m
  8168. +CONFIG_W1_SLAVE_DS28E04=m
  8169. +CONFIG_W1_SLAVE_BQ27000=m
  8170. +CONFIG_BATTERY_DS2760=m
  8171. +CONFIG_POWER_RESET=y
  8172. +CONFIG_POWER_RESET_GPIO=y
  8173. +CONFIG_HWMON=m
  8174. +CONFIG_SENSORS_SHT21=m
  8175. +CONFIG_SENSORS_SHTC1=m
  8176. +CONFIG_THERMAL=y
  8177. +CONFIG_THERMAL_BCM2835=y
  8178. +CONFIG_WATCHDOG=y
  8179. +CONFIG_BCM2708_WDT=m
  8180. +CONFIG_BCM2835_WDT=m
  8181. +CONFIG_UCB1400_CORE=m
  8182. +CONFIG_MFD_STMPE=y
  8183. +CONFIG_STMPE_SPI=y
  8184. +CONFIG_MFD_ARIZONA_I2C=m
  8185. +CONFIG_MFD_ARIZONA_SPI=m
  8186. +CONFIG_MFD_WM5102=y
  8187. +CONFIG_MEDIA_SUPPORT=m
  8188. +CONFIG_MEDIA_CAMERA_SUPPORT=y
  8189. +CONFIG_MEDIA_ANALOG_TV_SUPPORT=y
  8190. +CONFIG_MEDIA_DIGITAL_TV_SUPPORT=y
  8191. +CONFIG_MEDIA_RADIO_SUPPORT=y
  8192. +CONFIG_MEDIA_RC_SUPPORT=y
  8193. +CONFIG_MEDIA_CONTROLLER=y
  8194. +CONFIG_LIRC=m
  8195. +CONFIG_RC_DEVICES=y
  8196. +CONFIG_RC_ATI_REMOTE=m
  8197. +CONFIG_IR_IMON=m
  8198. +CONFIG_IR_MCEUSB=m
  8199. +CONFIG_IR_REDRAT3=m
  8200. +CONFIG_IR_STREAMZAP=m
  8201. +CONFIG_IR_IGUANA=m
  8202. +CONFIG_IR_TTUSBIR=m
  8203. +CONFIG_RC_LOOPBACK=m
  8204. +CONFIG_IR_GPIO_CIR=m
  8205. +CONFIG_MEDIA_USB_SUPPORT=y
  8206. +CONFIG_USB_VIDEO_CLASS=m
  8207. +CONFIG_USB_M5602=m
  8208. +CONFIG_USB_STV06XX=m
  8209. +CONFIG_USB_GL860=m
  8210. +CONFIG_USB_GSPCA_BENQ=m
  8211. +CONFIG_USB_GSPCA_CONEX=m
  8212. +CONFIG_USB_GSPCA_CPIA1=m
  8213. +CONFIG_USB_GSPCA_DTCS033=m
  8214. +CONFIG_USB_GSPCA_ETOMS=m
  8215. +CONFIG_USB_GSPCA_FINEPIX=m
  8216. +CONFIG_USB_GSPCA_JEILINJ=m
  8217. +CONFIG_USB_GSPCA_JL2005BCD=m
  8218. +CONFIG_USB_GSPCA_KINECT=m
  8219. +CONFIG_USB_GSPCA_KONICA=m
  8220. +CONFIG_USB_GSPCA_MARS=m
  8221. +CONFIG_USB_GSPCA_MR97310A=m
  8222. +CONFIG_USB_GSPCA_NW80X=m
  8223. +CONFIG_USB_GSPCA_OV519=m
  8224. +CONFIG_USB_GSPCA_OV534=m
  8225. +CONFIG_USB_GSPCA_OV534_9=m
  8226. +CONFIG_USB_GSPCA_PAC207=m
  8227. +CONFIG_USB_GSPCA_PAC7302=m
  8228. +CONFIG_USB_GSPCA_PAC7311=m
  8229. +CONFIG_USB_GSPCA_SE401=m
  8230. +CONFIG_USB_GSPCA_SN9C2028=m
  8231. +CONFIG_USB_GSPCA_SN9C20X=m
  8232. +CONFIG_USB_GSPCA_SONIXB=m
  8233. +CONFIG_USB_GSPCA_SONIXJ=m
  8234. +CONFIG_USB_GSPCA_SPCA500=m
  8235. +CONFIG_USB_GSPCA_SPCA501=m
  8236. +CONFIG_USB_GSPCA_SPCA505=m
  8237. +CONFIG_USB_GSPCA_SPCA506=m
  8238. +CONFIG_USB_GSPCA_SPCA508=m
  8239. +CONFIG_USB_GSPCA_SPCA561=m
  8240. +CONFIG_USB_GSPCA_SPCA1528=m
  8241. +CONFIG_USB_GSPCA_SQ905=m
  8242. +CONFIG_USB_GSPCA_SQ905C=m
  8243. +CONFIG_USB_GSPCA_SQ930X=m
  8244. +CONFIG_USB_GSPCA_STK014=m
  8245. +CONFIG_USB_GSPCA_STK1135=m
  8246. +CONFIG_USB_GSPCA_STV0680=m
  8247. +CONFIG_USB_GSPCA_SUNPLUS=m
  8248. +CONFIG_USB_GSPCA_T613=m
  8249. +CONFIG_USB_GSPCA_TOPRO=m
  8250. +CONFIG_USB_GSPCA_TV8532=m
  8251. +CONFIG_USB_GSPCA_VC032X=m
  8252. +CONFIG_USB_GSPCA_VICAM=m
  8253. +CONFIG_USB_GSPCA_XIRLINK_CIT=m
  8254. +CONFIG_USB_GSPCA_ZC3XX=m
  8255. +CONFIG_USB_PWC=m
  8256. +CONFIG_VIDEO_CPIA2=m
  8257. +CONFIG_USB_ZR364XX=m
  8258. +CONFIG_USB_STKWEBCAM=m
  8259. +CONFIG_USB_S2255=m
  8260. +CONFIG_VIDEO_USBTV=m
  8261. +CONFIG_VIDEO_PVRUSB2=m
  8262. +CONFIG_VIDEO_HDPVR=m
  8263. +CONFIG_VIDEO_USBVISION=m
  8264. +CONFIG_VIDEO_STK1160_COMMON=m
  8265. +CONFIG_VIDEO_STK1160_AC97=y
  8266. +CONFIG_VIDEO_GO7007=m
  8267. +CONFIG_VIDEO_GO7007_USB=m
  8268. +CONFIG_VIDEO_GO7007_USB_S2250_BOARD=m
  8269. +CONFIG_VIDEO_AU0828=m
  8270. +CONFIG_VIDEO_AU0828_RC=y
  8271. +CONFIG_VIDEO_CX231XX=m
  8272. +CONFIG_VIDEO_CX231XX_ALSA=m
  8273. +CONFIG_VIDEO_CX231XX_DVB=m
  8274. +CONFIG_VIDEO_TM6000=m
  8275. +CONFIG_VIDEO_TM6000_ALSA=m
  8276. +CONFIG_VIDEO_TM6000_DVB=m
  8277. +CONFIG_DVB_USB=m
  8278. +CONFIG_DVB_USB_A800=m
  8279. +CONFIG_DVB_USB_DIBUSB_MB=m
  8280. +CONFIG_DVB_USB_DIBUSB_MB_FAULTY=y
  8281. +CONFIG_DVB_USB_DIBUSB_MC=m
  8282. +CONFIG_DVB_USB_DIB0700=m
  8283. +CONFIG_DVB_USB_UMT_010=m
  8284. +CONFIG_DVB_USB_CXUSB=m
  8285. +CONFIG_DVB_USB_M920X=m
  8286. +CONFIG_DVB_USB_DIGITV=m
  8287. +CONFIG_DVB_USB_VP7045=m
  8288. +CONFIG_DVB_USB_VP702X=m
  8289. +CONFIG_DVB_USB_GP8PSK=m
  8290. +CONFIG_DVB_USB_NOVA_T_USB2=m
  8291. +CONFIG_DVB_USB_TTUSB2=m
  8292. +CONFIG_DVB_USB_DTT200U=m
  8293. +CONFIG_DVB_USB_OPERA1=m
  8294. +CONFIG_DVB_USB_AF9005=m
  8295. +CONFIG_DVB_USB_AF9005_REMOTE=m
  8296. +CONFIG_DVB_USB_PCTV452E=m
  8297. +CONFIG_DVB_USB_DW2102=m
  8298. +CONFIG_DVB_USB_CINERGY_T2=m
  8299. +CONFIG_DVB_USB_DTV5100=m
  8300. +CONFIG_DVB_USB_FRIIO=m
  8301. +CONFIG_DVB_USB_AZ6027=m
  8302. +CONFIG_DVB_USB_TECHNISAT_USB2=m
  8303. +CONFIG_DVB_USB_V2=m
  8304. +CONFIG_DVB_USB_AF9015=m
  8305. +CONFIG_DVB_USB_AF9035=m
  8306. +CONFIG_DVB_USB_ANYSEE=m
  8307. +CONFIG_DVB_USB_AU6610=m
  8308. +CONFIG_DVB_USB_AZ6007=m
  8309. +CONFIG_DVB_USB_CE6230=m
  8310. +CONFIG_DVB_USB_EC168=m
  8311. +CONFIG_DVB_USB_GL861=m
  8312. +CONFIG_DVB_USB_LME2510=m
  8313. +CONFIG_DVB_USB_MXL111SF=m
  8314. +CONFIG_DVB_USB_RTL28XXU=m
  8315. +CONFIG_DVB_USB_DVBSKY=m
  8316. +CONFIG_SMS_USB_DRV=m
  8317. +CONFIG_DVB_B2C2_FLEXCOP_USB=m
  8318. +CONFIG_DVB_AS102=m
  8319. +CONFIG_VIDEO_EM28XX=m
  8320. +CONFIG_VIDEO_EM28XX_V4L2=m
  8321. +CONFIG_VIDEO_EM28XX_ALSA=m
  8322. +CONFIG_VIDEO_EM28XX_DVB=m
  8323. +CONFIG_V4L_PLATFORM_DRIVERS=y
  8324. +CONFIG_VIDEO_BCM2835=y
  8325. +CONFIG_VIDEO_BCM2835_MMAL=m
  8326. +CONFIG_RADIO_SI470X=y
  8327. +CONFIG_USB_SI470X=m
  8328. +CONFIG_I2C_SI470X=m
  8329. +CONFIG_RADIO_SI4713=m
  8330. +CONFIG_I2C_SI4713=m
  8331. +CONFIG_USB_MR800=m
  8332. +CONFIG_USB_DSBR=m
  8333. +CONFIG_RADIO_SHARK=m
  8334. +CONFIG_RADIO_SHARK2=m
  8335. +CONFIG_USB_KEENE=m
  8336. +CONFIG_USB_MA901=m
  8337. +CONFIG_RADIO_TEA5764=m
  8338. +CONFIG_RADIO_SAA7706H=m
  8339. +CONFIG_RADIO_TEF6862=m
  8340. +CONFIG_RADIO_WL1273=m
  8341. +CONFIG_RADIO_WL128X=m
  8342. +# CONFIG_MEDIA_SUBDRV_AUTOSELECT is not set
  8343. +CONFIG_VIDEO_UDA1342=m
  8344. +CONFIG_VIDEO_SONY_BTF_MPX=m
  8345. +CONFIG_VIDEO_TVP5150=m
  8346. +CONFIG_VIDEO_TW2804=m
  8347. +CONFIG_VIDEO_TW9903=m
  8348. +CONFIG_VIDEO_TW9906=m
  8349. +CONFIG_VIDEO_OV7640=m
  8350. +CONFIG_VIDEO_MT9V011=m
  8351. +CONFIG_FB=y
  8352. +CONFIG_FB_BCM2708=y
  8353. +CONFIG_FB_UDL=m
  8354. +CONFIG_FB_SSD1307=m
  8355. +CONFIG_FB_RPISENSE=m
  8356. +# CONFIG_BACKLIGHT_GENERIC is not set
  8357. +CONFIG_BACKLIGHT_RPI=m
  8358. +CONFIG_BACKLIGHT_GPIO=m
  8359. +CONFIG_FRAMEBUFFER_CONSOLE=y
  8360. +CONFIG_LOGO=y
  8361. +# CONFIG_LOGO_LINUX_MONO is not set
  8362. +# CONFIG_LOGO_LINUX_VGA16 is not set
  8363. +CONFIG_SOUND=y
  8364. +CONFIG_SND=m
  8365. +CONFIG_SND_SEQUENCER=m
  8366. +CONFIG_SND_SEQ_DUMMY=m
  8367. +CONFIG_SND_MIXER_OSS=m
  8368. +CONFIG_SND_PCM_OSS=m
  8369. +CONFIG_SND_SEQUENCER_OSS=y
  8370. +CONFIG_SND_HRTIMER=m
  8371. +CONFIG_SND_DUMMY=m
  8372. +CONFIG_SND_ALOOP=m
  8373. +CONFIG_SND_VIRMIDI=m
  8374. +CONFIG_SND_MTPAV=m
  8375. +CONFIG_SND_SERIAL_U16550=m
  8376. +CONFIG_SND_MPU401=m
  8377. +CONFIG_SND_BCM2835=m
  8378. +CONFIG_SND_USB_AUDIO=m
  8379. +CONFIG_SND_USB_UA101=m
  8380. +CONFIG_SND_USB_CAIAQ=m
  8381. +CONFIG_SND_USB_CAIAQ_INPUT=y
  8382. +CONFIG_SND_USB_6FIRE=m
  8383. +CONFIG_SND_SOC=m
  8384. +CONFIG_SND_BCM2708_SOC_I2S=m
  8385. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC=m
  8386. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS=m
  8387. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI=m
  8388. +CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP=m
  8389. +CONFIG_SND_BCM2708_SOC_RPI_DAC=m
  8390. +CONFIG_SND_BCM2708_SOC_RPI_PROTO=m
  8391. +CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC=m
  8392. +CONFIG_SND_BCM2708_SOC_RASPIDAC3=m
  8393. +CONFIG_SND_SOC_ADAU1701=m
  8394. +CONFIG_SND_SOC_WM8804_I2C=m
  8395. +CONFIG_SND_SIMPLE_CARD=m
  8396. +CONFIG_SOUND_PRIME=m
  8397. +CONFIG_HIDRAW=y
  8398. +CONFIG_UHID=m
  8399. +CONFIG_HID_A4TECH=m
  8400. +CONFIG_HID_ACRUX=m
  8401. +CONFIG_HID_APPLE=m
  8402. +CONFIG_HID_BELKIN=m
  8403. +CONFIG_HID_CHERRY=m
  8404. +CONFIG_HID_CHICONY=m
  8405. +CONFIG_HID_CYPRESS=m
  8406. +CONFIG_HID_DRAGONRISE=m
  8407. +CONFIG_HID_EMS_FF=m
  8408. +CONFIG_HID_ELECOM=m
  8409. +CONFIG_HID_ELO=m
  8410. +CONFIG_HID_EZKEY=m
  8411. +CONFIG_HID_HOLTEK=m
  8412. +CONFIG_HID_KEYTOUCH=m
  8413. +CONFIG_HID_KYE=m
  8414. +CONFIG_HID_UCLOGIC=m
  8415. +CONFIG_HID_WALTOP=m
  8416. +CONFIG_HID_GYRATION=m
  8417. +CONFIG_HID_TWINHAN=m
  8418. +CONFIG_HID_KENSINGTON=m
  8419. +CONFIG_HID_LCPOWER=m
  8420. +CONFIG_HID_LOGITECH=m
  8421. +CONFIG_HID_MAGICMOUSE=m
  8422. +CONFIG_HID_MICROSOFT=m
  8423. +CONFIG_HID_MONTEREY=m
  8424. +CONFIG_HID_MULTITOUCH=m
  8425. +CONFIG_HID_NTRIG=m
  8426. +CONFIG_HID_ORTEK=m
  8427. +CONFIG_HID_PANTHERLORD=m
  8428. +CONFIG_HID_PETALYNX=m
  8429. +CONFIG_HID_PICOLCD=m
  8430. +CONFIG_HID_ROCCAT=m
  8431. +CONFIG_HID_SAMSUNG=m
  8432. +CONFIG_HID_SONY=m
  8433. +CONFIG_HID_SPEEDLINK=m
  8434. +CONFIG_HID_SUNPLUS=m
  8435. +CONFIG_HID_GREENASIA=m
  8436. +CONFIG_HID_SMARTJOYPLUS=m
  8437. +CONFIG_HID_TOPSEED=m
  8438. +CONFIG_HID_THINGM=m
  8439. +CONFIG_HID_THRUSTMASTER=m
  8440. +CONFIG_HID_WACOM=m
  8441. +CONFIG_HID_WIIMOTE=m
  8442. +CONFIG_HID_XINMO=m
  8443. +CONFIG_HID_ZEROPLUS=m
  8444. +CONFIG_HID_ZYDACRON=m
  8445. +CONFIG_HID_PID=y
  8446. +CONFIG_USB_HIDDEV=y
  8447. +CONFIG_USB=y
  8448. +CONFIG_USB_ANNOUNCE_NEW_DEVICES=y
  8449. +CONFIG_USB_MON=m
  8450. +CONFIG_USB_DWCOTG=y
  8451. +CONFIG_USB_PRINTER=m
  8452. +CONFIG_USB_STORAGE=y
  8453. +CONFIG_USB_STORAGE_REALTEK=m
  8454. +CONFIG_USB_STORAGE_DATAFAB=m
  8455. +CONFIG_USB_STORAGE_FREECOM=m
  8456. +CONFIG_USB_STORAGE_ISD200=m
  8457. +CONFIG_USB_STORAGE_USBAT=m
  8458. +CONFIG_USB_STORAGE_SDDR09=m
  8459. +CONFIG_USB_STORAGE_SDDR55=m
  8460. +CONFIG_USB_STORAGE_JUMPSHOT=m
  8461. +CONFIG_USB_STORAGE_ALAUDA=m
  8462. +CONFIG_USB_STORAGE_ONETOUCH=m
  8463. +CONFIG_USB_STORAGE_KARMA=m
  8464. +CONFIG_USB_STORAGE_CYPRESS_ATACB=m
  8465. +CONFIG_USB_STORAGE_ENE_UB6250=m
  8466. +CONFIG_USB_MDC800=m
  8467. +CONFIG_USB_MICROTEK=m
  8468. +CONFIG_USBIP_CORE=m
  8469. +CONFIG_USBIP_VHCI_HCD=m
  8470. +CONFIG_USBIP_HOST=m
  8471. +CONFIG_USB_SERIAL=m
  8472. +CONFIG_USB_SERIAL_GENERIC=y
  8473. +CONFIG_USB_SERIAL_AIRCABLE=m
  8474. +CONFIG_USB_SERIAL_ARK3116=m
  8475. +CONFIG_USB_SERIAL_BELKIN=m
  8476. +CONFIG_USB_SERIAL_CH341=m
  8477. +CONFIG_USB_SERIAL_WHITEHEAT=m
  8478. +CONFIG_USB_SERIAL_DIGI_ACCELEPORT=m
  8479. +CONFIG_USB_SERIAL_CP210X=m
  8480. +CONFIG_USB_SERIAL_CYPRESS_M8=m
  8481. +CONFIG_USB_SERIAL_EMPEG=m
  8482. +CONFIG_USB_SERIAL_FTDI_SIO=m
  8483. +CONFIG_USB_SERIAL_VISOR=m
  8484. +CONFIG_USB_SERIAL_IPAQ=m
  8485. +CONFIG_USB_SERIAL_IR=m
  8486. +CONFIG_USB_SERIAL_EDGEPORT=m
  8487. +CONFIG_USB_SERIAL_EDGEPORT_TI=m
  8488. +CONFIG_USB_SERIAL_F81232=m
  8489. +CONFIG_USB_SERIAL_GARMIN=m
  8490. +CONFIG_USB_SERIAL_IPW=m
  8491. +CONFIG_USB_SERIAL_IUU=m
  8492. +CONFIG_USB_SERIAL_KEYSPAN_PDA=m
  8493. +CONFIG_USB_SERIAL_KEYSPAN=m
  8494. +CONFIG_USB_SERIAL_KLSI=m
  8495. +CONFIG_USB_SERIAL_KOBIL_SCT=m
  8496. +CONFIG_USB_SERIAL_MCT_U232=m
  8497. +CONFIG_USB_SERIAL_METRO=m
  8498. +CONFIG_USB_SERIAL_MOS7720=m
  8499. +CONFIG_USB_SERIAL_MOS7840=m
  8500. +CONFIG_USB_SERIAL_NAVMAN=m
  8501. +CONFIG_USB_SERIAL_PL2303=m
  8502. +CONFIG_USB_SERIAL_OTI6858=m
  8503. +CONFIG_USB_SERIAL_QCAUX=m
  8504. +CONFIG_USB_SERIAL_QUALCOMM=m
  8505. +CONFIG_USB_SERIAL_SPCP8X5=m
  8506. +CONFIG_USB_SERIAL_SAFE=m
  8507. +CONFIG_USB_SERIAL_SIERRAWIRELESS=m
  8508. +CONFIG_USB_SERIAL_SYMBOL=m
  8509. +CONFIG_USB_SERIAL_TI=m
  8510. +CONFIG_USB_SERIAL_CYBERJACK=m
  8511. +CONFIG_USB_SERIAL_XIRCOM=m
  8512. +CONFIG_USB_SERIAL_OPTION=m
  8513. +CONFIG_USB_SERIAL_OMNINET=m
  8514. +CONFIG_USB_SERIAL_OPTICON=m
  8515. +CONFIG_USB_SERIAL_XSENS_MT=m
  8516. +CONFIG_USB_SERIAL_WISHBONE=m
  8517. +CONFIG_USB_SERIAL_SSU100=m
  8518. +CONFIG_USB_SERIAL_QT2=m
  8519. +CONFIG_USB_SERIAL_DEBUG=m
  8520. +CONFIG_USB_EMI62=m
  8521. +CONFIG_USB_EMI26=m
  8522. +CONFIG_USB_ADUTUX=m
  8523. +CONFIG_USB_SEVSEG=m
  8524. +CONFIG_USB_RIO500=m
  8525. +CONFIG_USB_LEGOTOWER=m
  8526. +CONFIG_USB_LCD=m
  8527. +CONFIG_USB_LED=m
  8528. +CONFIG_USB_CYPRESS_CY7C63=m
  8529. +CONFIG_USB_CYTHERM=m
  8530. +CONFIG_USB_IDMOUSE=m
  8531. +CONFIG_USB_FTDI_ELAN=m
  8532. +CONFIG_USB_APPLEDISPLAY=m
  8533. +CONFIG_USB_LD=m
  8534. +CONFIG_USB_TRANCEVIBRATOR=m
  8535. +CONFIG_USB_IOWARRIOR=m
  8536. +CONFIG_USB_TEST=m
  8537. +CONFIG_USB_ISIGHTFW=m
  8538. +CONFIG_USB_YUREX=m
  8539. +CONFIG_USB_ATM=m
  8540. +CONFIG_USB_SPEEDTOUCH=m
  8541. +CONFIG_USB_CXACRU=m
  8542. +CONFIG_USB_UEAGLEATM=m
  8543. +CONFIG_USB_XUSBATM=m
  8544. +CONFIG_MMC=y
  8545. +CONFIG_MMC_BLOCK_MINORS=32
  8546. +CONFIG_MMC_BCM2835=y
  8547. +CONFIG_MMC_BCM2835_DMA=y
  8548. +CONFIG_MMC_BCM2835_SDHOST=y
  8549. +CONFIG_MMC_SDHCI=y
  8550. +CONFIG_MMC_SDHCI_PLTFM=y
  8551. +CONFIG_MMC_SPI=m
  8552. +CONFIG_LEDS_CLASS=y
  8553. +CONFIG_LEDS_GPIO=y
  8554. +CONFIG_LEDS_TRIGGER_TIMER=y
  8555. +CONFIG_LEDS_TRIGGER_ONESHOT=y
  8556. +CONFIG_LEDS_TRIGGER_HEARTBEAT=y
  8557. +CONFIG_LEDS_TRIGGER_BACKLIGHT=y
  8558. +CONFIG_LEDS_TRIGGER_CPU=y
  8559. +CONFIG_LEDS_TRIGGER_GPIO=y
  8560. +CONFIG_LEDS_TRIGGER_DEFAULT_ON=y
  8561. +CONFIG_LEDS_TRIGGER_TRANSIENT=m
  8562. +CONFIG_LEDS_TRIGGER_CAMERA=m
  8563. +CONFIG_LEDS_TRIGGER_INPUT=y
  8564. +CONFIG_RTC_CLASS=y
  8565. +# CONFIG_RTC_HCTOSYS is not set
  8566. +CONFIG_RTC_DRV_DS1307=m
  8567. +CONFIG_RTC_DRV_DS1374=m
  8568. +CONFIG_RTC_DRV_DS1672=m
  8569. +CONFIG_RTC_DRV_DS3232=m
  8570. +CONFIG_RTC_DRV_MAX6900=m
  8571. +CONFIG_RTC_DRV_RS5C372=m
  8572. +CONFIG_RTC_DRV_ISL1208=m
  8573. +CONFIG_RTC_DRV_ISL12022=m
  8574. +CONFIG_RTC_DRV_ISL12057=m
  8575. +CONFIG_RTC_DRV_X1205=m
  8576. +CONFIG_RTC_DRV_PCF2127=m
  8577. +CONFIG_RTC_DRV_PCF8523=m
  8578. +CONFIG_RTC_DRV_PCF8563=m
  8579. +CONFIG_RTC_DRV_PCF8583=m
  8580. +CONFIG_RTC_DRV_M41T80=m
  8581. +CONFIG_RTC_DRV_BQ32K=m
  8582. +CONFIG_RTC_DRV_S35390A=m
  8583. +CONFIG_RTC_DRV_FM3130=m
  8584. +CONFIG_RTC_DRV_RX8581=m
  8585. +CONFIG_RTC_DRV_RX8025=m
  8586. +CONFIG_RTC_DRV_EM3027=m
  8587. +CONFIG_RTC_DRV_RV3029C2=m
  8588. +CONFIG_RTC_DRV_M41T93=m
  8589. +CONFIG_RTC_DRV_M41T94=m
  8590. +CONFIG_RTC_DRV_DS1305=m
  8591. +CONFIG_RTC_DRV_DS1390=m
  8592. +CONFIG_RTC_DRV_MAX6902=m
  8593. +CONFIG_RTC_DRV_R9701=m
  8594. +CONFIG_RTC_DRV_RS5C348=m
  8595. +CONFIG_RTC_DRV_DS3234=m
  8596. +CONFIG_RTC_DRV_PCF2123=m
  8597. +CONFIG_RTC_DRV_RX4581=m
  8598. +CONFIG_DMADEVICES=y
  8599. +CONFIG_DMA_BCM2708=y
  8600. +CONFIG_UIO=m
  8601. +CONFIG_UIO_PDRV_GENIRQ=m
  8602. +CONFIG_STAGING=y
  8603. +CONFIG_PRISM2_USB=m
  8604. +CONFIG_R8712U=m
  8605. +CONFIG_R8188EU=m
  8606. +CONFIG_R8723AU=m
  8607. +CONFIG_VT6656=m
  8608. +CONFIG_SPEAKUP=m
  8609. +CONFIG_SPEAKUP_SYNTH_SOFT=m
  8610. +CONFIG_STAGING_MEDIA=y
  8611. +CONFIG_LIRC_STAGING=y
  8612. +CONFIG_LIRC_IMON=m
  8613. +CONFIG_LIRC_RPI=m
  8614. +CONFIG_LIRC_SASEM=m
  8615. +CONFIG_LIRC_SERIAL=m
  8616. +CONFIG_FB_TFT=m
  8617. +CONFIG_FB_TFT_AGM1264K_FL=m
  8618. +CONFIG_FB_TFT_BD663474=m
  8619. +CONFIG_FB_TFT_HX8340BN=m
  8620. +CONFIG_FB_TFT_HX8347D=m
  8621. +CONFIG_FB_TFT_HX8353D=m
  8622. +CONFIG_FB_TFT_ILI9163=m
  8623. +CONFIG_FB_TFT_ILI9320=m
  8624. +CONFIG_FB_TFT_ILI9325=m
  8625. +CONFIG_FB_TFT_ILI9340=m
  8626. +CONFIG_FB_TFT_ILI9341=m
  8627. +CONFIG_FB_TFT_ILI9481=m
  8628. +CONFIG_FB_TFT_ILI9486=m
  8629. +CONFIG_FB_TFT_PCD8544=m
  8630. +CONFIG_FB_TFT_RA8875=m
  8631. +CONFIG_FB_TFT_S6D02A1=m
  8632. +CONFIG_FB_TFT_S6D1121=m
  8633. +CONFIG_FB_TFT_SSD1289=m
  8634. +CONFIG_FB_TFT_SSD1306=m
  8635. +CONFIG_FB_TFT_SSD1331=m
  8636. +CONFIG_FB_TFT_SSD1351=m
  8637. +CONFIG_FB_TFT_ST7735R=m
  8638. +CONFIG_FB_TFT_TINYLCD=m
  8639. +CONFIG_FB_TFT_TLS8204=m
  8640. +CONFIG_FB_TFT_UC1701=m
  8641. +CONFIG_FB_TFT_UPD161704=m
  8642. +CONFIG_FB_TFT_WATTEROTT=m
  8643. +CONFIG_FB_FLEX=m
  8644. +CONFIG_FB_TFT_FBTFT_DEVICE=m
  8645. +CONFIG_MAILBOX=y
  8646. +CONFIG_BCM2835_MBOX=y
  8647. +# CONFIG_IOMMU_SUPPORT is not set
  8648. +CONFIG_EXTCON=m
  8649. +CONFIG_EXTCON_ARIZONA=m
  8650. +CONFIG_IIO=m
  8651. +CONFIG_IIO_BUFFER=y
  8652. +CONFIG_IIO_BUFFER_CB=y
  8653. +CONFIG_IIO_KFIFO_BUF=m
  8654. +CONFIG_MCP320X=m
  8655. +CONFIG_DHT11=m
  8656. +CONFIG_PWM_BCM2835=m
  8657. +CONFIG_RASPBERRYPI_FIRMWARE=y
  8658. +CONFIG_EXT4_FS=y
  8659. +CONFIG_EXT4_FS_POSIX_ACL=y
  8660. +CONFIG_EXT4_FS_SECURITY=y
  8661. +CONFIG_REISERFS_FS=m
  8662. +CONFIG_REISERFS_FS_XATTR=y
  8663. +CONFIG_REISERFS_FS_POSIX_ACL=y
  8664. +CONFIG_REISERFS_FS_SECURITY=y
  8665. +CONFIG_JFS_FS=m
  8666. +CONFIG_JFS_POSIX_ACL=y
  8667. +CONFIG_JFS_SECURITY=y
  8668. +CONFIG_JFS_STATISTICS=y
  8669. +CONFIG_XFS_FS=m
  8670. +CONFIG_XFS_QUOTA=y
  8671. +CONFIG_XFS_POSIX_ACL=y
  8672. +CONFIG_XFS_RT=y
  8673. +CONFIG_GFS2_FS=m
  8674. +CONFIG_OCFS2_FS=m
  8675. +CONFIG_BTRFS_FS=m
  8676. +CONFIG_BTRFS_FS_POSIX_ACL=y
  8677. +CONFIG_NILFS2_FS=m
  8678. +CONFIG_F2FS_FS=y
  8679. +CONFIG_FANOTIFY=y
  8680. +CONFIG_QFMT_V1=m
  8681. +CONFIG_QFMT_V2=m
  8682. +CONFIG_AUTOFS4_FS=y
  8683. +CONFIG_FUSE_FS=m
  8684. +CONFIG_CUSE=m
  8685. +CONFIG_OVERLAY_FS=m
  8686. +CONFIG_FSCACHE=y
  8687. +CONFIG_FSCACHE_STATS=y
  8688. +CONFIG_FSCACHE_HISTOGRAM=y
  8689. +CONFIG_CACHEFILES=y
  8690. +CONFIG_ISO9660_FS=m
  8691. +CONFIG_JOLIET=y
  8692. +CONFIG_ZISOFS=y
  8693. +CONFIG_UDF_FS=m
  8694. +CONFIG_MSDOS_FS=y
  8695. +CONFIG_VFAT_FS=y
  8696. +CONFIG_FAT_DEFAULT_IOCHARSET="ascii"
  8697. +CONFIG_NTFS_FS=m
  8698. +CONFIG_NTFS_RW=y
  8699. +CONFIG_TMPFS=y
  8700. +CONFIG_TMPFS_POSIX_ACL=y
  8701. +CONFIG_CONFIGFS_FS=y
  8702. +CONFIG_ECRYPT_FS=m
  8703. +CONFIG_HFS_FS=m
  8704. +CONFIG_HFSPLUS_FS=m
  8705. +CONFIG_JFFS2_FS=m
  8706. +CONFIG_JFFS2_SUMMARY=y
  8707. +CONFIG_UBIFS_FS=m
  8708. +CONFIG_SQUASHFS=m
  8709. +CONFIG_SQUASHFS_XATTR=y
  8710. +CONFIG_SQUASHFS_LZO=y
  8711. +CONFIG_SQUASHFS_XZ=y
  8712. +CONFIG_NFS_FS=y
  8713. +CONFIG_NFS_V3_ACL=y
  8714. +CONFIG_NFS_V4=y
  8715. +CONFIG_NFS_SWAP=y
  8716. +CONFIG_ROOT_NFS=y
  8717. +CONFIG_NFS_FSCACHE=y
  8718. +CONFIG_NFSD=m
  8719. +CONFIG_NFSD_V3_ACL=y
  8720. +CONFIG_NFSD_V4=y
  8721. +CONFIG_CIFS=m
  8722. +CONFIG_CIFS_WEAK_PW_HASH=y
  8723. +CONFIG_CIFS_UPCALL=y
  8724. +CONFIG_CIFS_XATTR=y
  8725. +CONFIG_CIFS_POSIX=y
  8726. +CONFIG_CIFS_ACL=y
  8727. +CONFIG_CIFS_DFS_UPCALL=y
  8728. +CONFIG_CIFS_SMB2=y
  8729. +CONFIG_CIFS_FSCACHE=y
  8730. +CONFIG_9P_FS=m
  8731. +CONFIG_9P_FS_POSIX_ACL=y
  8732. +CONFIG_NLS_DEFAULT="utf8"
  8733. +CONFIG_NLS_CODEPAGE_437=y
  8734. +CONFIG_NLS_CODEPAGE_737=m
  8735. +CONFIG_NLS_CODEPAGE_775=m
  8736. +CONFIG_NLS_CODEPAGE_850=m
  8737. +CONFIG_NLS_CODEPAGE_852=m
  8738. +CONFIG_NLS_CODEPAGE_855=m
  8739. +CONFIG_NLS_CODEPAGE_857=m
  8740. +CONFIG_NLS_CODEPAGE_860=m
  8741. +CONFIG_NLS_CODEPAGE_861=m
  8742. +CONFIG_NLS_CODEPAGE_862=m
  8743. +CONFIG_NLS_CODEPAGE_863=m
  8744. +CONFIG_NLS_CODEPAGE_864=m
  8745. +CONFIG_NLS_CODEPAGE_865=m
  8746. +CONFIG_NLS_CODEPAGE_866=m
  8747. +CONFIG_NLS_CODEPAGE_869=m
  8748. +CONFIG_NLS_CODEPAGE_936=m
  8749. +CONFIG_NLS_CODEPAGE_950=m
  8750. +CONFIG_NLS_CODEPAGE_932=m
  8751. +CONFIG_NLS_CODEPAGE_949=m
  8752. +CONFIG_NLS_CODEPAGE_874=m
  8753. +CONFIG_NLS_ISO8859_8=m
  8754. +CONFIG_NLS_CODEPAGE_1250=m
  8755. +CONFIG_NLS_CODEPAGE_1251=m
  8756. +CONFIG_NLS_ASCII=y
  8757. +CONFIG_NLS_ISO8859_1=m
  8758. +CONFIG_NLS_ISO8859_2=m
  8759. +CONFIG_NLS_ISO8859_3=m
  8760. +CONFIG_NLS_ISO8859_4=m
  8761. +CONFIG_NLS_ISO8859_5=m
  8762. +CONFIG_NLS_ISO8859_6=m
  8763. +CONFIG_NLS_ISO8859_7=m
  8764. +CONFIG_NLS_ISO8859_9=m
  8765. +CONFIG_NLS_ISO8859_13=m
  8766. +CONFIG_NLS_ISO8859_14=m
  8767. +CONFIG_NLS_ISO8859_15=m
  8768. +CONFIG_NLS_KOI8_R=m
  8769. +CONFIG_NLS_KOI8_U=m
  8770. +CONFIG_DLM=m
  8771. +CONFIG_PRINTK_TIME=y
  8772. +CONFIG_BOOT_PRINTK_DELAY=y
  8773. +CONFIG_DEBUG_MEMORY_INIT=y
  8774. +CONFIG_DETECT_HUNG_TASK=y
  8775. +CONFIG_TIMER_STATS=y
  8776. +# CONFIG_DEBUG_PREEMPT is not set
  8777. +CONFIG_LATENCYTOP=y
  8778. +CONFIG_IRQSOFF_TRACER=y
  8779. +CONFIG_SCHED_TRACER=y
  8780. +CONFIG_STACK_TRACER=y
  8781. +CONFIG_BLK_DEV_IO_TRACE=y
  8782. +# CONFIG_KPROBE_EVENT is not set
  8783. +CONFIG_FUNCTION_PROFILER=y
  8784. +CONFIG_KGDB=y
  8785. +CONFIG_KGDB_KDB=y
  8786. +CONFIG_KDB_KEYBOARD=y
  8787. +CONFIG_CRYPTO_USER=m
  8788. +CONFIG_CRYPTO_CRYPTD=m
  8789. +CONFIG_CRYPTO_CBC=y
  8790. +CONFIG_CRYPTO_CTS=m
  8791. +CONFIG_CRYPTO_XTS=m
  8792. +CONFIG_CRYPTO_XCBC=m
  8793. +CONFIG_CRYPTO_SHA512=m
  8794. +CONFIG_CRYPTO_TGR192=m
  8795. +CONFIG_CRYPTO_WP512=m
  8796. +CONFIG_CRYPTO_CAST5=m
  8797. +CONFIG_CRYPTO_DES=y
  8798. +# CONFIG_CRYPTO_ANSI_CPRNG is not set
  8799. +CONFIG_CRYPTO_USER_API_SKCIPHER=m
  8800. +# CONFIG_CRYPTO_HW is not set
  8801. +CONFIG_ARM_CRYPTO=y
  8802. +CONFIG_CRYPTO_SHA1_ARM=m
  8803. +CONFIG_CRYPTO_AES_ARM=m
  8804. +CONFIG_CRC_ITU_T=y
  8805. +CONFIG_LIBCRC32C=y
  8806. diff -Nur linux-4.1.13.orig/arch/arm/include/asm/entry-macro-multi.S linux-rpi/arch/arm/include/asm/entry-macro-multi.S
  8807. --- linux-4.1.13.orig/arch/arm/include/asm/entry-macro-multi.S 2015-11-09 23:34:10.000000000 +0100
  8808. +++ linux-rpi/arch/arm/include/asm/entry-macro-multi.S 2015-11-29 09:42:34.731443387 +0100
  8809. @@ -1,5 +1,6 @@
  8810. #include <asm/assembler.h>
  8811. +#ifndef CONFIG_ARCH_BCM2709
  8812. /*
  8813. * Interrupt handling. Preserves r7, r8, r9
  8814. */
  8815. @@ -28,6 +29,7 @@
  8816. #endif
  8817. 9997:
  8818. .endm
  8819. +#endif
  8820. .macro arch_irq_handler, symbol_name
  8821. .align 5
  8822. diff -Nur linux-4.1.13.orig/arch/arm/include/asm/irqflags.h linux-rpi/arch/arm/include/asm/irqflags.h
  8823. --- linux-4.1.13.orig/arch/arm/include/asm/irqflags.h 2015-11-09 23:34:10.000000000 +0100
  8824. +++ linux-rpi/arch/arm/include/asm/irqflags.h 2015-11-29 09:42:34.735443122 +0100
  8825. @@ -145,12 +145,22 @@
  8826. }
  8827. /*
  8828. - * restore saved IRQ & FIQ state
  8829. + * restore saved IRQ state
  8830. */
  8831. static inline void arch_local_irq_restore(unsigned long flags)
  8832. {
  8833. - asm volatile(
  8834. - " msr " IRQMASK_REG_NAME_W ", %0 @ local_irq_restore"
  8835. + unsigned long temp = 0;
  8836. + flags &= ~(1 << 6);
  8837. + asm volatile (
  8838. + " mrs %0, cpsr"
  8839. + : "=r" (temp)
  8840. + :
  8841. + : "memory", "cc");
  8842. + /* Preserve FIQ bit */
  8843. + temp &= (1 << 6);
  8844. + flags = flags | temp;
  8845. + asm volatile (
  8846. + " msr cpsr_c, %0 @ local_irq_restore"
  8847. :
  8848. : "r" (flags)
  8849. : "memory", "cc");
  8850. diff -Nur linux-4.1.13.orig/arch/arm/include/asm/string.h linux-rpi/arch/arm/include/asm/string.h
  8851. --- linux-4.1.13.orig/arch/arm/include/asm/string.h 2015-11-09 23:34:10.000000000 +0100
  8852. +++ linux-rpi/arch/arm/include/asm/string.h 2015-11-29 09:42:34.739442856 +0100
  8853. @@ -24,6 +24,11 @@
  8854. #define __HAVE_ARCH_MEMSET
  8855. extern void * memset(void *, int, __kernel_size_t);
  8856. +#ifdef CONFIG_MACH_BCM2708
  8857. +#define __HAVE_ARCH_MEMCMP
  8858. +extern int memcmp(const void *, const void *, size_t);
  8859. +#endif
  8860. +
  8861. extern void __memzero(void *ptr, __kernel_size_t n);
  8862. #define memset(p,v,n) \
  8863. diff -Nur linux-4.1.13.orig/arch/arm/include/asm/uaccess.h linux-rpi/arch/arm/include/asm/uaccess.h
  8864. --- linux-4.1.13.orig/arch/arm/include/asm/uaccess.h 2015-11-09 23:34:10.000000000 +0100
  8865. +++ linux-rpi/arch/arm/include/asm/uaccess.h 2015-11-29 09:42:34.739442856 +0100
  8866. @@ -475,6 +475,7 @@
  8867. #ifdef CONFIG_MMU
  8868. extern unsigned long __must_check __copy_from_user(void *to, const void __user *from, unsigned long n);
  8869. +extern unsigned long __must_check __copy_from_user_std(void *to, const void __user *from, unsigned long n);
  8870. extern unsigned long __must_check __copy_to_user(void __user *to, const void *from, unsigned long n);
  8871. extern unsigned long __must_check __copy_to_user_std(void __user *to, const void *from, unsigned long n);
  8872. extern unsigned long __must_check __clear_user(void __user *addr, unsigned long n);
  8873. diff -Nur linux-4.1.13.orig/arch/arm/Kconfig linux-rpi/arch/arm/Kconfig
  8874. --- linux-4.1.13.orig/arch/arm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  8875. +++ linux-rpi/arch/arm/Kconfig 2015-11-29 09:42:34.555455081 +0100
  8876. @@ -314,6 +314,42 @@
  8877. default ARCH_VERSATILE if !MMU
  8878. default ARCH_MULTIPLATFORM if MMU
  8879. +config ARCH_BCM2708
  8880. + bool "Broadcom BCM2708 family"
  8881. + select CPU_V6
  8882. + select ARM_AMBA
  8883. + select HAVE_SCHED_CLOCK
  8884. + select NEED_MACH_GPIO_H
  8885. + select NEED_MACH_MEMORY_H
  8886. + select COMMON_CLK
  8887. + select ARCH_HAS_CPUFREQ
  8888. + select GENERIC_CLOCKEVENTS
  8889. + select ARM_ERRATA_411920
  8890. + select MACH_BCM2708
  8891. + select VC4
  8892. + select FIQ
  8893. + help
  8894. + This enables support for Broadcom BCM2708 boards.
  8895. +
  8896. +config ARCH_BCM2709
  8897. + bool "Broadcom BCM2709 family"
  8898. + select ARCH_HAS_BARRIERS if SMP
  8899. + select CPU_V7
  8900. + select HAVE_SMP
  8901. + select ARM_AMBA
  8902. + select MIGHT_HAVE_CACHE_L2X0
  8903. + select HAVE_SCHED_CLOCK
  8904. + select NEED_MACH_MEMORY_H
  8905. + select NEED_MACH_IO_H
  8906. + select COMMON_CLK
  8907. + select ARCH_HAS_CPUFREQ
  8908. + select GENERIC_CLOCKEVENTS
  8909. + select MACH_BCM2709
  8910. + select VC4
  8911. + select FIQ
  8912. + help
  8913. + This enables support for Broadcom BCM2709 boards.
  8914. +
  8915. config ARCH_MULTIPLATFORM
  8916. bool "Allow multiple platforms to be selected"
  8917. depends on MMU
  8918. @@ -824,6 +860,9 @@
  8919. # Kconfigs may be included either alphabetically (according to the
  8920. # plat- suffix) or along side the corresponding mach-* source.
  8921. #
  8922. +source "arch/arm/mach-bcm2708/Kconfig"
  8923. +source "arch/arm/mach-bcm2709/Kconfig"
  8924. +
  8925. source "arch/arm/mach-mvebu/Kconfig"
  8926. source "arch/arm/mach-alpine/Kconfig"
  8927. diff -Nur linux-4.1.13.orig/arch/arm/Kconfig.debug linux-rpi/arch/arm/Kconfig.debug
  8928. --- linux-4.1.13.orig/arch/arm/Kconfig.debug 2015-11-09 23:34:10.000000000 +0100
  8929. +++ linux-rpi/arch/arm/Kconfig.debug 2015-11-29 09:42:34.559454815 +0100
  8930. @@ -1197,6 +1197,14 @@
  8931. options; the platform specific options are deprecated
  8932. and will be soon removed.
  8933. + config DEBUG_BCM2708_UART0
  8934. + bool "Broadcom BCM2708 UART0 (PL011)"
  8935. + depends on MACH_BCM2708
  8936. + help
  8937. + Say Y here if you want the debug print routines to direct
  8938. + their output to UART 0. The port must have been initialised
  8939. + by the boot-loader before use.
  8940. +
  8941. endchoice
  8942. config DEBUG_AT91_UART
  8943. diff -Nur linux-4.1.13.orig/arch/arm/kernel/fiqasm.S linux-rpi/arch/arm/kernel/fiqasm.S
  8944. --- linux-4.1.13.orig/arch/arm/kernel/fiqasm.S 2015-11-09 23:34:10.000000000 +0100
  8945. +++ linux-rpi/arch/arm/kernel/fiqasm.S 2015-11-29 09:42:34.743442590 +0100
  8946. @@ -47,3 +47,7 @@
  8947. mov r0, r0 @ avoid hazard prior to ARMv4
  8948. ret lr
  8949. ENDPROC(__get_fiq_regs)
  8950. +
  8951. +ENTRY(__FIQ_Branch)
  8952. + mov pc, r8
  8953. +ENDPROC(__FIQ_Branch)
  8954. diff -Nur linux-4.1.13.orig/arch/arm/kernel/head.S linux-rpi/arch/arm/kernel/head.S
  8955. --- linux-4.1.13.orig/arch/arm/kernel/head.S 2015-11-09 23:34:10.000000000 +0100
  8956. +++ linux-rpi/arch/arm/kernel/head.S 2015-11-29 09:42:34.747442324 +0100
  8957. @@ -680,6 +680,14 @@
  8958. ldrcc r7, [r4], #4 @ use branch for delay slot
  8959. bcc 1b
  8960. ret lr
  8961. + nop
  8962. + nop
  8963. + nop
  8964. + nop
  8965. + nop
  8966. + nop
  8967. + nop
  8968. + nop
  8969. #endif
  8970. ENDPROC(__fixup_a_pv_table)
  8971. diff -Nur linux-4.1.13.orig/arch/arm/kernel/process.c linux-rpi/arch/arm/kernel/process.c
  8972. --- linux-4.1.13.orig/arch/arm/kernel/process.c 2015-11-09 23:34:10.000000000 +0100
  8973. +++ linux-rpi/arch/arm/kernel/process.c 2015-11-29 09:42:34.747442324 +0100
  8974. @@ -98,6 +98,16 @@
  8975. }
  8976. #endif
  8977. +char bcm2708_reboot_mode = 'h';
  8978. +
  8979. +int __init reboot_setup(char *str)
  8980. +{
  8981. + bcm2708_reboot_mode = str[0];
  8982. + return 1;
  8983. +}
  8984. +
  8985. +__setup("reboot=", reboot_setup);
  8986. +
  8987. void __show_regs(struct pt_regs *regs)
  8988. {
  8989. unsigned long flags;
  8990. diff -Nur linux-4.1.13.orig/arch/arm/lib/arm-mem.h linux-rpi/arch/arm/lib/arm-mem.h
  8991. --- linux-4.1.13.orig/arch/arm/lib/arm-mem.h 1970-01-01 01:00:00.000000000 +0100
  8992. +++ linux-rpi/arch/arm/lib/arm-mem.h 2015-11-29 09:42:34.767440995 +0100
  8993. @@ -0,0 +1,159 @@
  8994. +/*
  8995. +Copyright (c) 2013, Raspberry Pi Foundation
  8996. +Copyright (c) 2013, RISC OS Open Ltd
  8997. +All rights reserved.
  8998. +
  8999. +Redistribution and use in source and binary forms, with or without
  9000. +modification, are permitted provided that the following conditions are met:
  9001. + * Redistributions of source code must retain the above copyright
  9002. + notice, this list of conditions and the following disclaimer.
  9003. + * Redistributions in binary form must reproduce the above copyright
  9004. + notice, this list of conditions and the following disclaimer in the
  9005. + documentation and/or other materials provided with the distribution.
  9006. + * Neither the name of the copyright holder nor the
  9007. + names of its contributors may be used to endorse or promote products
  9008. + derived from this software without specific prior written permission.
  9009. +
  9010. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  9011. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  9012. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  9013. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  9014. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  9015. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  9016. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  9017. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  9018. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  9019. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  9020. +*/
  9021. +
  9022. +.macro myfunc fname
  9023. + .func fname
  9024. + .global fname
  9025. +fname:
  9026. +.endm
  9027. +
  9028. +.macro preload_leading_step1 backwards, ptr, base
  9029. +/* If the destination is already 16-byte aligned, then we need to preload
  9030. + * between 0 and prefetch_distance (inclusive) cache lines ahead so there
  9031. + * are no gaps when the inner loop starts.
  9032. + */
  9033. + .if backwards
  9034. + sub ptr, base, #1
  9035. + bic ptr, ptr, #31
  9036. + .else
  9037. + bic ptr, base, #31
  9038. + .endif
  9039. + .set OFFSET, 0
  9040. + .rept prefetch_distance+1
  9041. + pld [ptr, #OFFSET]
  9042. + .if backwards
  9043. + .set OFFSET, OFFSET-32
  9044. + .else
  9045. + .set OFFSET, OFFSET+32
  9046. + .endif
  9047. + .endr
  9048. +.endm
  9049. +
  9050. +.macro preload_leading_step2 backwards, ptr, base, leading_bytes, tmp
  9051. +/* However, if the destination is not 16-byte aligned, we may need to
  9052. + * preload one more cache line than that. The question we need to ask is:
  9053. + * are the leading bytes more than the amount by which the source
  9054. + * pointer will be rounded down for preloading, and if so, by how many
  9055. + * cache lines?
  9056. + */
  9057. + .if backwards
  9058. +/* Here we compare against how many bytes we are into the
  9059. + * cache line, counting down from the highest such address.
  9060. + * Effectively, we want to calculate
  9061. + * leading_bytes = dst&15
  9062. + * cacheline_offset = 31-((src-leading_bytes-1)&31)
  9063. + * extra_needed = leading_bytes - cacheline_offset
  9064. + * and test if extra_needed is <= 0, or rearranging:
  9065. + * leading_bytes + (src-leading_bytes-1)&31 <= 31
  9066. + */
  9067. + mov tmp, base, lsl #32-5
  9068. + sbc tmp, tmp, leading_bytes, lsl #32-5
  9069. + adds tmp, tmp, leading_bytes, lsl #32-5
  9070. + bcc 61f
  9071. + pld [ptr, #-32*(prefetch_distance+1)]
  9072. + .else
  9073. +/* Effectively, we want to calculate
  9074. + * leading_bytes = (-dst)&15
  9075. + * cacheline_offset = (src+leading_bytes)&31
  9076. + * extra_needed = leading_bytes - cacheline_offset
  9077. + * and test if extra_needed is <= 0.
  9078. + */
  9079. + mov tmp, base, lsl #32-5
  9080. + add tmp, tmp, leading_bytes, lsl #32-5
  9081. + rsbs tmp, tmp, leading_bytes, lsl #32-5
  9082. + bls 61f
  9083. + pld [ptr, #32*(prefetch_distance+1)]
  9084. + .endif
  9085. +61:
  9086. +.endm
  9087. +
  9088. +.macro preload_trailing backwards, base, remain, tmp
  9089. + /* We need either 0, 1 or 2 extra preloads */
  9090. + .if backwards
  9091. + rsb tmp, base, #0
  9092. + mov tmp, tmp, lsl #32-5
  9093. + .else
  9094. + mov tmp, base, lsl #32-5
  9095. + .endif
  9096. + adds tmp, tmp, remain, lsl #32-5
  9097. + adceqs tmp, tmp, #0
  9098. + /* The instruction above has two effects: ensures Z is only
  9099. + * set if C was clear (so Z indicates that both shifted quantities
  9100. + * were 0), and clears C if Z was set (so C indicates that the sum
  9101. + * of the shifted quantities was greater and not equal to 32) */
  9102. + beq 82f
  9103. + .if backwards
  9104. + sub tmp, base, #1
  9105. + bic tmp, tmp, #31
  9106. + .else
  9107. + bic tmp, base, #31
  9108. + .endif
  9109. + bcc 81f
  9110. + .if backwards
  9111. + pld [tmp, #-32*(prefetch_distance+1)]
  9112. +81:
  9113. + pld [tmp, #-32*prefetch_distance]
  9114. + .else
  9115. + pld [tmp, #32*(prefetch_distance+2)]
  9116. +81:
  9117. + pld [tmp, #32*(prefetch_distance+1)]
  9118. + .endif
  9119. +82:
  9120. +.endm
  9121. +
  9122. +.macro preload_all backwards, narrow_case, shift, base, remain, tmp0, tmp1
  9123. + .if backwards
  9124. + sub tmp0, base, #1
  9125. + bic tmp0, tmp0, #31
  9126. + pld [tmp0]
  9127. + sub tmp1, base, remain, lsl #shift
  9128. + .else
  9129. + bic tmp0, base, #31
  9130. + pld [tmp0]
  9131. + add tmp1, base, remain, lsl #shift
  9132. + sub tmp1, tmp1, #1
  9133. + .endif
  9134. + bic tmp1, tmp1, #31
  9135. + cmp tmp1, tmp0
  9136. + beq 92f
  9137. + .if narrow_case
  9138. + /* In this case, all the data fits in either 1 or 2 cache lines */
  9139. + pld [tmp1]
  9140. + .else
  9141. +91:
  9142. + .if backwards
  9143. + sub tmp0, tmp0, #32
  9144. + .else
  9145. + add tmp0, tmp0, #32
  9146. + .endif
  9147. + cmp tmp0, tmp1
  9148. + pld [tmp0]
  9149. + bne 91b
  9150. + .endif
  9151. +92:
  9152. +.endm
  9153. diff -Nur linux-4.1.13.orig/arch/arm/lib/copy_from_user.S linux-rpi/arch/arm/lib/copy_from_user.S
  9154. --- linux-4.1.13.orig/arch/arm/lib/copy_from_user.S 2015-11-09 23:34:10.000000000 +0100
  9155. +++ linux-rpi/arch/arm/lib/copy_from_user.S 2015-11-29 09:42:34.767440995 +0100
  9156. @@ -89,11 +89,13 @@
  9157. .text
  9158. -ENTRY(__copy_from_user)
  9159. +ENTRY(__copy_from_user_std)
  9160. +WEAK(__copy_from_user)
  9161. #include "copy_template.S"
  9162. ENDPROC(__copy_from_user)
  9163. +ENDPROC(__copy_from_user_std)
  9164. .pushsection .fixup,"ax"
  9165. .align 0
  9166. diff -Nur linux-4.1.13.orig/arch/arm/lib/exports_rpi.c linux-rpi/arch/arm/lib/exports_rpi.c
  9167. --- linux-4.1.13.orig/arch/arm/lib/exports_rpi.c 1970-01-01 01:00:00.000000000 +0100
  9168. +++ linux-rpi/arch/arm/lib/exports_rpi.c 2015-11-29 09:42:34.771440730 +0100
  9169. @@ -0,0 +1,37 @@
  9170. +/**
  9171. + * Copyright (c) 2014, Raspberry Pi (Trading) Ltd.
  9172. + *
  9173. + * Redistribution and use in source and binary forms, with or without
  9174. + * modification, are permitted provided that the following conditions
  9175. + * are met:
  9176. + * 1. Redistributions of source code must retain the above copyright
  9177. + * notice, this list of conditions, and the following disclaimer,
  9178. + * without modification.
  9179. + * 2. Redistributions in binary form must reproduce the above copyright
  9180. + * notice, this list of conditions and the following disclaimer in the
  9181. + * documentation and/or other materials provided with the distribution.
  9182. + * 3. The names of the above-listed copyright holders may not be used
  9183. + * to endorse or promote products derived from this software without
  9184. + * specific prior written permission.
  9185. + *
  9186. + * ALTERNATIVELY, this software may be distributed under the terms of the
  9187. + * GNU General Public License ("GPL") version 2, as published by the Free
  9188. + * Software Foundation.
  9189. + *
  9190. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  9191. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  9192. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  9193. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  9194. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  9195. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  9196. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  9197. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  9198. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  9199. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  9200. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  9201. + */
  9202. +
  9203. +#include <linux/kernel.h>
  9204. +#include <linux/module.h>
  9205. +
  9206. +EXPORT_SYMBOL(memcmp);
  9207. diff -Nur linux-4.1.13.orig/arch/arm/lib/Makefile linux-rpi/arch/arm/lib/Makefile
  9208. --- linux-4.1.13.orig/arch/arm/lib/Makefile 2015-11-09 23:34:10.000000000 +0100
  9209. +++ linux-rpi/arch/arm/lib/Makefile 2015-11-29 09:42:34.767440995 +0100
  9210. @@ -6,9 +6,8 @@
  9211. lib-y := backtrace.o changebit.o csumipv6.o csumpartial.o \
  9212. csumpartialcopy.o csumpartialcopyuser.o clearbit.o \
  9213. - delay.o delay-loop.o findbit.o memchr.o memcpy.o \
  9214. - memmove.o memset.o memzero.o setbit.o \
  9215. - strchr.o strrchr.o \
  9216. + delay.o delay-loop.o findbit.o memchr.o memzero.o \
  9217. + setbit.o strchr.o strrchr.o \
  9218. testchangebit.o testclearbit.o testsetbit.o \
  9219. ashldi3.o ashrdi3.o lshrdi3.o muldi3.o \
  9220. ucmpdi2.o lib1funcs.o div64.o \
  9221. @@ -18,6 +17,16 @@
  9222. mmu-y := clear_user.o copy_page.o getuser.o putuser.o \
  9223. copy_from_user.o copy_to_user.o
  9224. +# Choose optimised implementations for Raspberry Pi
  9225. +ifeq ($(CONFIG_MACH_BCM2708),y)
  9226. + CFLAGS_uaccess_with_memcpy.o += -DCOPY_FROM_USER_THRESHOLD=1600
  9227. + CFLAGS_uaccess_with_memcpy.o += -DCOPY_TO_USER_THRESHOLD=672
  9228. + obj-$(CONFIG_MODULES) += exports_rpi.o
  9229. + lib-y += memcpy_rpi.o memmove_rpi.o memset_rpi.o memcmp_rpi.o
  9230. +else
  9231. + lib-y += memcpy.o memmove.o memset.o
  9232. +endif
  9233. +
  9234. # using lib_ here won't override already available weak symbols
  9235. obj-$(CONFIG_UACCESS_WITH_MEMCPY) += uaccess_with_memcpy.o
  9236. diff -Nur linux-4.1.13.orig/arch/arm/lib/memcmp_rpi.S linux-rpi/arch/arm/lib/memcmp_rpi.S
  9237. --- linux-4.1.13.orig/arch/arm/lib/memcmp_rpi.S 1970-01-01 01:00:00.000000000 +0100
  9238. +++ linux-rpi/arch/arm/lib/memcmp_rpi.S 2015-11-29 09:42:34.771440730 +0100
  9239. @@ -0,0 +1,285 @@
  9240. +/*
  9241. +Copyright (c) 2013, Raspberry Pi Foundation
  9242. +Copyright (c) 2013, RISC OS Open Ltd
  9243. +All rights reserved.
  9244. +
  9245. +Redistribution and use in source and binary forms, with or without
  9246. +modification, are permitted provided that the following conditions are met:
  9247. + * Redistributions of source code must retain the above copyright
  9248. + notice, this list of conditions and the following disclaimer.
  9249. + * Redistributions in binary form must reproduce the above copyright
  9250. + notice, this list of conditions and the following disclaimer in the
  9251. + documentation and/or other materials provided with the distribution.
  9252. + * Neither the name of the copyright holder nor the
  9253. + names of its contributors may be used to endorse or promote products
  9254. + derived from this software without specific prior written permission.
  9255. +
  9256. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  9257. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  9258. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  9259. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  9260. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  9261. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  9262. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  9263. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  9264. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  9265. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  9266. +*/
  9267. +
  9268. +#include <linux/linkage.h>
  9269. +#include "arm-mem.h"
  9270. +
  9271. +/* Prevent the stack from becoming executable */
  9272. +#if defined(__linux__) && defined(__ELF__)
  9273. +.section .note.GNU-stack,"",%progbits
  9274. +#endif
  9275. +
  9276. + .text
  9277. + .arch armv6
  9278. + .object_arch armv4
  9279. + .arm
  9280. + .altmacro
  9281. + .p2align 2
  9282. +
  9283. +.macro memcmp_process_head unaligned
  9284. + .if unaligned
  9285. + ldr DAT0, [S_1], #4
  9286. + ldr DAT1, [S_1], #4
  9287. + ldr DAT2, [S_1], #4
  9288. + ldr DAT3, [S_1], #4
  9289. + .else
  9290. + ldmia S_1!, {DAT0, DAT1, DAT2, DAT3}
  9291. + .endif
  9292. + ldmia S_2!, {DAT4, DAT5, DAT6, DAT7}
  9293. +.endm
  9294. +
  9295. +.macro memcmp_process_tail
  9296. + cmp DAT0, DAT4
  9297. + cmpeq DAT1, DAT5
  9298. + cmpeq DAT2, DAT6
  9299. + cmpeq DAT3, DAT7
  9300. + bne 200f
  9301. +.endm
  9302. +
  9303. +.macro memcmp_leading_31bytes
  9304. + movs DAT0, OFF, lsl #31
  9305. + ldrmib DAT0, [S_1], #1
  9306. + ldrcsh DAT1, [S_1], #2
  9307. + ldrmib DAT4, [S_2], #1
  9308. + ldrcsh DAT5, [S_2], #2
  9309. + movpl DAT0, #0
  9310. + movcc DAT1, #0
  9311. + movpl DAT4, #0
  9312. + movcc DAT5, #0
  9313. + submi N, N, #1
  9314. + subcs N, N, #2
  9315. + cmp DAT0, DAT4
  9316. + cmpeq DAT1, DAT5
  9317. + bne 200f
  9318. + movs DAT0, OFF, lsl #29
  9319. + ldrmi DAT0, [S_1], #4
  9320. + ldrcs DAT1, [S_1], #4
  9321. + ldrcs DAT2, [S_1], #4
  9322. + ldrmi DAT4, [S_2], #4
  9323. + ldmcsia S_2!, {DAT5, DAT6}
  9324. + movpl DAT0, #0
  9325. + movcc DAT1, #0
  9326. + movcc DAT2, #0
  9327. + movpl DAT4, #0
  9328. + movcc DAT5, #0
  9329. + movcc DAT6, #0
  9330. + submi N, N, #4
  9331. + subcs N, N, #8
  9332. + cmp DAT0, DAT4
  9333. + cmpeq DAT1, DAT5
  9334. + cmpeq DAT2, DAT6
  9335. + bne 200f
  9336. + tst OFF, #16
  9337. + beq 105f
  9338. + memcmp_process_head 1
  9339. + sub N, N, #16
  9340. + memcmp_process_tail
  9341. +105:
  9342. +.endm
  9343. +
  9344. +.macro memcmp_trailing_15bytes unaligned
  9345. + movs N, N, lsl #29
  9346. + .if unaligned
  9347. + ldrcs DAT0, [S_1], #4
  9348. + ldrcs DAT1, [S_1], #4
  9349. + .else
  9350. + ldmcsia S_1!, {DAT0, DAT1}
  9351. + .endif
  9352. + ldrmi DAT2, [S_1], #4
  9353. + ldmcsia S_2!, {DAT4, DAT5}
  9354. + ldrmi DAT6, [S_2], #4
  9355. + movcc DAT0, #0
  9356. + movcc DAT1, #0
  9357. + movpl DAT2, #0
  9358. + movcc DAT4, #0
  9359. + movcc DAT5, #0
  9360. + movpl DAT6, #0
  9361. + cmp DAT0, DAT4
  9362. + cmpeq DAT1, DAT5
  9363. + cmpeq DAT2, DAT6
  9364. + bne 200f
  9365. + movs N, N, lsl #2
  9366. + ldrcsh DAT0, [S_1], #2
  9367. + ldrmib DAT1, [S_1]
  9368. + ldrcsh DAT4, [S_2], #2
  9369. + ldrmib DAT5, [S_2]
  9370. + movcc DAT0, #0
  9371. + movpl DAT1, #0
  9372. + movcc DAT4, #0
  9373. + movpl DAT5, #0
  9374. + cmp DAT0, DAT4
  9375. + cmpeq DAT1, DAT5
  9376. + bne 200f
  9377. +.endm
  9378. +
  9379. +.macro memcmp_long_inner_loop unaligned
  9380. +110:
  9381. + memcmp_process_head unaligned
  9382. + pld [S_2, #prefetch_distance*32 + 16]
  9383. + memcmp_process_tail
  9384. + memcmp_process_head unaligned
  9385. + pld [S_1, OFF]
  9386. + memcmp_process_tail
  9387. + subs N, N, #32
  9388. + bhs 110b
  9389. + /* Just before the final (prefetch_distance+1) 32-byte blocks,
  9390. + * deal with final preloads */
  9391. + preload_trailing 0, S_1, N, DAT0
  9392. + preload_trailing 0, S_2, N, DAT0
  9393. + add N, N, #(prefetch_distance+2)*32 - 16
  9394. +120:
  9395. + memcmp_process_head unaligned
  9396. + memcmp_process_tail
  9397. + subs N, N, #16
  9398. + bhs 120b
  9399. + /* Trailing words and bytes */
  9400. + tst N, #15
  9401. + beq 199f
  9402. + memcmp_trailing_15bytes unaligned
  9403. +199: /* Reached end without detecting a difference */
  9404. + mov a1, #0
  9405. + setend le
  9406. + pop {DAT1-DAT6, pc}
  9407. +.endm
  9408. +
  9409. +.macro memcmp_short_inner_loop unaligned
  9410. + subs N, N, #16 /* simplifies inner loop termination */
  9411. + blo 122f
  9412. +120:
  9413. + memcmp_process_head unaligned
  9414. + memcmp_process_tail
  9415. + subs N, N, #16
  9416. + bhs 120b
  9417. +122: /* Trailing words and bytes */
  9418. + tst N, #15
  9419. + beq 199f
  9420. + memcmp_trailing_15bytes unaligned
  9421. +199: /* Reached end without detecting a difference */
  9422. + mov a1, #0
  9423. + setend le
  9424. + pop {DAT1-DAT6, pc}
  9425. +.endm
  9426. +
  9427. +/*
  9428. + * int memcmp(const void *s1, const void *s2, size_t n);
  9429. + * On entry:
  9430. + * a1 = pointer to buffer 1
  9431. + * a2 = pointer to buffer 2
  9432. + * a3 = number of bytes to compare (as unsigned chars)
  9433. + * On exit:
  9434. + * a1 = >0/=0/<0 if s1 >/=/< s2
  9435. + */
  9436. +
  9437. +.set prefetch_distance, 2
  9438. +
  9439. +ENTRY(memcmp)
  9440. + S_1 .req a1
  9441. + S_2 .req a2
  9442. + N .req a3
  9443. + DAT0 .req a4
  9444. + DAT1 .req v1
  9445. + DAT2 .req v2
  9446. + DAT3 .req v3
  9447. + DAT4 .req v4
  9448. + DAT5 .req v5
  9449. + DAT6 .req v6
  9450. + DAT7 .req ip
  9451. + OFF .req lr
  9452. +
  9453. + push {DAT1-DAT6, lr}
  9454. + setend be /* lowest-addressed bytes are most significant */
  9455. +
  9456. + /* To preload ahead as we go, we need at least (prefetch_distance+2) 32-byte blocks */
  9457. + cmp N, #(prefetch_distance+3)*32 - 1
  9458. + blo 170f
  9459. +
  9460. + /* Long case */
  9461. + /* Adjust N so that the decrement instruction can also test for
  9462. + * inner loop termination. We want it to stop when there are
  9463. + * (prefetch_distance+1) complete blocks to go. */
  9464. + sub N, N, #(prefetch_distance+2)*32
  9465. + preload_leading_step1 0, DAT0, S_1
  9466. + preload_leading_step1 0, DAT1, S_2
  9467. + tst S_2, #31
  9468. + beq 154f
  9469. + rsb OFF, S_2, #0 /* no need to AND with 15 here */
  9470. + preload_leading_step2 0, DAT0, S_1, OFF, DAT2
  9471. + preload_leading_step2 0, DAT1, S_2, OFF, DAT2
  9472. + memcmp_leading_31bytes
  9473. +154: /* Second source now cacheline (32-byte) aligned; we have at
  9474. + * least one prefetch to go. */
  9475. + /* Prefetch offset is best selected such that it lies in the
  9476. + * first 8 of each 32 bytes - but it's just as easy to aim for
  9477. + * the first one */
  9478. + and OFF, S_1, #31
  9479. + rsb OFF, OFF, #32*prefetch_distance
  9480. + tst S_1, #3
  9481. + bne 140f
  9482. + memcmp_long_inner_loop 0
  9483. +140: memcmp_long_inner_loop 1
  9484. +
  9485. +170: /* Short case */
  9486. + teq N, #0
  9487. + beq 199f
  9488. + preload_all 0, 0, 0, S_1, N, DAT0, DAT1
  9489. + preload_all 0, 0, 0, S_2, N, DAT0, DAT1
  9490. + tst S_2, #3
  9491. + beq 174f
  9492. +172: subs N, N, #1
  9493. + blo 199f
  9494. + ldrb DAT0, [S_1], #1
  9495. + ldrb DAT4, [S_2], #1
  9496. + cmp DAT0, DAT4
  9497. + bne 200f
  9498. + tst S_2, #3
  9499. + bne 172b
  9500. +174: /* Second source now 4-byte aligned; we have 0 or more bytes to go */
  9501. + tst S_1, #3
  9502. + bne 140f
  9503. + memcmp_short_inner_loop 0
  9504. +140: memcmp_short_inner_loop 1
  9505. +
  9506. +200: /* Difference found: determine sign. */
  9507. + movhi a1, #1
  9508. + movlo a1, #-1
  9509. + setend le
  9510. + pop {DAT1-DAT6, pc}
  9511. +
  9512. + .unreq S_1
  9513. + .unreq S_2
  9514. + .unreq N
  9515. + .unreq DAT0
  9516. + .unreq DAT1
  9517. + .unreq DAT2
  9518. + .unreq DAT3
  9519. + .unreq DAT4
  9520. + .unreq DAT5
  9521. + .unreq DAT6
  9522. + .unreq DAT7
  9523. + .unreq OFF
  9524. +ENDPROC(memcmp)
  9525. diff -Nur linux-4.1.13.orig/arch/arm/lib/memcpymove.h linux-rpi/arch/arm/lib/memcpymove.h
  9526. --- linux-4.1.13.orig/arch/arm/lib/memcpymove.h 1970-01-01 01:00:00.000000000 +0100
  9527. +++ linux-rpi/arch/arm/lib/memcpymove.h 2015-11-29 09:42:34.771440730 +0100
  9528. @@ -0,0 +1,506 @@
  9529. +/*
  9530. +Copyright (c) 2013, Raspberry Pi Foundation
  9531. +Copyright (c) 2013, RISC OS Open Ltd
  9532. +All rights reserved.
  9533. +
  9534. +Redistribution and use in source and binary forms, with or without
  9535. +modification, are permitted provided that the following conditions are met:
  9536. + * Redistributions of source code must retain the above copyright
  9537. + notice, this list of conditions and the following disclaimer.
  9538. + * Redistributions in binary form must reproduce the above copyright
  9539. + notice, this list of conditions and the following disclaimer in the
  9540. + documentation and/or other materials provided with the distribution.
  9541. + * Neither the name of the copyright holder nor the
  9542. + names of its contributors may be used to endorse or promote products
  9543. + derived from this software without specific prior written permission.
  9544. +
  9545. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  9546. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  9547. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  9548. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  9549. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  9550. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  9551. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  9552. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  9553. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  9554. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  9555. +*/
  9556. +
  9557. +.macro unaligned_words backwards, align, use_pld, words, r0, r1, r2, r3, r4, r5, r6, r7, r8
  9558. + .if words == 1
  9559. + .if backwards
  9560. + mov r1, r0, lsl #32-align*8
  9561. + ldr r0, [S, #-4]!
  9562. + orr r1, r1, r0, lsr #align*8
  9563. + str r1, [D, #-4]!
  9564. + .else
  9565. + mov r0, r1, lsr #align*8
  9566. + ldr r1, [S, #4]!
  9567. + orr r0, r0, r1, lsl #32-align*8
  9568. + str r0, [D], #4
  9569. + .endif
  9570. + .elseif words == 2
  9571. + .if backwards
  9572. + ldr r1, [S, #-4]!
  9573. + mov r2, r0, lsl #32-align*8
  9574. + ldr r0, [S, #-4]!
  9575. + orr r2, r2, r1, lsr #align*8
  9576. + mov r1, r1, lsl #32-align*8
  9577. + orr r1, r1, r0, lsr #align*8
  9578. + stmdb D!, {r1, r2}
  9579. + .else
  9580. + ldr r1, [S, #4]!
  9581. + mov r0, r2, lsr #align*8
  9582. + ldr r2, [S, #4]!
  9583. + orr r0, r0, r1, lsl #32-align*8
  9584. + mov r1, r1, lsr #align*8
  9585. + orr r1, r1, r2, lsl #32-align*8
  9586. + stmia D!, {r0, r1}
  9587. + .endif
  9588. + .elseif words == 4
  9589. + .if backwards
  9590. + ldmdb S!, {r2, r3}
  9591. + mov r4, r0, lsl #32-align*8
  9592. + ldmdb S!, {r0, r1}
  9593. + orr r4, r4, r3, lsr #align*8
  9594. + mov r3, r3, lsl #32-align*8
  9595. + orr r3, r3, r2, lsr #align*8
  9596. + mov r2, r2, lsl #32-align*8
  9597. + orr r2, r2, r1, lsr #align*8
  9598. + mov r1, r1, lsl #32-align*8
  9599. + orr r1, r1, r0, lsr #align*8
  9600. + stmdb D!, {r1, r2, r3, r4}
  9601. + .else
  9602. + ldmib S!, {r1, r2}
  9603. + mov r0, r4, lsr #align*8
  9604. + ldmib S!, {r3, r4}
  9605. + orr r0, r0, r1, lsl #32-align*8
  9606. + mov r1, r1, lsr #align*8
  9607. + orr r1, r1, r2, lsl #32-align*8
  9608. + mov r2, r2, lsr #align*8
  9609. + orr r2, r2, r3, lsl #32-align*8
  9610. + mov r3, r3, lsr #align*8
  9611. + orr r3, r3, r4, lsl #32-align*8
  9612. + stmia D!, {r0, r1, r2, r3}
  9613. + .endif
  9614. + .elseif words == 8
  9615. + .if backwards
  9616. + ldmdb S!, {r4, r5, r6, r7}
  9617. + mov r8, r0, lsl #32-align*8
  9618. + ldmdb S!, {r0, r1, r2, r3}
  9619. + .if use_pld
  9620. + pld [S, OFF]
  9621. + .endif
  9622. + orr r8, r8, r7, lsr #align*8
  9623. + mov r7, r7, lsl #32-align*8
  9624. + orr r7, r7, r6, lsr #align*8
  9625. + mov r6, r6, lsl #32-align*8
  9626. + orr r6, r6, r5, lsr #align*8
  9627. + mov r5, r5, lsl #32-align*8
  9628. + orr r5, r5, r4, lsr #align*8
  9629. + mov r4, r4, lsl #32-align*8
  9630. + orr r4, r4, r3, lsr #align*8
  9631. + mov r3, r3, lsl #32-align*8
  9632. + orr r3, r3, r2, lsr #align*8
  9633. + mov r2, r2, lsl #32-align*8
  9634. + orr r2, r2, r1, lsr #align*8
  9635. + mov r1, r1, lsl #32-align*8
  9636. + orr r1, r1, r0, lsr #align*8
  9637. + stmdb D!, {r5, r6, r7, r8}
  9638. + stmdb D!, {r1, r2, r3, r4}
  9639. + .else
  9640. + ldmib S!, {r1, r2, r3, r4}
  9641. + mov r0, r8, lsr #align*8
  9642. + ldmib S!, {r5, r6, r7, r8}
  9643. + .if use_pld
  9644. + pld [S, OFF]
  9645. + .endif
  9646. + orr r0, r0, r1, lsl #32-align*8
  9647. + mov r1, r1, lsr #align*8
  9648. + orr r1, r1, r2, lsl #32-align*8
  9649. + mov r2, r2, lsr #align*8
  9650. + orr r2, r2, r3, lsl #32-align*8
  9651. + mov r3, r3, lsr #align*8
  9652. + orr r3, r3, r4, lsl #32-align*8
  9653. + mov r4, r4, lsr #align*8
  9654. + orr r4, r4, r5, lsl #32-align*8
  9655. + mov r5, r5, lsr #align*8
  9656. + orr r5, r5, r6, lsl #32-align*8
  9657. + mov r6, r6, lsr #align*8
  9658. + orr r6, r6, r7, lsl #32-align*8
  9659. + mov r7, r7, lsr #align*8
  9660. + orr r7, r7, r8, lsl #32-align*8
  9661. + stmia D!, {r0, r1, r2, r3}
  9662. + stmia D!, {r4, r5, r6, r7}
  9663. + .endif
  9664. + .endif
  9665. +.endm
  9666. +
  9667. +.macro memcpy_leading_15bytes backwards, align
  9668. + movs DAT1, DAT2, lsl #31
  9669. + sub N, N, DAT2
  9670. + .if backwards
  9671. + ldrmib DAT0, [S, #-1]!
  9672. + ldrcsh DAT1, [S, #-2]!
  9673. + strmib DAT0, [D, #-1]!
  9674. + strcsh DAT1, [D, #-2]!
  9675. + .else
  9676. + ldrmib DAT0, [S], #1
  9677. + ldrcsh DAT1, [S], #2
  9678. + strmib DAT0, [D], #1
  9679. + strcsh DAT1, [D], #2
  9680. + .endif
  9681. + movs DAT1, DAT2, lsl #29
  9682. + .if backwards
  9683. + ldrmi DAT0, [S, #-4]!
  9684. + .if align == 0
  9685. + ldmcsdb S!, {DAT1, DAT2}
  9686. + .else
  9687. + ldrcs DAT2, [S, #-4]!
  9688. + ldrcs DAT1, [S, #-4]!
  9689. + .endif
  9690. + strmi DAT0, [D, #-4]!
  9691. + stmcsdb D!, {DAT1, DAT2}
  9692. + .else
  9693. + ldrmi DAT0, [S], #4
  9694. + .if align == 0
  9695. + ldmcsia S!, {DAT1, DAT2}
  9696. + .else
  9697. + ldrcs DAT1, [S], #4
  9698. + ldrcs DAT2, [S], #4
  9699. + .endif
  9700. + strmi DAT0, [D], #4
  9701. + stmcsia D!, {DAT1, DAT2}
  9702. + .endif
  9703. +.endm
  9704. +
  9705. +.macro memcpy_trailing_15bytes backwards, align
  9706. + movs N, N, lsl #29
  9707. + .if backwards
  9708. + .if align == 0
  9709. + ldmcsdb S!, {DAT0, DAT1}
  9710. + .else
  9711. + ldrcs DAT1, [S, #-4]!
  9712. + ldrcs DAT0, [S, #-4]!
  9713. + .endif
  9714. + ldrmi DAT2, [S, #-4]!
  9715. + stmcsdb D!, {DAT0, DAT1}
  9716. + strmi DAT2, [D, #-4]!
  9717. + .else
  9718. + .if align == 0
  9719. + ldmcsia S!, {DAT0, DAT1}
  9720. + .else
  9721. + ldrcs DAT0, [S], #4
  9722. + ldrcs DAT1, [S], #4
  9723. + .endif
  9724. + ldrmi DAT2, [S], #4
  9725. + stmcsia D!, {DAT0, DAT1}
  9726. + strmi DAT2, [D], #4
  9727. + .endif
  9728. + movs N, N, lsl #2
  9729. + .if backwards
  9730. + ldrcsh DAT0, [S, #-2]!
  9731. + ldrmib DAT1, [S, #-1]
  9732. + strcsh DAT0, [D, #-2]!
  9733. + strmib DAT1, [D, #-1]
  9734. + .else
  9735. + ldrcsh DAT0, [S], #2
  9736. + ldrmib DAT1, [S]
  9737. + strcsh DAT0, [D], #2
  9738. + strmib DAT1, [D]
  9739. + .endif
  9740. +.endm
  9741. +
  9742. +.macro memcpy_long_inner_loop backwards, align
  9743. + .if align != 0
  9744. + .if backwards
  9745. + ldr DAT0, [S, #-align]!
  9746. + .else
  9747. + ldr LAST, [S, #-align]!
  9748. + .endif
  9749. + .endif
  9750. +110:
  9751. + .if align == 0
  9752. + .if backwards
  9753. + ldmdb S!, {DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, LAST}
  9754. + pld [S, OFF]
  9755. + stmdb D!, {DAT4, DAT5, DAT6, LAST}
  9756. + stmdb D!, {DAT0, DAT1, DAT2, DAT3}
  9757. + .else
  9758. + ldmia S!, {DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, LAST}
  9759. + pld [S, OFF]
  9760. + stmia D!, {DAT0, DAT1, DAT2, DAT3}
  9761. + stmia D!, {DAT4, DAT5, DAT6, LAST}
  9762. + .endif
  9763. + .else
  9764. + unaligned_words backwards, align, 1, 8, DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, DAT7, LAST
  9765. + .endif
  9766. + subs N, N, #32
  9767. + bhs 110b
  9768. + /* Just before the final (prefetch_distance+1) 32-byte blocks, deal with final preloads */
  9769. + preload_trailing backwards, S, N, OFF
  9770. + add N, N, #(prefetch_distance+2)*32 - 32
  9771. +120:
  9772. + .if align == 0
  9773. + .if backwards
  9774. + ldmdb S!, {DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, LAST}
  9775. + stmdb D!, {DAT4, DAT5, DAT6, LAST}
  9776. + stmdb D!, {DAT0, DAT1, DAT2, DAT3}
  9777. + .else
  9778. + ldmia S!, {DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, LAST}
  9779. + stmia D!, {DAT0, DAT1, DAT2, DAT3}
  9780. + stmia D!, {DAT4, DAT5, DAT6, LAST}
  9781. + .endif
  9782. + .else
  9783. + unaligned_words backwards, align, 0, 8, DAT0, DAT1, DAT2, DAT3, DAT4, DAT5, DAT6, DAT7, LAST
  9784. + .endif
  9785. + subs N, N, #32
  9786. + bhs 120b
  9787. + tst N, #16
  9788. + .if align == 0
  9789. + .if backwards
  9790. + ldmnedb S!, {DAT0, DAT1, DAT2, LAST}
  9791. + stmnedb D!, {DAT0, DAT1, DAT2, LAST}
  9792. + .else
  9793. + ldmneia S!, {DAT0, DAT1, DAT2, LAST}
  9794. + stmneia D!, {DAT0, DAT1, DAT2, LAST}
  9795. + .endif
  9796. + .else
  9797. + beq 130f
  9798. + unaligned_words backwards, align, 0, 4, DAT0, DAT1, DAT2, DAT3, LAST
  9799. +130:
  9800. + .endif
  9801. + /* Trailing words and bytes */
  9802. + tst N, #15
  9803. + beq 199f
  9804. + .if align != 0
  9805. + add S, S, #align
  9806. + .endif
  9807. + memcpy_trailing_15bytes backwards, align
  9808. +199:
  9809. + pop {DAT3, DAT4, DAT5, DAT6, DAT7}
  9810. + pop {D, DAT1, DAT2, pc}
  9811. +.endm
  9812. +
  9813. +.macro memcpy_medium_inner_loop backwards, align
  9814. +120:
  9815. + .if backwards
  9816. + .if align == 0
  9817. + ldmdb S!, {DAT0, DAT1, DAT2, LAST}
  9818. + .else
  9819. + ldr LAST, [S, #-4]!
  9820. + ldr DAT2, [S, #-4]!
  9821. + ldr DAT1, [S, #-4]!
  9822. + ldr DAT0, [S, #-4]!
  9823. + .endif
  9824. + stmdb D!, {DAT0, DAT1, DAT2, LAST}
  9825. + .else
  9826. + .if align == 0
  9827. + ldmia S!, {DAT0, DAT1, DAT2, LAST}
  9828. + .else
  9829. + ldr DAT0, [S], #4
  9830. + ldr DAT1, [S], #4
  9831. + ldr DAT2, [S], #4
  9832. + ldr LAST, [S], #4
  9833. + .endif
  9834. + stmia D!, {DAT0, DAT1, DAT2, LAST}
  9835. + .endif
  9836. + subs N, N, #16
  9837. + bhs 120b
  9838. + /* Trailing words and bytes */
  9839. + tst N, #15
  9840. + beq 199f
  9841. + memcpy_trailing_15bytes backwards, align
  9842. +199:
  9843. + pop {D, DAT1, DAT2, pc}
  9844. +.endm
  9845. +
  9846. +.macro memcpy_short_inner_loop backwards, align
  9847. + tst N, #16
  9848. + .if backwards
  9849. + .if align == 0
  9850. + ldmnedb S!, {DAT0, DAT1, DAT2, LAST}
  9851. + .else
  9852. + ldrne LAST, [S, #-4]!
  9853. + ldrne DAT2, [S, #-4]!
  9854. + ldrne DAT1, [S, #-4]!
  9855. + ldrne DAT0, [S, #-4]!
  9856. + .endif
  9857. + stmnedb D!, {DAT0, DAT1, DAT2, LAST}
  9858. + .else
  9859. + .if align == 0
  9860. + ldmneia S!, {DAT0, DAT1, DAT2, LAST}
  9861. + .else
  9862. + ldrne DAT0, [S], #4
  9863. + ldrne DAT1, [S], #4
  9864. + ldrne DAT2, [S], #4
  9865. + ldrne LAST, [S], #4
  9866. + .endif
  9867. + stmneia D!, {DAT0, DAT1, DAT2, LAST}
  9868. + .endif
  9869. + memcpy_trailing_15bytes backwards, align
  9870. +199:
  9871. + pop {D, DAT1, DAT2, pc}
  9872. +.endm
  9873. +
  9874. +.macro memcpy backwards
  9875. + D .req a1
  9876. + S .req a2
  9877. + N .req a3
  9878. + DAT0 .req a4
  9879. + DAT1 .req v1
  9880. + DAT2 .req v2
  9881. + DAT3 .req v3
  9882. + DAT4 .req v4
  9883. + DAT5 .req v5
  9884. + DAT6 .req v6
  9885. + DAT7 .req sl
  9886. + LAST .req ip
  9887. + OFF .req lr
  9888. +
  9889. + .cfi_startproc
  9890. +
  9891. + push {D, DAT1, DAT2, lr}
  9892. +
  9893. + .cfi_def_cfa_offset 16
  9894. + .cfi_rel_offset D, 0
  9895. + .cfi_undefined S
  9896. + .cfi_undefined N
  9897. + .cfi_undefined DAT0
  9898. + .cfi_rel_offset DAT1, 4
  9899. + .cfi_rel_offset DAT2, 8
  9900. + .cfi_undefined LAST
  9901. + .cfi_rel_offset lr, 12
  9902. +
  9903. + .if backwards
  9904. + add D, D, N
  9905. + add S, S, N
  9906. + .endif
  9907. +
  9908. + /* See if we're guaranteed to have at least one 16-byte aligned 16-byte write */
  9909. + cmp N, #31
  9910. + blo 170f
  9911. + /* To preload ahead as we go, we need at least (prefetch_distance+2) 32-byte blocks */
  9912. + cmp N, #(prefetch_distance+3)*32 - 1
  9913. + blo 160f
  9914. +
  9915. + /* Long case */
  9916. + push {DAT3, DAT4, DAT5, DAT6, DAT7}
  9917. +
  9918. + .cfi_def_cfa_offset 36
  9919. + .cfi_rel_offset D, 20
  9920. + .cfi_rel_offset DAT1, 24
  9921. + .cfi_rel_offset DAT2, 28
  9922. + .cfi_rel_offset DAT3, 0
  9923. + .cfi_rel_offset DAT4, 4
  9924. + .cfi_rel_offset DAT5, 8
  9925. + .cfi_rel_offset DAT6, 12
  9926. + .cfi_rel_offset DAT7, 16
  9927. + .cfi_rel_offset lr, 32
  9928. +
  9929. + /* Adjust N so that the decrement instruction can also test for
  9930. + * inner loop termination. We want it to stop when there are
  9931. + * (prefetch_distance+1) complete blocks to go. */
  9932. + sub N, N, #(prefetch_distance+2)*32
  9933. + preload_leading_step1 backwards, DAT0, S
  9934. + .if backwards
  9935. + /* Bug in GAS: it accepts, but mis-assembles the instruction
  9936. + * ands DAT2, D, #60, 2
  9937. + * which sets DAT2 to the number of leading bytes until destination is aligned and also clears C (sets borrow)
  9938. + */
  9939. + .word 0xE210513C
  9940. + beq 154f
  9941. + .else
  9942. + ands DAT2, D, #15
  9943. + beq 154f
  9944. + rsb DAT2, DAT2, #16 /* number of leading bytes until destination aligned */
  9945. + .endif
  9946. + preload_leading_step2 backwards, DAT0, S, DAT2, OFF
  9947. + memcpy_leading_15bytes backwards, 1
  9948. +154: /* Destination now 16-byte aligned; we have at least one prefetch as well as at least one 16-byte output block */
  9949. + /* Prefetch offset is best selected such that it lies in the first 8 of each 32 bytes - but it's just as easy to aim for the first one */
  9950. + .if backwards
  9951. + rsb OFF, S, #3
  9952. + and OFF, OFF, #28
  9953. + sub OFF, OFF, #32*(prefetch_distance+1)
  9954. + .else
  9955. + and OFF, S, #28
  9956. + rsb OFF, OFF, #32*prefetch_distance
  9957. + .endif
  9958. + movs DAT0, S, lsl #31
  9959. + bhi 157f
  9960. + bcs 156f
  9961. + bmi 155f
  9962. + memcpy_long_inner_loop backwards, 0
  9963. +155: memcpy_long_inner_loop backwards, 1
  9964. +156: memcpy_long_inner_loop backwards, 2
  9965. +157: memcpy_long_inner_loop backwards, 3
  9966. +
  9967. + .cfi_def_cfa_offset 16
  9968. + .cfi_rel_offset D, 0
  9969. + .cfi_rel_offset DAT1, 4
  9970. + .cfi_rel_offset DAT2, 8
  9971. + .cfi_same_value DAT3
  9972. + .cfi_same_value DAT4
  9973. + .cfi_same_value DAT5
  9974. + .cfi_same_value DAT6
  9975. + .cfi_same_value DAT7
  9976. + .cfi_rel_offset lr, 12
  9977. +
  9978. +160: /* Medium case */
  9979. + preload_all backwards, 0, 0, S, N, DAT2, OFF
  9980. + sub N, N, #16 /* simplifies inner loop termination */
  9981. + .if backwards
  9982. + ands DAT2, D, #15
  9983. + beq 164f
  9984. + .else
  9985. + ands DAT2, D, #15
  9986. + beq 164f
  9987. + rsb DAT2, DAT2, #16
  9988. + .endif
  9989. + memcpy_leading_15bytes backwards, align
  9990. +164: /* Destination now 16-byte aligned; we have at least one 16-byte output block */
  9991. + tst S, #3
  9992. + bne 140f
  9993. + memcpy_medium_inner_loop backwards, 0
  9994. +140: memcpy_medium_inner_loop backwards, 1
  9995. +
  9996. +170: /* Short case, less than 31 bytes, so no guarantee of at least one 16-byte block */
  9997. + teq N, #0
  9998. + beq 199f
  9999. + preload_all backwards, 1, 0, S, N, DAT2, LAST
  10000. + tst D, #3
  10001. + beq 174f
  10002. +172: subs N, N, #1
  10003. + blo 199f
  10004. + .if backwards
  10005. + ldrb DAT0, [S, #-1]!
  10006. + strb DAT0, [D, #-1]!
  10007. + .else
  10008. + ldrb DAT0, [S], #1
  10009. + strb DAT0, [D], #1
  10010. + .endif
  10011. + tst D, #3
  10012. + bne 172b
  10013. +174: /* Destination now 4-byte aligned; we have 0 or more output bytes to go */
  10014. + tst S, #3
  10015. + bne 140f
  10016. + memcpy_short_inner_loop backwards, 0
  10017. +140: memcpy_short_inner_loop backwards, 1
  10018. +
  10019. + .cfi_endproc
  10020. +
  10021. + .unreq D
  10022. + .unreq S
  10023. + .unreq N
  10024. + .unreq DAT0
  10025. + .unreq DAT1
  10026. + .unreq DAT2
  10027. + .unreq DAT3
  10028. + .unreq DAT4
  10029. + .unreq DAT5
  10030. + .unreq DAT6
  10031. + .unreq DAT7
  10032. + .unreq LAST
  10033. + .unreq OFF
  10034. +.endm
  10035. diff -Nur linux-4.1.13.orig/arch/arm/lib/memcpy_rpi.S linux-rpi/arch/arm/lib/memcpy_rpi.S
  10036. --- linux-4.1.13.orig/arch/arm/lib/memcpy_rpi.S 1970-01-01 01:00:00.000000000 +0100
  10037. +++ linux-rpi/arch/arm/lib/memcpy_rpi.S 2015-11-29 09:42:34.771440730 +0100
  10038. @@ -0,0 +1,59 @@
  10039. +/*
  10040. +Copyright (c) 2013, Raspberry Pi Foundation
  10041. +Copyright (c) 2013, RISC OS Open Ltd
  10042. +All rights reserved.
  10043. +
  10044. +Redistribution and use in source and binary forms, with or without
  10045. +modification, are permitted provided that the following conditions are met:
  10046. + * Redistributions of source code must retain the above copyright
  10047. + notice, this list of conditions and the following disclaimer.
  10048. + * Redistributions in binary form must reproduce the above copyright
  10049. + notice, this list of conditions and the following disclaimer in the
  10050. + documentation and/or other materials provided with the distribution.
  10051. + * Neither the name of the copyright holder nor the
  10052. + names of its contributors may be used to endorse or promote products
  10053. + derived from this software without specific prior written permission.
  10054. +
  10055. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  10056. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  10057. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  10058. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  10059. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  10060. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  10061. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  10062. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  10063. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  10064. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  10065. +*/
  10066. +
  10067. +#include <linux/linkage.h>
  10068. +#include "arm-mem.h"
  10069. +#include "memcpymove.h"
  10070. +
  10071. +/* Prevent the stack from becoming executable */
  10072. +#if defined(__linux__) && defined(__ELF__)
  10073. +.section .note.GNU-stack,"",%progbits
  10074. +#endif
  10075. +
  10076. + .text
  10077. + .arch armv6
  10078. + .object_arch armv4
  10079. + .arm
  10080. + .altmacro
  10081. + .p2align 2
  10082. +
  10083. +/*
  10084. + * void *memcpy(void * restrict s1, const void * restrict s2, size_t n);
  10085. + * On entry:
  10086. + * a1 = pointer to destination
  10087. + * a2 = pointer to source
  10088. + * a3 = number of bytes to copy
  10089. + * On exit:
  10090. + * a1 preserved
  10091. + */
  10092. +
  10093. +.set prefetch_distance, 3
  10094. +
  10095. +ENTRY(memcpy)
  10096. + memcpy 0
  10097. +ENDPROC(memcpy)
  10098. diff -Nur linux-4.1.13.orig/arch/arm/lib/memmove_rpi.S linux-rpi/arch/arm/lib/memmove_rpi.S
  10099. --- linux-4.1.13.orig/arch/arm/lib/memmove_rpi.S 1970-01-01 01:00:00.000000000 +0100
  10100. +++ linux-rpi/arch/arm/lib/memmove_rpi.S 2015-11-29 09:42:34.771440730 +0100
  10101. @@ -0,0 +1,61 @@
  10102. +/*
  10103. +Copyright (c) 2013, Raspberry Pi Foundation
  10104. +Copyright (c) 2013, RISC OS Open Ltd
  10105. +All rights reserved.
  10106. +
  10107. +Redistribution and use in source and binary forms, with or without
  10108. +modification, are permitted provided that the following conditions are met:
  10109. + * Redistributions of source code must retain the above copyright
  10110. + notice, this list of conditions and the following disclaimer.
  10111. + * Redistributions in binary form must reproduce the above copyright
  10112. + notice, this list of conditions and the following disclaimer in the
  10113. + documentation and/or other materials provided with the distribution.
  10114. + * Neither the name of the copyright holder nor the
  10115. + names of its contributors may be used to endorse or promote products
  10116. + derived from this software without specific prior written permission.
  10117. +
  10118. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  10119. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  10120. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  10121. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  10122. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  10123. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  10124. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  10125. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  10126. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  10127. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  10128. +*/
  10129. +
  10130. +#include <linux/linkage.h>
  10131. +#include "arm-mem.h"
  10132. +#include "memcpymove.h"
  10133. +
  10134. +/* Prevent the stack from becoming executable */
  10135. +#if defined(__linux__) && defined(__ELF__)
  10136. +.section .note.GNU-stack,"",%progbits
  10137. +#endif
  10138. +
  10139. + .text
  10140. + .arch armv6
  10141. + .object_arch armv4
  10142. + .arm
  10143. + .altmacro
  10144. + .p2align 2
  10145. +
  10146. +/*
  10147. + * void *memmove(void *s1, const void *s2, size_t n);
  10148. + * On entry:
  10149. + * a1 = pointer to destination
  10150. + * a2 = pointer to source
  10151. + * a3 = number of bytes to copy
  10152. + * On exit:
  10153. + * a1 preserved
  10154. + */
  10155. +
  10156. +.set prefetch_distance, 3
  10157. +
  10158. +ENTRY(memmove)
  10159. + cmp a2, a1
  10160. + bpl memcpy /* pl works even over -1 - 0 and 0x7fffffff - 0x80000000 boundaries */
  10161. + memcpy 1
  10162. +ENDPROC(memmove)
  10163. diff -Nur linux-4.1.13.orig/arch/arm/lib/memset_rpi.S linux-rpi/arch/arm/lib/memset_rpi.S
  10164. --- linux-4.1.13.orig/arch/arm/lib/memset_rpi.S 1970-01-01 01:00:00.000000000 +0100
  10165. +++ linux-rpi/arch/arm/lib/memset_rpi.S 2015-11-29 09:42:34.771440730 +0100
  10166. @@ -0,0 +1,121 @@
  10167. +/*
  10168. +Copyright (c) 2013, Raspberry Pi Foundation
  10169. +Copyright (c) 2013, RISC OS Open Ltd
  10170. +All rights reserved.
  10171. +
  10172. +Redistribution and use in source and binary forms, with or without
  10173. +modification, are permitted provided that the following conditions are met:
  10174. + * Redistributions of source code must retain the above copyright
  10175. + notice, this list of conditions and the following disclaimer.
  10176. + * Redistributions in binary form must reproduce the above copyright
  10177. + notice, this list of conditions and the following disclaimer in the
  10178. + documentation and/or other materials provided with the distribution.
  10179. + * Neither the name of the copyright holder nor the
  10180. + names of its contributors may be used to endorse or promote products
  10181. + derived from this software without specific prior written permission.
  10182. +
  10183. +THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  10184. +ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  10185. +WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  10186. +DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY
  10187. +DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  10188. +(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  10189. +LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  10190. +ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  10191. +(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  10192. +SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  10193. +*/
  10194. +
  10195. +#include <linux/linkage.h>
  10196. +#include "arm-mem.h"
  10197. +
  10198. +/* Prevent the stack from becoming executable */
  10199. +#if defined(__linux__) && defined(__ELF__)
  10200. +.section .note.GNU-stack,"",%progbits
  10201. +#endif
  10202. +
  10203. + .text
  10204. + .arch armv6
  10205. + .object_arch armv4
  10206. + .arm
  10207. + .altmacro
  10208. + .p2align 2
  10209. +
  10210. +/*
  10211. + * void *memset(void *s, int c, size_t n);
  10212. + * On entry:
  10213. + * a1 = pointer to buffer to fill
  10214. + * a2 = byte pattern to fill with (caller-narrowed)
  10215. + * a3 = number of bytes to fill
  10216. + * On exit:
  10217. + * a1 preserved
  10218. + */
  10219. +ENTRY(memset)
  10220. + S .req a1
  10221. + DAT0 .req a2
  10222. + N .req a3
  10223. + DAT1 .req a4
  10224. + DAT2 .req ip
  10225. + DAT3 .req lr
  10226. +
  10227. + orr DAT0, DAT0, lsl #8
  10228. + push {S, lr}
  10229. + orr DAT0, DAT0, lsl #16
  10230. + mov DAT1, DAT0
  10231. +
  10232. + /* See if we're guaranteed to have at least one 16-byte aligned 16-byte write */
  10233. + cmp N, #31
  10234. + blo 170f
  10235. +
  10236. +161: sub N, N, #16 /* simplifies inner loop termination */
  10237. + /* Leading words and bytes */
  10238. + tst S, #15
  10239. + beq 164f
  10240. + rsb DAT3, S, #0 /* bits 0-3 = number of leading bytes until aligned */
  10241. + movs DAT2, DAT3, lsl #31
  10242. + submi N, N, #1
  10243. + strmib DAT0, [S], #1
  10244. + subcs N, N, #2
  10245. + strcsh DAT0, [S], #2
  10246. + movs DAT2, DAT3, lsl #29
  10247. + submi N, N, #4
  10248. + strmi DAT0, [S], #4
  10249. + subcs N, N, #8
  10250. + stmcsia S!, {DAT0, DAT1}
  10251. +164: /* Delayed set up of DAT2 and DAT3 so we could use them as scratch registers above */
  10252. + mov DAT2, DAT0
  10253. + mov DAT3, DAT0
  10254. + /* Now the inner loop of 16-byte stores */
  10255. +165: stmia S!, {DAT0, DAT1, DAT2, DAT3}
  10256. + subs N, N, #16
  10257. + bhs 165b
  10258. +166: /* Trailing words and bytes */
  10259. + movs N, N, lsl #29
  10260. + stmcsia S!, {DAT0, DAT1}
  10261. + strmi DAT0, [S], #4
  10262. + movs N, N, lsl #2
  10263. + strcsh DAT0, [S], #2
  10264. + strmib DAT0, [S]
  10265. +199: pop {S, pc}
  10266. +
  10267. +170: /* Short case */
  10268. + mov DAT2, DAT0
  10269. + mov DAT3, DAT0
  10270. + tst S, #3
  10271. + beq 174f
  10272. +172: subs N, N, #1
  10273. + blo 199b
  10274. + strb DAT0, [S], #1
  10275. + tst S, #3
  10276. + bne 172b
  10277. +174: tst N, #16
  10278. + stmneia S!, {DAT0, DAT1, DAT2, DAT3}
  10279. + b 166b
  10280. +
  10281. + .unreq S
  10282. + .unreq DAT0
  10283. + .unreq N
  10284. + .unreq DAT1
  10285. + .unreq DAT2
  10286. + .unreq DAT3
  10287. +ENDPROC(memset)
  10288. diff -Nur linux-4.1.13.orig/arch/arm/lib/uaccess_with_memcpy.c linux-rpi/arch/arm/lib/uaccess_with_memcpy.c
  10289. --- linux-4.1.13.orig/arch/arm/lib/uaccess_with_memcpy.c 2015-11-09 23:34:10.000000000 +0100
  10290. +++ linux-rpi/arch/arm/lib/uaccess_with_memcpy.c 2015-11-29 09:42:34.771440730 +0100
  10291. @@ -22,6 +22,14 @@
  10292. #include <asm/current.h>
  10293. #include <asm/page.h>
  10294. +#ifndef COPY_FROM_USER_THRESHOLD
  10295. +#define COPY_FROM_USER_THRESHOLD 64
  10296. +#endif
  10297. +
  10298. +#ifndef COPY_TO_USER_THRESHOLD
  10299. +#define COPY_TO_USER_THRESHOLD 64
  10300. +#endif
  10301. +
  10302. static int
  10303. pin_page_for_write(const void __user *_addr, pte_t **ptep, spinlock_t **ptlp)
  10304. {
  10305. @@ -85,7 +93,44 @@
  10306. return 1;
  10307. }
  10308. -static unsigned long noinline
  10309. +static int
  10310. +pin_page_for_read(const void __user *_addr, pte_t **ptep, spinlock_t **ptlp)
  10311. +{
  10312. + unsigned long addr = (unsigned long)_addr;
  10313. + pgd_t *pgd;
  10314. + pmd_t *pmd;
  10315. + pte_t *pte;
  10316. + pud_t *pud;
  10317. + spinlock_t *ptl;
  10318. +
  10319. + pgd = pgd_offset(current->mm, addr);
  10320. + if (unlikely(pgd_none(*pgd) || pgd_bad(*pgd)))
  10321. + {
  10322. + return 0;
  10323. + }
  10324. + pud = pud_offset(pgd, addr);
  10325. + if (unlikely(pud_none(*pud) || pud_bad(*pud)))
  10326. + {
  10327. + return 0;
  10328. + }
  10329. +
  10330. + pmd = pmd_offset(pud, addr);
  10331. + if (unlikely(pmd_none(*pmd) || pmd_bad(*pmd)))
  10332. + return 0;
  10333. +
  10334. + pte = pte_offset_map_lock(current->mm, pmd, addr, &ptl);
  10335. + if (unlikely(!pte_present(*pte) || !pte_young(*pte))) {
  10336. + pte_unmap_unlock(pte, ptl);
  10337. + return 0;
  10338. + }
  10339. +
  10340. + *ptep = pte;
  10341. + *ptlp = ptl;
  10342. +
  10343. + return 1;
  10344. +}
  10345. +
  10346. +unsigned long noinline
  10347. __copy_to_user_memcpy(void __user *to, const void *from, unsigned long n)
  10348. {
  10349. int atomic;
  10350. @@ -135,6 +180,54 @@
  10351. return n;
  10352. }
  10353. +unsigned long noinline
  10354. +__copy_from_user_memcpy(void *to, const void __user *from, unsigned long n)
  10355. +{
  10356. + int atomic;
  10357. +
  10358. + if (unlikely(segment_eq(get_fs(), KERNEL_DS))) {
  10359. + memcpy(to, (const void *)from, n);
  10360. + return 0;
  10361. + }
  10362. +
  10363. + /* the mmap semaphore is taken only if not in an atomic context */
  10364. + atomic = in_atomic();
  10365. +
  10366. + if (!atomic)
  10367. + down_read(&current->mm->mmap_sem);
  10368. + while (n) {
  10369. + pte_t *pte;
  10370. + spinlock_t *ptl;
  10371. + int tocopy;
  10372. +
  10373. + while (!pin_page_for_read(from, &pte, &ptl)) {
  10374. + char temp;
  10375. + if (!atomic)
  10376. + up_read(&current->mm->mmap_sem);
  10377. + if (__get_user(temp, (char __user *)from))
  10378. + goto out;
  10379. + if (!atomic)
  10380. + down_read(&current->mm->mmap_sem);
  10381. + }
  10382. +
  10383. + tocopy = (~(unsigned long)from & ~PAGE_MASK) + 1;
  10384. + if (tocopy > n)
  10385. + tocopy = n;
  10386. +
  10387. + memcpy(to, (const void *)from, tocopy);
  10388. + to += tocopy;
  10389. + from += tocopy;
  10390. + n -= tocopy;
  10391. +
  10392. + pte_unmap_unlock(pte, ptl);
  10393. + }
  10394. + if (!atomic)
  10395. + up_read(&current->mm->mmap_sem);
  10396. +
  10397. +out:
  10398. + return n;
  10399. +}
  10400. +
  10401. unsigned long
  10402. __copy_to_user(void __user *to, const void *from, unsigned long n)
  10403. {
  10404. @@ -145,10 +238,25 @@
  10405. * With frame pointer disabled, tail call optimization kicks in
  10406. * as well making this test almost invisible.
  10407. */
  10408. - if (n < 64)
  10409. + if (n < COPY_TO_USER_THRESHOLD)
  10410. return __copy_to_user_std(to, from, n);
  10411. return __copy_to_user_memcpy(to, from, n);
  10412. }
  10413. +
  10414. +unsigned long
  10415. +__copy_from_user(void *to, const void __user *from, unsigned long n)
  10416. +{
  10417. + /*
  10418. + * This test is stubbed out of the main function above to keep
  10419. + * the overhead for small copies low by avoiding a large
  10420. + * register dump on the stack just to reload them right away.
  10421. + * With frame pointer disabled, tail call optimization kicks in
  10422. + * as well making this test almost invisible.
  10423. + */
  10424. + if (n < COPY_FROM_USER_THRESHOLD)
  10425. + return __copy_from_user_std(to, from, n);
  10426. + return __copy_from_user_memcpy(to, from, n);
  10427. +}
  10428. static unsigned long noinline
  10429. __clear_user_memset(void __user *addr, unsigned long n)
  10430. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm/board_bcm2835.c linux-rpi/arch/arm/mach-bcm/board_bcm2835.c
  10431. --- linux-4.1.13.orig/arch/arm/mach-bcm/board_bcm2835.c 2015-11-09 23:34:10.000000000 +0100
  10432. +++ linux-rpi/arch/arm/mach-bcm/board_bcm2835.c 2015-11-29 09:42:34.787439667 +0100
  10433. @@ -18,6 +18,7 @@
  10434. #include <linux/of_address.h>
  10435. #include <linux/of_platform.h>
  10436. #include <linux/clk/bcm2835.h>
  10437. +#include <asm/system_info.h>
  10438. #include <asm/mach/arch.h>
  10439. #include <asm/mach/map.h>
  10440. @@ -107,6 +108,9 @@
  10441. static void __init bcm2835_init(void)
  10442. {
  10443. + struct device_node *np = of_find_node_by_path("/system");
  10444. + u32 val;
  10445. + u64 val64;
  10446. int ret;
  10447. bcm2835_setup_restart();
  10448. @@ -121,6 +125,11 @@
  10449. pr_err("of_platform_populate failed: %d\n", ret);
  10450. BUG();
  10451. }
  10452. +
  10453. + if (!of_property_read_u32(np, "linux,revision", &val))
  10454. + system_rev = val;
  10455. + if (!of_property_read_u64(np, "linux,serial", &val64))
  10456. + system_serial_low = val64;
  10457. }
  10458. static const char * const bcm2835_compat[] = {
  10459. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm/Kconfig linux-rpi/arch/arm/mach-bcm/Kconfig
  10460. --- linux-4.1.13.orig/arch/arm/mach-bcm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  10461. +++ linux-rpi/arch/arm/mach-bcm/Kconfig 2015-11-29 09:42:34.787439667 +0100
  10462. @@ -114,6 +114,7 @@
  10463. select ARM_ERRATA_411920
  10464. select ARM_TIMER_SP804
  10465. select CLKSRC_OF
  10466. + select FIQ
  10467. select PINCTRL
  10468. select PINCTRL_BCM2835
  10469. help
  10470. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/armctrl.c linux-rpi/arch/arm/mach-bcm2708/armctrl.c
  10471. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/armctrl.c 1970-01-01 01:00:00.000000000 +0100
  10472. +++ linux-rpi/arch/arm/mach-bcm2708/armctrl.c 2015-11-29 09:42:34.791439401 +0100
  10473. @@ -0,0 +1,315 @@
  10474. +/*
  10475. + * linux/arch/arm/mach-bcm2708/armctrl.c
  10476. + *
  10477. + * Copyright (C) 2010 Broadcom
  10478. + *
  10479. + * This program is free software; you can redistribute it and/or modify
  10480. + * it under the terms of the GNU General Public License as published by
  10481. + * the Free Software Foundation; either version 2 of the License, or
  10482. + * (at your option) any later version.
  10483. + *
  10484. + * This program is distributed in the hope that it will be useful,
  10485. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  10486. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  10487. + * GNU General Public License for more details.
  10488. + *
  10489. + * You should have received a copy of the GNU General Public License
  10490. + * along with this program; if not, write to the Free Software
  10491. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  10492. + */
  10493. +#include <linux/init.h>
  10494. +#include <linux/list.h>
  10495. +#include <linux/io.h>
  10496. +#include <linux/version.h>
  10497. +#include <linux/syscore_ops.h>
  10498. +#include <linux/interrupt.h>
  10499. +#include <linux/irqdomain.h>
  10500. +#include <linux/of.h>
  10501. +
  10502. +#include <asm/mach/irq.h>
  10503. +#include <mach/hardware.h>
  10504. +#include "armctrl.h"
  10505. +
  10506. +/* For support of kernels >= 3.0 assume only one VIC for now*/
  10507. +static unsigned int remap_irqs[(INTERRUPT_ARASANSDIO + 1) - INTERRUPT_JPEG] = {
  10508. + INTERRUPT_VC_JPEG,
  10509. + INTERRUPT_VC_USB,
  10510. + INTERRUPT_VC_3D,
  10511. + INTERRUPT_VC_DMA2,
  10512. + INTERRUPT_VC_DMA3,
  10513. + INTERRUPT_VC_I2C,
  10514. + INTERRUPT_VC_SPI,
  10515. + INTERRUPT_VC_I2SPCM,
  10516. + INTERRUPT_VC_SDIO,
  10517. + INTERRUPT_VC_UART,
  10518. + INTERRUPT_VC_ARASANSDIO
  10519. +};
  10520. +
  10521. +static void armctrl_mask_irq(struct irq_data *d)
  10522. +{
  10523. + static const unsigned int disables[4] = {
  10524. + ARM_IRQ_DIBL1,
  10525. + ARM_IRQ_DIBL2,
  10526. + ARM_IRQ_DIBL3,
  10527. + 0
  10528. + };
  10529. +
  10530. + if (d->irq >= FIQ_START) {
  10531. + writel(0, __io_address(ARM_IRQ_FAST));
  10532. + } else {
  10533. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq);
  10534. + writel(1 << (data & 0x1f), __io_address(disables[(data >> 5) & 0x3]));
  10535. + }
  10536. +}
  10537. +
  10538. +static void armctrl_unmask_irq(struct irq_data *d)
  10539. +{
  10540. + static const unsigned int enables[4] = {
  10541. + ARM_IRQ_ENBL1,
  10542. + ARM_IRQ_ENBL2,
  10543. + ARM_IRQ_ENBL3,
  10544. + 0
  10545. + };
  10546. +
  10547. + if (d->irq >= FIQ_START) {
  10548. + unsigned int data =
  10549. + (unsigned int)irq_get_chip_data(d->irq) - FIQ_START;
  10550. + writel(0x80 | data, __io_address(ARM_IRQ_FAST));
  10551. + } else {
  10552. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq);
  10553. + writel(1 << (data & 0x1f), __io_address(enables[(data >> 5) & 0x3]));
  10554. + }
  10555. +}
  10556. +
  10557. +#ifdef CONFIG_OF
  10558. +
  10559. +#define NR_IRQS_BANK0 21
  10560. +#define NR_BANKS 3
  10561. +#define IRQS_PER_BANK 32
  10562. +
  10563. +/* from drivers/irqchip/irq-bcm2835.c */
  10564. +static int armctrl_xlate(struct irq_domain *d, struct device_node *ctrlr,
  10565. + const u32 *intspec, unsigned int intsize,
  10566. + unsigned long *out_hwirq, unsigned int *out_type)
  10567. +{
  10568. + if (WARN_ON(intsize != 2))
  10569. + return -EINVAL;
  10570. +
  10571. + if (WARN_ON(intspec[0] >= NR_BANKS))
  10572. + return -EINVAL;
  10573. +
  10574. + if (WARN_ON(intspec[1] >= IRQS_PER_BANK))
  10575. + return -EINVAL;
  10576. +
  10577. + if (WARN_ON(intspec[0] == 0 && intspec[1] >= NR_IRQS_BANK0))
  10578. + return -EINVAL;
  10579. +
  10580. + if (intspec[0] == 0)
  10581. + *out_hwirq = ARM_IRQ0_BASE + intspec[1];
  10582. + else if (intspec[0] == 1)
  10583. + *out_hwirq = ARM_IRQ1_BASE + intspec[1];
  10584. + else
  10585. + *out_hwirq = ARM_IRQ2_BASE + intspec[1];
  10586. +
  10587. + /* reverse remap_irqs[] */
  10588. + switch (*out_hwirq) {
  10589. + case INTERRUPT_VC_JPEG:
  10590. + *out_hwirq = INTERRUPT_JPEG;
  10591. + break;
  10592. + case INTERRUPT_VC_USB:
  10593. + *out_hwirq = INTERRUPT_USB;
  10594. + break;
  10595. + case INTERRUPT_VC_3D:
  10596. + *out_hwirq = INTERRUPT_3D;
  10597. + break;
  10598. + case INTERRUPT_VC_DMA2:
  10599. + *out_hwirq = INTERRUPT_DMA2;
  10600. + break;
  10601. + case INTERRUPT_VC_DMA3:
  10602. + *out_hwirq = INTERRUPT_DMA3;
  10603. + break;
  10604. + case INTERRUPT_VC_I2C:
  10605. + *out_hwirq = INTERRUPT_I2C;
  10606. + break;
  10607. + case INTERRUPT_VC_SPI:
  10608. + *out_hwirq = INTERRUPT_SPI;
  10609. + break;
  10610. + case INTERRUPT_VC_I2SPCM:
  10611. + *out_hwirq = INTERRUPT_I2SPCM;
  10612. + break;
  10613. + case INTERRUPT_VC_SDIO:
  10614. + *out_hwirq = INTERRUPT_SDIO;
  10615. + break;
  10616. + case INTERRUPT_VC_UART:
  10617. + *out_hwirq = INTERRUPT_UART;
  10618. + break;
  10619. + case INTERRUPT_VC_ARASANSDIO:
  10620. + *out_hwirq = INTERRUPT_ARASANSDIO;
  10621. + break;
  10622. + }
  10623. +
  10624. + *out_type = IRQ_TYPE_NONE;
  10625. + return 0;
  10626. +}
  10627. +
  10628. +static struct irq_domain_ops armctrl_ops = {
  10629. + .xlate = armctrl_xlate
  10630. +};
  10631. +
  10632. +void __init armctrl_dt_init(void)
  10633. +{
  10634. + struct device_node *np;
  10635. + struct irq_domain *domain;
  10636. +
  10637. + np = of_find_compatible_node(NULL, NULL, "brcm,bcm2708-armctrl-ic");
  10638. + if (!np)
  10639. + return;
  10640. +
  10641. + domain = irq_domain_add_legacy(np, BCM2708_ALLOC_IRQS,
  10642. + IRQ_ARMCTRL_START, 0,
  10643. + &armctrl_ops, NULL);
  10644. + WARN_ON(!domain);
  10645. +}
  10646. +#else
  10647. +void __init armctrl_dt_init(void) { }
  10648. +#endif /* CONFIG_OF */
  10649. +
  10650. +#if defined(CONFIG_PM)
  10651. +
  10652. +/* for kernels 3.xx use the new syscore_ops apis but for older kernels use the sys dev class */
  10653. +
  10654. +/* Static defines
  10655. + * struct armctrl_device - VIC PM device (< 3.xx)
  10656. + * @sysdev: The system device which is registered. (< 3.xx)
  10657. + * @irq: The IRQ number for the base of the VIC.
  10658. + * @base: The register base for the VIC.
  10659. + * @resume_sources: A bitmask of interrupts for resume.
  10660. + * @resume_irqs: The IRQs enabled for resume.
  10661. + * @int_select: Save for VIC_INT_SELECT.
  10662. + * @int_enable: Save for VIC_INT_ENABLE.
  10663. + * @soft_int: Save for VIC_INT_SOFT.
  10664. + * @protect: Save for VIC_PROTECT.
  10665. + */
  10666. +struct armctrl_info {
  10667. + void __iomem *base;
  10668. + int irq;
  10669. + u32 resume_sources;
  10670. + u32 resume_irqs;
  10671. + u32 int_select;
  10672. + u32 int_enable;
  10673. + u32 soft_int;
  10674. + u32 protect;
  10675. +} armctrl;
  10676. +
  10677. +static int armctrl_suspend(void)
  10678. +{
  10679. + return 0;
  10680. +}
  10681. +
  10682. +static void armctrl_resume(void)
  10683. +{
  10684. + return;
  10685. +}
  10686. +
  10687. +/**
  10688. + * armctrl_pm_register - Register a VIC for later power management control
  10689. + * @base: The base address of the VIC.
  10690. + * @irq: The base IRQ for the VIC.
  10691. + * @resume_sources: bitmask of interrupts allowed for resume sources.
  10692. + *
  10693. + * For older kernels (< 3.xx) do -
  10694. + * Register the VIC with the system device tree so that it can be notified
  10695. + * of suspend and resume requests and ensure that the correct actions are
  10696. + * taken to re-instate the settings on resume.
  10697. + */
  10698. +static void __init armctrl_pm_register(void __iomem * base, unsigned int irq,
  10699. + u32 resume_sources)
  10700. +{
  10701. + armctrl.base = base;
  10702. + armctrl.resume_sources = resume_sources;
  10703. + armctrl.irq = irq;
  10704. +}
  10705. +
  10706. +static int armctrl_set_wake(struct irq_data *d, unsigned int on)
  10707. +{
  10708. + unsigned int off = d->irq & 31;
  10709. + u32 bit = 1 << off;
  10710. +
  10711. + if (!(bit & armctrl.resume_sources))
  10712. + return -EINVAL;
  10713. +
  10714. + if (on)
  10715. + armctrl.resume_irqs |= bit;
  10716. + else
  10717. + armctrl.resume_irqs &= ~bit;
  10718. +
  10719. + return 0;
  10720. +}
  10721. +
  10722. +#else
  10723. +static inline void armctrl_pm_register(void __iomem * base, unsigned int irq,
  10724. + u32 arg1)
  10725. +{
  10726. +}
  10727. +
  10728. +#define armctrl_suspend NULL
  10729. +#define armctrl_resume NULL
  10730. +#define armctrl_set_wake NULL
  10731. +#endif /* CONFIG_PM */
  10732. +
  10733. +static struct syscore_ops armctrl_syscore_ops = {
  10734. + .suspend = armctrl_suspend,
  10735. + .resume = armctrl_resume,
  10736. +};
  10737. +
  10738. +/**
  10739. + * armctrl_syscore_init - initicall to register VIC pm functions
  10740. + *
  10741. + * This is called via late_initcall() to register
  10742. + * the resources for the VICs due to the early
  10743. + * nature of the VIC's registration.
  10744. +*/
  10745. +static int __init armctrl_syscore_init(void)
  10746. +{
  10747. + register_syscore_ops(&armctrl_syscore_ops);
  10748. + return 0;
  10749. +}
  10750. +
  10751. +late_initcall(armctrl_syscore_init);
  10752. +
  10753. +static struct irq_chip armctrl_chip = {
  10754. + .name = "ARMCTRL",
  10755. + .irq_ack = NULL,
  10756. + .irq_mask = armctrl_mask_irq,
  10757. + .irq_unmask = armctrl_unmask_irq,
  10758. + .irq_set_wake = armctrl_set_wake,
  10759. +};
  10760. +
  10761. +/**
  10762. + * armctrl_init - initialise a vectored interrupt controller
  10763. + * @base: iomem base address
  10764. + * @irq_start: starting interrupt number, must be muliple of 32
  10765. + * @armctrl_sources: bitmask of interrupt sources to allow
  10766. + * @resume_sources: bitmask of interrupt sources to allow for resume
  10767. + */
  10768. +int __init armctrl_init(void __iomem * base, unsigned int irq_start,
  10769. + u32 armctrl_sources, u32 resume_sources)
  10770. +{
  10771. + unsigned int irq;
  10772. +
  10773. + for (irq = 0; irq < BCM2708_ALLOC_IRQS; irq++) {
  10774. + unsigned int data = irq;
  10775. + if (irq >= INTERRUPT_JPEG && irq <= INTERRUPT_ARASANSDIO)
  10776. + data = remap_irqs[irq - INTERRUPT_JPEG];
  10777. +
  10778. + irq_set_chip(irq, &armctrl_chip);
  10779. + irq_set_chip_data(irq, (void *)data);
  10780. + irq_set_handler(irq, handle_level_irq);
  10781. + set_irq_flags(irq, IRQF_VALID | IRQF_PROBE);
  10782. + }
  10783. +
  10784. + armctrl_pm_register(base, irq_start, resume_sources);
  10785. + init_FIQ(FIQ_START);
  10786. + armctrl_dt_init();
  10787. + return 0;
  10788. +}
  10789. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/armctrl.h linux-rpi/arch/arm/mach-bcm2708/armctrl.h
  10790. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/armctrl.h 1970-01-01 01:00:00.000000000 +0100
  10791. +++ linux-rpi/arch/arm/mach-bcm2708/armctrl.h 2015-11-29 09:42:34.791439401 +0100
  10792. @@ -0,0 +1,27 @@
  10793. +/*
  10794. + * linux/arch/arm/mach-bcm2708/armctrl.h
  10795. + *
  10796. + * Copyright (C) 2010 Broadcom
  10797. + *
  10798. + * This program is free software; you can redistribute it and/or modify
  10799. + * it under the terms of the GNU General Public License as published by
  10800. + * the Free Software Foundation; either version 2 of the License, or
  10801. + * (at your option) any later version.
  10802. + *
  10803. + * This program is distributed in the hope that it will be useful,
  10804. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  10805. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  10806. + * GNU General Public License for more details.
  10807. + *
  10808. + * You should have received a copy of the GNU General Public License
  10809. + * along with this program; if not, write to the Free Software
  10810. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  10811. + */
  10812. +
  10813. +#ifndef __BCM2708_ARMCTRL_H
  10814. +#define __BCM2708_ARMCTRL_H
  10815. +
  10816. +extern int __init armctrl_init(void __iomem * base, unsigned int irq_start,
  10817. + u32 armctrl_sources, u32 resume_sources);
  10818. +
  10819. +#endif
  10820. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708.c linux-rpi/arch/arm/mach-bcm2708/bcm2708.c
  10821. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708.c 1970-01-01 01:00:00.000000000 +0100
  10822. +++ linux-rpi/arch/arm/mach-bcm2708/bcm2708.c 2015-11-29 09:42:34.791439401 +0100
  10823. @@ -0,0 +1,1162 @@
  10824. +/*
  10825. + * linux/arch/arm/mach-bcm2708/bcm2708.c
  10826. + *
  10827. + * Copyright (C) 2010 Broadcom
  10828. + *
  10829. + * This program is free software; you can redistribute it and/or modify
  10830. + * it under the terms of the GNU General Public License as published by
  10831. + * the Free Software Foundation; either version 2 of the License, or
  10832. + * (at your option) any later version.
  10833. + *
  10834. + * This program is distributed in the hope that it will be useful,
  10835. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  10836. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  10837. + * GNU General Public License for more details.
  10838. + *
  10839. + * You should have received a copy of the GNU General Public License
  10840. + * along with this program; if not, write to the Free Software
  10841. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  10842. + */
  10843. +
  10844. +#include <linux/init.h>
  10845. +#include <linux/device.h>
  10846. +#include <linux/dma-mapping.h>
  10847. +#include <linux/serial_8250.h>
  10848. +#include <linux/platform_device.h>
  10849. +#include <linux/syscore_ops.h>
  10850. +#include <linux/interrupt.h>
  10851. +#include <linux/amba/bus.h>
  10852. +#include <linux/amba/clcd.h>
  10853. +#include <linux/clk-provider.h>
  10854. +#include <linux/clkdev.h>
  10855. +#include <linux/clockchips.h>
  10856. +#include <linux/cnt32_to_63.h>
  10857. +#include <linux/io.h>
  10858. +#include <linux/module.h>
  10859. +#include <linux/of_platform.h>
  10860. +#include <linux/spi/spi.h>
  10861. +#include <linux/gpio/machine.h>
  10862. +#include <linux/w1-gpio.h>
  10863. +#include <linux/pps-gpio.h>
  10864. +
  10865. +#include <linux/version.h>
  10866. +#include <linux/clkdev.h>
  10867. +#include <asm/system_info.h>
  10868. +#include <mach/hardware.h>
  10869. +#include <asm/irq.h>
  10870. +#include <linux/leds.h>
  10871. +#include <asm/mach-types.h>
  10872. +#include <linux/sched_clock.h>
  10873. +
  10874. +#include <asm/mach/arch.h>
  10875. +#include <asm/mach/flash.h>
  10876. +#include <asm/mach/irq.h>
  10877. +#include <asm/mach/time.h>
  10878. +#include <asm/mach/map.h>
  10879. +
  10880. +#include <mach/timex.h>
  10881. +#include <mach/system.h>
  10882. +
  10883. +#include <linux/delay.h>
  10884. +
  10885. +#include "bcm2708.h"
  10886. +#include "armctrl.h"
  10887. +
  10888. +#ifdef CONFIG_BCM_VC_CMA
  10889. +#include <linux/broadcom/vc_cma.h>
  10890. +#endif
  10891. +
  10892. +
  10893. +/* Effectively we have an IOMMU (ARM<->VideoCore map) that is set up to
  10894. + * give us IO access only to 64Mbytes of physical memory (26 bits). We could
  10895. + * represent this window by setting our dmamasks to 26 bits but, in fact
  10896. + * we're not going to use addresses outside this range (they're not in real
  10897. + * memory) so we don't bother.
  10898. + *
  10899. + * In the future we might include code to use this IOMMU to remap other
  10900. + * physical addresses onto VideoCore memory then the use of 32-bits would be
  10901. + * more legitimate.
  10902. + */
  10903. +#define DMA_MASK_BITS_COMMON 32
  10904. +
  10905. +// use GPIO 4 for the one-wire GPIO pin, if enabled
  10906. +#define W1_GPIO 4
  10907. +// ensure one-wire GPIO pullup is disabled by default
  10908. +#define W1_PULLUP -1
  10909. +
  10910. +/* command line parameters */
  10911. +static unsigned boardrev, serial;
  10912. +static unsigned uart_clock = UART0_CLOCK;
  10913. +static unsigned disk_led_gpio = 16;
  10914. +static unsigned disk_led_active_low = 1;
  10915. +static unsigned reboot_part = 0;
  10916. +static unsigned w1_gpio_pin = W1_GPIO;
  10917. +static unsigned w1_gpio_pullup = W1_PULLUP;
  10918. +static bool vc_i2c_override = false;
  10919. +static int pps_gpio_pin = -1;
  10920. +
  10921. +static unsigned use_dt = 0;
  10922. +
  10923. +static void __init bcm2708_init_led(void);
  10924. +
  10925. +void __init bcm2708_init_irq(void)
  10926. +{
  10927. + armctrl_init(__io_address(ARMCTRL_IC_BASE), 0, 0, 0);
  10928. +}
  10929. +
  10930. +static struct map_desc bcm2708_io_desc[] __initdata = {
  10931. + {
  10932. + .virtual = IO_ADDRESS(ARMCTRL_BASE),
  10933. + .pfn = __phys_to_pfn(ARMCTRL_BASE),
  10934. + .length = SZ_4K,
  10935. + .type = MT_DEVICE},
  10936. + {
  10937. + .virtual = IO_ADDRESS(UART0_BASE),
  10938. + .pfn = __phys_to_pfn(UART0_BASE),
  10939. + .length = SZ_4K,
  10940. + .type = MT_DEVICE},
  10941. + {
  10942. + .virtual = IO_ADDRESS(UART1_BASE),
  10943. + .pfn = __phys_to_pfn(UART1_BASE),
  10944. + .length = SZ_4K,
  10945. + .type = MT_DEVICE},
  10946. + {
  10947. + .virtual = IO_ADDRESS(DMA_BASE),
  10948. + .pfn = __phys_to_pfn(DMA_BASE),
  10949. + .length = SZ_4K,
  10950. + .type = MT_DEVICE},
  10951. + {
  10952. + .virtual = IO_ADDRESS(MCORE_BASE),
  10953. + .pfn = __phys_to_pfn(MCORE_BASE),
  10954. + .length = SZ_4K,
  10955. + .type = MT_DEVICE},
  10956. + {
  10957. + .virtual = IO_ADDRESS(ST_BASE),
  10958. + .pfn = __phys_to_pfn(ST_BASE),
  10959. + .length = SZ_4K,
  10960. + .type = MT_DEVICE},
  10961. + {
  10962. + .virtual = IO_ADDRESS(USB_BASE),
  10963. + .pfn = __phys_to_pfn(USB_BASE),
  10964. + .length = SZ_128K,
  10965. + .type = MT_DEVICE},
  10966. + {
  10967. + .virtual = IO_ADDRESS(PM_BASE),
  10968. + .pfn = __phys_to_pfn(PM_BASE),
  10969. + .length = SZ_4K,
  10970. + .type = MT_DEVICE},
  10971. + {
  10972. + .virtual = IO_ADDRESS(GPIO_BASE),
  10973. + .pfn = __phys_to_pfn(GPIO_BASE),
  10974. + .length = SZ_4K,
  10975. + .type = MT_DEVICE}
  10976. +};
  10977. +
  10978. +void __init bcm2708_map_io(void)
  10979. +{
  10980. + iotable_init(bcm2708_io_desc, ARRAY_SIZE(bcm2708_io_desc));
  10981. +}
  10982. +
  10983. +/* The STC is a free running counter that increments at the rate of 1MHz */
  10984. +#define STC_FREQ_HZ 1000000
  10985. +
  10986. +static inline uint32_t timer_read(void)
  10987. +{
  10988. + /* STC: a free running counter that increments at the rate of 1MHz */
  10989. + return readl(__io_address(ST_BASE + 0x04));
  10990. +}
  10991. +
  10992. +static unsigned long bcm2708_read_current_timer(void)
  10993. +{
  10994. + return timer_read();
  10995. +}
  10996. +
  10997. +static u64 notrace bcm2708_read_sched_clock(void)
  10998. +{
  10999. + return timer_read();
  11000. +}
  11001. +
  11002. +static cycle_t clksrc_read(struct clocksource *cs)
  11003. +{
  11004. + return timer_read();
  11005. +}
  11006. +
  11007. +static struct clocksource clocksource_stc = {
  11008. + .name = "stc",
  11009. + .rating = 300,
  11010. + .read = clksrc_read,
  11011. + .mask = CLOCKSOURCE_MASK(32),
  11012. + .flags = CLOCK_SOURCE_IS_CONTINUOUS,
  11013. +};
  11014. +
  11015. +unsigned long frc_clock_ticks32(void)
  11016. +{
  11017. + return timer_read();
  11018. +}
  11019. +
  11020. +static void __init bcm2708_clocksource_init(void)
  11021. +{
  11022. + if (clocksource_register_hz(&clocksource_stc, STC_FREQ_HZ)) {
  11023. + printk(KERN_ERR "timer: failed to initialize clock "
  11024. + "source %s\n", clocksource_stc.name);
  11025. + }
  11026. +}
  11027. +
  11028. +struct clk __init *bcm2708_clk_register(const char *name, unsigned long fixed_rate)
  11029. +{
  11030. + struct clk *clk;
  11031. +
  11032. + clk = clk_register_fixed_rate(NULL, name, NULL, CLK_IS_ROOT,
  11033. + fixed_rate);
  11034. + if (IS_ERR(clk))
  11035. + pr_err("%s not registered\n", name);
  11036. +
  11037. + return clk;
  11038. +}
  11039. +
  11040. +void __init bcm2708_register_clkdev(struct clk *clk, const char *name)
  11041. +{
  11042. + int ret;
  11043. +
  11044. + ret = clk_register_clkdev(clk, NULL, name);
  11045. + if (ret)
  11046. + pr_err("%s alias not registered\n", name);
  11047. +}
  11048. +
  11049. +void __init bcm2708_init_clocks(void)
  11050. +{
  11051. + struct clk *clk;
  11052. +
  11053. + clk = bcm2708_clk_register("uart0_clk", uart_clock);
  11054. + bcm2708_register_clkdev(clk, "dev:f1");
  11055. +
  11056. + clk = bcm2708_clk_register("sdhost_clk", 250000000);
  11057. + bcm2708_register_clkdev(clk, "mmc-bcm2835.0");
  11058. + bcm2708_register_clkdev(clk, "bcm2708_spi.0");
  11059. + bcm2708_register_clkdev(clk, "bcm2708_i2c.0");
  11060. + bcm2708_register_clkdev(clk, "bcm2708_i2c.1");
  11061. +}
  11062. +
  11063. +#define UART0_IRQ { IRQ_UART, 0 /*NO_IRQ*/ }
  11064. +#define UART0_DMA { 15, 14 }
  11065. +
  11066. +AMBA_DEVICE(uart0, "dev:f1", UART0, NULL);
  11067. +
  11068. +static struct amba_device *amba_devs[] __initdata = {
  11069. + &uart0_device,
  11070. +};
  11071. +
  11072. +static struct resource bcm2708_dmaengine_resources[] = {
  11073. + {
  11074. + .start = DMA_BASE,
  11075. + .end = DMA_BASE + SZ_4K - 1,
  11076. + .flags = IORESOURCE_MEM,
  11077. + }, {
  11078. + .start = IRQ_DMA0,
  11079. + .end = IRQ_DMA0,
  11080. + .flags = IORESOURCE_IRQ,
  11081. + }, {
  11082. + .start = IRQ_DMA1,
  11083. + .end = IRQ_DMA1,
  11084. + .flags = IORESOURCE_IRQ,
  11085. + }, {
  11086. + .start = IRQ_DMA2,
  11087. + .end = IRQ_DMA2,
  11088. + .flags = IORESOURCE_IRQ,
  11089. + }, {
  11090. + .start = IRQ_DMA3,
  11091. + .end = IRQ_DMA3,
  11092. + .flags = IORESOURCE_IRQ,
  11093. + }, {
  11094. + .start = IRQ_DMA4,
  11095. + .end = IRQ_DMA4,
  11096. + .flags = IORESOURCE_IRQ,
  11097. + }, {
  11098. + .start = IRQ_DMA5,
  11099. + .end = IRQ_DMA5,
  11100. + .flags = IORESOURCE_IRQ,
  11101. + }, {
  11102. + .start = IRQ_DMA6,
  11103. + .end = IRQ_DMA6,
  11104. + .flags = IORESOURCE_IRQ,
  11105. + }, {
  11106. + .start = IRQ_DMA7,
  11107. + .end = IRQ_DMA7,
  11108. + .flags = IORESOURCE_IRQ,
  11109. + }, {
  11110. + .start = IRQ_DMA8,
  11111. + .end = IRQ_DMA8,
  11112. + .flags = IORESOURCE_IRQ,
  11113. + }, {
  11114. + .start = IRQ_DMA9,
  11115. + .end = IRQ_DMA9,
  11116. + .flags = IORESOURCE_IRQ,
  11117. + }, {
  11118. + .start = IRQ_DMA10,
  11119. + .end = IRQ_DMA10,
  11120. + .flags = IORESOURCE_IRQ,
  11121. + }, {
  11122. + .start = IRQ_DMA11,
  11123. + .end = IRQ_DMA11,
  11124. + .flags = IORESOURCE_IRQ,
  11125. + }, {
  11126. + .start = IRQ_DMA12,
  11127. + .end = IRQ_DMA12,
  11128. + .flags = IORESOURCE_IRQ,
  11129. + }
  11130. +};
  11131. +
  11132. +static struct platform_device bcm2708_dmaengine_device = {
  11133. + .name = "bcm2708-dmaengine",
  11134. + .id = -1,
  11135. + .resource = bcm2708_dmaengine_resources,
  11136. + .num_resources = ARRAY_SIZE(bcm2708_dmaengine_resources),
  11137. +};
  11138. +
  11139. +#if defined(CONFIG_W1_MASTER_GPIO) || defined(CONFIG_W1_MASTER_GPIO_MODULE)
  11140. +static struct w1_gpio_platform_data w1_gpio_pdata = {
  11141. + .pin = W1_GPIO,
  11142. + .ext_pullup_enable_pin = W1_PULLUP,
  11143. + .is_open_drain = 0,
  11144. +};
  11145. +
  11146. +static struct platform_device w1_device = {
  11147. + .name = "w1-gpio",
  11148. + .id = -1,
  11149. + .dev.platform_data = &w1_gpio_pdata,
  11150. +};
  11151. +#endif
  11152. +
  11153. +static struct pps_gpio_platform_data pps_gpio_info = {
  11154. + .assert_falling_edge = false,
  11155. + .capture_clear = false,
  11156. + .gpio_pin = -1,
  11157. + .gpio_label = "PPS",
  11158. +};
  11159. +
  11160. +static struct platform_device pps_gpio_device = {
  11161. + .name = "pps-gpio",
  11162. + .id = PLATFORM_DEVID_NONE,
  11163. + .dev.platform_data = &pps_gpio_info,
  11164. +};
  11165. +
  11166. +static u64 fb_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11167. +
  11168. +static struct platform_device bcm2708_fb_device = {
  11169. + .name = "bcm2708_fb",
  11170. + .id = -1, /* only one bcm2708_fb */
  11171. + .resource = NULL,
  11172. + .num_resources = 0,
  11173. + .dev = {
  11174. + .dma_mask = &fb_dmamask,
  11175. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11176. + },
  11177. +};
  11178. +
  11179. +static struct resource bcm2708_usb_resources[] = {
  11180. + [0] = {
  11181. + .start = USB_BASE,
  11182. + .end = USB_BASE + SZ_128K - 1,
  11183. + .flags = IORESOURCE_MEM,
  11184. + },
  11185. + [1] = {
  11186. + .start = MPHI_BASE,
  11187. + .end = MPHI_BASE + SZ_4K - 1,
  11188. + .flags = IORESOURCE_MEM,
  11189. + },
  11190. + [2] = {
  11191. + .start = IRQ_HOSTPORT,
  11192. + .end = IRQ_HOSTPORT,
  11193. + .flags = IORESOURCE_IRQ,
  11194. + },
  11195. + [3] = {
  11196. + .start = IRQ_USB,
  11197. + .end = IRQ_USB,
  11198. + .flags = IORESOURCE_IRQ,
  11199. + },
  11200. +};
  11201. +
  11202. +
  11203. +static u64 usb_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11204. +
  11205. +static struct platform_device bcm2708_usb_device = {
  11206. + .name = "bcm2708_usb",
  11207. + .id = -1, /* only one bcm2708_usb */
  11208. + .resource = bcm2708_usb_resources,
  11209. + .num_resources = ARRAY_SIZE(bcm2708_usb_resources),
  11210. + .dev = {
  11211. + .dma_mask = &usb_dmamask,
  11212. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11213. + },
  11214. +};
  11215. +
  11216. +static struct resource bcm2708_vcio_resources[] = {
  11217. + {
  11218. + .start = ARMCTRL_0_MAIL0_BASE,
  11219. + .end = ARMCTRL_0_MAIL0_BASE + SZ_64 - 1,
  11220. + .flags = IORESOURCE_MEM,
  11221. + }, {
  11222. + .start = IRQ_ARM_MAILBOX,
  11223. + .end = IRQ_ARM_MAILBOX,
  11224. + .flags = IORESOURCE_IRQ,
  11225. + },
  11226. +};
  11227. +
  11228. +static u64 vcio_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11229. +
  11230. +static struct platform_device bcm2708_vcio_device = {
  11231. + .name = "bcm2835-mbox",
  11232. + .id = -1, /* only one VideoCore I/O area */
  11233. + .resource = bcm2708_vcio_resources,
  11234. + .num_resources = ARRAY_SIZE(bcm2708_vcio_resources),
  11235. + .dev = {
  11236. + .dma_mask = &vcio_dmamask,
  11237. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11238. + },
  11239. +};
  11240. +
  11241. +static u64 rpifw_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11242. +
  11243. +static struct platform_device bcm2708_rpifw_device = {
  11244. + .name = "raspberrypi-firmware",
  11245. + .dev = {
  11246. + .dma_mask = &rpifw_dmamask,
  11247. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11248. + },
  11249. +};
  11250. +
  11251. +static struct resource bcm2708_vchiq_resources[] = {
  11252. + {
  11253. + .start = ARMCTRL_0_BELL_BASE,
  11254. + .end = ARMCTRL_0_BELL_BASE + 16,
  11255. + .flags = IORESOURCE_MEM,
  11256. + }, {
  11257. + .start = IRQ_ARM_DOORBELL_0,
  11258. + .end = IRQ_ARM_DOORBELL_0,
  11259. + .flags = IORESOURCE_IRQ,
  11260. + },
  11261. +};
  11262. +
  11263. +static u64 vchiq_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11264. +
  11265. +static struct platform_device bcm2708_vchiq_device = {
  11266. + .name = "bcm2835_vchiq",
  11267. + .id = -1,
  11268. + .resource = bcm2708_vchiq_resources,
  11269. + .num_resources = ARRAY_SIZE(bcm2708_vchiq_resources),
  11270. + .dev = {
  11271. + .dma_mask = &vchiq_dmamask,
  11272. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11273. + },
  11274. +};
  11275. +
  11276. +#ifdef CONFIG_BCM2708_GPIO
  11277. +#define BCM_GPIO_DRIVER_NAME "bcm2708_gpio"
  11278. +
  11279. +static struct resource bcm2708_gpio_resources[] = {
  11280. + [0] = { /* general purpose I/O */
  11281. + .start = GPIO_BASE,
  11282. + .end = GPIO_BASE + SZ_4K - 1,
  11283. + .flags = IORESOURCE_MEM,
  11284. + },
  11285. +};
  11286. +
  11287. +static u64 gpio_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11288. +
  11289. +static struct platform_device bcm2708_gpio_device = {
  11290. + .name = BCM_GPIO_DRIVER_NAME,
  11291. + .id = -1, /* only one VideoCore I/O area */
  11292. + .resource = bcm2708_gpio_resources,
  11293. + .num_resources = ARRAY_SIZE(bcm2708_gpio_resources),
  11294. + .dev = {
  11295. + .dma_mask = &gpio_dmamask,
  11296. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  11297. + },
  11298. +};
  11299. +#endif
  11300. +
  11301. +#ifdef CONFIG_MMC_BCM2835 /* Arasan emmc SD (new) */
  11302. +static struct resource bcm2835_emmc_resources[] = {
  11303. + [0] = {
  11304. + .start = EMMC_BASE,
  11305. + .end = EMMC_BASE + SZ_256 - 1, /* we only need this area */
  11306. + /* the memory map actually makes SZ_4K available */
  11307. + .flags = IORESOURCE_MEM,
  11308. + },
  11309. + [1] = {
  11310. + .start = IRQ_ARASANSDIO,
  11311. + .end = IRQ_ARASANSDIO,
  11312. + .flags = IORESOURCE_IRQ,
  11313. + },
  11314. +};
  11315. +
  11316. +static u64 bcm2835_emmc_dmamask = 0xffffffffUL;
  11317. +
  11318. +struct platform_device bcm2835_emmc_device = {
  11319. + .name = "mmc-bcm2835",
  11320. + .id = 0,
  11321. + .num_resources = ARRAY_SIZE(bcm2835_emmc_resources),
  11322. + .resource = bcm2835_emmc_resources,
  11323. + .dev = {
  11324. + .dma_mask = &bcm2835_emmc_dmamask,
  11325. + .coherent_dma_mask = 0xffffffffUL},
  11326. +};
  11327. +#endif /* CONFIG_MMC_BCM2835 */
  11328. +
  11329. +static struct platform_device bcm2708_alsa_devices[] = {
  11330. + [0] = {
  11331. + .name = "bcm2835_AUD0",
  11332. + .id = 0, /* first audio device */
  11333. + .resource = 0,
  11334. + .num_resources = 0,
  11335. + },
  11336. + [1] = {
  11337. + .name = "bcm2835_AUD1",
  11338. + .id = 1, /* second audio device */
  11339. + .resource = 0,
  11340. + .num_resources = 0,
  11341. + },
  11342. + [2] = {
  11343. + .name = "bcm2835_AUD2",
  11344. + .id = 2, /* third audio device */
  11345. + .resource = 0,
  11346. + .num_resources = 0,
  11347. + },
  11348. + [3] = {
  11349. + .name = "bcm2835_AUD3",
  11350. + .id = 3, /* forth audio device */
  11351. + .resource = 0,
  11352. + .num_resources = 0,
  11353. + },
  11354. + [4] = {
  11355. + .name = "bcm2835_AUD4",
  11356. + .id = 4, /* fifth audio device */
  11357. + .resource = 0,
  11358. + .num_resources = 0,
  11359. + },
  11360. + [5] = {
  11361. + .name = "bcm2835_AUD5",
  11362. + .id = 5, /* sixth audio device */
  11363. + .resource = 0,
  11364. + .num_resources = 0,
  11365. + },
  11366. + [6] = {
  11367. + .name = "bcm2835_AUD6",
  11368. + .id = 6, /* seventh audio device */
  11369. + .resource = 0,
  11370. + .num_resources = 0,
  11371. + },
  11372. + [7] = {
  11373. + .name = "bcm2835_AUD7",
  11374. + .id = 7, /* eighth audio device */
  11375. + .resource = 0,
  11376. + .num_resources = 0,
  11377. + },
  11378. +};
  11379. +
  11380. +static struct resource bcm2708_spi_resources[] = {
  11381. + {
  11382. + .start = SPI0_BASE,
  11383. + .end = SPI0_BASE + SZ_256 - 1,
  11384. + .flags = IORESOURCE_MEM,
  11385. + }, {
  11386. + .start = IRQ_SPI,
  11387. + .end = IRQ_SPI,
  11388. + .flags = IORESOURCE_IRQ,
  11389. + }
  11390. +};
  11391. +
  11392. +
  11393. +static u64 bcm2708_spi_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  11394. +static struct platform_device bcm2708_spi_device = {
  11395. + .name = "bcm2708_spi",
  11396. + .id = 0,
  11397. + .num_resources = ARRAY_SIZE(bcm2708_spi_resources),
  11398. + .resource = bcm2708_spi_resources,
  11399. + .dev = {
  11400. + .dma_mask = &bcm2708_spi_dmamask,
  11401. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON)},
  11402. +};
  11403. +
  11404. +#ifdef CONFIG_BCM2708_SPIDEV
  11405. +static struct spi_board_info bcm2708_spi_devices[] = {
  11406. +#ifdef CONFIG_SPI_SPIDEV
  11407. + {
  11408. + .modalias = "spidev",
  11409. + .max_speed_hz = 500000,
  11410. + .bus_num = 0,
  11411. + .chip_select = 0,
  11412. + .mode = SPI_MODE_0,
  11413. + }, {
  11414. + .modalias = "spidev",
  11415. + .max_speed_hz = 500000,
  11416. + .bus_num = 0,
  11417. + .chip_select = 1,
  11418. + .mode = SPI_MODE_0,
  11419. + }
  11420. +#endif
  11421. +};
  11422. +#endif
  11423. +
  11424. +static struct resource bcm2708_bsc0_resources[] = {
  11425. + {
  11426. + .start = BSC0_BASE,
  11427. + .end = BSC0_BASE + SZ_256 - 1,
  11428. + .flags = IORESOURCE_MEM,
  11429. + }, {
  11430. + .start = INTERRUPT_I2C,
  11431. + .end = INTERRUPT_I2C,
  11432. + .flags = IORESOURCE_IRQ,
  11433. + }
  11434. +};
  11435. +
  11436. +static struct platform_device bcm2708_bsc0_device = {
  11437. + .name = "bcm2708_i2c",
  11438. + .id = 0,
  11439. + .num_resources = ARRAY_SIZE(bcm2708_bsc0_resources),
  11440. + .resource = bcm2708_bsc0_resources,
  11441. +};
  11442. +
  11443. +
  11444. +static struct resource bcm2708_bsc1_resources[] = {
  11445. + {
  11446. + .start = BSC1_BASE,
  11447. + .end = BSC1_BASE + SZ_256 - 1,
  11448. + .flags = IORESOURCE_MEM,
  11449. + }, {
  11450. + .start = INTERRUPT_I2C,
  11451. + .end = INTERRUPT_I2C,
  11452. + .flags = IORESOURCE_IRQ,
  11453. + }
  11454. +};
  11455. +
  11456. +static struct platform_device bcm2708_bsc1_device = {
  11457. + .name = "bcm2708_i2c",
  11458. + .id = 1,
  11459. + .num_resources = ARRAY_SIZE(bcm2708_bsc1_resources),
  11460. + .resource = bcm2708_bsc1_resources,
  11461. +};
  11462. +
  11463. +static struct platform_device bcm2835_thermal_device = {
  11464. + .name = "bcm2835_thermal",
  11465. +};
  11466. +
  11467. +#if defined(CONFIG_SND_BCM2708_SOC_I2S) || defined(CONFIG_SND_BCM2708_SOC_I2S_MODULE)
  11468. +static struct resource bcm2708_i2s_resources[] = {
  11469. + {
  11470. + .start = I2S_BASE,
  11471. + .end = I2S_BASE + 0x20,
  11472. + .flags = IORESOURCE_MEM,
  11473. + },
  11474. + {
  11475. + .start = PCM_CLOCK_BASE,
  11476. + .end = PCM_CLOCK_BASE + 0x02,
  11477. + .flags = IORESOURCE_MEM,
  11478. + }
  11479. +};
  11480. +
  11481. +static struct platform_device bcm2708_i2s_device = {
  11482. + .name = "bcm2708-i2s",
  11483. + .id = 0,
  11484. + .num_resources = ARRAY_SIZE(bcm2708_i2s_resources),
  11485. + .resource = bcm2708_i2s_resources,
  11486. +};
  11487. +#endif
  11488. +
  11489. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC_MODULE)
  11490. +static struct platform_device snd_hifiberry_dac_device = {
  11491. + .name = "snd-hifiberry-dac",
  11492. + .id = 0,
  11493. + .num_resources = 0,
  11494. +};
  11495. +
  11496. +static struct platform_device snd_pcm5102a_codec_device = {
  11497. + .name = "pcm5102a-codec",
  11498. + .id = -1,
  11499. + .num_resources = 0,
  11500. +};
  11501. +#endif
  11502. +
  11503. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS_MODULE)
  11504. +static struct platform_device snd_rpi_hifiberry_dacplus_device = {
  11505. + .name = "snd-rpi-hifiberry-dacplus",
  11506. + .id = 0,
  11507. + .num_resources = 0,
  11508. +};
  11509. +
  11510. +static struct i2c_board_info __initdata snd_pcm512x_hbdacplus_i2c_devices[] = {
  11511. + {
  11512. + I2C_BOARD_INFO("pcm5122", 0x4d)
  11513. + },
  11514. +};
  11515. +#endif
  11516. +
  11517. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI_MODULE)
  11518. +static struct platform_device snd_hifiberry_digi_device = {
  11519. + .name = "snd-hifiberry-digi",
  11520. + .id = 0,
  11521. + .num_resources = 0,
  11522. +};
  11523. +
  11524. +static struct i2c_board_info __initdata snd_wm8804_i2c_devices[] = {
  11525. + {
  11526. + I2C_BOARD_INFO("wm8804", 0x3b)
  11527. + },
  11528. +};
  11529. +
  11530. +#endif
  11531. +
  11532. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP_MODULE)
  11533. +static struct platform_device snd_hifiberry_amp_device = {
  11534. + .name = "snd-hifiberry-amp",
  11535. + .id = 0,
  11536. + .num_resources = 0,
  11537. +};
  11538. +
  11539. +static struct i2c_board_info __initdata snd_tas5713_i2c_devices[] = {
  11540. + {
  11541. + I2C_BOARD_INFO("tas5713", 0x1b)
  11542. + },
  11543. +};
  11544. +#endif
  11545. +
  11546. +#if defined(CONFIG_SND_BCM2708_SOC_RPI_DAC) || defined(CONFIG_SND_BCM2708_SOC_RPI_DAC_MODULE)
  11547. +static struct platform_device snd_rpi_dac_device = {
  11548. + .name = "snd-rpi-dac",
  11549. + .id = 0,
  11550. + .num_resources = 0,
  11551. +};
  11552. +
  11553. +static struct platform_device snd_pcm1794a_codec_device = {
  11554. + .name = "pcm1794a-codec",
  11555. + .id = -1,
  11556. + .num_resources = 0,
  11557. +};
  11558. +#endif
  11559. +
  11560. +
  11561. +#if defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC) || defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC_MODULE)
  11562. +static struct platform_device snd_rpi_iqaudio_dac_device = {
  11563. + .name = "snd-rpi-iqaudio-dac",
  11564. + .id = 0,
  11565. + .num_resources = 0,
  11566. +};
  11567. +
  11568. +// Use the actual device name rather than generic driver name
  11569. +static struct i2c_board_info __initdata snd_pcm512x_i2c_devices[] = {
  11570. + {
  11571. + I2C_BOARD_INFO("pcm5122", 0x4c)
  11572. + },
  11573. +};
  11574. +#endif
  11575. +
  11576. +int __init bcm_register_device(struct platform_device *pdev)
  11577. +{
  11578. + int ret;
  11579. +
  11580. + ret = platform_device_register(pdev);
  11581. + if (ret)
  11582. + pr_debug("Unable to register platform device '%s': %d\n",
  11583. + pdev->name, ret);
  11584. +
  11585. + return ret;
  11586. +}
  11587. +
  11588. +/*
  11589. + * Use these macros for platform and i2c devices that are present in the
  11590. + * Device Tree. This way the devices are only added on non-DT systems.
  11591. + */
  11592. +#define bcm_register_device_dt(pdev) \
  11593. + if (!use_dt) bcm_register_device(pdev)
  11594. +
  11595. +#define i2c_register_board_info_dt(busnum, info, n) \
  11596. + if (!use_dt) i2c_register_board_info(busnum, info, n)
  11597. +
  11598. +int calc_rsts(int partition)
  11599. +{
  11600. + return PM_PASSWORD |
  11601. + ((partition & (1 << 0)) << 0) |
  11602. + ((partition & (1 << 1)) << 1) |
  11603. + ((partition & (1 << 2)) << 2) |
  11604. + ((partition & (1 << 3)) << 3) |
  11605. + ((partition & (1 << 4)) << 4) |
  11606. + ((partition & (1 << 5)) << 5);
  11607. +}
  11608. +
  11609. +static void bcm2708_restart(enum reboot_mode mode, const char *cmd)
  11610. +{
  11611. + extern char bcm2708_reboot_mode;
  11612. + uint32_t pm_rstc, pm_wdog;
  11613. + uint32_t timeout = 10;
  11614. + uint32_t pm_rsts = 0;
  11615. +
  11616. + if(bcm2708_reboot_mode == 'q')
  11617. + {
  11618. + // NOOBS < 1.3 booting with reboot=q
  11619. + pm_rsts = readl(__io_address(PM_RSTS));
  11620. + pm_rsts = PM_PASSWORD | pm_rsts | PM_RSTS_HADWRQ_SET;
  11621. + }
  11622. + else if(bcm2708_reboot_mode == 'p')
  11623. + {
  11624. + // NOOBS < 1.3 halting
  11625. + pm_rsts = readl(__io_address(PM_RSTS));
  11626. + pm_rsts = PM_PASSWORD | pm_rsts | PM_RSTS_HADWRH_SET;
  11627. + }
  11628. + else
  11629. + {
  11630. + pm_rsts = calc_rsts(reboot_part);
  11631. + }
  11632. +
  11633. + writel(pm_rsts, __io_address(PM_RSTS));
  11634. +
  11635. + /* Setup watchdog for reset */
  11636. + pm_rstc = readl(__io_address(PM_RSTC));
  11637. +
  11638. + pm_wdog = PM_PASSWORD | (timeout & PM_WDOG_TIME_SET); // watchdog timer = timer clock / 16; need password (31:16) + value (11:0)
  11639. + pm_rstc = PM_PASSWORD | (pm_rstc & PM_RSTC_WRCFG_CLR) | PM_RSTC_WRCFG_FULL_RESET;
  11640. +
  11641. + writel(pm_wdog, __io_address(PM_WDOG));
  11642. + writel(pm_rstc, __io_address(PM_RSTC));
  11643. +}
  11644. +
  11645. +/* We can't really power off, but if we do the normal reset scheme, and indicate to bootcode.bin not to reboot, then most of the chip will be powered off */
  11646. +static void bcm2708_power_off(void)
  11647. +{
  11648. + extern char bcm2708_reboot_mode;
  11649. + if(bcm2708_reboot_mode == 'q')
  11650. + {
  11651. + // NOOBS < v1.3
  11652. + bcm2708_restart('p', "");
  11653. + }
  11654. + else
  11655. + {
  11656. + /* partition 63 is special code for HALT the bootloader knows not to boot*/
  11657. + reboot_part = 63;
  11658. + /* continue with normal reset mechanism */
  11659. + bcm2708_restart(0, "");
  11660. + }
  11661. +}
  11662. +
  11663. +static void __init bcm2708_init_uart1(void)
  11664. +{
  11665. + struct device_node *np;
  11666. +
  11667. + np = of_find_compatible_node(NULL, NULL, "brcm,bcm2835-aux-uart");
  11668. + if (of_device_is_available(np)) {
  11669. + pr_info("bcm2708: Mini UART enabled\n");
  11670. + writel(1, __io_address(UART1_BASE + 0x4));
  11671. + }
  11672. +}
  11673. +
  11674. +#ifdef CONFIG_OF
  11675. +static void __init bcm2708_dt_init(void)
  11676. +{
  11677. + int ret;
  11678. +
  11679. + of_clk_init(NULL);
  11680. + ret = of_platform_populate(NULL, of_default_bus_match_table, NULL, NULL);
  11681. + if (ret) {
  11682. + pr_err("of_platform_populate failed: %d\n", ret);
  11683. + /* Proceed as if CONFIG_OF was not defined */
  11684. + } else {
  11685. + use_dt = 1;
  11686. + }
  11687. +}
  11688. +#else
  11689. +static void __init bcm2708_dt_init(void) { }
  11690. +#endif /* CONFIG_OF */
  11691. +
  11692. +void __init bcm2708_init(void)
  11693. +{
  11694. + int i;
  11695. +
  11696. +#if defined(CONFIG_BCM_VC_CMA)
  11697. + vc_cma_early_init();
  11698. +#endif
  11699. + printk("bcm2708.uart_clock = %d\n", uart_clock);
  11700. + pm_power_off = bcm2708_power_off;
  11701. +
  11702. + bcm2708_init_clocks();
  11703. + bcm2708_dt_init();
  11704. +
  11705. + bcm_register_device_dt(&bcm2708_dmaengine_device);
  11706. + bcm_register_device_dt(&bcm2708_vcio_device);
  11707. + bcm_register_device_dt(&bcm2708_rpifw_device);
  11708. + bcm_register_device_dt(&bcm2708_vchiq_device);
  11709. +#ifdef CONFIG_BCM2708_GPIO
  11710. + bcm_register_device_dt(&bcm2708_gpio_device);
  11711. +#endif
  11712. +
  11713. +#if defined(CONFIG_PPS_CLIENT_GPIO) || defined(CONFIG_PPS_CLIENT_GPIO_MODULE)
  11714. + if (!use_dt && (pps_gpio_pin >= 0)) {
  11715. + pr_info("bcm2708: GPIO %d setup as pps-gpio device\n", pps_gpio_pin);
  11716. + pps_gpio_info.gpio_pin = pps_gpio_pin;
  11717. + pps_gpio_device.id = pps_gpio_pin;
  11718. + bcm_register_device(&pps_gpio_device);
  11719. + }
  11720. +#endif
  11721. +
  11722. +#if defined(CONFIG_W1_MASTER_GPIO) || defined(CONFIG_W1_MASTER_GPIO_MODULE)
  11723. + w1_gpio_pdata.pin = w1_gpio_pin;
  11724. + w1_gpio_pdata.ext_pullup_enable_pin = w1_gpio_pullup;
  11725. + bcm_register_device_dt(&w1_device);
  11726. +#endif
  11727. + bcm_register_device_dt(&bcm2708_fb_device);
  11728. + bcm_register_device_dt(&bcm2708_usb_device);
  11729. +
  11730. +#ifdef CONFIG_MMC_BCM2835
  11731. + bcm_register_device_dt(&bcm2835_emmc_device);
  11732. +#endif
  11733. + bcm2708_init_led();
  11734. + bcm2708_init_uart1();
  11735. +
  11736. + /* Only create the platform devices for the ALSA driver in the
  11737. + absence of an enabled "audio" DT node */
  11738. + if (!use_dt ||
  11739. + !of_device_is_available(of_find_node_by_path("/audio"))) {
  11740. + for (i = 0; i < ARRAY_SIZE(bcm2708_alsa_devices); i++)
  11741. + bcm_register_device(&bcm2708_alsa_devices[i]);
  11742. + }
  11743. +
  11744. + bcm_register_device_dt(&bcm2708_spi_device);
  11745. +
  11746. + if (vc_i2c_override) {
  11747. + bcm_register_device_dt(&bcm2708_bsc0_device);
  11748. + bcm_register_device_dt(&bcm2708_bsc1_device);
  11749. + } else if ((boardrev & 0xffffff) == 0x2 || (boardrev & 0xffffff) == 0x3) {
  11750. + bcm_register_device_dt(&bcm2708_bsc0_device);
  11751. + } else {
  11752. + bcm_register_device_dt(&bcm2708_bsc1_device);
  11753. + }
  11754. +
  11755. + bcm_register_device_dt(&bcm2835_thermal_device);
  11756. +
  11757. +#if defined(CONFIG_SND_BCM2708_SOC_I2S) || defined(CONFIG_SND_BCM2708_SOC_I2S_MODULE)
  11758. + bcm_register_device_dt(&bcm2708_i2s_device);
  11759. +#endif
  11760. +
  11761. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC_MODULE)
  11762. + bcm_register_device_dt(&snd_hifiberry_dac_device);
  11763. + bcm_register_device_dt(&snd_pcm5102a_codec_device);
  11764. +#endif
  11765. +
  11766. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS_MODULE)
  11767. + bcm_register_device_dt(&snd_rpi_hifiberry_dacplus_device);
  11768. + i2c_register_board_info_dt(1, snd_pcm512x_hbdacplus_i2c_devices, ARRAY_SIZE(snd_pcm512x_hbdacplus_i2c_devices));
  11769. +#endif
  11770. +
  11771. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI_MODULE)
  11772. + bcm_register_device_dt(&snd_hifiberry_digi_device);
  11773. + i2c_register_board_info_dt(1, snd_wm8804_i2c_devices, ARRAY_SIZE(snd_wm8804_i2c_devices));
  11774. +#endif
  11775. +
  11776. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP_MODULE)
  11777. + bcm_register_device_dt(&snd_hifiberry_amp_device);
  11778. + i2c_register_board_info_dt(1, snd_tas5713_i2c_devices, ARRAY_SIZE(snd_tas5713_i2c_devices));
  11779. +#endif
  11780. +
  11781. +#if defined(CONFIG_SND_BCM2708_SOC_RPI_DAC) || defined(CONFIG_SND_BCM2708_SOC_RPI_DAC_MODULE)
  11782. + bcm_register_device_dt(&snd_rpi_dac_device);
  11783. + bcm_register_device_dt(&snd_pcm1794a_codec_device);
  11784. +#endif
  11785. +
  11786. +#if defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC) || defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC_MODULE)
  11787. + bcm_register_device_dt(&snd_rpi_iqaudio_dac_device);
  11788. + i2c_register_board_info_dt(1, snd_pcm512x_i2c_devices, ARRAY_SIZE(snd_pcm512x_i2c_devices));
  11789. +#endif
  11790. +
  11791. + if (!use_dt) {
  11792. + for (i = 0; i < ARRAY_SIZE(amba_devs); i++) {
  11793. + struct amba_device *d = amba_devs[i];
  11794. + amba_device_register(d, &iomem_resource);
  11795. + }
  11796. + }
  11797. + system_rev = boardrev;
  11798. + system_serial_low = serial;
  11799. +
  11800. +#ifdef CONFIG_BCM2708_SPIDEV
  11801. + if (!use_dt)
  11802. + spi_register_board_info(bcm2708_spi_devices,
  11803. + ARRAY_SIZE(bcm2708_spi_devices));
  11804. +#endif
  11805. +}
  11806. +
  11807. +static void timer_set_mode(enum clock_event_mode mode,
  11808. + struct clock_event_device *clk)
  11809. +{
  11810. + switch (mode) {
  11811. + case CLOCK_EVT_MODE_ONESHOT: /* Leave the timer disabled, .set_next_event will enable it */
  11812. + case CLOCK_EVT_MODE_SHUTDOWN:
  11813. + break;
  11814. + case CLOCK_EVT_MODE_PERIODIC:
  11815. +
  11816. + case CLOCK_EVT_MODE_UNUSED:
  11817. + case CLOCK_EVT_MODE_RESUME:
  11818. +
  11819. + default:
  11820. + printk(KERN_ERR "timer_set_mode: unhandled mode:%d\n",
  11821. + (int)mode);
  11822. + break;
  11823. + }
  11824. +
  11825. +}
  11826. +
  11827. +static int timer_set_next_event(unsigned long cycles,
  11828. + struct clock_event_device *unused)
  11829. +{
  11830. + unsigned long stc;
  11831. + do {
  11832. + stc = readl(__io_address(ST_BASE + 0x04));
  11833. + /* We could take a FIQ here, which may push ST above STC3 */
  11834. + writel(stc + cycles, __io_address(ST_BASE + 0x18));
  11835. + } while ((signed long) cycles >= 0 &&
  11836. + (signed long) (readl(__io_address(ST_BASE + 0x04)) - stc)
  11837. + >= (signed long) cycles);
  11838. + return 0;
  11839. +}
  11840. +
  11841. +static struct clock_event_device timer0_clockevent = {
  11842. + .name = "timer0",
  11843. + .shift = 32,
  11844. + .features = CLOCK_EVT_FEAT_ONESHOT,
  11845. + .set_mode = timer_set_mode,
  11846. + .set_next_event = timer_set_next_event,
  11847. +};
  11848. +
  11849. +/*
  11850. + * IRQ handler for the timer
  11851. + */
  11852. +static irqreturn_t bcm2708_timer_interrupt(int irq, void *dev_id)
  11853. +{
  11854. + struct clock_event_device *evt = &timer0_clockevent;
  11855. +
  11856. + writel(1 << 3, __io_address(ST_BASE + 0x00)); /* stcs clear timer int */
  11857. +
  11858. + evt->event_handler(evt);
  11859. +
  11860. + return IRQ_HANDLED;
  11861. +}
  11862. +
  11863. +static struct irqaction bcm2708_timer_irq = {
  11864. + .name = "BCM2708 Timer Tick",
  11865. + .flags = IRQF_TIMER | IRQF_IRQPOLL,
  11866. + .handler = bcm2708_timer_interrupt,
  11867. +};
  11868. +
  11869. +/*
  11870. + * Set up timer interrupt, and return the current time in seconds.
  11871. + */
  11872. +
  11873. +static struct delay_timer bcm2708_delay_timer = {
  11874. + .read_current_timer = bcm2708_read_current_timer,
  11875. + .freq = STC_FREQ_HZ,
  11876. +};
  11877. +
  11878. +static void __init bcm2708_timer_init(void)
  11879. +{
  11880. + /* init high res timer */
  11881. + bcm2708_clocksource_init();
  11882. +
  11883. + /*
  11884. + * Make irqs happen for the system timer
  11885. + */
  11886. + setup_irq(IRQ_TIMER3, &bcm2708_timer_irq);
  11887. +
  11888. + sched_clock_register(bcm2708_read_sched_clock, 32, STC_FREQ_HZ);
  11889. +
  11890. + timer0_clockevent.mult =
  11891. + div_sc(STC_FREQ_HZ, NSEC_PER_SEC, timer0_clockevent.shift);
  11892. + timer0_clockevent.max_delta_ns =
  11893. + clockevent_delta2ns(0xffffffff, &timer0_clockevent);
  11894. + timer0_clockevent.min_delta_ns =
  11895. + clockevent_delta2ns(0xf, &timer0_clockevent);
  11896. +
  11897. + timer0_clockevent.cpumask = cpumask_of(0);
  11898. + clockevents_register_device(&timer0_clockevent);
  11899. +
  11900. + register_current_timer_delay(&bcm2708_delay_timer);
  11901. +}
  11902. +
  11903. +#if defined(CONFIG_LEDS_GPIO) || defined(CONFIG_LEDS_GPIO_MODULE)
  11904. +#include <linux/leds.h>
  11905. +
  11906. +static struct gpio_led bcm2708_leds[] = {
  11907. + [0] = {
  11908. + .gpio = 16,
  11909. + .name = "led0",
  11910. + .default_trigger = "mmc0",
  11911. + .active_low = 1,
  11912. + },
  11913. +};
  11914. +
  11915. +static struct gpio_led_platform_data bcm2708_led_pdata = {
  11916. + .num_leds = ARRAY_SIZE(bcm2708_leds),
  11917. + .leds = bcm2708_leds,
  11918. +};
  11919. +
  11920. +static struct platform_device bcm2708_led_device = {
  11921. + .name = "leds-gpio",
  11922. + .id = -1,
  11923. + .dev = {
  11924. + .platform_data = &bcm2708_led_pdata,
  11925. + },
  11926. +};
  11927. +
  11928. +static void __init bcm2708_init_led(void)
  11929. +{
  11930. + bcm2708_leds[0].gpio = disk_led_gpio;
  11931. + bcm2708_leds[0].active_low = disk_led_active_low;
  11932. + bcm_register_device_dt(&bcm2708_led_device);
  11933. +}
  11934. +#else
  11935. +static inline void bcm2708_init_led(void)
  11936. +{
  11937. +}
  11938. +#endif
  11939. +
  11940. +void __init bcm2708_init_early(void)
  11941. +{
  11942. + /*
  11943. + * Some devices allocate their coherent buffers from atomic
  11944. + * context. Increase size of atomic coherent pool to make sure such
  11945. + * the allocations won't fail.
  11946. + */
  11947. + init_dma_coherent_pool_size(SZ_4M);
  11948. +}
  11949. +
  11950. +static void __init board_reserve(void)
  11951. +{
  11952. +#if defined(CONFIG_BCM_VC_CMA)
  11953. + vc_cma_reserve();
  11954. +#endif
  11955. +}
  11956. +
  11957. +static const char * const bcm2708_compat[] = {
  11958. + "brcm,bcm2708",
  11959. + NULL
  11960. +};
  11961. +
  11962. +MACHINE_START(BCM2708, "BCM2708")
  11963. + /* Maintainer: Broadcom Europe Ltd. */
  11964. + .map_io = bcm2708_map_io,
  11965. + .init_irq = bcm2708_init_irq,
  11966. + .init_time = bcm2708_timer_init,
  11967. + .init_machine = bcm2708_init,
  11968. + .init_early = bcm2708_init_early,
  11969. + .reserve = board_reserve,
  11970. + .restart = bcm2708_restart,
  11971. + .dt_compat = bcm2708_compat,
  11972. +MACHINE_END
  11973. +
  11974. +module_param(boardrev, uint, 0644);
  11975. +module_param(serial, uint, 0644);
  11976. +module_param(uart_clock, uint, 0644);
  11977. +module_param(disk_led_gpio, uint, 0644);
  11978. +module_param(disk_led_active_low, uint, 0644);
  11979. +module_param(reboot_part, uint, 0644);
  11980. +module_param(w1_gpio_pin, uint, 0644);
  11981. +module_param(w1_gpio_pullup, uint, 0644);
  11982. +module_param(vc_i2c_override, bool, 0644);
  11983. +MODULE_PARM_DESC(vc_i2c_override, "Allow the use of VC's I2C peripheral.");
  11984. +module_param(pps_gpio_pin, int, 0644);
  11985. +MODULE_PARM_DESC(pps_gpio_pin, "Set GPIO pin to reserve for PPS");
  11986. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708_gpio.c linux-rpi/arch/arm/mach-bcm2708/bcm2708_gpio.c
  11987. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708_gpio.c 1970-01-01 01:00:00.000000000 +0100
  11988. +++ linux-rpi/arch/arm/mach-bcm2708/bcm2708_gpio.c 2015-11-29 09:42:34.791439401 +0100
  11989. @@ -0,0 +1,426 @@
  11990. +/*
  11991. + * linux/arch/arm/mach-bcm2708/bcm2708_gpio.c
  11992. + *
  11993. + * Copyright (C) 2010 Broadcom
  11994. + *
  11995. + * This program is free software; you can redistribute it and/or modify
  11996. + * it under the terms of the GNU General Public License version 2 as
  11997. + * published by the Free Software Foundation.
  11998. + *
  11999. + */
  12000. +
  12001. +#include <linux/spinlock.h>
  12002. +#include <linux/module.h>
  12003. +#include <linux/delay.h>
  12004. +#include <linux/list.h>
  12005. +#include <linux/io.h>
  12006. +#include <linux/irq.h>
  12007. +#include <linux/interrupt.h>
  12008. +#include <linux/slab.h>
  12009. +#include <mach/gpio.h>
  12010. +#include <linux/gpio.h>
  12011. +#include <linux/platform_device.h>
  12012. +#include <mach/platform.h>
  12013. +#include <linux/pinctrl/consumer.h>
  12014. +
  12015. +#include <linux/platform_data/bcm2708.h>
  12016. +
  12017. +#define BCM_GPIO_DRIVER_NAME "bcm2708_gpio"
  12018. +#define DRIVER_NAME BCM_GPIO_DRIVER_NAME
  12019. +#define BCM_GPIO_USE_IRQ 1
  12020. +
  12021. +#define GPIOFSEL(x) (0x00+(x)*4)
  12022. +#define GPIOSET(x) (0x1c+(x)*4)
  12023. +#define GPIOCLR(x) (0x28+(x)*4)
  12024. +#define GPIOLEV(x) (0x34+(x)*4)
  12025. +#define GPIOEDS(x) (0x40+(x)*4)
  12026. +#define GPIOREN(x) (0x4c+(x)*4)
  12027. +#define GPIOFEN(x) (0x58+(x)*4)
  12028. +#define GPIOHEN(x) (0x64+(x)*4)
  12029. +#define GPIOLEN(x) (0x70+(x)*4)
  12030. +#define GPIOAREN(x) (0x7c+(x)*4)
  12031. +#define GPIOAFEN(x) (0x88+(x)*4)
  12032. +#define GPIOUD(x) (0x94+(x)*4)
  12033. +#define GPIOUDCLK(x) (0x98+(x)*4)
  12034. +
  12035. +#define GPIO_BANKS 2
  12036. +
  12037. +enum { GPIO_FSEL_INPUT, GPIO_FSEL_OUTPUT,
  12038. + GPIO_FSEL_ALT5, GPIO_FSEL_ALT_4,
  12039. + GPIO_FSEL_ALT0, GPIO_FSEL_ALT1,
  12040. + GPIO_FSEL_ALT2, GPIO_FSEL_ALT3,
  12041. +};
  12042. +
  12043. + /* Each of the two spinlocks protects a different set of hardware
  12044. + * regiters and data structurs. This decouples the code of the IRQ from
  12045. + * the GPIO code. This also makes the case of a GPIO routine call from
  12046. + * the IRQ code simpler.
  12047. + */
  12048. +static DEFINE_SPINLOCK(lock); /* GPIO registers */
  12049. +
  12050. +struct bcm2708_gpio {
  12051. + struct list_head list;
  12052. + void __iomem *base;
  12053. + struct gpio_chip gc;
  12054. + unsigned long rising[(BCM2708_NR_GPIOS + 31) / 32];
  12055. + unsigned long falling[(BCM2708_NR_GPIOS + 31) / 32];
  12056. + unsigned long high[(BCM2708_NR_GPIOS + 31) / 32];
  12057. + unsigned long low[(BCM2708_NR_GPIOS + 31) / 32];
  12058. +};
  12059. +
  12060. +static int bcm2708_set_function(struct gpio_chip *gc, unsigned offset,
  12061. + int function)
  12062. +{
  12063. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  12064. + unsigned long flags;
  12065. + unsigned gpiodir;
  12066. + unsigned gpio_bank = offset / 10;
  12067. + unsigned gpio_field_offset = (offset - 10 * gpio_bank) * 3;
  12068. +
  12069. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_set_function %p (%d,%d)\n", gc, offset, function);
  12070. + if (offset >= BCM2708_NR_GPIOS)
  12071. + return -EINVAL;
  12072. +
  12073. + spin_lock_irqsave(&lock, flags);
  12074. +
  12075. + gpiodir = readl(gpio->base + GPIOFSEL(gpio_bank));
  12076. + gpiodir &= ~(7 << gpio_field_offset);
  12077. + gpiodir |= function << gpio_field_offset;
  12078. + writel(gpiodir, gpio->base + GPIOFSEL(gpio_bank));
  12079. + spin_unlock_irqrestore(&lock, flags);
  12080. + gpiodir = readl(gpio->base + GPIOFSEL(gpio_bank));
  12081. +
  12082. + return 0;
  12083. +}
  12084. +
  12085. +static int bcm2708_gpio_dir_in(struct gpio_chip *gc, unsigned offset)
  12086. +{
  12087. + return bcm2708_set_function(gc, offset, GPIO_FSEL_INPUT);
  12088. +}
  12089. +
  12090. +static void bcm2708_gpio_set(struct gpio_chip *gc, unsigned offset, int value);
  12091. +static int bcm2708_gpio_dir_out(struct gpio_chip *gc, unsigned offset,
  12092. + int value)
  12093. +{
  12094. + int ret;
  12095. + ret = bcm2708_set_function(gc, offset, GPIO_FSEL_OUTPUT);
  12096. + if (ret >= 0)
  12097. + bcm2708_gpio_set(gc, offset, value);
  12098. + return ret;
  12099. +}
  12100. +
  12101. +static int bcm2708_gpio_get(struct gpio_chip *gc, unsigned offset)
  12102. +{
  12103. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  12104. + unsigned gpio_bank = offset / 32;
  12105. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  12106. + unsigned lev;
  12107. +
  12108. + if (offset >= BCM2708_NR_GPIOS)
  12109. + return 0;
  12110. + lev = readl(gpio->base + GPIOLEV(gpio_bank));
  12111. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_get %p (%d)=%d\n", gc, offset, 0x1 & (lev>>gpio_field_offset));
  12112. + return 0x1 & (lev >> gpio_field_offset);
  12113. +}
  12114. +
  12115. +static void bcm2708_gpio_set(struct gpio_chip *gc, unsigned offset, int value)
  12116. +{
  12117. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  12118. + unsigned gpio_bank = offset / 32;
  12119. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  12120. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_set %p (%d=%d)\n", gc, offset, value);
  12121. + if (offset >= BCM2708_NR_GPIOS)
  12122. + return;
  12123. + if (value)
  12124. + writel(1 << gpio_field_offset, gpio->base + GPIOSET(gpio_bank));
  12125. + else
  12126. + writel(1 << gpio_field_offset, gpio->base + GPIOCLR(gpio_bank));
  12127. +}
  12128. +
  12129. +/**********************
  12130. + * extension to configure pullups
  12131. + */
  12132. +int bcm2708_gpio_setpull(struct gpio_chip *gc, unsigned offset,
  12133. + bcm2708_gpio_pull_t value)
  12134. +{
  12135. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  12136. + unsigned gpio_bank = offset / 32;
  12137. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  12138. +
  12139. + if (offset >= BCM2708_NR_GPIOS)
  12140. + return -EINVAL;
  12141. +
  12142. + switch (value) {
  12143. + case BCM2708_PULL_UP:
  12144. + writel(2, gpio->base + GPIOUD(0));
  12145. + break;
  12146. + case BCM2708_PULL_DOWN:
  12147. + writel(1, gpio->base + GPIOUD(0));
  12148. + break;
  12149. + case BCM2708_PULL_OFF:
  12150. + writel(0, gpio->base + GPIOUD(0));
  12151. + break;
  12152. + }
  12153. +
  12154. + udelay(5);
  12155. + writel(1 << gpio_field_offset, gpio->base + GPIOUDCLK(gpio_bank));
  12156. + udelay(5);
  12157. + writel(0, gpio->base + GPIOUD(0));
  12158. + writel(0 << gpio_field_offset, gpio->base + GPIOUDCLK(gpio_bank));
  12159. +
  12160. + return 0;
  12161. +}
  12162. +EXPORT_SYMBOL(bcm2708_gpio_setpull);
  12163. +
  12164. +/*************************************************************************************************************************
  12165. + * bcm2708 GPIO IRQ
  12166. + */
  12167. +
  12168. +#if BCM_GPIO_USE_IRQ
  12169. +
  12170. +static int bcm2708_gpio_to_irq(struct gpio_chip *chip, unsigned gpio)
  12171. +{
  12172. + return gpio_to_irq(gpio);
  12173. +}
  12174. +
  12175. +static int bcm2708_gpio_irq_set_type(struct irq_data *d, unsigned type)
  12176. +{
  12177. + unsigned irq = d->irq;
  12178. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  12179. + unsigned gn = irq_to_gpio(irq);
  12180. + unsigned gb = gn / 32;
  12181. + unsigned go = gn % 32;
  12182. +
  12183. + gpio->rising[gb] &= ~(1 << go);
  12184. + gpio->falling[gb] &= ~(1 << go);
  12185. + gpio->high[gb] &= ~(1 << go);
  12186. + gpio->low[gb] &= ~(1 << go);
  12187. +
  12188. + if (type & ~(IRQ_TYPE_EDGE_FALLING | IRQ_TYPE_EDGE_RISING | IRQ_TYPE_LEVEL_LOW | IRQ_TYPE_LEVEL_HIGH))
  12189. + return -EINVAL;
  12190. +
  12191. + if (type & IRQ_TYPE_EDGE_RISING)
  12192. + gpio->rising[gb] |= (1 << go);
  12193. + if (type & IRQ_TYPE_EDGE_FALLING)
  12194. + gpio->falling[gb] |= (1 << go);
  12195. + if (type & IRQ_TYPE_LEVEL_HIGH)
  12196. + gpio->high[gb] |= (1 << go);
  12197. + if (type & IRQ_TYPE_LEVEL_LOW)
  12198. + gpio->low[gb] |= (1 << go);
  12199. + return 0;
  12200. +}
  12201. +
  12202. +static void bcm2708_gpio_irq_mask(struct irq_data *d)
  12203. +{
  12204. + unsigned irq = d->irq;
  12205. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  12206. + unsigned gn = irq_to_gpio(irq);
  12207. + unsigned gb = gn / 32;
  12208. + unsigned long rising = readl(gpio->base + GPIOREN(gb));
  12209. + unsigned long falling = readl(gpio->base + GPIOFEN(gb));
  12210. + unsigned long high = readl(gpio->base + GPIOHEN(gb));
  12211. + unsigned long low = readl(gpio->base + GPIOLEN(gb));
  12212. +
  12213. + gn = gn % 32;
  12214. +
  12215. + writel(rising & ~(1 << gn), gpio->base + GPIOREN(gb));
  12216. + writel(falling & ~(1 << gn), gpio->base + GPIOFEN(gb));
  12217. + writel(high & ~(1 << gn), gpio->base + GPIOHEN(gb));
  12218. + writel(low & ~(1 << gn), gpio->base + GPIOLEN(gb));
  12219. +}
  12220. +
  12221. +static void bcm2708_gpio_irq_unmask(struct irq_data *d)
  12222. +{
  12223. + unsigned irq = d->irq;
  12224. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  12225. + unsigned gn = irq_to_gpio(irq);
  12226. + unsigned gb = gn / 32;
  12227. + unsigned go = gn % 32;
  12228. + unsigned long rising = readl(gpio->base + GPIOREN(gb));
  12229. + unsigned long falling = readl(gpio->base + GPIOFEN(gb));
  12230. + unsigned long high = readl(gpio->base + GPIOHEN(gb));
  12231. + unsigned long low = readl(gpio->base + GPIOLEN(gb));
  12232. +
  12233. + if (gpio->rising[gb] & (1 << go)) {
  12234. + writel(rising | (1 << go), gpio->base + GPIOREN(gb));
  12235. + } else {
  12236. + writel(rising & ~(1 << go), gpio->base + GPIOREN(gb));
  12237. + }
  12238. +
  12239. + if (gpio->falling[gb] & (1 << go)) {
  12240. + writel(falling | (1 << go), gpio->base + GPIOFEN(gb));
  12241. + } else {
  12242. + writel(falling & ~(1 << go), gpio->base + GPIOFEN(gb));
  12243. + }
  12244. +
  12245. + if (gpio->high[gb] & (1 << go)) {
  12246. + writel(high | (1 << go), gpio->base + GPIOHEN(gb));
  12247. + } else {
  12248. + writel(high & ~(1 << go), gpio->base + GPIOHEN(gb));
  12249. + }
  12250. +
  12251. + if (gpio->low[gb] & (1 << go)) {
  12252. + writel(low | (1 << go), gpio->base + GPIOLEN(gb));
  12253. + } else {
  12254. + writel(low & ~(1 << go), gpio->base + GPIOLEN(gb));
  12255. + }
  12256. +}
  12257. +
  12258. +static struct irq_chip bcm2708_irqchip = {
  12259. + .name = "GPIO",
  12260. + .irq_enable = bcm2708_gpio_irq_unmask,
  12261. + .irq_disable = bcm2708_gpio_irq_mask,
  12262. + .irq_unmask = bcm2708_gpio_irq_unmask,
  12263. + .irq_mask = bcm2708_gpio_irq_mask,
  12264. + .irq_set_type = bcm2708_gpio_irq_set_type,
  12265. +};
  12266. +
  12267. +static irqreturn_t bcm2708_gpio_interrupt(int irq, void *dev_id)
  12268. +{
  12269. + unsigned long edsr;
  12270. + unsigned bank;
  12271. + int i;
  12272. + unsigned gpio;
  12273. + unsigned level_bits;
  12274. + struct bcm2708_gpio *gpio_data = dev_id;
  12275. +
  12276. + for (bank = 0; bank < GPIO_BANKS; bank++) {
  12277. + edsr = readl(__io_address(GPIO_BASE) + GPIOEDS(bank));
  12278. + level_bits = gpio_data->high[bank] | gpio_data->low[bank];
  12279. +
  12280. + for_each_set_bit(i, &edsr, 32) {
  12281. + gpio = i + bank * 32;
  12282. + /* ack edge triggered IRQs immediately */
  12283. + if (!(level_bits & (1<<i)))
  12284. + writel(1<<i,
  12285. + __io_address(GPIO_BASE) + GPIOEDS(bank));
  12286. + generic_handle_irq(gpio_to_irq(gpio));
  12287. + /* ack level triggered IRQ after handling them */
  12288. + if (level_bits & (1<<i))
  12289. + writel(1<<i,
  12290. + __io_address(GPIO_BASE) + GPIOEDS(bank));
  12291. + }
  12292. + }
  12293. + return IRQ_HANDLED;
  12294. +}
  12295. +
  12296. +static struct irqaction bcm2708_gpio_irq = {
  12297. + .name = "BCM2708 GPIO catchall handler",
  12298. + .flags = IRQF_TIMER | IRQF_IRQPOLL,
  12299. + .handler = bcm2708_gpio_interrupt,
  12300. +};
  12301. +
  12302. +static void bcm2708_gpio_irq_init(struct bcm2708_gpio *ucb)
  12303. +{
  12304. + unsigned irq;
  12305. +
  12306. + ucb->gc.to_irq = bcm2708_gpio_to_irq;
  12307. +
  12308. + for (irq = GPIO_IRQ_START; irq < (GPIO_IRQ_START + GPIO_IRQS); irq++) {
  12309. + irq_set_chip_data(irq, ucb);
  12310. + irq_set_chip_and_handler(irq, &bcm2708_irqchip,
  12311. + handle_simple_irq);
  12312. + set_irq_flags(irq, IRQF_VALID);
  12313. + }
  12314. +
  12315. + bcm2708_gpio_irq.dev_id = ucb;
  12316. + setup_irq(IRQ_GPIO3, &bcm2708_gpio_irq);
  12317. +}
  12318. +
  12319. +#else
  12320. +
  12321. +static void bcm2708_gpio_irq_init(struct bcm2708_gpio *ucb)
  12322. +{
  12323. +}
  12324. +
  12325. +#endif /* #if BCM_GPIO_USE_IRQ ***************************************************************************************************************** */
  12326. +
  12327. +static int bcm2708_gpio_probe(struct platform_device *dev)
  12328. +{
  12329. + struct bcm2708_gpio *ucb;
  12330. + struct resource *res;
  12331. + int bank;
  12332. + int err = 0;
  12333. +
  12334. + printk(KERN_INFO DRIVER_NAME ": bcm2708_gpio_probe %p\n", dev);
  12335. +
  12336. + ucb = kzalloc(sizeof(*ucb), GFP_KERNEL);
  12337. + if (NULL == ucb) {
  12338. + printk(KERN_ERR DRIVER_NAME ": failed to allocate "
  12339. + "mailbox memory\n");
  12340. + err = -ENOMEM;
  12341. + goto err;
  12342. + }
  12343. +
  12344. + res = platform_get_resource(dev, IORESOURCE_MEM, 0);
  12345. +
  12346. + platform_set_drvdata(dev, ucb);
  12347. + ucb->base = __io_address(GPIO_BASE);
  12348. +
  12349. + ucb->gc.label = "bcm2708_gpio";
  12350. + ucb->gc.base = 0;
  12351. + ucb->gc.ngpio = BCM2708_NR_GPIOS;
  12352. + ucb->gc.owner = THIS_MODULE;
  12353. +
  12354. + ucb->gc.direction_input = bcm2708_gpio_dir_in;
  12355. + ucb->gc.direction_output = bcm2708_gpio_dir_out;
  12356. + ucb->gc.get = bcm2708_gpio_get;
  12357. + ucb->gc.set = bcm2708_gpio_set;
  12358. + ucb->gc.can_sleep = 0;
  12359. +
  12360. + for (bank = 0; bank < GPIO_BANKS; bank++) {
  12361. + writel(0, ucb->base + GPIOREN(bank));
  12362. + writel(0, ucb->base + GPIOFEN(bank));
  12363. + writel(0, ucb->base + GPIOHEN(bank));
  12364. + writel(0, ucb->base + GPIOLEN(bank));
  12365. + writel(0, ucb->base + GPIOAREN(bank));
  12366. + writel(0, ucb->base + GPIOAFEN(bank));
  12367. + writel(~0, ucb->base + GPIOEDS(bank));
  12368. + }
  12369. +
  12370. + bcm2708_gpio_irq_init(ucb);
  12371. +
  12372. + err = gpiochip_add(&ucb->gc);
  12373. +
  12374. +err:
  12375. + return err;
  12376. +
  12377. +}
  12378. +
  12379. +static int bcm2708_gpio_remove(struct platform_device *dev)
  12380. +{
  12381. + int err = 0;
  12382. + struct bcm2708_gpio *ucb = platform_get_drvdata(dev);
  12383. +
  12384. + printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_remove %p\n", dev);
  12385. +
  12386. + gpiochip_remove(&ucb->gc);
  12387. +
  12388. + platform_set_drvdata(dev, NULL);
  12389. + kfree(ucb);
  12390. +
  12391. + return err;
  12392. +}
  12393. +
  12394. +static struct platform_driver bcm2708_gpio_driver = {
  12395. + .probe = bcm2708_gpio_probe,
  12396. + .remove = bcm2708_gpio_remove,
  12397. + .driver = {
  12398. + .name = "bcm2708_gpio"},
  12399. +};
  12400. +
  12401. +static int __init bcm2708_gpio_init(void)
  12402. +{
  12403. + return platform_driver_register(&bcm2708_gpio_driver);
  12404. +}
  12405. +
  12406. +static void __exit bcm2708_gpio_exit(void)
  12407. +{
  12408. + platform_driver_unregister(&bcm2708_gpio_driver);
  12409. +}
  12410. +
  12411. +module_init(bcm2708_gpio_init);
  12412. +module_exit(bcm2708_gpio_exit);
  12413. +
  12414. +MODULE_DESCRIPTION("Broadcom BCM2708 GPIO driver");
  12415. +MODULE_LICENSE("GPL");
  12416. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708.h linux-rpi/arch/arm/mach-bcm2708/bcm2708.h
  12417. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/bcm2708.h 1970-01-01 01:00:00.000000000 +0100
  12418. +++ linux-rpi/arch/arm/mach-bcm2708/bcm2708.h 2015-11-29 09:42:34.791439401 +0100
  12419. @@ -0,0 +1,49 @@
  12420. +/*
  12421. + * linux/arch/arm/mach-bcm2708/bcm2708.h
  12422. + *
  12423. + * BCM2708 machine support header
  12424. + *
  12425. + * Copyright (C) 2010 Broadcom
  12426. + *
  12427. + * This program is free software; you can redistribute it and/or modify
  12428. + * it under the terms of the GNU General Public License as published by
  12429. + * the Free Software Foundation; either version 2 of the License, or
  12430. + * (at your option) any later version.
  12431. + *
  12432. + * This program is distributed in the hope that it will be useful,
  12433. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12434. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  12435. + * GNU General Public License for more details.
  12436. + *
  12437. + * You should have received a copy of the GNU General Public License
  12438. + * along with this program; if not, write to the Free Software
  12439. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  12440. + */
  12441. +
  12442. +#ifndef __BCM2708_BCM2708_H
  12443. +#define __BCM2708_BCM2708_H
  12444. +
  12445. +#include <linux/amba/bus.h>
  12446. +
  12447. +extern void __init bcm2708_init(void);
  12448. +extern void __init bcm2708_init_irq(void);
  12449. +extern void __init bcm2708_map_io(void);
  12450. +extern struct sys_timer bcm2708_timer;
  12451. +extern unsigned int mmc_status(struct device *dev);
  12452. +
  12453. +#define AMBA_DEVICE(name, busid, base, plat) \
  12454. +static struct amba_device name##_device = { \
  12455. + .dev = { \
  12456. + .coherent_dma_mask = ~0, \
  12457. + .init_name = busid, \
  12458. + .platform_data = plat, \
  12459. + }, \
  12460. + .res = { \
  12461. + .start = base##_BASE, \
  12462. + .end = (base##_BASE) + SZ_4K - 1,\
  12463. + .flags = IORESOURCE_MEM, \
  12464. + }, \
  12465. + .irq = base##_IRQ, \
  12466. +}
  12467. +
  12468. +#endif
  12469. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/arm_control.h linux-rpi/arch/arm/mach-bcm2708/include/mach/arm_control.h
  12470. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/arm_control.h 1970-01-01 01:00:00.000000000 +0100
  12471. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/arm_control.h 2015-11-29 09:42:34.791439401 +0100
  12472. @@ -0,0 +1,419 @@
  12473. +/*
  12474. + * linux/arch/arm/mach-bcm2708/arm_control.h
  12475. + *
  12476. + * Copyright (C) 2010 Broadcom
  12477. + *
  12478. + * This program is free software; you can redistribute it and/or modify
  12479. + * it under the terms of the GNU General Public License as published by
  12480. + * the Free Software Foundation; either version 2 of the License, or
  12481. + * (at your option) any later version.
  12482. + *
  12483. + * This program is distributed in the hope that it will be useful,
  12484. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12485. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  12486. + * GNU General Public License for more details.
  12487. + *
  12488. + * You should have received a copy of the GNU General Public License
  12489. + * along with this program; if not, write to the Free Software
  12490. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  12491. + */
  12492. +
  12493. +#ifndef __BCM2708_ARM_CONTROL_H
  12494. +#define __BCM2708_ARM_CONTROL_H
  12495. +
  12496. +/*
  12497. + * Definitions and addresses for the ARM CONTROL logic
  12498. + * This file is manually generated.
  12499. + */
  12500. +
  12501. +#define ARM_BASE 0x7E00B000
  12502. +
  12503. +/* Basic configuration */
  12504. +#define ARM_CONTROL0 HW_REGISTER_RW(ARM_BASE+0x000)
  12505. +#define ARM_C0_SIZ128M 0x00000000
  12506. +#define ARM_C0_SIZ256M 0x00000001
  12507. +#define ARM_C0_SIZ512M 0x00000002
  12508. +#define ARM_C0_SIZ1G 0x00000003
  12509. +#define ARM_C0_BRESP0 0x00000000
  12510. +#define ARM_C0_BRESP1 0x00000004
  12511. +#define ARM_C0_BRESP2 0x00000008
  12512. +#define ARM_C0_BOOTHI 0x00000010
  12513. +#define ARM_C0_UNUSED05 0x00000020 /* free */
  12514. +#define ARM_C0_FULLPERI 0x00000040
  12515. +#define ARM_C0_UNUSED78 0x00000180 /* free */
  12516. +#define ARM_C0_JTAGMASK 0x00000E00
  12517. +#define ARM_C0_JTAGOFF 0x00000000
  12518. +#define ARM_C0_JTAGBASH 0x00000800 /* Debug on GPIO off */
  12519. +#define ARM_C0_JTAGGPIO 0x00000C00 /* Debug on GPIO on */
  12520. +#define ARM_C0_APROTMSK 0x0000F000
  12521. +#define ARM_C0_DBG0SYNC 0x00010000 /* VPU0 halt sync */
  12522. +#define ARM_C0_DBG1SYNC 0x00020000 /* VPU1 halt sync */
  12523. +#define ARM_C0_SWDBGREQ 0x00040000 /* HW debug request */
  12524. +#define ARM_C0_PASSHALT 0x00080000 /* ARM halt passed to debugger */
  12525. +#define ARM_C0_PRIO_PER 0x00F00000 /* per priority mask */
  12526. +#define ARM_C0_PRIO_L2 0x0F000000
  12527. +#define ARM_C0_PRIO_UC 0xF0000000
  12528. +
  12529. +#define ARM_C0_APROTPASS 0x0000A000 /* Translate 1:1 */
  12530. +#define ARM_C0_APROTUSER 0x00000000 /* Only user mode */
  12531. +#define ARM_C0_APROTSYST 0x0000F000 /* Only system mode */
  12532. +
  12533. +
  12534. +#define ARM_CONTROL1 HW_REGISTER_RW(ARM_BASE+0x440)
  12535. +#define ARM_C1_TIMER 0x00000001 /* re-route timer IRQ to VC */
  12536. +#define ARM_C1_MAIL 0x00000002 /* re-route Mail IRQ to VC */
  12537. +#define ARM_C1_BELL0 0x00000004 /* re-route Doorbell 0 to VC */
  12538. +#define ARM_C1_BELL1 0x00000008 /* re-route Doorbell 1 to VC */
  12539. +#define ARM_C1_PERSON 0x00000100 /* peripherals on */
  12540. +#define ARM_C1_REQSTOP 0x00000200 /* ASYNC bridge request stop */
  12541. +
  12542. +#define ARM_STATUS HW_REGISTER_RW(ARM_BASE+0x444)
  12543. +#define ARM_S_ACKSTOP 0x80000000 /* Bridge stopped */
  12544. +#define ARM_S_READPEND 0x000003FF /* pending reads counter */
  12545. +#define ARM_S_WRITPEND 0x000FFC00 /* pending writes counter */
  12546. +
  12547. +#define ARM_ERRHALT HW_REGISTER_RW(ARM_BASE+0x448)
  12548. +#define ARM_EH_PERIBURST 0x00000001 /* Burst write seen on peri bus */
  12549. +#define ARM_EH_ILLADDRS1 0x00000002 /* Address bits 25-27 error */
  12550. +#define ARM_EH_ILLADDRS2 0x00000004 /* Address bits 31-28 error */
  12551. +#define ARM_EH_VPU0HALT 0x00000008 /* VPU0 halted & in debug mode */
  12552. +#define ARM_EH_VPU1HALT 0x00000010 /* VPU1 halted & in debug mode */
  12553. +#define ARM_EH_ARMHALT 0x00000020 /* ARM in halted debug mode */
  12554. +
  12555. +#define ARM_ID_SECURE HW_REGISTER_RW(ARM_BASE+0x00C)
  12556. +#define ARM_ID HW_REGISTER_RW(ARM_BASE+0x44C)
  12557. +#define ARM_IDVAL 0x364D5241
  12558. +
  12559. +/* Translation memory */
  12560. +#define ARM_TRANSLATE HW_REGISTER_RW(ARM_BASE+0x100)
  12561. +/* 32 locations: 0x100.. 0x17F */
  12562. +/* 32 spare means we CAN go to 64 pages.... */
  12563. +
  12564. +
  12565. +/* Interrupts */
  12566. +#define ARM_IRQ_PEND0 HW_REGISTER_RW(ARM_BASE+0x200) /* Top IRQ bits */
  12567. +#define ARM_I0_TIMER 0x00000001 /* timer IRQ */
  12568. +#define ARM_I0_MAIL 0x00000002 /* Mail IRQ */
  12569. +#define ARM_I0_BELL0 0x00000004 /* Doorbell 0 */
  12570. +#define ARM_I0_BELL1 0x00000008 /* Doorbell 1 */
  12571. +#define ARM_I0_BANK1 0x00000100 /* Bank1 IRQ */
  12572. +#define ARM_I0_BANK2 0x00000200 /* Bank2 IRQ */
  12573. +
  12574. +#define ARM_IRQ_PEND1 HW_REGISTER_RW(ARM_BASE+0x204) /* All bank1 IRQ bits */
  12575. +/* todo: all I1_interrupt sources */
  12576. +#define ARM_IRQ_PEND2 HW_REGISTER_RW(ARM_BASE+0x208) /* All bank2 IRQ bits */
  12577. +/* todo: all I2_interrupt sources */
  12578. +
  12579. +#define ARM_IRQ_FAST HW_REGISTER_RW(ARM_BASE+0x20C) /* FIQ control */
  12580. +#define ARM_IF_INDEX 0x0000007F /* FIQ select */
  12581. +#define ARM_IF_ENABLE 0x00000080 /* FIQ enable */
  12582. +#define ARM_IF_VCMASK 0x0000003F /* FIQ = (index from VC source) */
  12583. +#define ARM_IF_TIMER 0x00000040 /* FIQ = ARM timer */
  12584. +#define ARM_IF_MAIL 0x00000041 /* FIQ = ARM Mail */
  12585. +#define ARM_IF_BELL0 0x00000042 /* FIQ = ARM Doorbell 0 */
  12586. +#define ARM_IF_BELL1 0x00000043 /* FIQ = ARM Doorbell 1 */
  12587. +#define ARM_IF_VP0HALT 0x00000044 /* FIQ = VPU0 Halt seen */
  12588. +#define ARM_IF_VP1HALT 0x00000045 /* FIQ = VPU1 Halt seen */
  12589. +#define ARM_IF_ILLEGAL 0x00000046 /* FIQ = Illegal access seen */
  12590. +
  12591. +#define ARM_IRQ_ENBL1 HW_REGISTER_RW(ARM_BASE+0x210) /* Bank1 enable bits */
  12592. +#define ARM_IRQ_ENBL2 HW_REGISTER_RW(ARM_BASE+0x214) /* Bank2 enable bits */
  12593. +#define ARM_IRQ_ENBL3 HW_REGISTER_RW(ARM_BASE+0x218) /* ARM irqs enable bits */
  12594. +#define ARM_IRQ_DIBL1 HW_REGISTER_RW(ARM_BASE+0x21C) /* Bank1 disable bits */
  12595. +#define ARM_IRQ_DIBL2 HW_REGISTER_RW(ARM_BASE+0x220) /* Bank2 disable bits */
  12596. +#define ARM_IRQ_DIBL3 HW_REGISTER_RW(ARM_BASE+0x224) /* ARM irqs disable bits */
  12597. +#define ARM_IE_TIMER 0x00000001 /* Timer IRQ */
  12598. +#define ARM_IE_MAIL 0x00000002 /* Mail IRQ */
  12599. +#define ARM_IE_BELL0 0x00000004 /* Doorbell 0 */
  12600. +#define ARM_IE_BELL1 0x00000008 /* Doorbell 1 */
  12601. +#define ARM_IE_VP0HALT 0x00000010 /* VPU0 Halt */
  12602. +#define ARM_IE_VP1HALT 0x00000020 /* VPU1 Halt */
  12603. +#define ARM_IE_ILLEGAL 0x00000040 /* Illegal access seen */
  12604. +
  12605. +/* Timer */
  12606. +/* For reg. fields see sp804 spec. */
  12607. +#define ARM_T_LOAD HW_REGISTER_RW(ARM_BASE+0x400)
  12608. +#define ARM_T_VALUE HW_REGISTER_RW(ARM_BASE+0x404)
  12609. +#define ARM_T_CONTROL HW_REGISTER_RW(ARM_BASE+0x408)
  12610. +#define ARM_T_IRQCNTL HW_REGISTER_RW(ARM_BASE+0x40C)
  12611. +#define ARM_T_RAWIRQ HW_REGISTER_RW(ARM_BASE+0x410)
  12612. +#define ARM_T_MSKIRQ HW_REGISTER_RW(ARM_BASE+0x414)
  12613. +#define ARM_T_RELOAD HW_REGISTER_RW(ARM_BASE+0x418)
  12614. +#define ARM_T_PREDIV HW_REGISTER_RW(ARM_BASE+0x41c)
  12615. +#define ARM_T_FREECNT HW_REGISTER_RW(ARM_BASE+0x420)
  12616. +
  12617. +#define TIMER_CTRL_ONESHOT (1 << 0)
  12618. +#define TIMER_CTRL_32BIT (1 << 1)
  12619. +#define TIMER_CTRL_DIV1 (0 << 2)
  12620. +#define TIMER_CTRL_DIV16 (1 << 2)
  12621. +#define TIMER_CTRL_DIV256 (2 << 2)
  12622. +#define TIMER_CTRL_IE (1 << 5)
  12623. +#define TIMER_CTRL_PERIODIC (1 << 6)
  12624. +#define TIMER_CTRL_ENABLE (1 << 7)
  12625. +#define TIMER_CTRL_DBGHALT (1 << 8)
  12626. +#define TIMER_CTRL_ENAFREE (1 << 9)
  12627. +#define TIMER_CTRL_FREEDIV_SHIFT 16)
  12628. +#define TIMER_CTRL_FREEDIV_MASK 0xff
  12629. +
  12630. +/* Semaphores, Doorbells, Mailboxes */
  12631. +#define ARM_SBM_OWN0 (ARM_BASE+0x800)
  12632. +#define ARM_SBM_OWN1 (ARM_BASE+0x900)
  12633. +#define ARM_SBM_OWN2 (ARM_BASE+0xA00)
  12634. +#define ARM_SBM_OWN3 (ARM_BASE+0xB00)
  12635. +
  12636. +/* MAILBOXES
  12637. + * Register flags are common across all
  12638. + * owner registers. See end of this section
  12639. + *
  12640. + * Semaphores, Doorbells, Mailboxes Owner 0
  12641. + *
  12642. + */
  12643. +
  12644. +#define ARM_0_SEMS HW_REGISTER_RW(ARM_SBM_OWN0+0x00)
  12645. +#define ARM_0_SEM0 HW_REGISTER_RW(ARM_SBM_OWN0+0x00)
  12646. +#define ARM_0_SEM1 HW_REGISTER_RW(ARM_SBM_OWN0+0x04)
  12647. +#define ARM_0_SEM2 HW_REGISTER_RW(ARM_SBM_OWN0+0x08)
  12648. +#define ARM_0_SEM3 HW_REGISTER_RW(ARM_SBM_OWN0+0x0C)
  12649. +#define ARM_0_SEM4 HW_REGISTER_RW(ARM_SBM_OWN0+0x10)
  12650. +#define ARM_0_SEM5 HW_REGISTER_RW(ARM_SBM_OWN0+0x14)
  12651. +#define ARM_0_SEM6 HW_REGISTER_RW(ARM_SBM_OWN0+0x18)
  12652. +#define ARM_0_SEM7 HW_REGISTER_RW(ARM_SBM_OWN0+0x1C)
  12653. +#define ARM_0_BELL0 HW_REGISTER_RW(ARM_SBM_OWN0+0x40)
  12654. +#define ARM_0_BELL1 HW_REGISTER_RW(ARM_SBM_OWN0+0x44)
  12655. +#define ARM_0_BELL2 HW_REGISTER_RW(ARM_SBM_OWN0+0x48)
  12656. +#define ARM_0_BELL3 HW_REGISTER_RW(ARM_SBM_OWN0+0x4C)
  12657. +/* MAILBOX 0 access in Owner 0 area */
  12658. +/* Some addresses should ONLY be used by owner 0 */
  12659. +#define ARM_0_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN0+0x80) /* .. 0x8C (4 locations) */
  12660. +#define ARM_0_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN0+0x80) /* .. 0x8C (4 locations) Normal read */
  12661. +#define ARM_0_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN0+0x90) /* none-pop read */
  12662. +#define ARM_0_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN0+0x94) /* Sender read (only LS 2 bits) */
  12663. +#define ARM_0_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN0+0x98) /* Status read */
  12664. +#define ARM_0_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN0+0x9C) /* Config read/write */
  12665. +/* MAILBOX 1 access in Owner 0 area */
  12666. +/* Owner 0 should only WRITE to this mailbox */
  12667. +#define ARM_0_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN0+0xA0) /* .. 0xAC (4 locations) */
  12668. +/*#define ARM_0_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN0+0xA0) */ /* DO NOT USE THIS !!!!! */
  12669. +/*#define ARM_0_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN0+0xB0) */ /* DO NOT USE THIS !!!!! */
  12670. +/*#define ARM_0_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN0+0xB4) */ /* DO NOT USE THIS !!!!! */
  12671. +#define ARM_0_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN0+0xB8) /* Status read */
  12672. +/*#define ARM_0_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN0+0xBC) */ /* DO NOT USE THIS !!!!! */
  12673. +/* General SEM, BELL, MAIL config/status */
  12674. +#define ARM_0_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN0+0xE0) /* semaphore clear/debug register */
  12675. +#define ARM_0_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN0+0xE4) /* Doorbells clear/debug register */
  12676. +#define ARM_0_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN0+0xF8) /* ALL interrupts */
  12677. +#define ARM_0_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN0+0xFC) /* IRQS pending for owner 0 */
  12678. +
  12679. +/* Semaphores, Doorbells, Mailboxes Owner 1 */
  12680. +#define ARM_1_SEMS HW_REGISTER_RW(ARM_SBM_OWN1+0x00)
  12681. +#define ARM_1_SEM0 HW_REGISTER_RW(ARM_SBM_OWN1+0x00)
  12682. +#define ARM_1_SEM1 HW_REGISTER_RW(ARM_SBM_OWN1+0x04)
  12683. +#define ARM_1_SEM2 HW_REGISTER_RW(ARM_SBM_OWN1+0x08)
  12684. +#define ARM_1_SEM3 HW_REGISTER_RW(ARM_SBM_OWN1+0x0C)
  12685. +#define ARM_1_SEM4 HW_REGISTER_RW(ARM_SBM_OWN1+0x10)
  12686. +#define ARM_1_SEM5 HW_REGISTER_RW(ARM_SBM_OWN1+0x14)
  12687. +#define ARM_1_SEM6 HW_REGISTER_RW(ARM_SBM_OWN1+0x18)
  12688. +#define ARM_1_SEM7 HW_REGISTER_RW(ARM_SBM_OWN1+0x1C)
  12689. +#define ARM_1_BELL0 HW_REGISTER_RW(ARM_SBM_OWN1+0x40)
  12690. +#define ARM_1_BELL1 HW_REGISTER_RW(ARM_SBM_OWN1+0x44)
  12691. +#define ARM_1_BELL2 HW_REGISTER_RW(ARM_SBM_OWN1+0x48)
  12692. +#define ARM_1_BELL3 HW_REGISTER_RW(ARM_SBM_OWN1+0x4C)
  12693. +/* MAILBOX 0 access in Owner 0 area */
  12694. +/* Owner 1 should only WRITE to this mailbox */
  12695. +#define ARM_1_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN1+0x80) /* .. 0x8C (4 locations) */
  12696. +/*#define ARM_1_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN1+0x80) */ /* DO NOT USE THIS !!!!! */
  12697. +/*#define ARM_1_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN1+0x90) */ /* DO NOT USE THIS !!!!! */
  12698. +/*#define ARM_1_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN1+0x94) */ /* DO NOT USE THIS !!!!! */
  12699. +#define ARM_1_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN1+0x98) /* Status read */
  12700. +/*#define ARM_1_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN1+0x9C) */ /* DO NOT USE THIS !!!!! */
  12701. +/* MAILBOX 1 access in Owner 0 area */
  12702. +#define ARM_1_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN1+0xA0) /* .. 0xAC (4 locations) */
  12703. +#define ARM_1_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN1+0xA0) /* .. 0xAC (4 locations) Normal read */
  12704. +#define ARM_1_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN1+0xB0) /* none-pop read */
  12705. +#define ARM_1_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN1+0xB4) /* Sender read (only LS 2 bits) */
  12706. +#define ARM_1_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN1+0xB8) /* Status read */
  12707. +#define ARM_1_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN1+0xBC)
  12708. +/* General SEM, BELL, MAIL config/status */
  12709. +#define ARM_1_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN1+0xE0) /* semaphore clear/debug register */
  12710. +#define ARM_1_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN1+0xE4) /* Doorbells clear/debug register */
  12711. +#define ARM_1_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN1+0xFC) /* IRQS pending for owner 1 */
  12712. +#define ARM_1_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN1+0xF8) /* ALL interrupts */
  12713. +
  12714. +/* Semaphores, Doorbells, Mailboxes Owner 2 */
  12715. +#define ARM_2_SEMS HW_REGISTER_RW(ARM_SBM_OWN2+0x00)
  12716. +#define ARM_2_SEM0 HW_REGISTER_RW(ARM_SBM_OWN2+0x00)
  12717. +#define ARM_2_SEM1 HW_REGISTER_RW(ARM_SBM_OWN2+0x04)
  12718. +#define ARM_2_SEM2 HW_REGISTER_RW(ARM_SBM_OWN2+0x08)
  12719. +#define ARM_2_SEM3 HW_REGISTER_RW(ARM_SBM_OWN2+0x0C)
  12720. +#define ARM_2_SEM4 HW_REGISTER_RW(ARM_SBM_OWN2+0x10)
  12721. +#define ARM_2_SEM5 HW_REGISTER_RW(ARM_SBM_OWN2+0x14)
  12722. +#define ARM_2_SEM6 HW_REGISTER_RW(ARM_SBM_OWN2+0x18)
  12723. +#define ARM_2_SEM7 HW_REGISTER_RW(ARM_SBM_OWN2+0x1C)
  12724. +#define ARM_2_BELL0 HW_REGISTER_RW(ARM_SBM_OWN2+0x40)
  12725. +#define ARM_2_BELL1 HW_REGISTER_RW(ARM_SBM_OWN2+0x44)
  12726. +#define ARM_2_BELL2 HW_REGISTER_RW(ARM_SBM_OWN2+0x48)
  12727. +#define ARM_2_BELL3 HW_REGISTER_RW(ARM_SBM_OWN2+0x4C)
  12728. +/* MAILBOX 0 access in Owner 2 area */
  12729. +/* Owner 2 should only WRITE to this mailbox */
  12730. +#define ARM_2_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN2+0x80) /* .. 0x8C (4 locations) */
  12731. +/*#define ARM_2_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN2+0x80) */ /* DO NOT USE THIS !!!!! */
  12732. +/*#define ARM_2_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN2+0x90) */ /* DO NOT USE THIS !!!!! */
  12733. +/*#define ARM_2_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN2+0x94) */ /* DO NOT USE THIS !!!!! */
  12734. +#define ARM_2_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN2+0x98) /* Status read */
  12735. +/*#define ARM_2_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN2+0x9C) */ /* DO NOT USE THIS !!!!! */
  12736. +/* MAILBOX 1 access in Owner 2 area */
  12737. +/* Owner 2 should only WRITE to this mailbox */
  12738. +#define ARM_2_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN2+0xA0) /* .. 0xAC (4 locations) */
  12739. +/*#define ARM_2_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN2+0xA0) */ /* DO NOT USE THIS !!!!! */
  12740. +/*#define ARM_2_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN2+0xB0) */ /* DO NOT USE THIS !!!!! */
  12741. +/*#define ARM_2_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN2+0xB4) */ /* DO NOT USE THIS !!!!! */
  12742. +#define ARM_2_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN2+0xB8) /* Status read */
  12743. +/*#define ARM_2_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN2+0xBC) */ /* DO NOT USE THIS !!!!! */
  12744. +/* General SEM, BELL, MAIL config/status */
  12745. +#define ARM_2_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN2+0xE0) /* semaphore clear/debug register */
  12746. +#define ARM_2_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN2+0xE4) /* Doorbells clear/debug register */
  12747. +#define ARM_2_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN2+0xFC) /* IRQS pending for owner 2 */
  12748. +#define ARM_2_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN2+0xF8) /* ALL interrupts */
  12749. +
  12750. +/* Semaphores, Doorbells, Mailboxes Owner 3 */
  12751. +#define ARM_3_SEMS HW_REGISTER_RW(ARM_SBM_OWN3+0x00)
  12752. +#define ARM_3_SEM0 HW_REGISTER_RW(ARM_SBM_OWN3+0x00)
  12753. +#define ARM_3_SEM1 HW_REGISTER_RW(ARM_SBM_OWN3+0x04)
  12754. +#define ARM_3_SEM2 HW_REGISTER_RW(ARM_SBM_OWN3+0x08)
  12755. +#define ARM_3_SEM3 HW_REGISTER_RW(ARM_SBM_OWN3+0x0C)
  12756. +#define ARM_3_SEM4 HW_REGISTER_RW(ARM_SBM_OWN3+0x10)
  12757. +#define ARM_3_SEM5 HW_REGISTER_RW(ARM_SBM_OWN3+0x14)
  12758. +#define ARM_3_SEM6 HW_REGISTER_RW(ARM_SBM_OWN3+0x18)
  12759. +#define ARM_3_SEM7 HW_REGISTER_RW(ARM_SBM_OWN3+0x1C)
  12760. +#define ARM_3_BELL0 HW_REGISTER_RW(ARM_SBM_OWN3+0x40)
  12761. +#define ARM_3_BELL1 HW_REGISTER_RW(ARM_SBM_OWN3+0x44)
  12762. +#define ARM_3_BELL2 HW_REGISTER_RW(ARM_SBM_OWN3+0x48)
  12763. +#define ARM_3_BELL3 HW_REGISTER_RW(ARM_SBM_OWN3+0x4C)
  12764. +/* MAILBOX 0 access in Owner 3 area */
  12765. +/* Owner 3 should only WRITE to this mailbox */
  12766. +#define ARM_3_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN3+0x80) /* .. 0x8C (4 locations) */
  12767. +/*#define ARM_3_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN3+0x80) */ /* DO NOT USE THIS !!!!! */
  12768. +/*#define ARM_3_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN3+0x90) */ /* DO NOT USE THIS !!!!! */
  12769. +/*#define ARM_3_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN3+0x94) */ /* DO NOT USE THIS !!!!! */
  12770. +#define ARM_3_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN3+0x98) /* Status read */
  12771. +/*#define ARM_3_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN3+0x9C) */ /* DO NOT USE THIS !!!!! */
  12772. +/* MAILBOX 1 access in Owner 3 area */
  12773. +/* Owner 3 should only WRITE to this mailbox */
  12774. +#define ARM_3_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN3+0xA0) /* .. 0xAC (4 locations) */
  12775. +/*#define ARM_3_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN3+0xA0) */ /* DO NOT USE THIS !!!!! */
  12776. +/*#define ARM_3_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN3+0xB0) */ /* DO NOT USE THIS !!!!! */
  12777. +/*#define ARM_3_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN3+0xB4) */ /* DO NOT USE THIS !!!!! */
  12778. +#define ARM_3_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN3+0xB8) /* Status read */
  12779. +/*#define ARM_3_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN3+0xBC) */ /* DO NOT USE THIS !!!!! */
  12780. +/* General SEM, BELL, MAIL config/status */
  12781. +#define ARM_3_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN3+0xE0) /* semaphore clear/debug register */
  12782. +#define ARM_3_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN3+0xE4) /* Doorbells clear/debug register */
  12783. +#define ARM_3_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN3+0xFC) /* IRQS pending for owner 3 */
  12784. +#define ARM_3_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN3+0xF8) /* ALL interrupts */
  12785. +
  12786. +
  12787. +
  12788. +/* Mailbox flags. Valid for all owners */
  12789. +
  12790. +/* Mailbox status register (...0x98) */
  12791. +#define ARM_MS_FULL 0x80000000
  12792. +#define ARM_MS_EMPTY 0x40000000
  12793. +#define ARM_MS_LEVEL 0x400000FF /* Max. value depdnds on mailbox depth parameter */
  12794. +
  12795. +/* MAILBOX config/status register (...0x9C) */
  12796. +/* ANY write to this register clears the error bits! */
  12797. +#define ARM_MC_IHAVEDATAIRQEN 0x00000001 /* mailbox irq enable: has data */
  12798. +#define ARM_MC_IHAVESPACEIRQEN 0x00000002 /* mailbox irq enable: has space */
  12799. +#define ARM_MC_OPPISEMPTYIRQEN 0x00000004 /* mailbox irq enable: Opp. is empty */
  12800. +#define ARM_MC_MAIL_CLEAR 0x00000008 /* mailbox clear write 1, then 0 */
  12801. +#define ARM_MC_IHAVEDATAIRQPEND 0x00000010 /* mailbox irq pending: has space */
  12802. +#define ARM_MC_IHAVESPACEIRQPEND 0x00000020 /* mailbox irq pending: Opp. is empty */
  12803. +#define ARM_MC_OPPISEMPTYIRQPEND 0x00000040 /* mailbox irq pending */
  12804. +/* Bit 7 is unused */
  12805. +#define ARM_MC_ERRNOOWN 0x00000100 /* error : none owner read from mailbox */
  12806. +#define ARM_MC_ERROVERFLW 0x00000200 /* error : write to fill mailbox */
  12807. +#define ARM_MC_ERRUNDRFLW 0x00000400 /* error : read from empty mailbox */
  12808. +
  12809. +/* Semaphore clear/debug register (...0xE0) */
  12810. +#define ARM_SD_OWN0 0x00000003 /* Owner of sem 0 */
  12811. +#define ARM_SD_OWN1 0x0000000C /* Owner of sem 1 */
  12812. +#define ARM_SD_OWN2 0x00000030 /* Owner of sem 2 */
  12813. +#define ARM_SD_OWN3 0x000000C0 /* Owner of sem 3 */
  12814. +#define ARM_SD_OWN4 0x00000300 /* Owner of sem 4 */
  12815. +#define ARM_SD_OWN5 0x00000C00 /* Owner of sem 5 */
  12816. +#define ARM_SD_OWN6 0x00003000 /* Owner of sem 6 */
  12817. +#define ARM_SD_OWN7 0x0000C000 /* Owner of sem 7 */
  12818. +#define ARM_SD_SEM0 0x00010000 /* Status of sem 0 */
  12819. +#define ARM_SD_SEM1 0x00020000 /* Status of sem 1 */
  12820. +#define ARM_SD_SEM2 0x00040000 /* Status of sem 2 */
  12821. +#define ARM_SD_SEM3 0x00080000 /* Status of sem 3 */
  12822. +#define ARM_SD_SEM4 0x00100000 /* Status of sem 4 */
  12823. +#define ARM_SD_SEM5 0x00200000 /* Status of sem 5 */
  12824. +#define ARM_SD_SEM6 0x00400000 /* Status of sem 6 */
  12825. +#define ARM_SD_SEM7 0x00800000 /* Status of sem 7 */
  12826. +
  12827. +/* Doorbells clear/debug register (...0xE4) */
  12828. +#define ARM_BD_OWN0 0x00000003 /* Owner of doorbell 0 */
  12829. +#define ARM_BD_OWN1 0x0000000C /* Owner of doorbell 1 */
  12830. +#define ARM_BD_OWN2 0x00000030 /* Owner of doorbell 2 */
  12831. +#define ARM_BD_OWN3 0x000000C0 /* Owner of doorbell 3 */
  12832. +#define ARM_BD_BELL0 0x00000100 /* Status of doorbell 0 */
  12833. +#define ARM_BD_BELL1 0x00000200 /* Status of doorbell 1 */
  12834. +#define ARM_BD_BELL2 0x00000400 /* Status of doorbell 2 */
  12835. +#define ARM_BD_BELL3 0x00000800 /* Status of doorbell 3 */
  12836. +
  12837. +/* MY IRQS register (...0xF8) */
  12838. +#define ARM_MYIRQ_BELL 0x00000001 /* This owner has a doorbell IRQ */
  12839. +#define ARM_MYIRQ_MAIL 0x00000002 /* This owner has a mailbox IRQ */
  12840. +
  12841. +/* ALL IRQS register (...0xF8) */
  12842. +#define ARM_AIS_BELL0 0x00000001 /* Doorbell 0 IRQ pending */
  12843. +#define ARM_AIS_BELL1 0x00000002 /* Doorbell 1 IRQ pending */
  12844. +#define ARM_AIS_BELL2 0x00000004 /* Doorbell 2 IRQ pending */
  12845. +#define ARM_AIS_BELL3 0x00000008 /* Doorbell 3 IRQ pending */
  12846. +#define ARM_AIS0_HAVEDATA 0x00000010 /* MAIL 0 has data IRQ pending */
  12847. +#define ARM_AIS0_HAVESPAC 0x00000020 /* MAIL 0 has space IRQ pending */
  12848. +#define ARM_AIS0_OPPEMPTY 0x00000040 /* MAIL 0 opposite is empty IRQ */
  12849. +#define ARM_AIS1_HAVEDATA 0x00000080 /* MAIL 1 has data IRQ pending */
  12850. +#define ARM_AIS1_HAVESPAC 0x00000100 /* MAIL 1 has space IRQ pending */
  12851. +#define ARM_AIS1_OPPEMPTY 0x00000200 /* MAIL 1 opposite is empty IRQ */
  12852. +/* Note that bell-0, bell-1 and MAIL0 IRQ go only to the ARM */
  12853. +/* Whilst that bell-2, bell-3 and MAIL1 IRQ go only to the VC */
  12854. +/* */
  12855. +/* ARM JTAG BASH */
  12856. +/* */
  12857. +#define AJB_BASE 0x7e2000c0
  12858. +
  12859. +#define AJBCONF HW_REGISTER_RW(AJB_BASE+0x00)
  12860. +#define AJB_BITS0 0x000000
  12861. +#define AJB_BITS4 0x000004
  12862. +#define AJB_BITS8 0x000008
  12863. +#define AJB_BITS12 0x00000C
  12864. +#define AJB_BITS16 0x000010
  12865. +#define AJB_BITS20 0x000014
  12866. +#define AJB_BITS24 0x000018
  12867. +#define AJB_BITS28 0x00001C
  12868. +#define AJB_BITS32 0x000020
  12869. +#define AJB_BITS34 0x000022
  12870. +#define AJB_OUT_MS 0x000040
  12871. +#define AJB_OUT_LS 0x000000
  12872. +#define AJB_INV_CLK 0x000080
  12873. +#define AJB_D0_RISE 0x000100
  12874. +#define AJB_D0_FALL 0x000000
  12875. +#define AJB_D1_RISE 0x000200
  12876. +#define AJB_D1_FALL 0x000000
  12877. +#define AJB_IN_RISE 0x000400
  12878. +#define AJB_IN_FALL 0x000000
  12879. +#define AJB_ENABLE 0x000800
  12880. +#define AJB_HOLD0 0x000000
  12881. +#define AJB_HOLD1 0x001000
  12882. +#define AJB_HOLD2 0x002000
  12883. +#define AJB_HOLD3 0x003000
  12884. +#define AJB_RESETN 0x004000
  12885. +#define AJB_CLKSHFT 16
  12886. +#define AJB_BUSY 0x80000000
  12887. +#define AJBTMS HW_REGISTER_RW(AJB_BASE+0x04)
  12888. +#define AJBTDI HW_REGISTER_RW(AJB_BASE+0x08)
  12889. +#define AJBTDO HW_REGISTER_RW(AJB_BASE+0x0c)
  12890. +
  12891. +#endif
  12892. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/clkdev.h linux-rpi/arch/arm/mach-bcm2708/include/mach/clkdev.h
  12893. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/clkdev.h 1970-01-01 01:00:00.000000000 +0100
  12894. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/clkdev.h 2015-11-29 09:42:34.791439401 +0100
  12895. @@ -0,0 +1,7 @@
  12896. +#ifndef __ASM_MACH_CLKDEV_H
  12897. +#define __ASM_MACH_CLKDEV_H
  12898. +
  12899. +#define __clk_get(clk) ({ 1; })
  12900. +#define __clk_put(clk) do { } while (0)
  12901. +
  12902. +#endif
  12903. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/debug-macro.S linux-rpi/arch/arm/mach-bcm2708/include/mach/debug-macro.S
  12904. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/debug-macro.S 1970-01-01 01:00:00.000000000 +0100
  12905. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/debug-macro.S 2015-11-29 09:42:34.791439401 +0100
  12906. @@ -0,0 +1,22 @@
  12907. +/* arch/arm/mach-bcm2708/include/mach/debug-macro.S
  12908. + *
  12909. + * Debugging macro include header
  12910. + *
  12911. + * Copyright (C) 2010 Broadcom
  12912. + * Copyright (C) 1994-1999 Russell King
  12913. + * Moved from linux/arch/arm/kernel/debug.S by Ben Dooks
  12914. + *
  12915. + * This program is free software; you can redistribute it and/or modify
  12916. + * it under the terms of the GNU General Public License version 2 as
  12917. + * published by the Free Software Foundation.
  12918. + *
  12919. +*/
  12920. +
  12921. +#include <mach/platform.h>
  12922. +
  12923. + .macro addruart, rp, rv, tmp
  12924. + ldr \rp, =UART0_BASE
  12925. + ldr \rv, =IO_ADDRESS(UART0_BASE)
  12926. + .endm
  12927. +
  12928. +#include <debug/pl01x.S>
  12929. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/entry-macro.S linux-rpi/arch/arm/mach-bcm2708/include/mach/entry-macro.S
  12930. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/entry-macro.S 1970-01-01 01:00:00.000000000 +0100
  12931. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/entry-macro.S 2015-11-29 09:42:34.791439401 +0100
  12932. @@ -0,0 +1,69 @@
  12933. +/*
  12934. + * arch/arm/mach-bcm2708/include/mach/entry-macro.S
  12935. + *
  12936. + * Low-level IRQ helper macros for BCM2708 platforms
  12937. + *
  12938. + * Copyright (C) 2010 Broadcom
  12939. + *
  12940. + * This program is free software; you can redistribute it and/or modify
  12941. + * it under the terms of the GNU General Public License as published by
  12942. + * the Free Software Foundation; either version 2 of the License, or
  12943. + * (at your option) any later version.
  12944. + *
  12945. + * This program is distributed in the hope that it will be useful,
  12946. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12947. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  12948. + * GNU General Public License for more details.
  12949. + *
  12950. + * You should have received a copy of the GNU General Public License
  12951. + * along with this program; if not, write to the Free Software
  12952. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  12953. + */
  12954. +#include <mach/hardware.h>
  12955. +
  12956. + .macro disable_fiq
  12957. + .endm
  12958. +
  12959. + .macro get_irqnr_preamble, base, tmp
  12960. + ldr \base, =IO_ADDRESS(ARMCTRL_IC_BASE)
  12961. + .endm
  12962. +
  12963. + .macro arch_ret_to_user, tmp1, tmp2
  12964. + .endm
  12965. +
  12966. + .macro get_irqnr_and_base, irqnr, irqstat, base, tmp
  12967. + /* get masked status */
  12968. + ldr \irqstat, [\base, #(ARM_IRQ_PEND0 - ARMCTRL_IC_BASE)]
  12969. + mov \irqnr, #(ARM_IRQ0_BASE + 31)
  12970. + and \tmp, \irqstat, #0x300 @ save bits 8 and 9
  12971. + /* clear bits 8 and 9, and test */
  12972. + bics \irqstat, \irqstat, #0x300
  12973. + bne 1010f
  12974. +
  12975. + tst \tmp, #0x100
  12976. + ldrne \irqstat, [\base, #(ARM_IRQ_PEND1 - ARMCTRL_IC_BASE)]
  12977. + movne \irqnr, #(ARM_IRQ1_BASE + 31)
  12978. + @ Mask out the interrupts also present in PEND0 - see SW-5809
  12979. + bicne \irqstat, #((1<<7) | (1<<9) | (1<<10))
  12980. + bicne \irqstat, #((1<<18) | (1<<19))
  12981. + bne 1010f
  12982. +
  12983. + tst \tmp, #0x200
  12984. + ldrne \irqstat, [\base, #(ARM_IRQ_PEND2 - ARMCTRL_IC_BASE)]
  12985. + movne \irqnr, #(ARM_IRQ2_BASE + 31)
  12986. + @ Mask out the interrupts also present in PEND0 - see SW-5809
  12987. + bicne \irqstat, #((1<<21) | (1<<22) | (1<<23) | (1<<24) | (1<<25))
  12988. + bicne \irqstat, #((1<<30))
  12989. + beq 1020f
  12990. +
  12991. +1010:
  12992. + @ For non-zero x, LSB(x) = 31 - CLZ(x^(x-1))
  12993. + @ N.B. CLZ is an ARM5 instruction.
  12994. + sub \tmp, \irqstat, #1
  12995. + eor \irqstat, \irqstat, \tmp
  12996. + clz \tmp, \irqstat
  12997. + sub \irqnr, \tmp
  12998. +
  12999. +1020: @ EQ will be set if no irqs pending
  13000. +
  13001. + .endm
  13002. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/frc.h linux-rpi/arch/arm/mach-bcm2708/include/mach/frc.h
  13003. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/frc.h 1970-01-01 01:00:00.000000000 +0100
  13004. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/frc.h 2015-11-29 09:42:34.791439401 +0100
  13005. @@ -0,0 +1,38 @@
  13006. +/*
  13007. + * arch/arm/mach-bcm2708/include/mach/timex.h
  13008. + *
  13009. + * BCM2708 free running counter (timer)
  13010. + *
  13011. + * Copyright (C) 2010 Broadcom
  13012. + *
  13013. + * This program is free software; you can redistribute it and/or modify
  13014. + * it under the terms of the GNU General Public License as published by
  13015. + * the Free Software Foundation; either version 2 of the License, or
  13016. + * (at your option) any later version.
  13017. + *
  13018. + * This program is distributed in the hope that it will be useful,
  13019. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13020. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13021. + * GNU General Public License for more details.
  13022. + *
  13023. + * You should have received a copy of the GNU General Public License
  13024. + * along with this program; if not, write to the Free Software
  13025. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13026. + */
  13027. +
  13028. +#ifndef _MACH_FRC_H
  13029. +#define _MACH_FRC_H
  13030. +
  13031. +#define FRC_TICK_RATE (1000000)
  13032. +
  13033. +/*! Free running counter incrementing at the CLOCK_TICK_RATE
  13034. + (slightly faster than frc_clock_ticks63()
  13035. + */
  13036. +extern unsigned long frc_clock_ticks32(void);
  13037. +
  13038. +/*! Free running counter incrementing at the CLOCK_TICK_RATE
  13039. + * Note - top bit should be ignored (see cnt32_to_63)
  13040. + */
  13041. +extern unsigned long long frc_clock_ticks63(void);
  13042. +
  13043. +#endif
  13044. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/gpio.h linux-rpi/arch/arm/mach-bcm2708/include/mach/gpio.h
  13045. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/gpio.h 1970-01-01 01:00:00.000000000 +0100
  13046. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/gpio.h 2015-11-29 09:42:34.791439401 +0100
  13047. @@ -0,0 +1,17 @@
  13048. +/*
  13049. + * arch/arm/mach-bcm2708/include/mach/gpio.h
  13050. + *
  13051. + * This file is licensed under the terms of the GNU General Public
  13052. + * License version 2. This program is licensed "as is" without any
  13053. + * warranty of any kind, whether express or implied.
  13054. + */
  13055. +
  13056. +#ifndef __ASM_ARCH_GPIO_H
  13057. +#define __ASM_ARCH_GPIO_H
  13058. +
  13059. +#define BCM2708_NR_GPIOS 54 // number of gpio lines
  13060. +
  13061. +#define gpio_to_irq(x) ((x) + GPIO_IRQ_START)
  13062. +#define irq_to_gpio(x) ((x) - GPIO_IRQ_START)
  13063. +
  13064. +#endif
  13065. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/hardware.h linux-rpi/arch/arm/mach-bcm2708/include/mach/hardware.h
  13066. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/hardware.h 1970-01-01 01:00:00.000000000 +0100
  13067. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/hardware.h 2015-11-29 09:42:34.791439401 +0100
  13068. @@ -0,0 +1,28 @@
  13069. +/*
  13070. + * arch/arm/mach-bcm2708/include/mach/hardware.h
  13071. + *
  13072. + * This file contains the hardware definitions of the BCM2708 devices.
  13073. + *
  13074. + * Copyright (C) 2010 Broadcom
  13075. + *
  13076. + * This program is free software; you can redistribute it and/or modify
  13077. + * it under the terms of the GNU General Public License as published by
  13078. + * the Free Software Foundation; either version 2 of the License, or
  13079. + * (at your option) any later version.
  13080. + *
  13081. + * This program is distributed in the hope that it will be useful,
  13082. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13083. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13084. + * GNU General Public License for more details.
  13085. + *
  13086. + * You should have received a copy of the GNU General Public License
  13087. + * along with this program; if not, write to the Free Software
  13088. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13089. + */
  13090. +#ifndef __ASM_ARCH_HARDWARE_H
  13091. +#define __ASM_ARCH_HARDWARE_H
  13092. +
  13093. +#include <asm/sizes.h>
  13094. +#include <mach/platform.h>
  13095. +
  13096. +#endif
  13097. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/io.h linux-rpi/arch/arm/mach-bcm2708/include/mach/io.h
  13098. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/io.h 1970-01-01 01:00:00.000000000 +0100
  13099. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/io.h 2015-11-29 09:42:34.791439401 +0100
  13100. @@ -0,0 +1,27 @@
  13101. +/*
  13102. + * arch/arm/mach-bcm2708/include/mach/io.h
  13103. + *
  13104. + * Copyright (C) 2003 ARM Limited
  13105. + *
  13106. + * This program is free software; you can redistribute it and/or modify
  13107. + * it under the terms of the GNU General Public License as published by
  13108. + * the Free Software Foundation; either version 2 of the License, or
  13109. + * (at your option) any later version.
  13110. + *
  13111. + * This program is distributed in the hope that it will be useful,
  13112. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13113. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13114. + * GNU General Public License for more details.
  13115. + *
  13116. + * You should have received a copy of the GNU General Public License
  13117. + * along with this program; if not, write to the Free Software
  13118. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13119. + */
  13120. +#ifndef __ASM_ARM_ARCH_IO_H
  13121. +#define __ASM_ARM_ARCH_IO_H
  13122. +
  13123. +#define IO_SPACE_LIMIT 0xffffffff
  13124. +
  13125. +#define __io(a) __typesafe_io(a)
  13126. +
  13127. +#endif
  13128. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/irqs.h linux-rpi/arch/arm/mach-bcm2708/include/mach/irqs.h
  13129. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/irqs.h 1970-01-01 01:00:00.000000000 +0100
  13130. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/irqs.h 2015-11-29 09:42:34.791439401 +0100
  13131. @@ -0,0 +1,199 @@
  13132. +/*
  13133. + * arch/arm/mach-bcm2708/include/mach/irqs.h
  13134. + *
  13135. + * Copyright (C) 2010 Broadcom
  13136. + * Copyright (C) 2003 ARM Limited
  13137. + * Copyright (C) 2000 Deep Blue Solutions Ltd.
  13138. + *
  13139. + * This program is free software; you can redistribute it and/or modify
  13140. + * it under the terms of the GNU General Public License as published by
  13141. + * the Free Software Foundation; either version 2 of the License, or
  13142. + * (at your option) any later version.
  13143. + *
  13144. + * This program is distributed in the hope that it will be useful,
  13145. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13146. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13147. + * GNU General Public License for more details.
  13148. + *
  13149. + * You should have received a copy of the GNU General Public License
  13150. + * along with this program; if not, write to the Free Software
  13151. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13152. + */
  13153. +
  13154. +#ifndef _BCM2708_IRQS_H_
  13155. +#define _BCM2708_IRQS_H_
  13156. +
  13157. +#include <mach/platform.h>
  13158. +
  13159. +/*
  13160. + * IRQ interrupts definitions are the same as the INT definitions
  13161. + * held within platform.h
  13162. + */
  13163. +#define IRQ_ARMCTRL_START 0
  13164. +#define IRQ_TIMER0 (IRQ_ARMCTRL_START + INTERRUPT_TIMER0)
  13165. +#define IRQ_TIMER1 (IRQ_ARMCTRL_START + INTERRUPT_TIMER1)
  13166. +#define IRQ_TIMER2 (IRQ_ARMCTRL_START + INTERRUPT_TIMER2)
  13167. +#define IRQ_TIMER3 (IRQ_ARMCTRL_START + INTERRUPT_TIMER3)
  13168. +#define IRQ_CODEC0 (IRQ_ARMCTRL_START + INTERRUPT_CODEC0)
  13169. +#define IRQ_CODEC1 (IRQ_ARMCTRL_START + INTERRUPT_CODEC1)
  13170. +#define IRQ_CODEC2 (IRQ_ARMCTRL_START + INTERRUPT_CODEC2)
  13171. +#define IRQ_JPEG (IRQ_ARMCTRL_START + INTERRUPT_JPEG)
  13172. +#define IRQ_ISP (IRQ_ARMCTRL_START + INTERRUPT_ISP)
  13173. +#define IRQ_USB (IRQ_ARMCTRL_START + INTERRUPT_USB)
  13174. +#define IRQ_3D (IRQ_ARMCTRL_START + INTERRUPT_3D)
  13175. +#define IRQ_TRANSPOSER (IRQ_ARMCTRL_START + INTERRUPT_TRANSPOSER)
  13176. +#define IRQ_MULTICORESYNC0 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC0)
  13177. +#define IRQ_MULTICORESYNC1 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC1)
  13178. +#define IRQ_MULTICORESYNC2 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC2)
  13179. +#define IRQ_MULTICORESYNC3 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC3)
  13180. +#define IRQ_DMA0 (IRQ_ARMCTRL_START + INTERRUPT_DMA0)
  13181. +#define IRQ_DMA1 (IRQ_ARMCTRL_START + INTERRUPT_DMA1)
  13182. +#define IRQ_DMA2 (IRQ_ARMCTRL_START + INTERRUPT_DMA2)
  13183. +#define IRQ_DMA3 (IRQ_ARMCTRL_START + INTERRUPT_DMA3)
  13184. +#define IRQ_DMA4 (IRQ_ARMCTRL_START + INTERRUPT_DMA4)
  13185. +#define IRQ_DMA5 (IRQ_ARMCTRL_START + INTERRUPT_DMA5)
  13186. +#define IRQ_DMA6 (IRQ_ARMCTRL_START + INTERRUPT_DMA6)
  13187. +#define IRQ_DMA7 (IRQ_ARMCTRL_START + INTERRUPT_DMA7)
  13188. +#define IRQ_DMA8 (IRQ_ARMCTRL_START + INTERRUPT_DMA8)
  13189. +#define IRQ_DMA9 (IRQ_ARMCTRL_START + INTERRUPT_DMA9)
  13190. +#define IRQ_DMA10 (IRQ_ARMCTRL_START + INTERRUPT_DMA10)
  13191. +#define IRQ_DMA11 (IRQ_ARMCTRL_START + INTERRUPT_DMA11)
  13192. +#define IRQ_DMA12 (IRQ_ARMCTRL_START + INTERRUPT_DMA12)
  13193. +#define IRQ_AUX (IRQ_ARMCTRL_START + INTERRUPT_AUX)
  13194. +#define IRQ_ARM (IRQ_ARMCTRL_START + INTERRUPT_ARM)
  13195. +#define IRQ_VPUDMA (IRQ_ARMCTRL_START + INTERRUPT_VPUDMA)
  13196. +#define IRQ_HOSTPORT (IRQ_ARMCTRL_START + INTERRUPT_HOSTPORT)
  13197. +#define IRQ_VIDEOSCALER (IRQ_ARMCTRL_START + INTERRUPT_VIDEOSCALER)
  13198. +#define IRQ_CCP2TX (IRQ_ARMCTRL_START + INTERRUPT_CCP2TX)
  13199. +#define IRQ_SDC (IRQ_ARMCTRL_START + INTERRUPT_SDC)
  13200. +#define IRQ_DSI0 (IRQ_ARMCTRL_START + INTERRUPT_DSI0)
  13201. +#define IRQ_AVE (IRQ_ARMCTRL_START + INTERRUPT_AVE)
  13202. +#define IRQ_CAM0 (IRQ_ARMCTRL_START + INTERRUPT_CAM0)
  13203. +#define IRQ_CAM1 (IRQ_ARMCTRL_START + INTERRUPT_CAM1)
  13204. +#define IRQ_HDMI0 (IRQ_ARMCTRL_START + INTERRUPT_HDMI0)
  13205. +#define IRQ_HDMI1 (IRQ_ARMCTRL_START + INTERRUPT_HDMI1)
  13206. +#define IRQ_PIXELVALVE1 (IRQ_ARMCTRL_START + INTERRUPT_PIXELVALVE1)
  13207. +#define IRQ_I2CSPISLV (IRQ_ARMCTRL_START + INTERRUPT_I2CSPISLV)
  13208. +#define IRQ_DSI1 (IRQ_ARMCTRL_START + INTERRUPT_DSI1)
  13209. +#define IRQ_PWA0 (IRQ_ARMCTRL_START + INTERRUPT_PWA0)
  13210. +#define IRQ_PWA1 (IRQ_ARMCTRL_START + INTERRUPT_PWA1)
  13211. +#define IRQ_CPR (IRQ_ARMCTRL_START + INTERRUPT_CPR)
  13212. +#define IRQ_SMI (IRQ_ARMCTRL_START + INTERRUPT_SMI)
  13213. +#define IRQ_GPIO0 (IRQ_ARMCTRL_START + INTERRUPT_GPIO0)
  13214. +#define IRQ_GPIO1 (IRQ_ARMCTRL_START + INTERRUPT_GPIO1)
  13215. +#define IRQ_GPIO2 (IRQ_ARMCTRL_START + INTERRUPT_GPIO2)
  13216. +#define IRQ_GPIO3 (IRQ_ARMCTRL_START + INTERRUPT_GPIO3)
  13217. +#define IRQ_I2C (IRQ_ARMCTRL_START + INTERRUPT_I2C)
  13218. +#define IRQ_SPI (IRQ_ARMCTRL_START + INTERRUPT_SPI)
  13219. +#define IRQ_I2SPCM (IRQ_ARMCTRL_START + INTERRUPT_I2SPCM)
  13220. +#define IRQ_SDIO (IRQ_ARMCTRL_START + INTERRUPT_SDIO)
  13221. +#define IRQ_UART (IRQ_ARMCTRL_START + INTERRUPT_UART)
  13222. +#define IRQ_SLIMBUS (IRQ_ARMCTRL_START + INTERRUPT_SLIMBUS)
  13223. +#define IRQ_VEC (IRQ_ARMCTRL_START + INTERRUPT_VEC)
  13224. +#define IRQ_CPG (IRQ_ARMCTRL_START + INTERRUPT_CPG)
  13225. +#define IRQ_RNG (IRQ_ARMCTRL_START + INTERRUPT_RNG)
  13226. +#define IRQ_ARASANSDIO (IRQ_ARMCTRL_START + INTERRUPT_ARASANSDIO)
  13227. +#define IRQ_AVSPMON (IRQ_ARMCTRL_START + INTERRUPT_AVSPMON)
  13228. +
  13229. +#define IRQ_ARM_TIMER (IRQ_ARMCTRL_START + INTERRUPT_ARM_TIMER)
  13230. +#define IRQ_ARM_MAILBOX (IRQ_ARMCTRL_START + INTERRUPT_ARM_MAILBOX)
  13231. +#define IRQ_ARM_DOORBELL_0 (IRQ_ARMCTRL_START + INTERRUPT_ARM_DOORBELL_0)
  13232. +#define IRQ_ARM_DOORBELL_1 (IRQ_ARMCTRL_START + INTERRUPT_ARM_DOORBELL_1)
  13233. +#define IRQ_VPU0_HALTED (IRQ_ARMCTRL_START + INTERRUPT_VPU0_HALTED)
  13234. +#define IRQ_VPU1_HALTED (IRQ_ARMCTRL_START + INTERRUPT_VPU1_HALTED)
  13235. +#define IRQ_ILLEGAL_TYPE0 (IRQ_ARMCTRL_START + INTERRUPT_ILLEGAL_TYPE0)
  13236. +#define IRQ_ILLEGAL_TYPE1 (IRQ_ARMCTRL_START + INTERRUPT_ILLEGAL_TYPE1)
  13237. +#define IRQ_PENDING1 (IRQ_ARMCTRL_START + INTERRUPT_PENDING1)
  13238. +#define IRQ_PENDING2 (IRQ_ARMCTRL_START + INTERRUPT_PENDING2)
  13239. +
  13240. +#define FIQ_START HARD_IRQS
  13241. +
  13242. +/*
  13243. + * FIQ interrupts definitions are the same as the INT definitions.
  13244. + */
  13245. +#define FIQ_TIMER0 (FIQ_START+INTERRUPT_TIMER0)
  13246. +#define FIQ_TIMER1 (FIQ_START+INTERRUPT_TIMER1)
  13247. +#define FIQ_TIMER2 (FIQ_START+INTERRUPT_TIMER2)
  13248. +#define FIQ_TIMER3 (FIQ_START+INTERRUPT_TIMER3)
  13249. +#define FIQ_CODEC0 (FIQ_START+INTERRUPT_CODEC0)
  13250. +#define FIQ_CODEC1 (FIQ_START+INTERRUPT_CODEC1)
  13251. +#define FIQ_CODEC2 (FIQ_START+INTERRUPT_CODEC2)
  13252. +#define FIQ_JPEG (FIQ_START+INTERRUPT_JPEG)
  13253. +#define FIQ_ISP (FIQ_START+INTERRUPT_ISP)
  13254. +#define FIQ_USB (FIQ_START+INTERRUPT_USB)
  13255. +#define FIQ_3D (FIQ_START+INTERRUPT_3D)
  13256. +#define FIQ_TRANSPOSER (FIQ_START+INTERRUPT_TRANSPOSER)
  13257. +#define FIQ_MULTICORESYNC0 (FIQ_START+INTERRUPT_MULTICORESYNC0)
  13258. +#define FIQ_MULTICORESYNC1 (FIQ_START+INTERRUPT_MULTICORESYNC1)
  13259. +#define FIQ_MULTICORESYNC2 (FIQ_START+INTERRUPT_MULTICORESYNC2)
  13260. +#define FIQ_MULTICORESYNC3 (FIQ_START+INTERRUPT_MULTICORESYNC3)
  13261. +#define FIQ_DMA0 (FIQ_START+INTERRUPT_DMA0)
  13262. +#define FIQ_DMA1 (FIQ_START+INTERRUPT_DMA1)
  13263. +#define FIQ_DMA2 (FIQ_START+INTERRUPT_DMA2)
  13264. +#define FIQ_DMA3 (FIQ_START+INTERRUPT_DMA3)
  13265. +#define FIQ_DMA4 (FIQ_START+INTERRUPT_DMA4)
  13266. +#define FIQ_DMA5 (FIQ_START+INTERRUPT_DMA5)
  13267. +#define FIQ_DMA6 (FIQ_START+INTERRUPT_DMA6)
  13268. +#define FIQ_DMA7 (FIQ_START+INTERRUPT_DMA7)
  13269. +#define FIQ_DMA8 (FIQ_START+INTERRUPT_DMA8)
  13270. +#define FIQ_DMA9 (FIQ_START+INTERRUPT_DMA9)
  13271. +#define FIQ_DMA10 (FIQ_START+INTERRUPT_DMA10)
  13272. +#define FIQ_DMA11 (FIQ_START+INTERRUPT_DMA11)
  13273. +#define FIQ_DMA12 (FIQ_START+INTERRUPT_DMA12)
  13274. +#define FIQ_AUX (FIQ_START+INTERRUPT_AUX)
  13275. +#define FIQ_ARM (FIQ_START+INTERRUPT_ARM)
  13276. +#define FIQ_VPUDMA (FIQ_START+INTERRUPT_VPUDMA)
  13277. +#define FIQ_HOSTPORT (FIQ_START+INTERRUPT_HOSTPORT)
  13278. +#define FIQ_VIDEOSCALER (FIQ_START+INTERRUPT_VIDEOSCALER)
  13279. +#define FIQ_CCP2TX (FIQ_START+INTERRUPT_CCP2TX)
  13280. +#define FIQ_SDC (FIQ_START+INTERRUPT_SDC)
  13281. +#define FIQ_DSI0 (FIQ_START+INTERRUPT_DSI0)
  13282. +#define FIQ_AVE (FIQ_START+INTERRUPT_AVE)
  13283. +#define FIQ_CAM0 (FIQ_START+INTERRUPT_CAM0)
  13284. +#define FIQ_CAM1 (FIQ_START+INTERRUPT_CAM1)
  13285. +#define FIQ_HDMI0 (FIQ_START+INTERRUPT_HDMI0)
  13286. +#define FIQ_HDMI1 (FIQ_START+INTERRUPT_HDMI1)
  13287. +#define FIQ_PIXELVALVE1 (FIQ_START+INTERRUPT_PIXELVALVE1)
  13288. +#define FIQ_I2CSPISLV (FIQ_START+INTERRUPT_I2CSPISLV)
  13289. +#define FIQ_DSI1 (FIQ_START+INTERRUPT_DSI1)
  13290. +#define FIQ_PWA0 (FIQ_START+INTERRUPT_PWA0)
  13291. +#define FIQ_PWA1 (FIQ_START+INTERRUPT_PWA1)
  13292. +#define FIQ_CPR (FIQ_START+INTERRUPT_CPR)
  13293. +#define FIQ_SMI (FIQ_START+INTERRUPT_SMI)
  13294. +#define FIQ_GPIO0 (FIQ_START+INTERRUPT_GPIO0)
  13295. +#define FIQ_GPIO1 (FIQ_START+INTERRUPT_GPIO1)
  13296. +#define FIQ_GPIO2 (FIQ_START+INTERRUPT_GPIO2)
  13297. +#define FIQ_GPIO3 (FIQ_START+INTERRUPT_GPIO3)
  13298. +#define FIQ_I2C (FIQ_START+INTERRUPT_I2C)
  13299. +#define FIQ_SPI (FIQ_START+INTERRUPT_SPI)
  13300. +#define FIQ_I2SPCM (FIQ_START+INTERRUPT_I2SPCM)
  13301. +#define FIQ_SDIO (FIQ_START+INTERRUPT_SDIO)
  13302. +#define FIQ_UART (FIQ_START+INTERRUPT_UART)
  13303. +#define FIQ_SLIMBUS (FIQ_START+INTERRUPT_SLIMBUS)
  13304. +#define FIQ_VEC (FIQ_START+INTERRUPT_VEC)
  13305. +#define FIQ_CPG (FIQ_START+INTERRUPT_CPG)
  13306. +#define FIQ_RNG (FIQ_START+INTERRUPT_RNG)
  13307. +#define FIQ_ARASANSDIO (FIQ_START+INTERRUPT_ARASANSDIO)
  13308. +#define FIQ_AVSPMON (FIQ_START+INTERRUPT_AVSPMON)
  13309. +
  13310. +#define FIQ_ARM_TIMER (FIQ_START+INTERRUPT_ARM_TIMER)
  13311. +#define FIQ_ARM_MAILBOX (FIQ_START+INTERRUPT_ARM_MAILBOX)
  13312. +#define FIQ_ARM_DOORBELL_0 (FIQ_START+INTERRUPT_ARM_DOORBELL_0)
  13313. +#define FIQ_ARM_DOORBELL_1 (FIQ_START+INTERRUPT_ARM_DOORBELL_1)
  13314. +#define FIQ_VPU0_HALTED (FIQ_START+INTERRUPT_VPU0_HALTED)
  13315. +#define FIQ_VPU1_HALTED (FIQ_START+INTERRUPT_VPU1_HALTED)
  13316. +#define FIQ_ILLEGAL_TYPE0 (FIQ_START+INTERRUPT_ILLEGAL_TYPE0)
  13317. +#define FIQ_ILLEGAL_TYPE1 (FIQ_START+INTERRUPT_ILLEGAL_TYPE1)
  13318. +#define FIQ_PENDING1 (FIQ_START+INTERRUPT_PENDING1)
  13319. +#define FIQ_PENDING2 (FIQ_START+INTERRUPT_PENDING2)
  13320. +
  13321. +#define HARD_IRQS (64 + 21)
  13322. +#define FIQ_IRQS (64 + 21)
  13323. +#define GPIO_IRQ_START (HARD_IRQS + FIQ_IRQS)
  13324. +#define GPIO_IRQS (32*5)
  13325. +#define SPARE_ALLOC_IRQS 64
  13326. +#define BCM2708_ALLOC_IRQS (HARD_IRQS+FIQ_IRQS+GPIO_IRQS+SPARE_ALLOC_IRQS)
  13327. +#define FREE_IRQS 128
  13328. +#define NR_IRQS (BCM2708_ALLOC_IRQS+FREE_IRQS)
  13329. +
  13330. +#endif /* _BCM2708_IRQS_H_ */
  13331. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/memory.h linux-rpi/arch/arm/mach-bcm2708/include/mach/memory.h
  13332. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/memory.h 1970-01-01 01:00:00.000000000 +0100
  13333. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/memory.h 2015-11-29 09:42:34.791439401 +0100
  13334. @@ -0,0 +1,57 @@
  13335. +/*
  13336. + * arch/arm/mach-bcm2708/include/mach/memory.h
  13337. + *
  13338. + * Copyright (C) 2010 Broadcom
  13339. + *
  13340. + * This program is free software; you can redistribute it and/or modify
  13341. + * it under the terms of the GNU General Public License as published by
  13342. + * the Free Software Foundation; either version 2 of the License, or
  13343. + * (at your option) any later version.
  13344. + *
  13345. + * This program is distributed in the hope that it will be useful,
  13346. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13347. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13348. + * GNU General Public License for more details.
  13349. + *
  13350. + * You should have received a copy of the GNU General Public License
  13351. + * along with this program; if not, write to the Free Software
  13352. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13353. + */
  13354. +#ifndef __ASM_ARCH_MEMORY_H
  13355. +#define __ASM_ARCH_MEMORY_H
  13356. +
  13357. +/* Memory overview:
  13358. +
  13359. + [ARMcore] <--virtual addr-->
  13360. + [ARMmmu] <--physical addr-->
  13361. + [GERTmap] <--bus add-->
  13362. + [VCperiph]
  13363. +
  13364. +*/
  13365. +
  13366. +/*
  13367. + * Physical DRAM offset.
  13368. + */
  13369. +#define BCM_PLAT_PHYS_OFFSET UL(0x00000000)
  13370. +#define VC_ARMMEM_OFFSET UL(0x00000000) /* offset in VC of ARM memory */
  13371. +
  13372. +#ifdef CONFIG_BCM2708_NOL2CACHE
  13373. + #define _REAL_BUS_OFFSET UL(0xC0000000) /* don't use L1 or L2 caches */
  13374. +#else
  13375. + #define _REAL_BUS_OFFSET UL(0x40000000) /* use L2 cache */
  13376. +#endif
  13377. +
  13378. +/* We're using the memory at 64M in the VideoCore for Linux - this adjustment
  13379. + * will provide the offset into this area as well as setting the bits that
  13380. + * stop the L1 and L2 cache from being used
  13381. + *
  13382. + * WARNING: this only works because the ARM is given memory at a fixed location
  13383. + * (ARMMEM_OFFSET)
  13384. + */
  13385. +#define BUS_OFFSET (VC_ARMMEM_OFFSET + _REAL_BUS_OFFSET)
  13386. +#define __virt_to_bus(x) ((x) + (BUS_OFFSET - PAGE_OFFSET))
  13387. +#define __bus_to_virt(x) ((x) - (BUS_OFFSET - PAGE_OFFSET))
  13388. +#define __pfn_to_bus(x) (__pfn_to_phys(x) + (BUS_OFFSET - BCM_PLAT_PHYS_OFFSET))
  13389. +#define __bus_to_pfn(x) __phys_to_pfn((x) - (BUS_OFFSET - BCM_PLAT_PHYS_OFFSET))
  13390. +
  13391. +#endif
  13392. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/platform.h linux-rpi/arch/arm/mach-bcm2708/include/mach/platform.h
  13393. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/platform.h 1970-01-01 01:00:00.000000000 +0100
  13394. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/platform.h 2015-11-29 09:42:34.791439401 +0100
  13395. @@ -0,0 +1,230 @@
  13396. +/*
  13397. + * arch/arm/mach-bcm2708/include/mach/platform.h
  13398. + *
  13399. + * Copyright (C) 2010 Broadcom
  13400. + *
  13401. + * This program is free software; you can redistribute it and/or modify
  13402. + * it under the terms of the GNU General Public License as published by
  13403. + * the Free Software Foundation; either version 2 of the License, or
  13404. + * (at your option) any later version.
  13405. + *
  13406. + * This program is distributed in the hope that it will be useful,
  13407. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13408. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13409. + * GNU General Public License for more details.
  13410. + *
  13411. + * You should have received a copy of the GNU General Public License
  13412. + * along with this program; if not, write to the Free Software
  13413. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13414. + */
  13415. +
  13416. +#ifndef _BCM2708_PLATFORM_H
  13417. +#define _BCM2708_PLATFORM_H
  13418. +
  13419. +
  13420. +/* macros to get at IO space when running virtually */
  13421. +#define IO_ADDRESS(x) (((x) & 0x0fffffff) + (((x) >> 4) & 0x0f000000) + 0xf0000000)
  13422. +
  13423. +#define __io_address(n) IOMEM(IO_ADDRESS(n))
  13424. +
  13425. +
  13426. +/*
  13427. + * SDRAM
  13428. + */
  13429. +#define BCM2708_SDRAM_BASE 0x00000000
  13430. +
  13431. +/*
  13432. + * Logic expansion modules
  13433. + *
  13434. + */
  13435. +
  13436. +
  13437. +/* ------------------------------------------------------------------------
  13438. + * BCM2708 ARMCTRL Registers
  13439. + * ------------------------------------------------------------------------
  13440. + */
  13441. +
  13442. +#define HW_REGISTER_RW(addr) (addr)
  13443. +#define HW_REGISTER_RO(addr) (addr)
  13444. +
  13445. +#include "arm_control.h"
  13446. +#undef ARM_BASE
  13447. +
  13448. +/*
  13449. + * Definitions and addresses for the ARM CONTROL logic
  13450. + * This file is manually generated.
  13451. + */
  13452. +
  13453. +#define BCM2708_PERI_BASE 0x20000000
  13454. +#define IC0_BASE (BCM2708_PERI_BASE + 0x2000)
  13455. +#define ST_BASE (BCM2708_PERI_BASE + 0x3000) /* System Timer */
  13456. +#define MPHI_BASE (BCM2708_PERI_BASE + 0x6000) /* Message -based Parallel Host Interface */
  13457. +#define DMA_BASE (BCM2708_PERI_BASE + 0x7000) /* DMA controller */
  13458. +#define ARM_BASE (BCM2708_PERI_BASE + 0xB000) /* BCM2708 ARM control block */
  13459. +#define PM_BASE (BCM2708_PERI_BASE + 0x100000) /* Power Management, Reset controller and Watchdog registers */
  13460. +#define PCM_CLOCK_BASE (BCM2708_PERI_BASE + 0x101098) /* PCM Clock */
  13461. +#define RNG_BASE (BCM2708_PERI_BASE + 0x104000) /* Hardware RNG */
  13462. +#define GPIO_BASE (BCM2708_PERI_BASE + 0x200000) /* GPIO */
  13463. +#define UART0_BASE (BCM2708_PERI_BASE + 0x201000) /* Uart 0 */
  13464. +#define MMCI0_BASE (BCM2708_PERI_BASE + 0x202000) /* MMC interface */
  13465. +#define I2S_BASE (BCM2708_PERI_BASE + 0x203000) /* I2S */
  13466. +#define SPI0_BASE (BCM2708_PERI_BASE + 0x204000) /* SPI0 */
  13467. +#define BSC0_BASE (BCM2708_PERI_BASE + 0x205000) /* BSC0 I2C/TWI */
  13468. +#define UART1_BASE (BCM2708_PERI_BASE + 0x215000) /* Uart 1 */
  13469. +#define EMMC_BASE (BCM2708_PERI_BASE + 0x300000) /* eMMC interface */
  13470. +#define SMI_BASE (BCM2708_PERI_BASE + 0x600000) /* SMI */
  13471. +#define BSC1_BASE (BCM2708_PERI_BASE + 0x804000) /* BSC1 I2C/TWI */
  13472. +#define USB_BASE (BCM2708_PERI_BASE + 0x980000) /* DTC_OTG USB controller */
  13473. +#define MCORE_BASE (BCM2708_PERI_BASE + 0x0000) /* Fake frame buffer device (actually the multicore sync block*/
  13474. +
  13475. +#define ARMCTRL_BASE (ARM_BASE + 0x000)
  13476. +#define ARMCTRL_IC_BASE (ARM_BASE + 0x200) /* ARM interrupt controller */
  13477. +#define ARMCTRL_TIMER0_1_BASE (ARM_BASE + 0x400) /* Timer 0 and 1 */
  13478. +#define ARMCTRL_0_SBM_BASE (ARM_BASE + 0x800) /* User 0 (ARM)'s Semaphores Doorbells and Mailboxes */
  13479. +#define ARMCTRL_0_BELL_BASE (ARMCTRL_0_SBM_BASE + 0x40) /* User 0 (ARM)'s Doorbell */
  13480. +#define ARMCTRL_0_MAIL0_BASE (ARMCTRL_0_SBM_BASE + 0x80) /* User 0 (ARM)'s Mailbox 0 */
  13481. +
  13482. +
  13483. +/*
  13484. + * Interrupt assignments
  13485. + */
  13486. +
  13487. +#define ARM_IRQ1_BASE 0
  13488. +#define INTERRUPT_TIMER0 (ARM_IRQ1_BASE + 0)
  13489. +#define INTERRUPT_TIMER1 (ARM_IRQ1_BASE + 1)
  13490. +#define INTERRUPT_TIMER2 (ARM_IRQ1_BASE + 2)
  13491. +#define INTERRUPT_TIMER3 (ARM_IRQ1_BASE + 3)
  13492. +#define INTERRUPT_CODEC0 (ARM_IRQ1_BASE + 4)
  13493. +#define INTERRUPT_CODEC1 (ARM_IRQ1_BASE + 5)
  13494. +#define INTERRUPT_CODEC2 (ARM_IRQ1_BASE + 6)
  13495. +#define INTERRUPT_VC_JPEG (ARM_IRQ1_BASE + 7)
  13496. +#define INTERRUPT_ISP (ARM_IRQ1_BASE + 8)
  13497. +#define INTERRUPT_VC_USB (ARM_IRQ1_BASE + 9)
  13498. +#define INTERRUPT_VC_3D (ARM_IRQ1_BASE + 10)
  13499. +#define INTERRUPT_TRANSPOSER (ARM_IRQ1_BASE + 11)
  13500. +#define INTERRUPT_MULTICORESYNC0 (ARM_IRQ1_BASE + 12)
  13501. +#define INTERRUPT_MULTICORESYNC1 (ARM_IRQ1_BASE + 13)
  13502. +#define INTERRUPT_MULTICORESYNC2 (ARM_IRQ1_BASE + 14)
  13503. +#define INTERRUPT_MULTICORESYNC3 (ARM_IRQ1_BASE + 15)
  13504. +#define INTERRUPT_DMA0 (ARM_IRQ1_BASE + 16)
  13505. +#define INTERRUPT_DMA1 (ARM_IRQ1_BASE + 17)
  13506. +#define INTERRUPT_VC_DMA2 (ARM_IRQ1_BASE + 18)
  13507. +#define INTERRUPT_VC_DMA3 (ARM_IRQ1_BASE + 19)
  13508. +#define INTERRUPT_DMA4 (ARM_IRQ1_BASE + 20)
  13509. +#define INTERRUPT_DMA5 (ARM_IRQ1_BASE + 21)
  13510. +#define INTERRUPT_DMA6 (ARM_IRQ1_BASE + 22)
  13511. +#define INTERRUPT_DMA7 (ARM_IRQ1_BASE + 23)
  13512. +#define INTERRUPT_DMA8 (ARM_IRQ1_BASE + 24)
  13513. +#define INTERRUPT_DMA9 (ARM_IRQ1_BASE + 25)
  13514. +#define INTERRUPT_DMA10 (ARM_IRQ1_BASE + 26)
  13515. +#define INTERRUPT_DMA11 (ARM_IRQ1_BASE + 27)
  13516. +#define INTERRUPT_DMA12 (ARM_IRQ1_BASE + 28)
  13517. +#define INTERRUPT_AUX (ARM_IRQ1_BASE + 29)
  13518. +#define INTERRUPT_ARM (ARM_IRQ1_BASE + 30)
  13519. +#define INTERRUPT_VPUDMA (ARM_IRQ1_BASE + 31)
  13520. +
  13521. +#define ARM_IRQ2_BASE 32
  13522. +#define INTERRUPT_HOSTPORT (ARM_IRQ2_BASE + 0)
  13523. +#define INTERRUPT_VIDEOSCALER (ARM_IRQ2_BASE + 1)
  13524. +#define INTERRUPT_CCP2TX (ARM_IRQ2_BASE + 2)
  13525. +#define INTERRUPT_SDC (ARM_IRQ2_BASE + 3)
  13526. +#define INTERRUPT_DSI0 (ARM_IRQ2_BASE + 4)
  13527. +#define INTERRUPT_AVE (ARM_IRQ2_BASE + 5)
  13528. +#define INTERRUPT_CAM0 (ARM_IRQ2_BASE + 6)
  13529. +#define INTERRUPT_CAM1 (ARM_IRQ2_BASE + 7)
  13530. +#define INTERRUPT_HDMI0 (ARM_IRQ2_BASE + 8)
  13531. +#define INTERRUPT_HDMI1 (ARM_IRQ2_BASE + 9)
  13532. +#define INTERRUPT_PIXELVALVE1 (ARM_IRQ2_BASE + 10)
  13533. +#define INTERRUPT_I2CSPISLV (ARM_IRQ2_BASE + 11)
  13534. +#define INTERRUPT_DSI1 (ARM_IRQ2_BASE + 12)
  13535. +#define INTERRUPT_PWA0 (ARM_IRQ2_BASE + 13)
  13536. +#define INTERRUPT_PWA1 (ARM_IRQ2_BASE + 14)
  13537. +#define INTERRUPT_CPR (ARM_IRQ2_BASE + 15)
  13538. +#define INTERRUPT_SMI (ARM_IRQ2_BASE + 16)
  13539. +#define INTERRUPT_GPIO0 (ARM_IRQ2_BASE + 17)
  13540. +#define INTERRUPT_GPIO1 (ARM_IRQ2_BASE + 18)
  13541. +#define INTERRUPT_GPIO2 (ARM_IRQ2_BASE + 19)
  13542. +#define INTERRUPT_GPIO3 (ARM_IRQ2_BASE + 20)
  13543. +#define INTERRUPT_VC_I2C (ARM_IRQ2_BASE + 21)
  13544. +#define INTERRUPT_VC_SPI (ARM_IRQ2_BASE + 22)
  13545. +#define INTERRUPT_VC_I2SPCM (ARM_IRQ2_BASE + 23)
  13546. +#define INTERRUPT_VC_SDIO (ARM_IRQ2_BASE + 24)
  13547. +#define INTERRUPT_VC_UART (ARM_IRQ2_BASE + 25)
  13548. +#define INTERRUPT_SLIMBUS (ARM_IRQ2_BASE + 26)
  13549. +#define INTERRUPT_VEC (ARM_IRQ2_BASE + 27)
  13550. +#define INTERRUPT_CPG (ARM_IRQ2_BASE + 28)
  13551. +#define INTERRUPT_RNG (ARM_IRQ2_BASE + 29)
  13552. +#define INTERRUPT_VC_ARASANSDIO (ARM_IRQ2_BASE + 30)
  13553. +#define INTERRUPT_AVSPMON (ARM_IRQ2_BASE + 31)
  13554. +
  13555. +#define ARM_IRQ0_BASE 64
  13556. +#define INTERRUPT_ARM_TIMER (ARM_IRQ0_BASE + 0)
  13557. +#define INTERRUPT_ARM_MAILBOX (ARM_IRQ0_BASE + 1)
  13558. +#define INTERRUPT_ARM_DOORBELL_0 (ARM_IRQ0_BASE + 2)
  13559. +#define INTERRUPT_ARM_DOORBELL_1 (ARM_IRQ0_BASE + 3)
  13560. +#define INTERRUPT_VPU0_HALTED (ARM_IRQ0_BASE + 4)
  13561. +#define INTERRUPT_VPU1_HALTED (ARM_IRQ0_BASE + 5)
  13562. +#define INTERRUPT_ILLEGAL_TYPE0 (ARM_IRQ0_BASE + 6)
  13563. +#define INTERRUPT_ILLEGAL_TYPE1 (ARM_IRQ0_BASE + 7)
  13564. +#define INTERRUPT_PENDING1 (ARM_IRQ0_BASE + 8)
  13565. +#define INTERRUPT_PENDING2 (ARM_IRQ0_BASE + 9)
  13566. +#define INTERRUPT_JPEG (ARM_IRQ0_BASE + 10)
  13567. +#define INTERRUPT_USB (ARM_IRQ0_BASE + 11)
  13568. +#define INTERRUPT_3D (ARM_IRQ0_BASE + 12)
  13569. +#define INTERRUPT_DMA2 (ARM_IRQ0_BASE + 13)
  13570. +#define INTERRUPT_DMA3 (ARM_IRQ0_BASE + 14)
  13571. +#define INTERRUPT_I2C (ARM_IRQ0_BASE + 15)
  13572. +#define INTERRUPT_SPI (ARM_IRQ0_BASE + 16)
  13573. +#define INTERRUPT_I2SPCM (ARM_IRQ0_BASE + 17)
  13574. +#define INTERRUPT_SDIO (ARM_IRQ0_BASE + 18)
  13575. +#define INTERRUPT_UART (ARM_IRQ0_BASE + 19)
  13576. +#define INTERRUPT_ARASANSDIO (ARM_IRQ0_BASE + 20)
  13577. +
  13578. +#define MAXIRQNUM (32 + 32 + 20)
  13579. +#define MAXFIQNUM (32 + 32 + 20)
  13580. +
  13581. +#define MAX_TIMER 2
  13582. +#define MAX_PERIOD 699050
  13583. +#define TICKS_PER_uSEC 1
  13584. +
  13585. +/*
  13586. + * These are useconds NOT ticks.
  13587. + *
  13588. + */
  13589. +#define mSEC_1 1000
  13590. +#define mSEC_5 (mSEC_1 * 5)
  13591. +#define mSEC_10 (mSEC_1 * 10)
  13592. +#define mSEC_25 (mSEC_1 * 25)
  13593. +#define SEC_1 (mSEC_1 * 1000)
  13594. +
  13595. +/*
  13596. + * Watchdog
  13597. + */
  13598. +#define PM_RSTC (PM_BASE+0x1c)
  13599. +#define PM_RSTS (PM_BASE+0x20)
  13600. +#define PM_WDOG (PM_BASE+0x24)
  13601. +
  13602. +#define PM_WDOG_RESET 0000000000
  13603. +#define PM_PASSWORD 0x5a000000
  13604. +#define PM_WDOG_TIME_SET 0x000fffff
  13605. +#define PM_RSTC_WRCFG_CLR 0xffffffcf
  13606. +#define PM_RSTC_WRCFG_SET 0x00000030
  13607. +#define PM_RSTC_WRCFG_FULL_RESET 0x00000020
  13608. +#define PM_RSTC_RESET 0x00000102
  13609. +
  13610. +#define PM_RSTS_HADPOR_SET 0x00001000
  13611. +#define PM_RSTS_HADSRH_SET 0x00000400
  13612. +#define PM_RSTS_HADSRF_SET 0x00000200
  13613. +#define PM_RSTS_HADSRQ_SET 0x00000100
  13614. +#define PM_RSTS_HADWRH_SET 0x00000040
  13615. +#define PM_RSTS_HADWRF_SET 0x00000020
  13616. +#define PM_RSTS_HADWRQ_SET 0x00000010
  13617. +#define PM_RSTS_HADDRH_SET 0x00000004
  13618. +#define PM_RSTS_HADDRF_SET 0x00000002
  13619. +#define PM_RSTS_HADDRQ_SET 0x00000001
  13620. +
  13621. +#define UART0_CLOCK 3000000
  13622. +
  13623. +#endif
  13624. +
  13625. +/* END */
  13626. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/system.h linux-rpi/arch/arm/mach-bcm2708/include/mach/system.h
  13627. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/system.h 1970-01-01 01:00:00.000000000 +0100
  13628. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/system.h 2015-11-29 09:42:34.791439401 +0100
  13629. @@ -0,0 +1,38 @@
  13630. +/*
  13631. + * arch/arm/mach-bcm2708/include/mach/system.h
  13632. + *
  13633. + * Copyright (C) 2010 Broadcom
  13634. + * Copyright (C) 2003 ARM Limited
  13635. + * Copyright (C) 2000 Deep Blue Solutions Ltd
  13636. + *
  13637. + * This program is free software; you can redistribute it and/or modify
  13638. + * it under the terms of the GNU General Public License as published by
  13639. + * the Free Software Foundation; either version 2 of the License, or
  13640. + * (at your option) any later version.
  13641. + *
  13642. + * This program is distributed in the hope that it will be useful,
  13643. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13644. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13645. + * GNU General Public License for more details.
  13646. + *
  13647. + * You should have received a copy of the GNU General Public License
  13648. + * along with this program; if not, write to the Free Software
  13649. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13650. + */
  13651. +#ifndef __ASM_ARCH_SYSTEM_H
  13652. +#define __ASM_ARCH_SYSTEM_H
  13653. +
  13654. +#include <linux/io.h>
  13655. +#include <mach/hardware.h>
  13656. +#include <mach/platform.h>
  13657. +
  13658. +static inline void arch_idle(void)
  13659. +{
  13660. + /*
  13661. + * This should do all the clock switching
  13662. + * and wait for interrupt tricks
  13663. + */
  13664. + cpu_do_idle();
  13665. +}
  13666. +
  13667. +#endif
  13668. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/timex.h linux-rpi/arch/arm/mach-bcm2708/include/mach/timex.h
  13669. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/timex.h 1970-01-01 01:00:00.000000000 +0100
  13670. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/timex.h 2015-11-29 09:42:34.791439401 +0100
  13671. @@ -0,0 +1,23 @@
  13672. +/*
  13673. + * arch/arm/mach-bcm2708/include/mach/timex.h
  13674. + *
  13675. + * BCM2708 sysem clock frequency
  13676. + *
  13677. + * Copyright (C) 2010 Broadcom
  13678. + *
  13679. + * This program is free software; you can redistribute it and/or modify
  13680. + * it under the terms of the GNU General Public License as published by
  13681. + * the Free Software Foundation; either version 2 of the License, or
  13682. + * (at your option) any later version.
  13683. + *
  13684. + * This program is distributed in the hope that it will be useful,
  13685. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13686. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13687. + * GNU General Public License for more details.
  13688. + *
  13689. + * You should have received a copy of the GNU General Public License
  13690. + * along with this program; if not, write to the Free Software
  13691. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13692. + */
  13693. +
  13694. +#define CLOCK_TICK_RATE (1000000)
  13695. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/uncompress.h linux-rpi/arch/arm/mach-bcm2708/include/mach/uncompress.h
  13696. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/uncompress.h 1970-01-01 01:00:00.000000000 +0100
  13697. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/uncompress.h 2015-11-29 09:42:34.791439401 +0100
  13698. @@ -0,0 +1,84 @@
  13699. +/*
  13700. + * arch/arm/mach-bcn2708/include/mach/uncompress.h
  13701. + *
  13702. + * Copyright (C) 2010 Broadcom
  13703. + * Copyright (C) 2003 ARM Limited
  13704. + *
  13705. + * This program is free software; you can redistribute it and/or modify
  13706. + * it under the terms of the GNU General Public License as published by
  13707. + * the Free Software Foundation; either version 2 of the License, or
  13708. + * (at your option) any later version.
  13709. + *
  13710. + * This program is distributed in the hope that it will be useful,
  13711. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13712. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  13713. + * GNU General Public License for more details.
  13714. + *
  13715. + * You should have received a copy of the GNU General Public License
  13716. + * along with this program; if not, write to the Free Software
  13717. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  13718. + */
  13719. +
  13720. +#include <linux/io.h>
  13721. +#include <linux/amba/serial.h>
  13722. +#include <mach/hardware.h>
  13723. +
  13724. +#define UART_BAUD 115200
  13725. +
  13726. +#define BCM2708_UART_DR __io(UART0_BASE + UART01x_DR)
  13727. +#define BCM2708_UART_FR __io(UART0_BASE + UART01x_FR)
  13728. +#define BCM2708_UART_IBRD __io(UART0_BASE + UART011_IBRD)
  13729. +#define BCM2708_UART_FBRD __io(UART0_BASE + UART011_FBRD)
  13730. +#define BCM2708_UART_LCRH __io(UART0_BASE + UART011_LCRH)
  13731. +#define BCM2708_UART_CR __io(UART0_BASE + UART011_CR)
  13732. +
  13733. +/*
  13734. + * This does not append a newline
  13735. + */
  13736. +static inline void putc(int c)
  13737. +{
  13738. + while (__raw_readl(BCM2708_UART_FR) & UART01x_FR_TXFF)
  13739. + barrier();
  13740. +
  13741. + __raw_writel(c, BCM2708_UART_DR);
  13742. +}
  13743. +
  13744. +static inline void flush(void)
  13745. +{
  13746. + int fr;
  13747. +
  13748. + do {
  13749. + fr = __raw_readl(BCM2708_UART_FR);
  13750. + barrier();
  13751. + } while ((fr & (UART011_FR_TXFE | UART01x_FR_BUSY)) != UART011_FR_TXFE);
  13752. +}
  13753. +
  13754. +static inline void arch_decomp_setup(void)
  13755. +{
  13756. + int temp, div, rem, frac;
  13757. +
  13758. + temp = 16 * UART_BAUD;
  13759. + div = UART0_CLOCK / temp;
  13760. + rem = UART0_CLOCK % temp;
  13761. + temp = (8 * rem) / UART_BAUD;
  13762. + frac = (temp >> 1) + (temp & 1);
  13763. +
  13764. + /* Make sure the UART is disabled before we start */
  13765. + __raw_writel(0, BCM2708_UART_CR);
  13766. +
  13767. + /* Set the baud rate */
  13768. + __raw_writel(div, BCM2708_UART_IBRD);
  13769. + __raw_writel(frac, BCM2708_UART_FBRD);
  13770. +
  13771. + /* Set the UART to 8n1, FIFO enabled */
  13772. + __raw_writel(UART01x_LCRH_WLEN_8 | UART01x_LCRH_FEN, BCM2708_UART_LCRH);
  13773. +
  13774. + /* Enable the UART */
  13775. + __raw_writel(UART01x_CR_UARTEN | UART011_CR_TXE | UART011_CR_RXE,
  13776. + BCM2708_UART_CR);
  13777. +}
  13778. +
  13779. +/*
  13780. + * nothing to do
  13781. + */
  13782. +#define arch_decomp_wdog()
  13783. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_sm_defs.h linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_sm_defs.h
  13784. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_sm_defs.h 1970-01-01 01:00:00.000000000 +0100
  13785. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_sm_defs.h 2015-11-29 09:42:34.791439401 +0100
  13786. @@ -0,0 +1,181 @@
  13787. +/*****************************************************************************
  13788. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  13789. +*
  13790. +* Unless you and Broadcom execute a separate written software license
  13791. +* agreement governing use of this software, this software is licensed to you
  13792. +* under the terms of the GNU General Public License version 2, available at
  13793. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  13794. +*
  13795. +* Notwithstanding the above, under no circumstances may you combine this
  13796. +* software in any way with any other Broadcom software provided under a
  13797. +* license other than the GPL, without Broadcom's express prior written
  13798. +* consent.
  13799. +*****************************************************************************/
  13800. +
  13801. +#ifndef __VC_SM_DEFS_H__INCLUDED__
  13802. +#define __VC_SM_DEFS_H__INCLUDED__
  13803. +
  13804. +/* FourCC code used for VCHI connection */
  13805. +#define VC_SM_SERVER_NAME MAKE_FOURCC("SMEM")
  13806. +
  13807. +/* Maximum message length */
  13808. +#define VC_SM_MAX_MSG_LEN (sizeof(VC_SM_MSG_UNION_T) + \
  13809. + sizeof(VC_SM_MSG_HDR_T))
  13810. +#define VC_SM_MAX_RSP_LEN (sizeof(VC_SM_MSG_UNION_T))
  13811. +
  13812. +/* Resource name maximum size */
  13813. +#define VC_SM_RESOURCE_NAME 32
  13814. +
  13815. +/* All message types supported for HOST->VC direction */
  13816. +typedef enum {
  13817. + /* Allocate shared memory block */
  13818. + VC_SM_MSG_TYPE_ALLOC,
  13819. + /* Lock allocated shared memory block */
  13820. + VC_SM_MSG_TYPE_LOCK,
  13821. + /* Unlock allocated shared memory block */
  13822. + VC_SM_MSG_TYPE_UNLOCK,
  13823. + /* Unlock allocated shared memory block, do not answer command */
  13824. + VC_SM_MSG_TYPE_UNLOCK_NOANS,
  13825. + /* Free shared memory block */
  13826. + VC_SM_MSG_TYPE_FREE,
  13827. + /* Resize a shared memory block */
  13828. + VC_SM_MSG_TYPE_RESIZE,
  13829. + /* Walk the allocated shared memory block(s) */
  13830. + VC_SM_MSG_TYPE_WALK_ALLOC,
  13831. +
  13832. + /* A previously applied action will need to be reverted */
  13833. + VC_SM_MSG_TYPE_ACTION_CLEAN,
  13834. + VC_SM_MSG_TYPE_MAX
  13835. +} VC_SM_MSG_TYPE;
  13836. +
  13837. +/* Type of memory to be allocated */
  13838. +typedef enum {
  13839. + VC_SM_ALLOC_CACHED,
  13840. + VC_SM_ALLOC_NON_CACHED,
  13841. +
  13842. +} VC_SM_ALLOC_TYPE_T;
  13843. +
  13844. +/* Message header for all messages in HOST->VC direction */
  13845. +typedef struct {
  13846. + int32_t type;
  13847. + uint32_t trans_id;
  13848. + uint8_t body[0];
  13849. +
  13850. +} VC_SM_MSG_HDR_T;
  13851. +
  13852. +/* Request to allocate memory (HOST->VC) */
  13853. +typedef struct {
  13854. + /* type of memory to allocate */
  13855. + VC_SM_ALLOC_TYPE_T type;
  13856. + /* byte amount of data to allocate per unit */
  13857. + uint32_t base_unit;
  13858. + /* number of unit to allocate */
  13859. + uint32_t num_unit;
  13860. + /* alignement to be applied on allocation */
  13861. + uint32_t alignement;
  13862. + /* identity of who allocated this block */
  13863. + uint32_t allocator;
  13864. + /* resource name (for easier tracking on vc side) */
  13865. + char name[VC_SM_RESOURCE_NAME];
  13866. +
  13867. +} VC_SM_ALLOC_T;
  13868. +
  13869. +/* Result of a requested memory allocation (VC->HOST) */
  13870. +typedef struct {
  13871. + /* Transaction identifier */
  13872. + uint32_t trans_id;
  13873. +
  13874. + /* Resource handle */
  13875. + uint32_t res_handle;
  13876. + /* Pointer to resource buffer */
  13877. + void *res_mem;
  13878. + /* Resource base size (bytes) */
  13879. + uint32_t res_base_size;
  13880. + /* Resource number */
  13881. + uint32_t res_num;
  13882. +
  13883. +} VC_SM_ALLOC_RESULT_T;
  13884. +
  13885. +/* Request to free a previously allocated memory (HOST->VC) */
  13886. +typedef struct {
  13887. + /* Resource handle (returned from alloc) */
  13888. + uint32_t res_handle;
  13889. + /* Resource buffer (returned from alloc) */
  13890. + void *res_mem;
  13891. +
  13892. +} VC_SM_FREE_T;
  13893. +
  13894. +/* Request to lock a previously allocated memory (HOST->VC) */
  13895. +typedef struct {
  13896. + /* Resource handle (returned from alloc) */
  13897. + uint32_t res_handle;
  13898. + /* Resource buffer (returned from alloc) */
  13899. + void *res_mem;
  13900. +
  13901. +} VC_SM_LOCK_UNLOCK_T;
  13902. +
  13903. +/* Request to resize a previously allocated memory (HOST->VC) */
  13904. +typedef struct {
  13905. + /* Resource handle (returned from alloc) */
  13906. + uint32_t res_handle;
  13907. + /* Resource buffer (returned from alloc) */
  13908. + void *res_mem;
  13909. + /* Resource *new* size requested (bytes) */
  13910. + uint32_t res_new_size;
  13911. +
  13912. +} VC_SM_RESIZE_T;
  13913. +
  13914. +/* Result of a requested memory lock (VC->HOST) */
  13915. +typedef struct {
  13916. + /* Transaction identifier */
  13917. + uint32_t trans_id;
  13918. +
  13919. + /* Resource handle */
  13920. + uint32_t res_handle;
  13921. + /* Pointer to resource buffer */
  13922. + void *res_mem;
  13923. + /* Pointer to former resource buffer if the memory
  13924. + * was reallocated */
  13925. + void *res_old_mem;
  13926. +
  13927. +} VC_SM_LOCK_RESULT_T;
  13928. +
  13929. +/* Generic result for a request (VC->HOST) */
  13930. +typedef struct {
  13931. + /* Transaction identifier */
  13932. + uint32_t trans_id;
  13933. +
  13934. + int32_t success;
  13935. +
  13936. +} VC_SM_RESULT_T;
  13937. +
  13938. +/* Request to revert a previously applied action (HOST->VC) */
  13939. +typedef struct {
  13940. + /* Action of interest */
  13941. + VC_SM_MSG_TYPE res_action;
  13942. + /* Transaction identifier for the action of interest */
  13943. + uint32_t action_trans_id;
  13944. +
  13945. +} VC_SM_ACTION_CLEAN_T;
  13946. +
  13947. +/* Request to remove all data associated with a given allocator (HOST->VC) */
  13948. +typedef struct {
  13949. + /* Allocator identifier */
  13950. + uint32_t allocator;
  13951. +
  13952. +} VC_SM_FREE_ALL_T;
  13953. +
  13954. +/* Union of ALL messages */
  13955. +typedef union {
  13956. + VC_SM_ALLOC_T alloc;
  13957. + VC_SM_ALLOC_RESULT_T alloc_result;
  13958. + VC_SM_FREE_T free;
  13959. + VC_SM_ACTION_CLEAN_T action_clean;
  13960. + VC_SM_RESIZE_T resize;
  13961. + VC_SM_LOCK_RESULT_T lock_result;
  13962. + VC_SM_RESULT_T result;
  13963. + VC_SM_FREE_ALL_T free_all;
  13964. +
  13965. +} VC_SM_MSG_UNION_T;
  13966. +
  13967. +#endif /* __VC_SM_DEFS_H__INCLUDED__ */
  13968. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_sm_knl.h linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_sm_knl.h
  13969. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_sm_knl.h 1970-01-01 01:00:00.000000000 +0100
  13970. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_sm_knl.h 2015-11-29 09:42:34.791439401 +0100
  13971. @@ -0,0 +1,55 @@
  13972. +/*****************************************************************************
  13973. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  13974. +*
  13975. +* Unless you and Broadcom execute a separate written software license
  13976. +* agreement governing use of this software, this software is licensed to you
  13977. +* under the terms of the GNU General Public License version 2, available at
  13978. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  13979. +*
  13980. +* Notwithstanding the above, under no circumstances may you combine this
  13981. +* software in any way with any other Broadcom software provided under a
  13982. +* license other than the GPL, without Broadcom's express prior written
  13983. +* consent.
  13984. +*****************************************************************************/
  13985. +
  13986. +#ifndef __VC_SM_KNL_H__INCLUDED__
  13987. +#define __VC_SM_KNL_H__INCLUDED__
  13988. +
  13989. +#if !defined(__KERNEL__)
  13990. +#error "This interface is for kernel use only..."
  13991. +#endif
  13992. +
  13993. +/* Type of memory to be locked (ie mapped) */
  13994. +typedef enum {
  13995. + VC_SM_LOCK_CACHED,
  13996. + VC_SM_LOCK_NON_CACHED,
  13997. +
  13998. +} VC_SM_LOCK_CACHE_MODE_T;
  13999. +
  14000. +/* Allocate a shared memory handle and block.
  14001. +*/
  14002. +int vc_sm_alloc(VC_SM_ALLOC_T *alloc, int *handle);
  14003. +
  14004. +/* Free a previously allocated shared memory handle and block.
  14005. +*/
  14006. +int vc_sm_free(int handle);
  14007. +
  14008. +/* Lock a memory handle for use by kernel.
  14009. +*/
  14010. +int vc_sm_lock(int handle, VC_SM_LOCK_CACHE_MODE_T mode,
  14011. + long unsigned int *data);
  14012. +
  14013. +/* Unlock a memory handle in use by kernel.
  14014. +*/
  14015. +int vc_sm_unlock(int handle, int flush, int no_vc_unlock);
  14016. +
  14017. +/* Get an internal resource handle mapped from the external one.
  14018. +*/
  14019. +int vc_sm_int_handle(int handle);
  14020. +
  14021. +/* Map a shared memory region for use by kernel.
  14022. +*/
  14023. +int vc_sm_map(int handle, unsigned int sm_addr, VC_SM_LOCK_CACHE_MODE_T mode,
  14024. + long unsigned int *data);
  14025. +
  14026. +#endif /* __VC_SM_KNL_H__INCLUDED__ */
  14027. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_vchi_sm.h linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_vchi_sm.h
  14028. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vc_vchi_sm.h 1970-01-01 01:00:00.000000000 +0100
  14029. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/vc_vchi_sm.h 2015-11-29 09:42:34.791439401 +0100
  14030. @@ -0,0 +1,82 @@
  14031. +/*****************************************************************************
  14032. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  14033. +*
  14034. +* Unless you and Broadcom execute a separate written software license
  14035. +* agreement governing use of this software, this software is licensed to you
  14036. +* under the terms of the GNU General Public License version 2, available at
  14037. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  14038. +*
  14039. +* Notwithstanding the above, under no circumstances may you combine this
  14040. +* software in any way with any other Broadcom software provided under a
  14041. +* license other than the GPL, without Broadcom's express prior written
  14042. +* consent.
  14043. +*****************************************************************************/
  14044. +
  14045. +#ifndef __VC_VCHI_SM_H__INCLUDED__
  14046. +#define __VC_VCHI_SM_H__INCLUDED__
  14047. +
  14048. +#include "interface/vchi/vchi.h"
  14049. +
  14050. +#include "vc_sm_defs.h"
  14051. +
  14052. +/* Forward declare.
  14053. +*/
  14054. +typedef struct sm_instance *VC_VCHI_SM_HANDLE_T;
  14055. +
  14056. +/* Initialize the shared memory service, opens up vchi connection to talk to it.
  14057. +*/
  14058. +VC_VCHI_SM_HANDLE_T vc_vchi_sm_init(VCHI_INSTANCE_T vchi_instance,
  14059. + VCHI_CONNECTION_T **vchi_connections,
  14060. + uint32_t num_connections);
  14061. +
  14062. +/* Terminates the shared memory service.
  14063. +*/
  14064. +int vc_vchi_sm_stop(VC_VCHI_SM_HANDLE_T *handle);
  14065. +
  14066. +/* Ask the shared memory service to allocate some memory on videocre and
  14067. +** return the result of this allocation (which upon success will be a pointer
  14068. +** to some memory in videocore space).
  14069. +*/
  14070. +int vc_vchi_sm_alloc(VC_VCHI_SM_HANDLE_T handle,
  14071. + VC_SM_ALLOC_T *alloc,
  14072. + VC_SM_ALLOC_RESULT_T *alloc_result, uint32_t *trans_id);
  14073. +
  14074. +/* Ask the shared memory service to free up some memory that was previously
  14075. +** allocated by the vc_vchi_sm_alloc function call.
  14076. +*/
  14077. +int vc_vchi_sm_free(VC_VCHI_SM_HANDLE_T handle,
  14078. + VC_SM_FREE_T *free, uint32_t *trans_id);
  14079. +
  14080. +/* Ask the shared memory service to lock up some memory that was previously
  14081. +** allocated by the vc_vchi_sm_alloc function call.
  14082. +*/
  14083. +int vc_vchi_sm_lock(VC_VCHI_SM_HANDLE_T handle,
  14084. + VC_SM_LOCK_UNLOCK_T *lock_unlock,
  14085. + VC_SM_LOCK_RESULT_T *lock_result, uint32_t *trans_id);
  14086. +
  14087. +/* Ask the shared memory service to unlock some memory that was previously
  14088. +** allocated by the vc_vchi_sm_alloc function call.
  14089. +*/
  14090. +int vc_vchi_sm_unlock(VC_VCHI_SM_HANDLE_T handle,
  14091. + VC_SM_LOCK_UNLOCK_T *lock_unlock,
  14092. + uint32_t *trans_id, uint8_t wait_reply);
  14093. +
  14094. +/* Ask the shared memory service to resize some memory that was previously
  14095. +** allocated by the vc_vchi_sm_alloc function call.
  14096. +*/
  14097. +int vc_vchi_sm_resize(VC_VCHI_SM_HANDLE_T handle,
  14098. + VC_SM_RESIZE_T *resize, uint32_t *trans_id);
  14099. +
  14100. +/* Walk the allocated resources on the videocore side, the allocation will
  14101. +** show up in the log. This is purely for debug/information and takes no
  14102. +** specific actions.
  14103. +*/
  14104. +int vc_vchi_sm_walk_alloc(VC_VCHI_SM_HANDLE_T handle);
  14105. +
  14106. +/* Clean up following a previously interrupted action which left the system
  14107. +** in a bad state of some sort.
  14108. +*/
  14109. +int vc_vchi_sm_clean_up(VC_VCHI_SM_HANDLE_T handle,
  14110. + VC_SM_ACTION_CLEAN_T *action_clean);
  14111. +
  14112. +#endif /* __VC_VCHI_SM_H__INCLUDED__ */
  14113. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vmalloc.h linux-rpi/arch/arm/mach-bcm2708/include/mach/vmalloc.h
  14114. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vmalloc.h 1970-01-01 01:00:00.000000000 +0100
  14115. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/vmalloc.h 2015-11-29 09:42:34.791439401 +0100
  14116. @@ -0,0 +1,20 @@
  14117. +/*
  14118. + * arch/arm/mach-bcm2708/include/mach/vmalloc.h
  14119. + *
  14120. + * Copyright (C) 2010 Broadcom
  14121. + *
  14122. + * This program is free software; you can redistribute it and/or modify
  14123. + * it under the terms of the GNU General Public License as published by
  14124. + * the Free Software Foundation; either version 2 of the License, or
  14125. + * (at your option) any later version.
  14126. + *
  14127. + * This program is distributed in the hope that it will be useful,
  14128. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14129. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  14130. + * GNU General Public License for more details.
  14131. + *
  14132. + * You should have received a copy of the GNU General Public License
  14133. + * along with this program; if not, write to the Free Software
  14134. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  14135. + */
  14136. +#define VMALLOC_END (0xe8000000)
  14137. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vmcs_sm_ioctl.h linux-rpi/arch/arm/mach-bcm2708/include/mach/vmcs_sm_ioctl.h
  14138. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/include/mach/vmcs_sm_ioctl.h 1970-01-01 01:00:00.000000000 +0100
  14139. +++ linux-rpi/arch/arm/mach-bcm2708/include/mach/vmcs_sm_ioctl.h 2015-11-29 09:42:34.791439401 +0100
  14140. @@ -0,0 +1,248 @@
  14141. +/*****************************************************************************
  14142. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  14143. +*
  14144. +* Unless you and Broadcom execute a separate written software license
  14145. +* agreement governing use of this software, this software is licensed to you
  14146. +* under the terms of the GNU General Public License version 2, available at
  14147. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  14148. +*
  14149. +* Notwithstanding the above, under no circumstances may you combine this
  14150. +* software in any way with any other Broadcom software provided under a
  14151. +* license other than the GPL, without Broadcom's express prior written
  14152. +* consent.
  14153. +*
  14154. +*****************************************************************************/
  14155. +
  14156. +#if !defined(__VMCS_SM_IOCTL_H__INCLUDED__)
  14157. +#define __VMCS_SM_IOCTL_H__INCLUDED__
  14158. +
  14159. +/* ---- Include Files ---------------------------------------------------- */
  14160. +
  14161. +#if defined(__KERNEL__)
  14162. +#include <linux/types.h> /* Needed for standard types */
  14163. +#else
  14164. +#include <stdint.h>
  14165. +#endif
  14166. +
  14167. +#include <linux/ioctl.h>
  14168. +
  14169. +/* ---- Constants and Types ---------------------------------------------- */
  14170. +
  14171. +#define VMCS_SM_RESOURCE_NAME 32
  14172. +#define VMCS_SM_RESOURCE_NAME_DEFAULT "sm-host-resource"
  14173. +
  14174. +/* Type define used to create unique IOCTL number */
  14175. +#define VMCS_SM_MAGIC_TYPE 'I'
  14176. +
  14177. +/* IOCTL commands */
  14178. +enum vmcs_sm_cmd_e {
  14179. + VMCS_SM_CMD_ALLOC = 0x5A, /* Start at 0x5A arbitrarily */
  14180. + VMCS_SM_CMD_ALLOC_SHARE,
  14181. + VMCS_SM_CMD_LOCK,
  14182. + VMCS_SM_CMD_LOCK_CACHE,
  14183. + VMCS_SM_CMD_UNLOCK,
  14184. + VMCS_SM_CMD_RESIZE,
  14185. + VMCS_SM_CMD_UNMAP,
  14186. + VMCS_SM_CMD_FREE,
  14187. + VMCS_SM_CMD_FLUSH,
  14188. + VMCS_SM_CMD_INVALID,
  14189. +
  14190. + VMCS_SM_CMD_SIZE_USR_HANDLE,
  14191. + VMCS_SM_CMD_CHK_USR_HANDLE,
  14192. +
  14193. + VMCS_SM_CMD_MAPPED_USR_HANDLE,
  14194. + VMCS_SM_CMD_MAPPED_USR_ADDRESS,
  14195. + VMCS_SM_CMD_MAPPED_VC_HDL_FROM_ADDR,
  14196. + VMCS_SM_CMD_MAPPED_VC_HDL_FROM_HDL,
  14197. + VMCS_SM_CMD_MAPPED_VC_ADDR_FROM_HDL,
  14198. +
  14199. + VMCS_SM_CMD_VC_WALK_ALLOC,
  14200. + VMCS_SM_CMD_HOST_WALK_MAP,
  14201. + VMCS_SM_CMD_HOST_WALK_PID_ALLOC,
  14202. + VMCS_SM_CMD_HOST_WALK_PID_MAP,
  14203. +
  14204. + VMCS_SM_CMD_CLEAN_INVALID,
  14205. +
  14206. + VMCS_SM_CMD_LAST /* Do no delete */
  14207. +};
  14208. +
  14209. +/* Cache type supported, conveniently matches the user space definition in
  14210. +** user-vcsm.h.
  14211. +*/
  14212. +enum vmcs_sm_cache_e {
  14213. + VMCS_SM_CACHE_NONE,
  14214. + VMCS_SM_CACHE_HOST,
  14215. + VMCS_SM_CACHE_VC,
  14216. + VMCS_SM_CACHE_BOTH,
  14217. +};
  14218. +
  14219. +/* IOCTL Data structures */
  14220. +struct vmcs_sm_ioctl_alloc {
  14221. + /* user -> kernel */
  14222. + unsigned int size;
  14223. + unsigned int num;
  14224. + enum vmcs_sm_cache_e cached;
  14225. + char name[VMCS_SM_RESOURCE_NAME];
  14226. +
  14227. + /* kernel -> user */
  14228. + unsigned int handle;
  14229. + /* unsigned int base_addr; */
  14230. +};
  14231. +
  14232. +struct vmcs_sm_ioctl_alloc_share {
  14233. + /* user -> kernel */
  14234. + unsigned int handle;
  14235. + unsigned int size;
  14236. +};
  14237. +
  14238. +struct vmcs_sm_ioctl_free {
  14239. + /* user -> kernel */
  14240. + unsigned int handle;
  14241. + /* unsigned int base_addr; */
  14242. +};
  14243. +
  14244. +struct vmcs_sm_ioctl_lock_unlock {
  14245. + /* user -> kernel */
  14246. + unsigned int handle;
  14247. +
  14248. + /* kernel -> user */
  14249. + unsigned int addr;
  14250. +};
  14251. +
  14252. +struct vmcs_sm_ioctl_lock_cache {
  14253. + /* user -> kernel */
  14254. + unsigned int handle;
  14255. + enum vmcs_sm_cache_e cached;
  14256. +};
  14257. +
  14258. +struct vmcs_sm_ioctl_resize {
  14259. + /* user -> kernel */
  14260. + unsigned int handle;
  14261. + unsigned int new_size;
  14262. +
  14263. + /* kernel -> user */
  14264. + unsigned int old_size;
  14265. +};
  14266. +
  14267. +struct vmcs_sm_ioctl_map {
  14268. + /* user -> kernel */
  14269. + /* and kernel -> user */
  14270. + unsigned int pid;
  14271. + unsigned int handle;
  14272. + unsigned int addr;
  14273. +
  14274. + /* kernel -> user */
  14275. + unsigned int size;
  14276. +};
  14277. +
  14278. +struct vmcs_sm_ioctl_walk {
  14279. + /* user -> kernel */
  14280. + unsigned int pid;
  14281. +};
  14282. +
  14283. +struct vmcs_sm_ioctl_chk {
  14284. + /* user -> kernel */
  14285. + unsigned int handle;
  14286. +
  14287. + /* kernel -> user */
  14288. + unsigned int addr;
  14289. + unsigned int size;
  14290. + enum vmcs_sm_cache_e cache;
  14291. +};
  14292. +
  14293. +struct vmcs_sm_ioctl_size {
  14294. + /* user -> kernel */
  14295. + unsigned int handle;
  14296. +
  14297. + /* kernel -> user */
  14298. + unsigned int size;
  14299. +};
  14300. +
  14301. +struct vmcs_sm_ioctl_cache {
  14302. + /* user -> kernel */
  14303. + unsigned int handle;
  14304. + unsigned int addr;
  14305. + unsigned int size;
  14306. +};
  14307. +
  14308. +struct vmcs_sm_ioctl_clean_invalid {
  14309. + /* user -> kernel */
  14310. + struct {
  14311. + unsigned int cmd;
  14312. + unsigned int handle;
  14313. + unsigned int addr;
  14314. + unsigned int size;
  14315. + } s[8];
  14316. +};
  14317. +
  14318. +/* IOCTL numbers */
  14319. +#define VMCS_SM_IOCTL_MEM_ALLOC\
  14320. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_ALLOC,\
  14321. + struct vmcs_sm_ioctl_alloc)
  14322. +#define VMCS_SM_IOCTL_MEM_ALLOC_SHARE\
  14323. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_ALLOC_SHARE,\
  14324. + struct vmcs_sm_ioctl_alloc_share)
  14325. +#define VMCS_SM_IOCTL_MEM_LOCK\
  14326. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_LOCK,\
  14327. + struct vmcs_sm_ioctl_lock_unlock)
  14328. +#define VMCS_SM_IOCTL_MEM_LOCK_CACHE\
  14329. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_LOCK_CACHE,\
  14330. + struct vmcs_sm_ioctl_lock_cache)
  14331. +#define VMCS_SM_IOCTL_MEM_UNLOCK\
  14332. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_UNLOCK,\
  14333. + struct vmcs_sm_ioctl_lock_unlock)
  14334. +#define VMCS_SM_IOCTL_MEM_RESIZE\
  14335. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_RESIZE,\
  14336. + struct vmcs_sm_ioctl_resize)
  14337. +#define VMCS_SM_IOCTL_MEM_FREE\
  14338. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_FREE,\
  14339. + struct vmcs_sm_ioctl_free)
  14340. +#define VMCS_SM_IOCTL_MEM_FLUSH\
  14341. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_FLUSH,\
  14342. + struct vmcs_sm_ioctl_cache)
  14343. +#define VMCS_SM_IOCTL_MEM_INVALID\
  14344. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_INVALID,\
  14345. + struct vmcs_sm_ioctl_cache)
  14346. +#define VMCS_SM_IOCTL_MEM_CLEAN_INVALID\
  14347. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_CLEAN_INVALID,\
  14348. + struct vmcs_sm_ioctl_clean_invalid)
  14349. +
  14350. +#define VMCS_SM_IOCTL_SIZE_USR_HDL\
  14351. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_SIZE_USR_HANDLE,\
  14352. + struct vmcs_sm_ioctl_size)
  14353. +#define VMCS_SM_IOCTL_CHK_USR_HDL\
  14354. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_CHK_USR_HANDLE,\
  14355. + struct vmcs_sm_ioctl_chk)
  14356. +
  14357. +#define VMCS_SM_IOCTL_MAP_USR_HDL\
  14358. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_MAPPED_USR_HANDLE,\
  14359. + struct vmcs_sm_ioctl_map)
  14360. +#define VMCS_SM_IOCTL_MAP_USR_ADDRESS\
  14361. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_MAPPED_USR_ADDRESS,\
  14362. + struct vmcs_sm_ioctl_map)
  14363. +#define VMCS_SM_IOCTL_MAP_VC_HDL_FR_ADDR\
  14364. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_MAPPED_VC_HDL_FROM_ADDR,\
  14365. + struct vmcs_sm_ioctl_map)
  14366. +#define VMCS_SM_IOCTL_MAP_VC_HDL_FR_HDL\
  14367. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_MAPPED_VC_HDL_FROM_HDL,\
  14368. + struct vmcs_sm_ioctl_map)
  14369. +#define VMCS_SM_IOCTL_MAP_VC_ADDR_FR_HDL\
  14370. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_MAPPED_VC_ADDR_FROM_HDL,\
  14371. + struct vmcs_sm_ioctl_map)
  14372. +
  14373. +#define VMCS_SM_IOCTL_VC_WALK_ALLOC\
  14374. + _IO(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_VC_WALK_ALLOC)
  14375. +#define VMCS_SM_IOCTL_HOST_WALK_MAP\
  14376. + _IO(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_HOST_WALK_MAP)
  14377. +#define VMCS_SM_IOCTL_HOST_WALK_PID_ALLOC\
  14378. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_HOST_WALK_PID_ALLOC,\
  14379. + struct vmcs_sm_ioctl_walk)
  14380. +#define VMCS_SM_IOCTL_HOST_WALK_PID_MAP\
  14381. + _IOR(VMCS_SM_MAGIC_TYPE, VMCS_SM_CMD_HOST_WALK_PID_MAP,\
  14382. + struct vmcs_sm_ioctl_walk)
  14383. +
  14384. +/* ---- Variable Externs ------------------------------------------------- */
  14385. +
  14386. +/* ---- Function Prototypes ---------------------------------------------- */
  14387. +
  14388. +#endif /* __VMCS_SM_IOCTL_H__INCLUDED__ */
  14389. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/Kconfig linux-rpi/arch/arm/mach-bcm2708/Kconfig
  14390. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/Kconfig 1970-01-01 01:00:00.000000000 +0100
  14391. +++ linux-rpi/arch/arm/mach-bcm2708/Kconfig 2015-11-29 09:42:34.787439667 +0100
  14392. @@ -0,0 +1,45 @@
  14393. +menu "Broadcom BCM2708 Implementations"
  14394. + depends on ARCH_BCM2708
  14395. +
  14396. +config MACH_BCM2708
  14397. + bool "Broadcom BCM2708 Development Platform"
  14398. + select NEED_MACH_MEMORY_H
  14399. + select NEED_MACH_IO_H
  14400. + select CPU_V6
  14401. + help
  14402. + Include support for the Broadcom(R) BCM2708 platform.
  14403. +
  14404. +config BCM2708_DT
  14405. + bool "BCM2708 Device Tree support"
  14406. + depends on MACH_BCM2708
  14407. + default n
  14408. + select USE_OF
  14409. + select ARCH_REQUIRE_GPIOLIB
  14410. + select PINCTRL
  14411. + select PINCTRL_BCM2835
  14412. + help
  14413. + Enable Device Tree support for BCM2708
  14414. +
  14415. +config BCM2708_GPIO
  14416. + bool "BCM2708 gpio support"
  14417. + depends on MACH_BCM2708
  14418. + select ARCH_REQUIRE_GPIOLIB
  14419. + default y
  14420. + help
  14421. + Include support for the Broadcom(R) BCM2708 gpio.
  14422. +
  14423. +config BCM2708_NOL2CACHE
  14424. + bool "Videocore L2 cache disable"
  14425. + depends on MACH_BCM2708
  14426. + default n
  14427. + help
  14428. + Do not allow ARM to use GPU's L2 cache. Requires disable_l2cache in config.txt.
  14429. +
  14430. +config BCM2708_SPIDEV
  14431. + bool "Bind spidev to SPI0 master"
  14432. + depends on MACH_BCM2708
  14433. + depends on SPI
  14434. + default y
  14435. + help
  14436. + Binds spidev driver to the SPI0 master
  14437. +endmenu
  14438. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/Makefile linux-rpi/arch/arm/mach-bcm2708/Makefile
  14439. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/Makefile 1970-01-01 01:00:00.000000000 +0100
  14440. +++ linux-rpi/arch/arm/mach-bcm2708/Makefile 2015-11-29 09:42:34.787439667 +0100
  14441. @@ -0,0 +1,6 @@
  14442. +#
  14443. +# Makefile for the linux kernel.
  14444. +#
  14445. +
  14446. +obj-$(CONFIG_MACH_BCM2708) += bcm2708.o armctrl.o
  14447. +obj-$(CONFIG_BCM2708_GPIO) += bcm2708_gpio.o
  14448. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2708/Makefile.boot linux-rpi/arch/arm/mach-bcm2708/Makefile.boot
  14449. --- linux-4.1.13.orig/arch/arm/mach-bcm2708/Makefile.boot 1970-01-01 01:00:00.000000000 +0100
  14450. +++ linux-rpi/arch/arm/mach-bcm2708/Makefile.boot 2015-11-29 09:42:34.791439401 +0100
  14451. @@ -0,0 +1,3 @@
  14452. + zreladdr-y := 0x00008000
  14453. +params_phys-y := 0x00000100
  14454. +initrd_phys-y := 0x00800000
  14455. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/armctrl.c linux-rpi/arch/arm/mach-bcm2709/armctrl.c
  14456. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/armctrl.c 1970-01-01 01:00:00.000000000 +0100
  14457. +++ linux-rpi/arch/arm/mach-bcm2709/armctrl.c 2015-11-29 09:42:34.791439401 +0100
  14458. @@ -0,0 +1,384 @@
  14459. +/*
  14460. + * linux/arch/arm/mach-bcm2708/armctrl.c
  14461. + *
  14462. + * Copyright (C) 2010 Broadcom
  14463. + *
  14464. + * This program is free software; you can redistribute it and/or modify
  14465. + * it under the terms of the GNU General Public License as published by
  14466. + * the Free Software Foundation; either version 2 of the License, or
  14467. + * (at your option) any later version.
  14468. + *
  14469. + * This program is distributed in the hope that it will be useful,
  14470. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14471. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  14472. + * GNU General Public License for more details.
  14473. + *
  14474. + * You should have received a copy of the GNU General Public License
  14475. + * along with this program; if not, write to the Free Software
  14476. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  14477. + */
  14478. +#include <linux/init.h>
  14479. +#include <linux/list.h>
  14480. +#include <linux/io.h>
  14481. +#include <linux/version.h>
  14482. +#include <linux/syscore_ops.h>
  14483. +#include <linux/interrupt.h>
  14484. +#include <linux/irqdomain.h>
  14485. +#include <linux/of.h>
  14486. +
  14487. +#include <asm/mach/irq.h>
  14488. +#include <mach/hardware.h>
  14489. +#include "armctrl.h"
  14490. +
  14491. +/* For support of kernels >= 3.0 assume only one VIC for now*/
  14492. +static unsigned int remap_irqs[(INTERRUPT_ARASANSDIO + 1) - INTERRUPT_JPEG] = {
  14493. + INTERRUPT_VC_JPEG,
  14494. + INTERRUPT_VC_USB,
  14495. + INTERRUPT_VC_3D,
  14496. + INTERRUPT_VC_DMA2,
  14497. + INTERRUPT_VC_DMA3,
  14498. + INTERRUPT_VC_I2C,
  14499. + INTERRUPT_VC_SPI,
  14500. + INTERRUPT_VC_I2SPCM,
  14501. + INTERRUPT_VC_SDIO,
  14502. + INTERRUPT_VC_UART,
  14503. + INTERRUPT_VC_ARASANSDIO
  14504. +};
  14505. +
  14506. +extern unsigned force_core;
  14507. +
  14508. +static void armctrl_mask_irq(struct irq_data *d)
  14509. +{
  14510. + static const unsigned int disables[4] = {
  14511. + ARM_IRQ_DIBL1,
  14512. + ARM_IRQ_DIBL2,
  14513. + ARM_IRQ_DIBL3,
  14514. + 0
  14515. + };
  14516. + int i;
  14517. + if (d->irq >= FIQ_START) {
  14518. + writel(0, __io_address(ARM_IRQ_FAST));
  14519. + } else if (d->irq >= IRQ_ARM_LOCAL_CNTPSIRQ && d->irq < IRQ_ARM_LOCAL_CNTPSIRQ + 4) {
  14520. +#if 1
  14521. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq) - IRQ_ARM_LOCAL_CNTPSIRQ;
  14522. + for (i=0; i<4; i++) // i = raw_smp_processor_id(); //
  14523. + {
  14524. + unsigned int val = readl(__io_address(ARM_LOCAL_TIMER_INT_CONTROL0 + 4*i));
  14525. + writel(val &~ (1 << data), __io_address(ARM_LOCAL_TIMER_INT_CONTROL0 + 4*i));
  14526. + }
  14527. +#endif
  14528. + } else if (d->irq >= IRQ_ARM_LOCAL_MAILBOX0 && d->irq < IRQ_ARM_LOCAL_MAILBOX0 + 4) {
  14529. +#if 0
  14530. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq) - IRQ_ARM_LOCAL_MAILBOX0;
  14531. + for (i=0; i<4; i++) {
  14532. + unsigned int val = readl(__io_address(ARM_LOCAL_MAILBOX_INT_CONTROL0 + 4*i));
  14533. + writel(val &~ (1 << data), __io_address(ARM_LOCAL_MAILBOX_INT_CONTROL0 + 4*i));
  14534. + }
  14535. +#endif
  14536. + } else if (d->irq >= ARM_IRQ1_BASE && d->irq < ARM_IRQ_LOCAL_BASE) {
  14537. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq);
  14538. + writel(1 << (data & 0x1f), __io_address(disables[(data >> 5) & 0x3]));
  14539. + } else if (d->irq == INTERRUPT_ARM_LOCAL_PMU_FAST) {
  14540. + writel(0xf, __io_address(ARM_LOCAL_PM_ROUTING_CLR));
  14541. + } else { printk("%s: %d\n", __func__, d->irq); BUG(); }
  14542. +}
  14543. +
  14544. +static void armctrl_unmask_irq(struct irq_data *d)
  14545. +{
  14546. + static const unsigned int enables[4] = {
  14547. + ARM_IRQ_ENBL1,
  14548. + ARM_IRQ_ENBL2,
  14549. + ARM_IRQ_ENBL3,
  14550. + 0
  14551. + };
  14552. + int i;
  14553. + if (d->irq >= FIQ_START) {
  14554. + unsigned int data;
  14555. + if (force_core) {
  14556. + data = readl(__io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14557. + data &= ~0xc;
  14558. + data |= ((force_core-1) << 2);
  14559. + writel(data, __io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14560. + }
  14561. + else if (num_online_cpus() > 1) {
  14562. + data = readl(__io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14563. + data &= ~0xc;
  14564. + data |= (1 << 2);
  14565. + writel(data, __io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14566. + }
  14567. + /* Unmask in ARMCTRL block after routing it properly */
  14568. + data = (unsigned int)irq_get_chip_data(d->irq) - FIQ_START;
  14569. + writel(0x80 | data, __io_address(ARM_IRQ_FAST));
  14570. + } else if (d->irq >= IRQ_ARM_LOCAL_CNTPSIRQ && d->irq < IRQ_ARM_LOCAL_CNTPSIRQ + 4) {
  14571. +#if 1
  14572. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq) - IRQ_ARM_LOCAL_CNTPSIRQ;
  14573. + for (i=0; i<4; i++) // i = raw_smp_processor_id();
  14574. + {
  14575. + unsigned int val = readl(__io_address(ARM_LOCAL_TIMER_INT_CONTROL0 + 4*i));
  14576. + writel(val | (1 << data), __io_address(ARM_LOCAL_TIMER_INT_CONTROL0 + 4*i));
  14577. + }
  14578. +#endif
  14579. + } else if (d->irq >= IRQ_ARM_LOCAL_MAILBOX0 && d->irq < IRQ_ARM_LOCAL_MAILBOX0 + 4) {
  14580. +#if 0
  14581. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq) - IRQ_ARM_LOCAL_MAILBOX0;
  14582. + for (i=0; i<4; i++) {
  14583. + unsigned int val = readl(__io_address(ARM_LOCAL_MAILBOX_INT_CONTROL0 + 4*i));
  14584. + writel(val | (1 << data), __io_address(ARM_LOCAL_MAILBOX_INT_CONTROL0 + 4*i));
  14585. + }
  14586. +#endif
  14587. + } else if (d->irq >= ARM_IRQ1_BASE && d->irq < ARM_IRQ_LOCAL_BASE) {
  14588. + if (force_core) {
  14589. + unsigned int data;
  14590. + data = readl(__io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14591. + data &= ~0x3;
  14592. + data |= ((force_core-1) << 0);
  14593. + writel(data, __io_address(ARM_LOCAL_GPU_INT_ROUTING));
  14594. + }
  14595. + unsigned int data = (unsigned int)irq_get_chip_data(d->irq);
  14596. + writel(1 << (data & 0x1f), __io_address(enables[(data >> 5) & 0x3]));
  14597. + } else if (d->irq == INTERRUPT_ARM_LOCAL_PMU_FAST) {
  14598. + writel(0xf, __io_address(ARM_LOCAL_PM_ROUTING_SET));
  14599. + } else { printk("%s: %d\n", __func__, d->irq); BUG(); }
  14600. +}
  14601. +
  14602. +#ifdef CONFIG_OF
  14603. +
  14604. +#define NR_IRQS_BANK0 21
  14605. +#define NR_BANKS 4
  14606. +#define IRQS_PER_BANK 32
  14607. +
  14608. +/* from drivers/irqchip/irq-bcm2835.c */
  14609. +static int armctrl_xlate(struct irq_domain *d, struct device_node *ctrlr,
  14610. + const u32 *intspec, unsigned int intsize,
  14611. + unsigned long *out_hwirq, unsigned int *out_type)
  14612. +{
  14613. + if (WARN_ON(intsize != 2))
  14614. + return -EINVAL;
  14615. +
  14616. + if (WARN_ON(intspec[0] >= NR_BANKS))
  14617. + return -EINVAL;
  14618. +
  14619. + if (WARN_ON(intspec[1] >= IRQS_PER_BANK))
  14620. + return -EINVAL;
  14621. +
  14622. + if (WARN_ON(intspec[0] == 0 && intspec[1] >= NR_IRQS_BANK0))
  14623. + return -EINVAL;
  14624. +
  14625. + if (WARN_ON(intspec[0] == 3 && intspec[1] > 3 && intspec[1] != 5 && intspec[1] != 9))
  14626. + return -EINVAL;
  14627. +
  14628. + if (intspec[0] == 0)
  14629. + *out_hwirq = ARM_IRQ0_BASE + intspec[1];
  14630. + else if (intspec[0] == 1)
  14631. + *out_hwirq = ARM_IRQ1_BASE + intspec[1];
  14632. + else if (intspec[0] == 2)
  14633. + *out_hwirq = ARM_IRQ2_BASE + intspec[1];
  14634. + else
  14635. + *out_hwirq = ARM_IRQ_LOCAL_BASE + intspec[1];
  14636. +
  14637. + /* reverse remap_irqs[] */
  14638. + switch (*out_hwirq) {
  14639. + case INTERRUPT_VC_JPEG:
  14640. + *out_hwirq = INTERRUPT_JPEG;
  14641. + break;
  14642. + case INTERRUPT_VC_USB:
  14643. + *out_hwirq = INTERRUPT_USB;
  14644. + break;
  14645. + case INTERRUPT_VC_3D:
  14646. + *out_hwirq = INTERRUPT_3D;
  14647. + break;
  14648. + case INTERRUPT_VC_DMA2:
  14649. + *out_hwirq = INTERRUPT_DMA2;
  14650. + break;
  14651. + case INTERRUPT_VC_DMA3:
  14652. + *out_hwirq = INTERRUPT_DMA3;
  14653. + break;
  14654. + case INTERRUPT_VC_I2C:
  14655. + *out_hwirq = INTERRUPT_I2C;
  14656. + break;
  14657. + case INTERRUPT_VC_SPI:
  14658. + *out_hwirq = INTERRUPT_SPI;
  14659. + break;
  14660. + case INTERRUPT_VC_I2SPCM:
  14661. + *out_hwirq = INTERRUPT_I2SPCM;
  14662. + break;
  14663. + case INTERRUPT_VC_SDIO:
  14664. + *out_hwirq = INTERRUPT_SDIO;
  14665. + break;
  14666. + case INTERRUPT_VC_UART:
  14667. + *out_hwirq = INTERRUPT_UART;
  14668. + break;
  14669. + case INTERRUPT_VC_ARASANSDIO:
  14670. + *out_hwirq = INTERRUPT_ARASANSDIO;
  14671. + break;
  14672. + }
  14673. +
  14674. + *out_type = IRQ_TYPE_NONE;
  14675. + return 0;
  14676. +}
  14677. +
  14678. +static struct irq_domain_ops armctrl_ops = {
  14679. + .xlate = armctrl_xlate
  14680. +};
  14681. +
  14682. +void __init armctrl_dt_init(void)
  14683. +{
  14684. + struct device_node *np;
  14685. + struct irq_domain *domain;
  14686. +
  14687. + np = of_find_compatible_node(NULL, NULL, "brcm,bcm2708-armctrl-ic");
  14688. + if (!np)
  14689. + return;
  14690. +
  14691. + domain = irq_domain_add_legacy(np, BCM2708_ALLOC_IRQS,
  14692. + IRQ_ARMCTRL_START, 0,
  14693. + &armctrl_ops, NULL);
  14694. + WARN_ON(!domain);
  14695. +}
  14696. +#else
  14697. +void __init armctrl_dt_init(void) { }
  14698. +#endif /* CONFIG_OF */
  14699. +
  14700. +#if defined(CONFIG_PM)
  14701. +
  14702. +/* for kernels 3.xx use the new syscore_ops apis but for older kernels use the sys dev class */
  14703. +
  14704. +/* Static defines
  14705. + * struct armctrl_device - VIC PM device (< 3.xx)
  14706. + * @sysdev: The system device which is registered. (< 3.xx)
  14707. + * @irq: The IRQ number for the base of the VIC.
  14708. + * @base: The register base for the VIC.
  14709. + * @resume_sources: A bitmask of interrupts for resume.
  14710. + * @resume_irqs: The IRQs enabled for resume.
  14711. + * @int_select: Save for VIC_INT_SELECT.
  14712. + * @int_enable: Save for VIC_INT_ENABLE.
  14713. + * @soft_int: Save for VIC_INT_SOFT.
  14714. + * @protect: Save for VIC_PROTECT.
  14715. + */
  14716. +struct armctrl_info {
  14717. + void __iomem *base;
  14718. + int irq;
  14719. + u32 resume_sources;
  14720. + u32 resume_irqs;
  14721. + u32 int_select;
  14722. + u32 int_enable;
  14723. + u32 soft_int;
  14724. + u32 protect;
  14725. +} armctrl;
  14726. +
  14727. +static int armctrl_suspend(void)
  14728. +{
  14729. + return 0;
  14730. +}
  14731. +
  14732. +static void armctrl_resume(void)
  14733. +{
  14734. + return;
  14735. +}
  14736. +
  14737. +/**
  14738. + * armctrl_pm_register - Register a VIC for later power management control
  14739. + * @base: The base address of the VIC.
  14740. + * @irq: The base IRQ for the VIC.
  14741. + * @resume_sources: bitmask of interrupts allowed for resume sources.
  14742. + *
  14743. + * For older kernels (< 3.xx) do -
  14744. + * Register the VIC with the system device tree so that it can be notified
  14745. + * of suspend and resume requests and ensure that the correct actions are
  14746. + * taken to re-instate the settings on resume.
  14747. + */
  14748. +static void __init armctrl_pm_register(void __iomem * base, unsigned int irq,
  14749. + u32 resume_sources)
  14750. +{
  14751. + armctrl.base = base;
  14752. + armctrl.resume_sources = resume_sources;
  14753. + armctrl.irq = irq;
  14754. +}
  14755. +
  14756. +static int armctrl_set_wake(struct irq_data *d, unsigned int on)
  14757. +{
  14758. + unsigned int off = d->irq & 31;
  14759. + u32 bit = 1 << off;
  14760. +
  14761. + if (!(bit & armctrl.resume_sources))
  14762. + return -EINVAL;
  14763. +
  14764. + if (on)
  14765. + armctrl.resume_irqs |= bit;
  14766. + else
  14767. + armctrl.resume_irqs &= ~bit;
  14768. +
  14769. + return 0;
  14770. +}
  14771. +
  14772. +#else
  14773. +static inline void armctrl_pm_register(void __iomem * base, unsigned int irq,
  14774. + u32 arg1)
  14775. +{
  14776. +}
  14777. +
  14778. +#define armctrl_suspend NULL
  14779. +#define armctrl_resume NULL
  14780. +#define armctrl_set_wake NULL
  14781. +#endif /* CONFIG_PM */
  14782. +
  14783. +static struct syscore_ops armctrl_syscore_ops = {
  14784. + .suspend = armctrl_suspend,
  14785. + .resume = armctrl_resume,
  14786. +};
  14787. +
  14788. +/**
  14789. + * armctrl_syscore_init - initicall to register VIC pm functions
  14790. + *
  14791. + * This is called via late_initcall() to register
  14792. + * the resources for the VICs due to the early
  14793. + * nature of the VIC's registration.
  14794. +*/
  14795. +static int __init armctrl_syscore_init(void)
  14796. +{
  14797. + register_syscore_ops(&armctrl_syscore_ops);
  14798. + return 0;
  14799. +}
  14800. +
  14801. +late_initcall(armctrl_syscore_init);
  14802. +
  14803. +static struct irq_chip armctrl_chip = {
  14804. + .name = "ARMCTRL",
  14805. + .irq_ack = NULL,
  14806. + .irq_mask = armctrl_mask_irq,
  14807. + .irq_unmask = armctrl_unmask_irq,
  14808. + .irq_set_wake = armctrl_set_wake,
  14809. +};
  14810. +
  14811. +/**
  14812. + * armctrl_init - initialise a vectored interrupt controller
  14813. + * @base: iomem base address
  14814. + * @irq_start: starting interrupt number, must be muliple of 32
  14815. + * @armctrl_sources: bitmask of interrupt sources to allow
  14816. + * @resume_sources: bitmask of interrupt sources to allow for resume
  14817. + */
  14818. +int __init armctrl_init(void __iomem * base, unsigned int irq_start,
  14819. + u32 armctrl_sources, u32 resume_sources)
  14820. +{
  14821. + unsigned int irq;
  14822. +
  14823. + for (irq = 0; irq < BCM2708_ALLOC_IRQS; irq++) {
  14824. + unsigned int data = irq;
  14825. + if (irq >= INTERRUPT_JPEG && irq <= INTERRUPT_ARASANSDIO)
  14826. + data = remap_irqs[irq - INTERRUPT_JPEG];
  14827. + if (irq >= IRQ_ARM_LOCAL_CNTPSIRQ && irq <= IRQ_ARM_LOCAL_TIMER) {
  14828. + irq_set_percpu_devid(irq);
  14829. + irq_set_chip_and_handler(irq, &armctrl_chip, handle_percpu_devid_irq);
  14830. + set_irq_flags(irq, IRQF_VALID | IRQF_NOAUTOEN);
  14831. + } else {
  14832. + irq_set_chip_and_handler(irq, &armctrl_chip, handle_level_irq);
  14833. + set_irq_flags(irq, IRQF_VALID | IRQF_PROBE);
  14834. + }
  14835. + irq_set_chip_data(irq, (void *)data);
  14836. + }
  14837. +
  14838. + armctrl_pm_register(base, irq_start, resume_sources);
  14839. + init_FIQ(FIQ_START);
  14840. + armctrl_dt_init();
  14841. + return 0;
  14842. +}
  14843. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/armctrl.h linux-rpi/arch/arm/mach-bcm2709/armctrl.h
  14844. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/armctrl.h 1970-01-01 01:00:00.000000000 +0100
  14845. +++ linux-rpi/arch/arm/mach-bcm2709/armctrl.h 2015-11-29 09:42:34.791439401 +0100
  14846. @@ -0,0 +1,27 @@
  14847. +/*
  14848. + * linux/arch/arm/mach-bcm2708/armctrl.h
  14849. + *
  14850. + * Copyright (C) 2010 Broadcom
  14851. + *
  14852. + * This program is free software; you can redistribute it and/or modify
  14853. + * it under the terms of the GNU General Public License as published by
  14854. + * the Free Software Foundation; either version 2 of the License, or
  14855. + * (at your option) any later version.
  14856. + *
  14857. + * This program is distributed in the hope that it will be useful,
  14858. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14859. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  14860. + * GNU General Public License for more details.
  14861. + *
  14862. + * You should have received a copy of the GNU General Public License
  14863. + * along with this program; if not, write to the Free Software
  14864. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  14865. + */
  14866. +
  14867. +#ifndef __BCM2708_ARMCTRL_H
  14868. +#define __BCM2708_ARMCTRL_H
  14869. +
  14870. +extern int __init armctrl_init(void __iomem * base, unsigned int irq_start,
  14871. + u32 armctrl_sources, u32 resume_sources);
  14872. +
  14873. +#endif
  14874. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2708_gpio.c linux-rpi/arch/arm/mach-bcm2709/bcm2708_gpio.c
  14875. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2708_gpio.c 1970-01-01 01:00:00.000000000 +0100
  14876. +++ linux-rpi/arch/arm/mach-bcm2709/bcm2708_gpio.c 2015-11-29 09:42:34.791439401 +0100
  14877. @@ -0,0 +1,426 @@
  14878. +/*
  14879. + * linux/arch/arm/mach-bcm2708/bcm2708_gpio.c
  14880. + *
  14881. + * Copyright (C) 2010 Broadcom
  14882. + *
  14883. + * This program is free software; you can redistribute it and/or modify
  14884. + * it under the terms of the GNU General Public License version 2 as
  14885. + * published by the Free Software Foundation.
  14886. + *
  14887. + */
  14888. +
  14889. +#include <linux/spinlock.h>
  14890. +#include <linux/module.h>
  14891. +#include <linux/delay.h>
  14892. +#include <linux/list.h>
  14893. +#include <linux/io.h>
  14894. +#include <linux/irq.h>
  14895. +#include <linux/interrupt.h>
  14896. +#include <linux/slab.h>
  14897. +#include <mach/gpio.h>
  14898. +#include <linux/gpio.h>
  14899. +#include <linux/platform_device.h>
  14900. +#include <mach/platform.h>
  14901. +#include <linux/pinctrl/consumer.h>
  14902. +
  14903. +#include <linux/platform_data/bcm2708.h>
  14904. +
  14905. +#define BCM_GPIO_DRIVER_NAME "bcm2708_gpio"
  14906. +#define DRIVER_NAME BCM_GPIO_DRIVER_NAME
  14907. +#define BCM_GPIO_USE_IRQ 1
  14908. +
  14909. +#define GPIOFSEL(x) (0x00+(x)*4)
  14910. +#define GPIOSET(x) (0x1c+(x)*4)
  14911. +#define GPIOCLR(x) (0x28+(x)*4)
  14912. +#define GPIOLEV(x) (0x34+(x)*4)
  14913. +#define GPIOEDS(x) (0x40+(x)*4)
  14914. +#define GPIOREN(x) (0x4c+(x)*4)
  14915. +#define GPIOFEN(x) (0x58+(x)*4)
  14916. +#define GPIOHEN(x) (0x64+(x)*4)
  14917. +#define GPIOLEN(x) (0x70+(x)*4)
  14918. +#define GPIOAREN(x) (0x7c+(x)*4)
  14919. +#define GPIOAFEN(x) (0x88+(x)*4)
  14920. +#define GPIOUD(x) (0x94+(x)*4)
  14921. +#define GPIOUDCLK(x) (0x98+(x)*4)
  14922. +
  14923. +#define GPIO_BANKS 2
  14924. +
  14925. +enum { GPIO_FSEL_INPUT, GPIO_FSEL_OUTPUT,
  14926. + GPIO_FSEL_ALT5, GPIO_FSEL_ALT_4,
  14927. + GPIO_FSEL_ALT0, GPIO_FSEL_ALT1,
  14928. + GPIO_FSEL_ALT2, GPIO_FSEL_ALT3,
  14929. +};
  14930. +
  14931. + /* Each of the two spinlocks protects a different set of hardware
  14932. + * regiters and data structurs. This decouples the code of the IRQ from
  14933. + * the GPIO code. This also makes the case of a GPIO routine call from
  14934. + * the IRQ code simpler.
  14935. + */
  14936. +static DEFINE_SPINLOCK(lock); /* GPIO registers */
  14937. +
  14938. +struct bcm2708_gpio {
  14939. + struct list_head list;
  14940. + void __iomem *base;
  14941. + struct gpio_chip gc;
  14942. + unsigned long rising[(BCM2708_NR_GPIOS + 31) / 32];
  14943. + unsigned long falling[(BCM2708_NR_GPIOS + 31) / 32];
  14944. + unsigned long high[(BCM2708_NR_GPIOS + 31) / 32];
  14945. + unsigned long low[(BCM2708_NR_GPIOS + 31) / 32];
  14946. +};
  14947. +
  14948. +static int bcm2708_set_function(struct gpio_chip *gc, unsigned offset,
  14949. + int function)
  14950. +{
  14951. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  14952. + unsigned long flags;
  14953. + unsigned gpiodir;
  14954. + unsigned gpio_bank = offset / 10;
  14955. + unsigned gpio_field_offset = (offset - 10 * gpio_bank) * 3;
  14956. +
  14957. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_set_function %p (%d,%d)\n", gc, offset, function);
  14958. + if (offset >= BCM2708_NR_GPIOS)
  14959. + return -EINVAL;
  14960. +
  14961. + spin_lock_irqsave(&lock, flags);
  14962. +
  14963. + gpiodir = readl(gpio->base + GPIOFSEL(gpio_bank));
  14964. + gpiodir &= ~(7 << gpio_field_offset);
  14965. + gpiodir |= function << gpio_field_offset;
  14966. + writel(gpiodir, gpio->base + GPIOFSEL(gpio_bank));
  14967. + spin_unlock_irqrestore(&lock, flags);
  14968. + gpiodir = readl(gpio->base + GPIOFSEL(gpio_bank));
  14969. +
  14970. + return 0;
  14971. +}
  14972. +
  14973. +static int bcm2708_gpio_dir_in(struct gpio_chip *gc, unsigned offset)
  14974. +{
  14975. + return bcm2708_set_function(gc, offset, GPIO_FSEL_INPUT);
  14976. +}
  14977. +
  14978. +static void bcm2708_gpio_set(struct gpio_chip *gc, unsigned offset, int value);
  14979. +static int bcm2708_gpio_dir_out(struct gpio_chip *gc, unsigned offset,
  14980. + int value)
  14981. +{
  14982. + int ret;
  14983. + ret = bcm2708_set_function(gc, offset, GPIO_FSEL_OUTPUT);
  14984. + if (ret >= 0)
  14985. + bcm2708_gpio_set(gc, offset, value);
  14986. + return ret;
  14987. +}
  14988. +
  14989. +static int bcm2708_gpio_get(struct gpio_chip *gc, unsigned offset)
  14990. +{
  14991. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  14992. + unsigned gpio_bank = offset / 32;
  14993. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  14994. + unsigned lev;
  14995. +
  14996. + if (offset >= BCM2708_NR_GPIOS)
  14997. + return 0;
  14998. + lev = readl(gpio->base + GPIOLEV(gpio_bank));
  14999. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_get %p (%d)=%d\n", gc, offset, 0x1 & (lev>>gpio_field_offset));
  15000. + return 0x1 & (lev >> gpio_field_offset);
  15001. +}
  15002. +
  15003. +static void bcm2708_gpio_set(struct gpio_chip *gc, unsigned offset, int value)
  15004. +{
  15005. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  15006. + unsigned gpio_bank = offset / 32;
  15007. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  15008. +//printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_set %p (%d=%d)\n", gc, offset, value);
  15009. + if (offset >= BCM2708_NR_GPIOS)
  15010. + return;
  15011. + if (value)
  15012. + writel(1 << gpio_field_offset, gpio->base + GPIOSET(gpio_bank));
  15013. + else
  15014. + writel(1 << gpio_field_offset, gpio->base + GPIOCLR(gpio_bank));
  15015. +}
  15016. +
  15017. +/**********************
  15018. + * extension to configure pullups
  15019. + */
  15020. +int bcm2708_gpio_setpull(struct gpio_chip *gc, unsigned offset,
  15021. + bcm2708_gpio_pull_t value)
  15022. +{
  15023. + struct bcm2708_gpio *gpio = container_of(gc, struct bcm2708_gpio, gc);
  15024. + unsigned gpio_bank = offset / 32;
  15025. + unsigned gpio_field_offset = (offset - 32 * gpio_bank);
  15026. +
  15027. + if (offset >= BCM2708_NR_GPIOS)
  15028. + return -EINVAL;
  15029. +
  15030. + switch (value) {
  15031. + case BCM2708_PULL_UP:
  15032. + writel(2, gpio->base + GPIOUD(0));
  15033. + break;
  15034. + case BCM2708_PULL_DOWN:
  15035. + writel(1, gpio->base + GPIOUD(0));
  15036. + break;
  15037. + case BCM2708_PULL_OFF:
  15038. + writel(0, gpio->base + GPIOUD(0));
  15039. + break;
  15040. + }
  15041. +
  15042. + udelay(5);
  15043. + writel(1 << gpio_field_offset, gpio->base + GPIOUDCLK(gpio_bank));
  15044. + udelay(5);
  15045. + writel(0, gpio->base + GPIOUD(0));
  15046. + writel(0 << gpio_field_offset, gpio->base + GPIOUDCLK(gpio_bank));
  15047. +
  15048. + return 0;
  15049. +}
  15050. +EXPORT_SYMBOL(bcm2708_gpio_setpull);
  15051. +
  15052. +/*************************************************************************************************************************
  15053. + * bcm2708 GPIO IRQ
  15054. + */
  15055. +
  15056. +#if BCM_GPIO_USE_IRQ
  15057. +
  15058. +static int bcm2708_gpio_to_irq(struct gpio_chip *chip, unsigned gpio)
  15059. +{
  15060. + return gpio_to_irq(gpio);
  15061. +}
  15062. +
  15063. +static int bcm2708_gpio_irq_set_type(struct irq_data *d, unsigned type)
  15064. +{
  15065. + unsigned irq = d->irq;
  15066. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  15067. + unsigned gn = irq_to_gpio(irq);
  15068. + unsigned gb = gn / 32;
  15069. + unsigned go = gn % 32;
  15070. +
  15071. + gpio->rising[gb] &= ~(1 << go);
  15072. + gpio->falling[gb] &= ~(1 << go);
  15073. + gpio->high[gb] &= ~(1 << go);
  15074. + gpio->low[gb] &= ~(1 << go);
  15075. +
  15076. + if (type & ~(IRQ_TYPE_EDGE_FALLING | IRQ_TYPE_EDGE_RISING | IRQ_TYPE_LEVEL_LOW | IRQ_TYPE_LEVEL_HIGH))
  15077. + return -EINVAL;
  15078. +
  15079. + if (type & IRQ_TYPE_EDGE_RISING)
  15080. + gpio->rising[gb] |= (1 << go);
  15081. + if (type & IRQ_TYPE_EDGE_FALLING)
  15082. + gpio->falling[gb] |= (1 << go);
  15083. + if (type & IRQ_TYPE_LEVEL_HIGH)
  15084. + gpio->high[gb] |= (1 << go);
  15085. + if (type & IRQ_TYPE_LEVEL_LOW)
  15086. + gpio->low[gb] |= (1 << go);
  15087. + return 0;
  15088. +}
  15089. +
  15090. +static void bcm2708_gpio_irq_mask(struct irq_data *d)
  15091. +{
  15092. + unsigned irq = d->irq;
  15093. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  15094. + unsigned gn = irq_to_gpio(irq);
  15095. + unsigned gb = gn / 32;
  15096. + unsigned long rising = readl(gpio->base + GPIOREN(gb));
  15097. + unsigned long falling = readl(gpio->base + GPIOFEN(gb));
  15098. + unsigned long high = readl(gpio->base + GPIOHEN(gb));
  15099. + unsigned long low = readl(gpio->base + GPIOLEN(gb));
  15100. +
  15101. + gn = gn % 32;
  15102. +
  15103. + writel(rising & ~(1 << gn), gpio->base + GPIOREN(gb));
  15104. + writel(falling & ~(1 << gn), gpio->base + GPIOFEN(gb));
  15105. + writel(high & ~(1 << gn), gpio->base + GPIOHEN(gb));
  15106. + writel(low & ~(1 << gn), gpio->base + GPIOLEN(gb));
  15107. +}
  15108. +
  15109. +static void bcm2708_gpio_irq_unmask(struct irq_data *d)
  15110. +{
  15111. + unsigned irq = d->irq;
  15112. + struct bcm2708_gpio *gpio = irq_get_chip_data(irq);
  15113. + unsigned gn = irq_to_gpio(irq);
  15114. + unsigned gb = gn / 32;
  15115. + unsigned go = gn % 32;
  15116. + unsigned long rising = readl(gpio->base + GPIOREN(gb));
  15117. + unsigned long falling = readl(gpio->base + GPIOFEN(gb));
  15118. + unsigned long high = readl(gpio->base + GPIOHEN(gb));
  15119. + unsigned long low = readl(gpio->base + GPIOLEN(gb));
  15120. +
  15121. + if (gpio->rising[gb] & (1 << go)) {
  15122. + writel(rising | (1 << go), gpio->base + GPIOREN(gb));
  15123. + } else {
  15124. + writel(rising & ~(1 << go), gpio->base + GPIOREN(gb));
  15125. + }
  15126. +
  15127. + if (gpio->falling[gb] & (1 << go)) {
  15128. + writel(falling | (1 << go), gpio->base + GPIOFEN(gb));
  15129. + } else {
  15130. + writel(falling & ~(1 << go), gpio->base + GPIOFEN(gb));
  15131. + }
  15132. +
  15133. + if (gpio->high[gb] & (1 << go)) {
  15134. + writel(high | (1 << go), gpio->base + GPIOHEN(gb));
  15135. + } else {
  15136. + writel(high & ~(1 << go), gpio->base + GPIOHEN(gb));
  15137. + }
  15138. +
  15139. + if (gpio->low[gb] & (1 << go)) {
  15140. + writel(low | (1 << go), gpio->base + GPIOLEN(gb));
  15141. + } else {
  15142. + writel(low & ~(1 << go), gpio->base + GPIOLEN(gb));
  15143. + }
  15144. +}
  15145. +
  15146. +static struct irq_chip bcm2708_irqchip = {
  15147. + .name = "GPIO",
  15148. + .irq_enable = bcm2708_gpio_irq_unmask,
  15149. + .irq_disable = bcm2708_gpio_irq_mask,
  15150. + .irq_unmask = bcm2708_gpio_irq_unmask,
  15151. + .irq_mask = bcm2708_gpio_irq_mask,
  15152. + .irq_set_type = bcm2708_gpio_irq_set_type,
  15153. +};
  15154. +
  15155. +static irqreturn_t bcm2708_gpio_interrupt(int irq, void *dev_id)
  15156. +{
  15157. + unsigned long edsr;
  15158. + unsigned bank;
  15159. + int i;
  15160. + unsigned gpio;
  15161. + unsigned level_bits;
  15162. + struct bcm2708_gpio *gpio_data = dev_id;
  15163. +
  15164. + for (bank = 0; bank < GPIO_BANKS; bank++) {
  15165. + edsr = readl(__io_address(GPIO_BASE) + GPIOEDS(bank));
  15166. + level_bits = gpio_data->high[bank] | gpio_data->low[bank];
  15167. +
  15168. + for_each_set_bit(i, &edsr, 32) {
  15169. + gpio = i + bank * 32;
  15170. + /* ack edge triggered IRQs immediately */
  15171. + if (!(level_bits & (1<<i)))
  15172. + writel(1<<i,
  15173. + __io_address(GPIO_BASE) + GPIOEDS(bank));
  15174. + generic_handle_irq(gpio_to_irq(gpio));
  15175. + /* ack level triggered IRQ after handling them */
  15176. + if (level_bits & (1<<i))
  15177. + writel(1<<i,
  15178. + __io_address(GPIO_BASE) + GPIOEDS(bank));
  15179. + }
  15180. + }
  15181. + return IRQ_HANDLED;
  15182. +}
  15183. +
  15184. +static struct irqaction bcm2708_gpio_irq = {
  15185. + .name = "BCM2708 GPIO catchall handler",
  15186. + .flags = IRQF_TIMER | IRQF_IRQPOLL,
  15187. + .handler = bcm2708_gpio_interrupt,
  15188. +};
  15189. +
  15190. +static void bcm2708_gpio_irq_init(struct bcm2708_gpio *ucb)
  15191. +{
  15192. + unsigned irq;
  15193. +
  15194. + ucb->gc.to_irq = bcm2708_gpio_to_irq;
  15195. +
  15196. + for (irq = GPIO_IRQ_START; irq < (GPIO_IRQ_START + GPIO_IRQS); irq++) {
  15197. + irq_set_chip_data(irq, ucb);
  15198. + irq_set_chip_and_handler(irq, &bcm2708_irqchip,
  15199. + handle_simple_irq);
  15200. + set_irq_flags(irq, IRQF_VALID);
  15201. + }
  15202. +
  15203. + bcm2708_gpio_irq.dev_id = ucb;
  15204. + setup_irq(IRQ_GPIO3, &bcm2708_gpio_irq);
  15205. +}
  15206. +
  15207. +#else
  15208. +
  15209. +static void bcm2708_gpio_irq_init(struct bcm2708_gpio *ucb)
  15210. +{
  15211. +}
  15212. +
  15213. +#endif /* #if BCM_GPIO_USE_IRQ ***************************************************************************************************************** */
  15214. +
  15215. +static int bcm2708_gpio_probe(struct platform_device *dev)
  15216. +{
  15217. + struct bcm2708_gpio *ucb;
  15218. + struct resource *res;
  15219. + int bank;
  15220. + int err = 0;
  15221. +
  15222. + printk(KERN_INFO DRIVER_NAME ": bcm2708_gpio_probe %p\n", dev);
  15223. +
  15224. + ucb = kzalloc(sizeof(*ucb), GFP_KERNEL);
  15225. + if (NULL == ucb) {
  15226. + printk(KERN_ERR DRIVER_NAME ": failed to allocate "
  15227. + "mailbox memory\n");
  15228. + err = -ENOMEM;
  15229. + goto err;
  15230. + }
  15231. +
  15232. + res = platform_get_resource(dev, IORESOURCE_MEM, 0);
  15233. +
  15234. + platform_set_drvdata(dev, ucb);
  15235. + ucb->base = __io_address(GPIO_BASE);
  15236. +
  15237. + ucb->gc.label = "bcm2708_gpio";
  15238. + ucb->gc.base = 0;
  15239. + ucb->gc.ngpio = BCM2708_NR_GPIOS;
  15240. + ucb->gc.owner = THIS_MODULE;
  15241. +
  15242. + ucb->gc.direction_input = bcm2708_gpio_dir_in;
  15243. + ucb->gc.direction_output = bcm2708_gpio_dir_out;
  15244. + ucb->gc.get = bcm2708_gpio_get;
  15245. + ucb->gc.set = bcm2708_gpio_set;
  15246. + ucb->gc.can_sleep = 0;
  15247. +
  15248. + for (bank = 0; bank < GPIO_BANKS; bank++) {
  15249. + writel(0, ucb->base + GPIOREN(bank));
  15250. + writel(0, ucb->base + GPIOFEN(bank));
  15251. + writel(0, ucb->base + GPIOHEN(bank));
  15252. + writel(0, ucb->base + GPIOLEN(bank));
  15253. + writel(0, ucb->base + GPIOAREN(bank));
  15254. + writel(0, ucb->base + GPIOAFEN(bank));
  15255. + writel(~0, ucb->base + GPIOEDS(bank));
  15256. + }
  15257. +
  15258. + bcm2708_gpio_irq_init(ucb);
  15259. +
  15260. + err = gpiochip_add(&ucb->gc);
  15261. +
  15262. +err:
  15263. + return err;
  15264. +
  15265. +}
  15266. +
  15267. +static int bcm2708_gpio_remove(struct platform_device *dev)
  15268. +{
  15269. + int err = 0;
  15270. + struct bcm2708_gpio *ucb = platform_get_drvdata(dev);
  15271. +
  15272. + printk(KERN_ERR DRIVER_NAME ": bcm2708_gpio_remove %p\n", dev);
  15273. +
  15274. + gpiochip_remove(&ucb->gc);
  15275. +
  15276. + platform_set_drvdata(dev, NULL);
  15277. + kfree(ucb);
  15278. +
  15279. + return err;
  15280. +}
  15281. +
  15282. +static struct platform_driver bcm2708_gpio_driver = {
  15283. + .probe = bcm2708_gpio_probe,
  15284. + .remove = bcm2708_gpio_remove,
  15285. + .driver = {
  15286. + .name = "bcm2708_gpio"},
  15287. +};
  15288. +
  15289. +static int __init bcm2708_gpio_init(void)
  15290. +{
  15291. + return platform_driver_register(&bcm2708_gpio_driver);
  15292. +}
  15293. +
  15294. +static void __exit bcm2708_gpio_exit(void)
  15295. +{
  15296. + platform_driver_unregister(&bcm2708_gpio_driver);
  15297. +}
  15298. +
  15299. +module_init(bcm2708_gpio_init);
  15300. +module_exit(bcm2708_gpio_exit);
  15301. +
  15302. +MODULE_DESCRIPTION("Broadcom BCM2708 GPIO driver");
  15303. +MODULE_LICENSE("GPL");
  15304. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2709.c linux-rpi/arch/arm/mach-bcm2709/bcm2709.c
  15305. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2709.c 1970-01-01 01:00:00.000000000 +0100
  15306. +++ linux-rpi/arch/arm/mach-bcm2709/bcm2709.c 2015-11-29 09:42:34.791439401 +0100
  15307. @@ -0,0 +1,1332 @@
  15308. +/*
  15309. + * linux/arch/arm/mach-bcm2709/bcm2709.c
  15310. + *
  15311. + * Copyright (C) 2010 Broadcom
  15312. + *
  15313. + * This program is free software; you can redistribute it and/or modify
  15314. + * it under the terms of the GNU General Public License as published by
  15315. + * the Free Software Foundation; either version 2 of the License, or
  15316. + * (at your option) any later version.
  15317. + *
  15318. + * This program is distributed in the hope that it will be useful,
  15319. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15320. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  15321. + * GNU General Public License for more details.
  15322. + *
  15323. + * You should have received a copy of the GNU General Public License
  15324. + * along with this program; if not, write to the Free Software
  15325. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  15326. + */
  15327. +
  15328. +#include <linux/init.h>
  15329. +#include <linux/device.h>
  15330. +#include <linux/dma-mapping.h>
  15331. +#include <linux/serial_8250.h>
  15332. +#include <linux/platform_device.h>
  15333. +#include <linux/syscore_ops.h>
  15334. +#include <linux/interrupt.h>
  15335. +#include <linux/amba/bus.h>
  15336. +#include <linux/amba/clcd.h>
  15337. +#include <linux/clk-provider.h>
  15338. +#include <linux/clkdev.h>
  15339. +#include <linux/clockchips.h>
  15340. +#include <linux/cnt32_to_63.h>
  15341. +#include <linux/io.h>
  15342. +#include <linux/module.h>
  15343. +#include <linux/of_platform.h>
  15344. +#include <linux/spi/spi.h>
  15345. +#include <linux/gpio/machine.h>
  15346. +#include <linux/w1-gpio.h>
  15347. +#include <linux/pps-gpio.h>
  15348. +
  15349. +#include <linux/version.h>
  15350. +#include <linux/clkdev.h>
  15351. +#include <asm/system_info.h>
  15352. +#include <mach/hardware.h>
  15353. +#include <asm/irq.h>
  15354. +#include <linux/leds.h>
  15355. +#include <asm/mach-types.h>
  15356. +#include <asm/cputype.h>
  15357. +#include <linux/sched_clock.h>
  15358. +
  15359. +#include <asm/mach/arch.h>
  15360. +#include <asm/mach/flash.h>
  15361. +#include <asm/mach/irq.h>
  15362. +#include <asm/mach/time.h>
  15363. +#include <asm/mach/map.h>
  15364. +
  15365. +#include <mach/timex.h>
  15366. +#include <mach/system.h>
  15367. +
  15368. +#include <linux/delay.h>
  15369. +
  15370. +#include "bcm2709.h"
  15371. +#include "armctrl.h"
  15372. +
  15373. +#ifdef CONFIG_BCM_VC_CMA
  15374. +#include <linux/broadcom/vc_cma.h>
  15375. +#endif
  15376. +
  15377. +//#define SYSTEM_TIMER
  15378. +
  15379. +/* Effectively we have an IOMMU (ARM<->VideoCore map) that is set up to
  15380. + * give us IO access only to 64Mbytes of physical memory (26 bits). We could
  15381. + * represent this window by setting our dmamasks to 26 bits but, in fact
  15382. + * we're not going to use addresses outside this range (they're not in real
  15383. + * memory) so we don't bother.
  15384. + *
  15385. + * In the future we might include code to use this IOMMU to remap other
  15386. + * physical addresses onto VideoCore memory then the use of 32-bits would be
  15387. + * more legitimate.
  15388. + */
  15389. +#define DMA_MASK_BITS_COMMON 32
  15390. +
  15391. +// use GPIO 4 for the one-wire GPIO pin, if enabled
  15392. +#define W1_GPIO 4
  15393. +// ensure one-wire GPIO pullup is disabled by default
  15394. +#define W1_PULLUP -1
  15395. +
  15396. +/* command line parameters */
  15397. +static unsigned boardrev, serial;
  15398. +static unsigned uart_clock = UART0_CLOCK;
  15399. +static unsigned disk_led_gpio = 16;
  15400. +static unsigned disk_led_active_low = 1;
  15401. +static unsigned reboot_part = 0;
  15402. +static unsigned w1_gpio_pin = W1_GPIO;
  15403. +static unsigned w1_gpio_pullup = W1_PULLUP;
  15404. +static bool vc_i2c_override = false;
  15405. +static int pps_gpio_pin = -1;
  15406. +unsigned force_core;
  15407. +
  15408. +static unsigned use_dt = 0;
  15409. +
  15410. +static void __init bcm2709_init_led(void);
  15411. +
  15412. +void __init bcm2709_init_irq(void)
  15413. +{
  15414. + armctrl_init(__io_address(ARMCTRL_IC_BASE), 0, 0, 0);
  15415. +}
  15416. +
  15417. +static struct map_desc bcm2709_io_desc[] __initdata = {
  15418. + {
  15419. + .virtual = IO_ADDRESS(ARMCTRL_BASE),
  15420. + .pfn = __phys_to_pfn(ARMCTRL_BASE),
  15421. + .length = SZ_4K,
  15422. + .type = MT_DEVICE},
  15423. + {
  15424. + .virtual = IO_ADDRESS(UART0_BASE),
  15425. + .pfn = __phys_to_pfn(UART0_BASE),
  15426. + .length = SZ_4K,
  15427. + .type = MT_DEVICE},
  15428. + {
  15429. + .virtual = IO_ADDRESS(UART1_BASE),
  15430. + .pfn = __phys_to_pfn(UART1_BASE),
  15431. + .length = SZ_4K,
  15432. + .type = MT_DEVICE},
  15433. + {
  15434. + .virtual = IO_ADDRESS(DMA_BASE),
  15435. + .pfn = __phys_to_pfn(DMA_BASE),
  15436. + .length = SZ_4K,
  15437. + .type = MT_DEVICE},
  15438. + {
  15439. + .virtual = IO_ADDRESS(MCORE_BASE),
  15440. + .pfn = __phys_to_pfn(MCORE_BASE),
  15441. + .length = SZ_4K,
  15442. + .type = MT_DEVICE},
  15443. + {
  15444. + .virtual = IO_ADDRESS(ST_BASE),
  15445. + .pfn = __phys_to_pfn(ST_BASE),
  15446. + .length = SZ_4K,
  15447. + .type = MT_DEVICE},
  15448. + {
  15449. + .virtual = IO_ADDRESS(USB_BASE),
  15450. + .pfn = __phys_to_pfn(USB_BASE),
  15451. + .length = SZ_128K,
  15452. + .type = MT_DEVICE},
  15453. + {
  15454. + .virtual = IO_ADDRESS(PM_BASE),
  15455. + .pfn = __phys_to_pfn(PM_BASE),
  15456. + .length = SZ_4K,
  15457. + .type = MT_DEVICE},
  15458. + {
  15459. + .virtual = IO_ADDRESS(GPIO_BASE),
  15460. + .pfn = __phys_to_pfn(GPIO_BASE),
  15461. + .length = SZ_4K,
  15462. + .type = MT_DEVICE},
  15463. + {
  15464. + .virtual = IO_ADDRESS(ARM_LOCAL_BASE),
  15465. + .pfn = __phys_to_pfn(ARM_LOCAL_BASE),
  15466. + .length = SZ_4K,
  15467. + .type = MT_DEVICE},
  15468. +};
  15469. +
  15470. +void __init bcm2709_map_io(void)
  15471. +{
  15472. + iotable_init(bcm2709_io_desc, ARRAY_SIZE(bcm2709_io_desc));
  15473. +}
  15474. +
  15475. +#ifdef SYSTEM_TIMER
  15476. +
  15477. +/* The STC is a free running counter that increments at the rate of 1MHz */
  15478. +#define STC_FREQ_HZ 1000000
  15479. +
  15480. +static inline uint32_t timer_read(void)
  15481. +{
  15482. + /* STC: a free running counter that increments at the rate of 1MHz */
  15483. + return readl(__io_address(ST_BASE + 0x04));
  15484. +}
  15485. +
  15486. +static unsigned long bcm2709_read_current_timer(void)
  15487. +{
  15488. + return timer_read();
  15489. +}
  15490. +
  15491. +static u64 notrace bcm2709_read_sched_clock(void)
  15492. +{
  15493. + return timer_read();
  15494. +}
  15495. +
  15496. +static cycle_t clksrc_read(struct clocksource *cs)
  15497. +{
  15498. + return timer_read();
  15499. +}
  15500. +
  15501. +static struct clocksource clocksource_stc = {
  15502. + .name = "stc",
  15503. + .rating = 300,
  15504. + .read = clksrc_read,
  15505. + .mask = CLOCKSOURCE_MASK(32),
  15506. + .flags = CLOCK_SOURCE_IS_CONTINUOUS,
  15507. +};
  15508. +
  15509. +unsigned long frc_clock_ticks32(void)
  15510. +{
  15511. + return timer_read();
  15512. +}
  15513. +
  15514. +static void __init bcm2709_clocksource_init(void)
  15515. +{
  15516. + if (clocksource_register_hz(&clocksource_stc, STC_FREQ_HZ)) {
  15517. + printk(KERN_ERR "timer: failed to initialize clock "
  15518. + "source %s\n", clocksource_stc.name);
  15519. + }
  15520. +}
  15521. +#endif
  15522. +
  15523. +struct clk __init *bcm2709_clk_register(const char *name, unsigned long fixed_rate)
  15524. +{
  15525. + struct clk *clk;
  15526. +
  15527. + clk = clk_register_fixed_rate(NULL, name, NULL, CLK_IS_ROOT,
  15528. + fixed_rate);
  15529. + if (IS_ERR(clk))
  15530. + pr_err("%s not registered\n", name);
  15531. +
  15532. + return clk;
  15533. +}
  15534. +
  15535. +void __init bcm2709_register_clkdev(struct clk *clk, const char *name)
  15536. +{
  15537. + int ret;
  15538. +
  15539. + ret = clk_register_clkdev(clk, NULL, name);
  15540. + if (ret)
  15541. + pr_err("%s alias not registered\n", name);
  15542. +}
  15543. +
  15544. +void __init bcm2709_init_clocks(void)
  15545. +{
  15546. + struct clk *clk;
  15547. +
  15548. + clk = bcm2709_clk_register("uart0_clk", uart_clock);
  15549. + bcm2709_register_clkdev(clk, "dev:f1");
  15550. +
  15551. + clk = bcm2709_clk_register("sdhost_clk", 250000000);
  15552. + bcm2709_register_clkdev(clk, "mmc-bcm2835.0");
  15553. + bcm2709_register_clkdev(clk, "bcm2708_spi.0");
  15554. + bcm2709_register_clkdev(clk, "bcm2708_i2c.0");
  15555. + bcm2709_register_clkdev(clk, "bcm2708_i2c.1");
  15556. +}
  15557. +
  15558. +#define UART0_IRQ { IRQ_UART, 0 /*NO_IRQ*/ }
  15559. +#define UART0_DMA { 15, 14 }
  15560. +
  15561. +AMBA_DEVICE(uart0, "dev:f1", UART0, NULL);
  15562. +
  15563. +static struct amba_device *amba_devs[] __initdata = {
  15564. + &uart0_device,
  15565. +};
  15566. +
  15567. +static struct resource bcm2708_dmaengine_resources[] = {
  15568. + {
  15569. + .start = DMA_BASE,
  15570. + .end = DMA_BASE + SZ_4K - 1,
  15571. + .flags = IORESOURCE_MEM,
  15572. + }, {
  15573. + .start = IRQ_DMA0,
  15574. + .end = IRQ_DMA0,
  15575. + .flags = IORESOURCE_IRQ,
  15576. + }, {
  15577. + .start = IRQ_DMA1,
  15578. + .end = IRQ_DMA1,
  15579. + .flags = IORESOURCE_IRQ,
  15580. + }, {
  15581. + .start = IRQ_DMA2,
  15582. + .end = IRQ_DMA2,
  15583. + .flags = IORESOURCE_IRQ,
  15584. + }, {
  15585. + .start = IRQ_DMA3,
  15586. + .end = IRQ_DMA3,
  15587. + .flags = IORESOURCE_IRQ,
  15588. + }, {
  15589. + .start = IRQ_DMA4,
  15590. + .end = IRQ_DMA4,
  15591. + .flags = IORESOURCE_IRQ,
  15592. + }, {
  15593. + .start = IRQ_DMA5,
  15594. + .end = IRQ_DMA5,
  15595. + .flags = IORESOURCE_IRQ,
  15596. + }, {
  15597. + .start = IRQ_DMA6,
  15598. + .end = IRQ_DMA6,
  15599. + .flags = IORESOURCE_IRQ,
  15600. + }, {
  15601. + .start = IRQ_DMA7,
  15602. + .end = IRQ_DMA7,
  15603. + .flags = IORESOURCE_IRQ,
  15604. + }, {
  15605. + .start = IRQ_DMA8,
  15606. + .end = IRQ_DMA8,
  15607. + .flags = IORESOURCE_IRQ,
  15608. + }, {
  15609. + .start = IRQ_DMA9,
  15610. + .end = IRQ_DMA9,
  15611. + .flags = IORESOURCE_IRQ,
  15612. + }, {
  15613. + .start = IRQ_DMA10,
  15614. + .end = IRQ_DMA10,
  15615. + .flags = IORESOURCE_IRQ,
  15616. + }, {
  15617. + .start = IRQ_DMA11,
  15618. + .end = IRQ_DMA11,
  15619. + .flags = IORESOURCE_IRQ,
  15620. + }, {
  15621. + .start = IRQ_DMA12,
  15622. + .end = IRQ_DMA12,
  15623. + .flags = IORESOURCE_IRQ,
  15624. + }
  15625. +};
  15626. +
  15627. +static struct platform_device bcm2708_dmaengine_device = {
  15628. + .name = "bcm2708-dmaengine",
  15629. + .id = -1,
  15630. + .resource = bcm2708_dmaengine_resources,
  15631. + .num_resources = ARRAY_SIZE(bcm2708_dmaengine_resources),
  15632. +};
  15633. +
  15634. +#if defined(CONFIG_W1_MASTER_GPIO) || defined(CONFIG_W1_MASTER_GPIO_MODULE)
  15635. +static struct w1_gpio_platform_data w1_gpio_pdata = {
  15636. + .pin = W1_GPIO,
  15637. + .ext_pullup_enable_pin = W1_PULLUP,
  15638. + .is_open_drain = 0,
  15639. +};
  15640. +
  15641. +static struct platform_device w1_device = {
  15642. + .name = "w1-gpio",
  15643. + .id = -1,
  15644. + .dev.platform_data = &w1_gpio_pdata,
  15645. +};
  15646. +#endif
  15647. +
  15648. +static struct pps_gpio_platform_data pps_gpio_info = {
  15649. + .assert_falling_edge = false,
  15650. + .capture_clear = false,
  15651. + .gpio_pin = -1,
  15652. + .gpio_label = "PPS",
  15653. +};
  15654. +
  15655. +static struct platform_device pps_gpio_device = {
  15656. + .name = "pps-gpio",
  15657. + .id = PLATFORM_DEVID_NONE,
  15658. + .dev.platform_data = &pps_gpio_info,
  15659. +};
  15660. +
  15661. +static u64 fb_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15662. +
  15663. +static struct platform_device bcm2708_fb_device = {
  15664. + .name = "bcm2708_fb",
  15665. + .id = -1, /* only one bcm2708_fb */
  15666. + .resource = NULL,
  15667. + .num_resources = 0,
  15668. + .dev = {
  15669. + .dma_mask = &fb_dmamask,
  15670. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15671. + },
  15672. +};
  15673. +
  15674. +static struct resource bcm2708_usb_resources[] = {
  15675. + [0] = {
  15676. + .start = USB_BASE,
  15677. + .end = USB_BASE + SZ_128K - 1,
  15678. + .flags = IORESOURCE_MEM,
  15679. + },
  15680. + [1] = {
  15681. + .start = MPHI_BASE,
  15682. + .end = MPHI_BASE + SZ_4K - 1,
  15683. + .flags = IORESOURCE_MEM,
  15684. + },
  15685. + [2] = {
  15686. + .start = IRQ_HOSTPORT,
  15687. + .end = IRQ_HOSTPORT,
  15688. + .flags = IORESOURCE_IRQ,
  15689. + },
  15690. + [3] = {
  15691. + .start = IRQ_USB,
  15692. + .end = IRQ_USB,
  15693. + .flags = IORESOURCE_IRQ,
  15694. + },
  15695. + [4] = {
  15696. + .start = ARM_LOCAL_BASE,
  15697. + .end = ARM_LOCAL_BASE + SZ_4K - 1,
  15698. + .flags = IORESOURCE_MEM,
  15699. + },
  15700. + [5] = {
  15701. + .start = IRQ_ARM_LOCAL_MAILBOX1,
  15702. + .end = IRQ_ARM_LOCAL_MAILBOX1,
  15703. + .flags = IORESOURCE_IRQ
  15704. + },
  15705. +};
  15706. +
  15707. +
  15708. +static u64 usb_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15709. +
  15710. +static struct platform_device bcm2708_usb_device = {
  15711. + .name = "bcm2708_usb",
  15712. + .id = -1, /* only one bcm2708_usb */
  15713. + .resource = bcm2708_usb_resources,
  15714. + .num_resources = ARRAY_SIZE(bcm2708_usb_resources),
  15715. + .dev = {
  15716. + .dma_mask = &usb_dmamask,
  15717. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15718. + },
  15719. +};
  15720. +
  15721. +static struct resource bcm2708_vcio_resources[] = {
  15722. + {
  15723. + .start = ARMCTRL_0_MAIL0_BASE,
  15724. + .end = ARMCTRL_0_MAIL0_BASE + SZ_64 - 1,
  15725. + .flags = IORESOURCE_MEM,
  15726. + }, {
  15727. + .start = IRQ_ARM_MAILBOX,
  15728. + .end = IRQ_ARM_MAILBOX,
  15729. + .flags = IORESOURCE_IRQ,
  15730. + },
  15731. +};
  15732. +
  15733. +static u64 vcio_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15734. +
  15735. +static struct platform_device bcm2708_vcio_device = {
  15736. + .name = "bcm2835-mbox",
  15737. + .id = -1, /* only one VideoCore I/O area */
  15738. + .resource = bcm2708_vcio_resources,
  15739. + .num_resources = ARRAY_SIZE(bcm2708_vcio_resources),
  15740. + .dev = {
  15741. + .dma_mask = &vcio_dmamask,
  15742. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15743. + },
  15744. +};
  15745. +
  15746. +static u64 rpifw_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15747. +
  15748. +static struct platform_device bcm2708_rpifw_device = {
  15749. + .name = "raspberrypi-firmware",
  15750. + .dev = {
  15751. + .dma_mask = &rpifw_dmamask,
  15752. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15753. + },
  15754. +};
  15755. +
  15756. +static struct resource bcm2708_vchiq_resources[] = {
  15757. + {
  15758. + .start = ARMCTRL_0_BELL_BASE,
  15759. + .end = ARMCTRL_0_BELL_BASE + 16,
  15760. + .flags = IORESOURCE_MEM,
  15761. + }, {
  15762. + .start = IRQ_ARM_DOORBELL_0,
  15763. + .end = IRQ_ARM_DOORBELL_0,
  15764. + .flags = IORESOURCE_IRQ,
  15765. + },
  15766. +};
  15767. +
  15768. +static u64 vchiq_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15769. +
  15770. +static struct platform_device bcm2708_vchiq_device = {
  15771. + .name = "bcm2835_vchiq",
  15772. + .id = -1,
  15773. + .resource = bcm2708_vchiq_resources,
  15774. + .num_resources = ARRAY_SIZE(bcm2708_vchiq_resources),
  15775. + .dev = {
  15776. + .dma_mask = &vchiq_dmamask,
  15777. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15778. + },
  15779. +};
  15780. +
  15781. +#ifdef CONFIG_BCM2708_GPIO
  15782. +#define BCM_GPIO_DRIVER_NAME "bcm2708_gpio"
  15783. +
  15784. +static struct resource bcm2708_gpio_resources[] = {
  15785. + [0] = { /* general purpose I/O */
  15786. + .start = GPIO_BASE,
  15787. + .end = GPIO_BASE + SZ_4K - 1,
  15788. + .flags = IORESOURCE_MEM,
  15789. + },
  15790. +};
  15791. +
  15792. +static u64 gpio_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15793. +
  15794. +static struct platform_device bcm2708_gpio_device = {
  15795. + .name = BCM_GPIO_DRIVER_NAME,
  15796. + .id = -1, /* only one VideoCore I/O area */
  15797. + .resource = bcm2708_gpio_resources,
  15798. + .num_resources = ARRAY_SIZE(bcm2708_gpio_resources),
  15799. + .dev = {
  15800. + .dma_mask = &gpio_dmamask,
  15801. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON),
  15802. + },
  15803. +};
  15804. +#endif
  15805. +
  15806. +#ifdef CONFIG_MMC_BCM2835 /* Arasan emmc SD (new) */
  15807. +static struct resource bcm2835_emmc_resources[] = {
  15808. + [0] = {
  15809. + .start = EMMC_BASE,
  15810. + .end = EMMC_BASE + SZ_256 - 1, /* we only need this area */
  15811. + /* the memory map actually makes SZ_4K available */
  15812. + .flags = IORESOURCE_MEM,
  15813. + },
  15814. + [1] = {
  15815. + .start = IRQ_ARASANSDIO,
  15816. + .end = IRQ_ARASANSDIO,
  15817. + .flags = IORESOURCE_IRQ,
  15818. + },
  15819. +};
  15820. +
  15821. +static u64 bcm2835_emmc_dmamask = 0xffffffffUL;
  15822. +
  15823. +struct platform_device bcm2835_emmc_device = {
  15824. + .name = "mmc-bcm2835",
  15825. + .id = 0,
  15826. + .num_resources = ARRAY_SIZE(bcm2835_emmc_resources),
  15827. + .resource = bcm2835_emmc_resources,
  15828. + .dev = {
  15829. + .dma_mask = &bcm2835_emmc_dmamask,
  15830. + .coherent_dma_mask = 0xffffffffUL},
  15831. +};
  15832. +#endif /* CONFIG_MMC_BCM2835 */
  15833. +
  15834. +static struct platform_device bcm2708_alsa_devices[] = {
  15835. + [0] = {
  15836. + .name = "bcm2835_AUD0",
  15837. + .id = 0, /* first audio device */
  15838. + .resource = 0,
  15839. + .num_resources = 0,
  15840. + },
  15841. + [1] = {
  15842. + .name = "bcm2835_AUD1",
  15843. + .id = 1, /* second audio device */
  15844. + .resource = 0,
  15845. + .num_resources = 0,
  15846. + },
  15847. + [2] = {
  15848. + .name = "bcm2835_AUD2",
  15849. + .id = 2, /* third audio device */
  15850. + .resource = 0,
  15851. + .num_resources = 0,
  15852. + },
  15853. + [3] = {
  15854. + .name = "bcm2835_AUD3",
  15855. + .id = 3, /* forth audio device */
  15856. + .resource = 0,
  15857. + .num_resources = 0,
  15858. + },
  15859. + [4] = {
  15860. + .name = "bcm2835_AUD4",
  15861. + .id = 4, /* fifth audio device */
  15862. + .resource = 0,
  15863. + .num_resources = 0,
  15864. + },
  15865. + [5] = {
  15866. + .name = "bcm2835_AUD5",
  15867. + .id = 5, /* sixth audio device */
  15868. + .resource = 0,
  15869. + .num_resources = 0,
  15870. + },
  15871. + [6] = {
  15872. + .name = "bcm2835_AUD6",
  15873. + .id = 6, /* seventh audio device */
  15874. + .resource = 0,
  15875. + .num_resources = 0,
  15876. + },
  15877. + [7] = {
  15878. + .name = "bcm2835_AUD7",
  15879. + .id = 7, /* eighth audio device */
  15880. + .resource = 0,
  15881. + .num_resources = 0,
  15882. + },
  15883. +};
  15884. +
  15885. +static struct resource bcm2708_spi_resources[] = {
  15886. + {
  15887. + .start = SPI0_BASE,
  15888. + .end = SPI0_BASE + SZ_256 - 1,
  15889. + .flags = IORESOURCE_MEM,
  15890. + }, {
  15891. + .start = IRQ_SPI,
  15892. + .end = IRQ_SPI,
  15893. + .flags = IORESOURCE_IRQ,
  15894. + }
  15895. +};
  15896. +
  15897. +
  15898. +static u64 bcm2708_spi_dmamask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON);
  15899. +static struct platform_device bcm2708_spi_device = {
  15900. + .name = "bcm2708_spi",
  15901. + .id = 0,
  15902. + .num_resources = ARRAY_SIZE(bcm2708_spi_resources),
  15903. + .resource = bcm2708_spi_resources,
  15904. + .dev = {
  15905. + .dma_mask = &bcm2708_spi_dmamask,
  15906. + .coherent_dma_mask = DMA_BIT_MASK(DMA_MASK_BITS_COMMON)},
  15907. +};
  15908. +
  15909. +#ifdef CONFIG_BCM2708_SPIDEV
  15910. +static struct spi_board_info bcm2708_spi_devices[] = {
  15911. +#ifdef CONFIG_SPI_SPIDEV
  15912. + {
  15913. + .modalias = "spidev",
  15914. + .max_speed_hz = 500000,
  15915. + .bus_num = 0,
  15916. + .chip_select = 0,
  15917. + .mode = SPI_MODE_0,
  15918. + }, {
  15919. + .modalias = "spidev",
  15920. + .max_speed_hz = 500000,
  15921. + .bus_num = 0,
  15922. + .chip_select = 1,
  15923. + .mode = SPI_MODE_0,
  15924. + }
  15925. +#endif
  15926. +};
  15927. +#endif
  15928. +
  15929. +static struct resource bcm2708_bsc0_resources[] = {
  15930. + {
  15931. + .start = BSC0_BASE,
  15932. + .end = BSC0_BASE + SZ_256 - 1,
  15933. + .flags = IORESOURCE_MEM,
  15934. + }, {
  15935. + .start = INTERRUPT_I2C,
  15936. + .end = INTERRUPT_I2C,
  15937. + .flags = IORESOURCE_IRQ,
  15938. + }
  15939. +};
  15940. +
  15941. +static struct platform_device bcm2708_bsc0_device = {
  15942. + .name = "bcm2708_i2c",
  15943. + .id = 0,
  15944. + .num_resources = ARRAY_SIZE(bcm2708_bsc0_resources),
  15945. + .resource = bcm2708_bsc0_resources,
  15946. +};
  15947. +
  15948. +
  15949. +static struct resource bcm2708_bsc1_resources[] = {
  15950. + {
  15951. + .start = BSC1_BASE,
  15952. + .end = BSC1_BASE + SZ_256 - 1,
  15953. + .flags = IORESOURCE_MEM,
  15954. + }, {
  15955. + .start = INTERRUPT_I2C,
  15956. + .end = INTERRUPT_I2C,
  15957. + .flags = IORESOURCE_IRQ,
  15958. + }
  15959. +};
  15960. +
  15961. +static struct platform_device bcm2708_bsc1_device = {
  15962. + .name = "bcm2708_i2c",
  15963. + .id = 1,
  15964. + .num_resources = ARRAY_SIZE(bcm2708_bsc1_resources),
  15965. + .resource = bcm2708_bsc1_resources,
  15966. +};
  15967. +
  15968. +static struct platform_device bcm2835_thermal_device = {
  15969. + .name = "bcm2835_thermal",
  15970. +};
  15971. +
  15972. +#if defined(CONFIG_SND_BCM2708_SOC_I2S) || defined(CONFIG_SND_BCM2708_SOC_I2S_MODULE)
  15973. +static struct resource bcm2708_i2s_resources[] = {
  15974. + {
  15975. + .start = I2S_BASE,
  15976. + .end = I2S_BASE + 0x20,
  15977. + .flags = IORESOURCE_MEM,
  15978. + },
  15979. + {
  15980. + .start = PCM_CLOCK_BASE,
  15981. + .end = PCM_CLOCK_BASE + 0x02,
  15982. + .flags = IORESOURCE_MEM,
  15983. + }
  15984. +};
  15985. +
  15986. +static struct platform_device bcm2708_i2s_device = {
  15987. + .name = "bcm2708-i2s",
  15988. + .id = 0,
  15989. + .num_resources = ARRAY_SIZE(bcm2708_i2s_resources),
  15990. + .resource = bcm2708_i2s_resources,
  15991. +};
  15992. +#endif
  15993. +
  15994. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC_MODULE)
  15995. +static struct platform_device snd_hifiberry_dac_device = {
  15996. + .name = "snd-hifiberry-dac",
  15997. + .id = 0,
  15998. + .num_resources = 0,
  15999. +};
  16000. +
  16001. +static struct platform_device snd_pcm5102a_codec_device = {
  16002. + .name = "pcm5102a-codec",
  16003. + .id = -1,
  16004. + .num_resources = 0,
  16005. +};
  16006. +#endif
  16007. +
  16008. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS_MODULE)
  16009. +static struct platform_device snd_rpi_hifiberry_dacplus_device = {
  16010. + .name = "snd-rpi-hifiberry-dacplus",
  16011. + .id = 0,
  16012. + .num_resources = 0,
  16013. +};
  16014. +
  16015. +static struct i2c_board_info __initdata snd_pcm512x_hbdacplus_i2c_devices[] = {
  16016. + {
  16017. + I2C_BOARD_INFO("pcm5122", 0x4d)
  16018. + },
  16019. +};
  16020. +#endif
  16021. +
  16022. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI_MODULE)
  16023. +static struct platform_device snd_hifiberry_digi_device = {
  16024. + .name = "snd-hifiberry-digi",
  16025. + .id = 0,
  16026. + .num_resources = 0,
  16027. +};
  16028. +
  16029. +static struct i2c_board_info __initdata snd_wm8804_i2c_devices[] = {
  16030. + {
  16031. + I2C_BOARD_INFO("wm8804", 0x3b)
  16032. + },
  16033. +};
  16034. +
  16035. +#endif
  16036. +
  16037. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP_MODULE)
  16038. +static struct platform_device snd_hifiberry_amp_device = {
  16039. + .name = "snd-hifiberry-amp",
  16040. + .id = 0,
  16041. + .num_resources = 0,
  16042. +};
  16043. +
  16044. +static struct i2c_board_info __initdata snd_tas5713_i2c_devices[] = {
  16045. + {
  16046. + I2C_BOARD_INFO("tas5713", 0x1b)
  16047. + },
  16048. +};
  16049. +#endif
  16050. +
  16051. +#if defined(CONFIG_SND_BCM2708_SOC_RPI_DAC) || defined(CONFIG_SND_BCM2708_SOC_RPI_DAC_MODULE)
  16052. +static struct platform_device snd_rpi_dac_device = {
  16053. + .name = "snd-rpi-dac",
  16054. + .id = 0,
  16055. + .num_resources = 0,
  16056. +};
  16057. +
  16058. +static struct platform_device snd_pcm1794a_codec_device = {
  16059. + .name = "pcm1794a-codec",
  16060. + .id = -1,
  16061. + .num_resources = 0,
  16062. +};
  16063. +#endif
  16064. +
  16065. +
  16066. +#if defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC) || defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC_MODULE)
  16067. +static struct platform_device snd_rpi_iqaudio_dac_device = {
  16068. + .name = "snd-rpi-iqaudio-dac",
  16069. + .id = 0,
  16070. + .num_resources = 0,
  16071. +};
  16072. +
  16073. +// Use the actual device name rather than generic driver name
  16074. +static struct i2c_board_info __initdata snd_pcm512x_i2c_devices[] = {
  16075. + {
  16076. + I2C_BOARD_INFO("pcm5122", 0x4c)
  16077. + },
  16078. +};
  16079. +#endif
  16080. +
  16081. +int __init bcm_register_device(struct platform_device *pdev)
  16082. +{
  16083. + int ret;
  16084. +
  16085. + ret = platform_device_register(pdev);
  16086. + if (ret)
  16087. + pr_debug("Unable to register platform device '%s': %d\n",
  16088. + pdev->name, ret);
  16089. +
  16090. + return ret;
  16091. +}
  16092. +
  16093. +/*
  16094. + * Use these macros for platform and i2c devices that are present in the
  16095. + * Device Tree. This way the devices are only added on non-DT systems.
  16096. + */
  16097. +#define bcm_register_device_dt(pdev) \
  16098. + if (!use_dt) bcm_register_device(pdev)
  16099. +
  16100. +#define i2c_register_board_info_dt(busnum, info, n) \
  16101. + if (!use_dt) i2c_register_board_info(busnum, info, n)
  16102. +
  16103. +int calc_rsts(int partition)
  16104. +{
  16105. + return PM_PASSWORD |
  16106. + ((partition & (1 << 0)) << 0) |
  16107. + ((partition & (1 << 1)) << 1) |
  16108. + ((partition & (1 << 2)) << 2) |
  16109. + ((partition & (1 << 3)) << 3) |
  16110. + ((partition & (1 << 4)) << 4) |
  16111. + ((partition & (1 << 5)) << 5);
  16112. +}
  16113. +
  16114. +static void bcm2709_restart(enum reboot_mode mode, const char *cmd)
  16115. +{
  16116. + extern char bcm2708_reboot_mode;
  16117. + uint32_t pm_rstc, pm_wdog;
  16118. + uint32_t timeout = 10;
  16119. + uint32_t pm_rsts = 0;
  16120. +
  16121. + if(bcm2708_reboot_mode == 'q')
  16122. + {
  16123. + // NOOBS < 1.3 booting with reboot=q
  16124. + pm_rsts = readl(__io_address(PM_RSTS));
  16125. + pm_rsts = PM_PASSWORD | pm_rsts | PM_RSTS_HADWRQ_SET;
  16126. + }
  16127. + else if(bcm2708_reboot_mode == 'p')
  16128. + {
  16129. + // NOOBS < 1.3 halting
  16130. + pm_rsts = readl(__io_address(PM_RSTS));
  16131. + pm_rsts = PM_PASSWORD | pm_rsts | PM_RSTS_HADWRH_SET;
  16132. + }
  16133. + else
  16134. + {
  16135. + pm_rsts = calc_rsts(reboot_part);
  16136. + }
  16137. +
  16138. + writel(pm_rsts, __io_address(PM_RSTS));
  16139. +
  16140. + /* Setup watchdog for reset */
  16141. + pm_rstc = readl(__io_address(PM_RSTC));
  16142. +
  16143. + pm_wdog = PM_PASSWORD | (timeout & PM_WDOG_TIME_SET); // watchdog timer = timer clock / 16; need password (31:16) + value (11:0)
  16144. + pm_rstc = PM_PASSWORD | (pm_rstc & PM_RSTC_WRCFG_CLR) | PM_RSTC_WRCFG_FULL_RESET;
  16145. +
  16146. + writel(pm_wdog, __io_address(PM_WDOG));
  16147. + writel(pm_rstc, __io_address(PM_RSTC));
  16148. +}
  16149. +
  16150. +/* We can't really power off, but if we do the normal reset scheme, and indicate to bootcode.bin not to reboot, then most of the chip will be powered off */
  16151. +static void bcm2709_power_off(void)
  16152. +{
  16153. + extern char bcm2708_reboot_mode;
  16154. + if(bcm2708_reboot_mode == 'q')
  16155. + {
  16156. + // NOOBS < v1.3
  16157. + bcm2709_restart('p', "");
  16158. + }
  16159. + else
  16160. + {
  16161. + /* partition 63 is special code for HALT the bootloader knows not to boot*/
  16162. + reboot_part = 63;
  16163. + /* continue with normal reset mechanism */
  16164. + bcm2709_restart(0, "");
  16165. + }
  16166. +}
  16167. +
  16168. +static void __init bcm2709_init_uart1(void)
  16169. +{
  16170. + struct device_node *np;
  16171. +
  16172. + np = of_find_compatible_node(NULL, NULL, "brcm,bcm2835-aux-uart");
  16173. + if (of_device_is_available(np)) {
  16174. + pr_info("bcm2709: Mini UART enabled\n");
  16175. + writel(1, __io_address(UART1_BASE + 0x4));
  16176. + }
  16177. +}
  16178. +
  16179. +#ifdef CONFIG_OF
  16180. +static void __init bcm2709_dt_init(void)
  16181. +{
  16182. + int ret;
  16183. +
  16184. + of_clk_init(NULL);
  16185. + ret = of_platform_populate(NULL, of_default_bus_match_table, NULL, NULL);
  16186. + if (ret) {
  16187. + pr_err("of_platform_populate failed: %d\n", ret);
  16188. + /* Proceed as if CONFIG_OF was not defined */
  16189. + } else {
  16190. + use_dt = 1;
  16191. + }
  16192. +}
  16193. +#else
  16194. +static void __init bcm2709_dt_init(void) { }
  16195. +#endif /* CONFIG_OF */
  16196. +
  16197. +void __init bcm2709_init(void)
  16198. +{
  16199. + int i;
  16200. +
  16201. +#if defined(CONFIG_BCM_VC_CMA)
  16202. + vc_cma_early_init();
  16203. +#endif
  16204. + printk("bcm2709.uart_clock = %d\n", uart_clock);
  16205. + pm_power_off = bcm2709_power_off;
  16206. +
  16207. + bcm2709_init_clocks();
  16208. + bcm2709_dt_init();
  16209. +
  16210. + bcm_register_device_dt(&bcm2708_dmaengine_device);
  16211. + bcm_register_device_dt(&bcm2708_vcio_device);
  16212. + bcm_register_device_dt(&bcm2708_rpifw_device);
  16213. + bcm_register_device_dt(&bcm2708_vchiq_device);
  16214. +#ifdef CONFIG_BCM2708_GPIO
  16215. + bcm_register_device_dt(&bcm2708_gpio_device);
  16216. +#endif
  16217. +
  16218. +#if defined(CONFIG_PPS_CLIENT_GPIO) || defined(CONFIG_PPS_CLIENT_GPIO_MODULE)
  16219. + if (!use_dt && (pps_gpio_pin >= 0)) {
  16220. + pr_info("bcm2709: GPIO %d setup as pps-gpio device\n", pps_gpio_pin);
  16221. + pps_gpio_info.gpio_pin = pps_gpio_pin;
  16222. + pps_gpio_device.id = pps_gpio_pin;
  16223. + bcm_register_device(&pps_gpio_device);
  16224. + }
  16225. +#endif
  16226. +
  16227. +#if defined(CONFIG_W1_MASTER_GPIO) || defined(CONFIG_W1_MASTER_GPIO_MODULE)
  16228. + w1_gpio_pdata.pin = w1_gpio_pin;
  16229. + w1_gpio_pdata.ext_pullup_enable_pin = w1_gpio_pullup;
  16230. + bcm_register_device_dt(&w1_device);
  16231. +#endif
  16232. + bcm_register_device_dt(&bcm2708_fb_device);
  16233. + bcm_register_device_dt(&bcm2708_usb_device);
  16234. +
  16235. +#ifdef CONFIG_MMC_BCM2835
  16236. + bcm_register_device_dt(&bcm2835_emmc_device);
  16237. +#endif
  16238. + bcm2709_init_led();
  16239. + bcm2709_init_uart1();
  16240. +
  16241. + /* Only create the platform devices for the ALSA driver in the
  16242. + absence of an enabled "audio" DT node */
  16243. + if (!use_dt ||
  16244. + !of_device_is_available(of_find_node_by_path("/audio"))) {
  16245. + for (i = 0; i < ARRAY_SIZE(bcm2708_alsa_devices); i++)
  16246. + bcm_register_device(&bcm2708_alsa_devices[i]);
  16247. + }
  16248. +
  16249. + bcm_register_device_dt(&bcm2708_spi_device);
  16250. +
  16251. + if (vc_i2c_override) {
  16252. + bcm_register_device_dt(&bcm2708_bsc0_device);
  16253. + bcm_register_device_dt(&bcm2708_bsc1_device);
  16254. + } else if ((boardrev & 0xffffff) == 0x2 || (boardrev & 0xffffff) == 0x3) {
  16255. + bcm_register_device_dt(&bcm2708_bsc0_device);
  16256. + } else {
  16257. + bcm_register_device_dt(&bcm2708_bsc1_device);
  16258. + }
  16259. +
  16260. + bcm_register_device_dt(&bcm2835_thermal_device);
  16261. +
  16262. +#if defined(CONFIG_SND_BCM2708_SOC_I2S) || defined(CONFIG_SND_BCM2708_SOC_I2S_MODULE)
  16263. + bcm_register_device_dt(&bcm2708_i2s_device);
  16264. +#endif
  16265. +
  16266. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC_MODULE)
  16267. + bcm_register_device_dt(&snd_hifiberry_dac_device);
  16268. + bcm_register_device_dt(&snd_pcm5102a_codec_device);
  16269. +#endif
  16270. +
  16271. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS_MODULE)
  16272. + bcm_register_device_dt(&snd_rpi_hifiberry_dacplus_device);
  16273. + i2c_register_board_info_dt(1, snd_pcm512x_hbdacplus_i2c_devices, ARRAY_SIZE(snd_pcm512x_hbdacplus_i2c_devices));
  16274. +#endif
  16275. +
  16276. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI_MODULE)
  16277. + bcm_register_device_dt(&snd_hifiberry_digi_device);
  16278. + i2c_register_board_info_dt(1, snd_wm8804_i2c_devices, ARRAY_SIZE(snd_wm8804_i2c_devices));
  16279. +#endif
  16280. +
  16281. +#if defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP) || defined(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP_MODULE)
  16282. + bcm_register_device_dt(&snd_hifiberry_amp_device);
  16283. + i2c_register_board_info_dt(1, snd_tas5713_i2c_devices, ARRAY_SIZE(snd_tas5713_i2c_devices));
  16284. +#endif
  16285. +
  16286. +#if defined(CONFIG_SND_BCM2708_SOC_RPI_DAC) || defined(CONFIG_SND_BCM2708_SOC_RPI_DAC_MODULE)
  16287. + bcm_register_device_dt(&snd_rpi_dac_device);
  16288. + bcm_register_device_dt(&snd_pcm1794a_codec_device);
  16289. +#endif
  16290. +
  16291. +#if defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC) || defined(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC_MODULE)
  16292. + bcm_register_device_dt(&snd_rpi_iqaudio_dac_device);
  16293. + i2c_register_board_info_dt(1, snd_pcm512x_i2c_devices, ARRAY_SIZE(snd_pcm512x_i2c_devices));
  16294. +#endif
  16295. +
  16296. + if (!use_dt) {
  16297. + for (i = 0; i < ARRAY_SIZE(amba_devs); i++) {
  16298. + struct amba_device *d = amba_devs[i];
  16299. + amba_device_register(d, &iomem_resource);
  16300. + }
  16301. + }
  16302. + system_rev = boardrev;
  16303. + system_serial_low = serial;
  16304. +
  16305. +#ifdef CONFIG_BCM2708_SPIDEV
  16306. + if (!use_dt)
  16307. + spi_register_board_info(bcm2708_spi_devices,
  16308. + ARRAY_SIZE(bcm2708_spi_devices));
  16309. +#endif
  16310. +}
  16311. +
  16312. +#ifdef SYSTEM_TIMER
  16313. +static void timer_set_mode(enum clock_event_mode mode,
  16314. + struct clock_event_device *clk)
  16315. +{
  16316. + switch (mode) {
  16317. + case CLOCK_EVT_MODE_ONESHOT: /* Leave the timer disabled, .set_next_event will enable it */
  16318. + case CLOCK_EVT_MODE_SHUTDOWN:
  16319. + break;
  16320. + case CLOCK_EVT_MODE_PERIODIC:
  16321. +
  16322. + case CLOCK_EVT_MODE_UNUSED:
  16323. + case CLOCK_EVT_MODE_RESUME:
  16324. +
  16325. + default:
  16326. + printk(KERN_ERR "timer_set_mode: unhandled mode:%d\n",
  16327. + (int)mode);
  16328. + break;
  16329. + }
  16330. +
  16331. +}
  16332. +
  16333. +static int timer_set_next_event(unsigned long cycles,
  16334. + struct clock_event_device *unused)
  16335. +{
  16336. + unsigned long stc;
  16337. + do {
  16338. + stc = readl(__io_address(ST_BASE + 0x04));
  16339. + /* We could take a FIQ here, which may push ST above STC3 */
  16340. + writel(stc + cycles, __io_address(ST_BASE + 0x18));
  16341. + } while ((signed long) cycles >= 0 &&
  16342. + (signed long) (readl(__io_address(ST_BASE + 0x04)) - stc)
  16343. + >= (signed long) cycles);
  16344. + return 0;
  16345. +}
  16346. +
  16347. +static struct clock_event_device timer0_clockevent = {
  16348. + .name = "timer0",
  16349. + .shift = 32,
  16350. + .features = CLOCK_EVT_FEAT_ONESHOT,
  16351. + .set_mode = timer_set_mode,
  16352. + .set_next_event = timer_set_next_event,
  16353. +};
  16354. +
  16355. +/*
  16356. + * IRQ handler for the timer
  16357. + */
  16358. +static irqreturn_t bcm2709_timer_interrupt(int irq, void *dev_id)
  16359. +{
  16360. + struct clock_event_device *evt = &timer0_clockevent;
  16361. +
  16362. + writel(1 << 3, __io_address(ST_BASE + 0x00)); /* stcs clear timer int */
  16363. +
  16364. + evt->event_handler(evt);
  16365. +
  16366. + return IRQ_HANDLED;
  16367. +}
  16368. +
  16369. +static struct irqaction bcm2709_timer_irq = {
  16370. + .name = "BCM2709 Timer Tick",
  16371. + .flags = IRQF_TIMER | IRQF_IRQPOLL,
  16372. + .handler = bcm2709_timer_interrupt,
  16373. +};
  16374. +
  16375. +/*
  16376. + * Set up timer interrupt, and return the current time in seconds.
  16377. + */
  16378. +
  16379. +static struct delay_timer bcm2709_delay_timer = {
  16380. + .read_current_timer = bcm2709_read_current_timer,
  16381. + .freq = STC_FREQ_HZ,
  16382. +};
  16383. +
  16384. +static void __init bcm2709_timer_init(void)
  16385. +{
  16386. + /* init high res timer */
  16387. + bcm2709_clocksource_init();
  16388. +
  16389. + /*
  16390. + * Make irqs happen for the system timer
  16391. + */
  16392. + setup_irq(IRQ_TIMER3, &bcm2709_timer_irq);
  16393. +
  16394. + sched_clock_register(bcm2709_read_sched_clock, 32, STC_FREQ_HZ);
  16395. +
  16396. + timer0_clockevent.mult =
  16397. + div_sc(STC_FREQ_HZ, NSEC_PER_SEC, timer0_clockevent.shift);
  16398. + timer0_clockevent.max_delta_ns =
  16399. + clockevent_delta2ns(0xffffffff, &timer0_clockevent);
  16400. + timer0_clockevent.min_delta_ns =
  16401. + clockevent_delta2ns(0xf, &timer0_clockevent);
  16402. +
  16403. + timer0_clockevent.cpumask = cpumask_of(0);
  16404. + clockevents_register_device(&timer0_clockevent);
  16405. +
  16406. + register_current_timer_delay(&bcm2709_delay_timer);
  16407. +}
  16408. +
  16409. +#else
  16410. +
  16411. +static void __init bcm2709_timer_init(void)
  16412. +{
  16413. + extern void dc4_arch_timer_init(void);
  16414. + // timer control
  16415. + writel(0, __io_address(ARM_LOCAL_CONTROL));
  16416. + // timer pre_scaler
  16417. + writel(0x80000000, __io_address(ARM_LOCAL_PRESCALER)); // 19.2MHz
  16418. + //writel(0x06AAAAAB, __io_address(ARM_LOCAL_PRESCALER)); // 1MHz
  16419. +
  16420. + if (use_dt)
  16421. + {
  16422. + of_clk_init(NULL);
  16423. + clocksource_of_init();
  16424. + }
  16425. + else
  16426. + dc4_arch_timer_init();
  16427. +}
  16428. +
  16429. +#endif
  16430. +
  16431. +#if defined(CONFIG_LEDS_GPIO) || defined(CONFIG_LEDS_GPIO_MODULE)
  16432. +#include <linux/leds.h>
  16433. +
  16434. +static struct gpio_led bcm2709_leds[] = {
  16435. + [0] = {
  16436. + .gpio = 16,
  16437. + .name = "led0",
  16438. + .default_trigger = "mmc0",
  16439. + .active_low = 1,
  16440. + },
  16441. +};
  16442. +
  16443. +static struct gpio_led_platform_data bcm2709_led_pdata = {
  16444. + .num_leds = ARRAY_SIZE(bcm2709_leds),
  16445. + .leds = bcm2709_leds,
  16446. +};
  16447. +
  16448. +static struct platform_device bcm2709_led_device = {
  16449. + .name = "leds-gpio",
  16450. + .id = -1,
  16451. + .dev = {
  16452. + .platform_data = &bcm2709_led_pdata,
  16453. + },
  16454. +};
  16455. +
  16456. +static void __init bcm2709_init_led(void)
  16457. +{
  16458. + bcm2709_leds[0].gpio = disk_led_gpio;
  16459. + bcm2709_leds[0].active_low = disk_led_active_low;
  16460. + bcm_register_device_dt(&bcm2709_led_device);
  16461. +}
  16462. +#else
  16463. +static inline void bcm2709_init_led(void)
  16464. +{
  16465. +}
  16466. +#endif
  16467. +
  16468. +void __init bcm2709_init_early(void)
  16469. +{
  16470. + /*
  16471. + * Some devices allocate their coherent buffers from atomic
  16472. + * context. Increase size of atomic coherent pool to make sure such
  16473. + * the allocations won't fail.
  16474. + */
  16475. + init_dma_coherent_pool_size(SZ_4M);
  16476. +}
  16477. +
  16478. +static void __init board_reserve(void)
  16479. +{
  16480. +#if defined(CONFIG_BCM_VC_CMA)
  16481. + vc_cma_reserve();
  16482. +#endif
  16483. +}
  16484. +
  16485. +
  16486. +#ifdef CONFIG_SMP
  16487. +#include <linux/smp.h>
  16488. +
  16489. +#include <mach/hardware.h>
  16490. +#include <asm/cacheflush.h>
  16491. +#include <asm/smp_plat.h>
  16492. +int dc4=0;
  16493. +//void dc4_log(unsigned x) { if (dc4) writel((x), __io_address(ST_BASE+10 + raw_smp_processor_id()*4)); }
  16494. +void dc4_log_dead(unsigned x) { if (dc4) writel((readl(__io_address(ST_BASE+0x10 + raw_smp_processor_id()*4)) & 0xffff) | ((x)<<16), __io_address(ST_BASE+0x10 + raw_smp_processor_id()*4)); }
  16495. +
  16496. +static void bcm2835_send_doorbell(const struct cpumask *mask, unsigned int irq)
  16497. +{
  16498. + int cpu;
  16499. + /*
  16500. + * Ensure that stores to Normal memory are visible to the
  16501. + * other CPUs before issuing the IPI.
  16502. + */
  16503. + dsb();
  16504. +
  16505. + /* Convert our logical CPU mask into a physical one. */
  16506. + for_each_cpu(cpu, mask)
  16507. + {
  16508. + /* submit softirq */
  16509. + writel(1<<irq, __io_address(ARM_LOCAL_MAILBOX0_SET0 + 0x10 * MPIDR_AFFINITY_LEVEL(cpu_logical_map(cpu), 0)));
  16510. + }
  16511. +}
  16512. +
  16513. +void __init bcm2709_smp_init_cpus(void)
  16514. +{
  16515. + void secondary_startup(void);
  16516. + unsigned int i, ncores;
  16517. +
  16518. + ncores = 4; // xxx scu_get_core_count(NULL);
  16519. + printk("[%s] enter (%x->%x)\n", __FUNCTION__, (unsigned)virt_to_phys((void *)secondary_startup), (unsigned)__io_address(ST_BASE + 0x10));
  16520. + printk("[%s] ncores=%d\n", __FUNCTION__, ncores);
  16521. +
  16522. + for (i = 0; i < ncores; i++) {
  16523. + set_cpu_possible(i, true);
  16524. + /* enable IRQ (not FIQ) */
  16525. + writel(0x1, __io_address(ARM_LOCAL_MAILBOX_INT_CONTROL0 + 0x4 * i));
  16526. + //writel(0xf, __io_address(ARM_LOCAL_TIMER_INT_CONTROL0 + 0x4 * i));
  16527. + }
  16528. + set_smp_cross_call(bcm2835_send_doorbell);
  16529. +}
  16530. +
  16531. +/*
  16532. + * for arch/arm/kernel/smp.c:smp_prepare_cpus(unsigned int max_cpus)
  16533. + */
  16534. +void __init bcm2709_smp_prepare_cpus(unsigned int max_cpus)
  16535. +{
  16536. + //void __iomem *scu_base;
  16537. +
  16538. + printk("[%s] enter\n", __FUNCTION__);
  16539. + //scu_base = scu_base_addr();
  16540. + //scu_enable(scu_base);
  16541. +}
  16542. +
  16543. +/*
  16544. + * for linux/arch/arm/kernel/smp.c:secondary_start_kernel(void)
  16545. + */
  16546. +void __cpuinit bcm2709_secondary_init(unsigned int cpu)
  16547. +{
  16548. + printk("[%s] enter cpu:%d\n", __FUNCTION__, cpu);
  16549. + //gic_secondary_init(0);
  16550. +}
  16551. +
  16552. +/*
  16553. + * for linux/arch/arm/kernel/smp.c:__cpu_up(..)
  16554. + */
  16555. +int __cpuinit bcm2709_boot_secondary(unsigned int cpu, struct task_struct *idle)
  16556. +{
  16557. + void secondary_startup(void);
  16558. + void *mbox_set = __io_address(ARM_LOCAL_MAILBOX3_SET0 + 0x10 * MPIDR_AFFINITY_LEVEL(cpu_logical_map(cpu), 0));
  16559. + void *mbox_clr = __io_address(ARM_LOCAL_MAILBOX3_CLR0 + 0x10 * MPIDR_AFFINITY_LEVEL(cpu_logical_map(cpu), 0));
  16560. + unsigned secondary_boot = (unsigned)virt_to_phys((void *)secondary_startup);
  16561. + int timeout=20;
  16562. + unsigned t = -1;
  16563. + //printk("[%s] enter cpu:%d (%x->%p) %x\n", __FUNCTION__, cpu, secondary_boot, wake, readl(wake));
  16564. +
  16565. + dsb();
  16566. + BUG_ON(readl(mbox_clr) != 0);
  16567. + writel(secondary_boot, mbox_set);
  16568. +
  16569. + while (--timeout > 0) {
  16570. + t = readl(mbox_clr);
  16571. + if (t == 0) break;
  16572. + cpu_relax();
  16573. + }
  16574. + if (timeout==0)
  16575. + printk("[%s] cpu:%d failed to start (%x)\n", __FUNCTION__, cpu, t);
  16576. + else
  16577. + printk("[%s] cpu:%d started (%x) %d\n", __FUNCTION__, cpu, t, timeout);
  16578. +
  16579. + return 0;
  16580. +}
  16581. +
  16582. +
  16583. +struct smp_operations bcm2709_smp_ops __initdata = {
  16584. + .smp_init_cpus = bcm2709_smp_init_cpus,
  16585. + .smp_prepare_cpus = bcm2709_smp_prepare_cpus,
  16586. + .smp_secondary_init = bcm2709_secondary_init,
  16587. + .smp_boot_secondary = bcm2709_boot_secondary,
  16588. +};
  16589. +#endif
  16590. +
  16591. +static const char * const bcm2709_compat[] = {
  16592. + "brcm,bcm2709",
  16593. + "brcm,bcm2708", /* Could use bcm2708 in a pinch */
  16594. + NULL
  16595. +};
  16596. +
  16597. +MACHINE_START(BCM2709, "BCM2709")
  16598. + /* Maintainer: Broadcom Europe Ltd. */
  16599. +#ifdef CONFIG_SMP
  16600. + .smp = smp_ops(bcm2709_smp_ops),
  16601. +#endif
  16602. + .map_io = bcm2709_map_io,
  16603. + .init_irq = bcm2709_init_irq,
  16604. + .init_time = bcm2709_timer_init,
  16605. + .init_machine = bcm2709_init,
  16606. + .init_early = bcm2709_init_early,
  16607. + .reserve = board_reserve,
  16608. + .restart = bcm2709_restart,
  16609. + .dt_compat = bcm2709_compat,
  16610. +MACHINE_END
  16611. +
  16612. +MACHINE_START(BCM2708, "BCM2709")
  16613. + /* Maintainer: Broadcom Europe Ltd. */
  16614. +#ifdef CONFIG_SMP
  16615. + .smp = smp_ops(bcm2709_smp_ops),
  16616. +#endif
  16617. + .map_io = bcm2709_map_io,
  16618. + .init_irq = bcm2709_init_irq,
  16619. + .init_time = bcm2709_timer_init,
  16620. + .init_machine = bcm2709_init,
  16621. + .init_early = bcm2709_init_early,
  16622. + .reserve = board_reserve,
  16623. + .restart = bcm2709_restart,
  16624. + .dt_compat = bcm2709_compat,
  16625. +MACHINE_END
  16626. +
  16627. +module_param(force_core, uint, 0644);
  16628. +module_param(boardrev, uint, 0644);
  16629. +module_param(serial, uint, 0644);
  16630. +module_param(uart_clock, uint, 0644);
  16631. +module_param(disk_led_gpio, uint, 0644);
  16632. +module_param(disk_led_active_low, uint, 0644);
  16633. +module_param(reboot_part, uint, 0644);
  16634. +module_param(w1_gpio_pin, uint, 0644);
  16635. +module_param(w1_gpio_pullup, uint, 0644);
  16636. +module_param(vc_i2c_override, bool, 0644);
  16637. +MODULE_PARM_DESC(vc_i2c_override, "Allow the use of VC's I2C peripheral.");
  16638. +module_param(pps_gpio_pin, int, 0644);
  16639. +MODULE_PARM_DESC(pps_gpio_pin, "Set GPIO pin to reserve for PPS");
  16640. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2709.h linux-rpi/arch/arm/mach-bcm2709/bcm2709.h
  16641. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/bcm2709.h 1970-01-01 01:00:00.000000000 +0100
  16642. +++ linux-rpi/arch/arm/mach-bcm2709/bcm2709.h 2015-11-29 09:42:34.791439401 +0100
  16643. @@ -0,0 +1,49 @@
  16644. +/*
  16645. + * linux/arch/arm/mach-bcm2708/bcm2708.h
  16646. + *
  16647. + * BCM2708 machine support header
  16648. + *
  16649. + * Copyright (C) 2010 Broadcom
  16650. + *
  16651. + * This program is free software; you can redistribute it and/or modify
  16652. + * it under the terms of the GNU General Public License as published by
  16653. + * the Free Software Foundation; either version 2 of the License, or
  16654. + * (at your option) any later version.
  16655. + *
  16656. + * This program is distributed in the hope that it will be useful,
  16657. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16658. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  16659. + * GNU General Public License for more details.
  16660. + *
  16661. + * You should have received a copy of the GNU General Public License
  16662. + * along with this program; if not, write to the Free Software
  16663. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  16664. + */
  16665. +
  16666. +#ifndef __BCM2708_BCM2708_H
  16667. +#define __BCM2708_BCM2708_H
  16668. +
  16669. +#include <linux/amba/bus.h>
  16670. +
  16671. +extern void __init bcm2708_init(void);
  16672. +extern void __init bcm2708_init_irq(void);
  16673. +extern void __init bcm2708_map_io(void);
  16674. +extern struct sys_timer bcm2708_timer;
  16675. +extern unsigned int mmc_status(struct device *dev);
  16676. +
  16677. +#define AMBA_DEVICE(name, busid, base, plat) \
  16678. +static struct amba_device name##_device = { \
  16679. + .dev = { \
  16680. + .coherent_dma_mask = ~0, \
  16681. + .init_name = busid, \
  16682. + .platform_data = plat, \
  16683. + }, \
  16684. + .res = { \
  16685. + .start = base##_BASE, \
  16686. + .end = (base##_BASE) + SZ_4K - 1,\
  16687. + .flags = IORESOURCE_MEM, \
  16688. + }, \
  16689. + .irq = base##_IRQ, \
  16690. +}
  16691. +
  16692. +#endif
  16693. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/delay.S linux-rpi/arch/arm/mach-bcm2709/delay.S
  16694. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/delay.S 1970-01-01 01:00:00.000000000 +0100
  16695. +++ linux-rpi/arch/arm/mach-bcm2709/delay.S 2015-11-29 09:42:34.791439401 +0100
  16696. @@ -0,0 +1,21 @@
  16697. +/*
  16698. + * linux/arch/arm/lib/delay.S
  16699. + *
  16700. + * Copyright (C) 1995, 1996 Russell King
  16701. + *
  16702. + * This program is free software; you can redistribute it and/or modify
  16703. + * it under the terms of the GNU General Public License version 2 as
  16704. + * published by the Free Software Foundation.
  16705. + */
  16706. +#include <linux/linkage.h>
  16707. +#include <asm/assembler.h>
  16708. +#include <asm/param.h>
  16709. +
  16710. + .text
  16711. +.align 3 @ 8 byte alignment seems to be needed to avoid fetching stalls
  16712. +@ Delay routine
  16713. +ENTRY(bcm2708_delay)
  16714. + subs r0, r0, #1
  16715. + bhi bcm2708_delay
  16716. + mov pc, lr
  16717. +ENDPROC(bcm2708_delay)
  16718. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/arm_control.h linux-rpi/arch/arm/mach-bcm2709/include/mach/arm_control.h
  16719. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/arm_control.h 1970-01-01 01:00:00.000000000 +0100
  16720. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/arm_control.h 2015-11-29 09:42:34.791439401 +0100
  16721. @@ -0,0 +1,493 @@
  16722. +/*
  16723. + * linux/arch/arm/mach-bcm2708/arm_control.h
  16724. + *
  16725. + * Copyright (C) 2010 Broadcom
  16726. + *
  16727. + * This program is free software; you can redistribute it and/or modify
  16728. + * it under the terms of the GNU General Public License as published by
  16729. + * the Free Software Foundation; either version 2 of the License, or
  16730. + * (at your option) any later version.
  16731. + *
  16732. + * This program is distributed in the hope that it will be useful,
  16733. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16734. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  16735. + * GNU General Public License for more details.
  16736. + *
  16737. + * You should have received a copy of the GNU General Public License
  16738. + * along with this program; if not, write to the Free Software
  16739. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  16740. + */
  16741. +
  16742. +#ifndef __BCM2708_ARM_CONTROL_H
  16743. +#define __BCM2708_ARM_CONTROL_H
  16744. +
  16745. +/*
  16746. + * Definitions and addresses for the ARM CONTROL logic
  16747. + * This file is manually generated.
  16748. + */
  16749. +
  16750. +#define ARM_BASE 0x7E00B000
  16751. +
  16752. +/* Basic configuration */
  16753. +#define ARM_CONTROL0 HW_REGISTER_RW(ARM_BASE+0x000)
  16754. +#define ARM_C0_SIZ128M 0x00000000
  16755. +#define ARM_C0_SIZ256M 0x00000001
  16756. +#define ARM_C0_SIZ512M 0x00000002
  16757. +#define ARM_C0_SIZ1G 0x00000003
  16758. +#define ARM_C0_BRESP0 0x00000000
  16759. +#define ARM_C0_BRESP1 0x00000004
  16760. +#define ARM_C0_BRESP2 0x00000008
  16761. +#define ARM_C0_BOOTHI 0x00000010
  16762. +#define ARM_C0_UNUSED05 0x00000020 /* free */
  16763. +#define ARM_C0_FULLPERI 0x00000040
  16764. +#define ARM_C0_UNUSED78 0x00000180 /* free */
  16765. +#define ARM_C0_JTAGMASK 0x00000E00
  16766. +#define ARM_C0_JTAGOFF 0x00000000
  16767. +#define ARM_C0_JTAGBASH 0x00000800 /* Debug on GPIO off */
  16768. +#define ARM_C0_JTAGGPIO 0x00000C00 /* Debug on GPIO on */
  16769. +#define ARM_C0_APROTMSK 0x0000F000
  16770. +#define ARM_C0_DBG0SYNC 0x00010000 /* VPU0 halt sync */
  16771. +#define ARM_C0_DBG1SYNC 0x00020000 /* VPU1 halt sync */
  16772. +#define ARM_C0_SWDBGREQ 0x00040000 /* HW debug request */
  16773. +#define ARM_C0_PASSHALT 0x00080000 /* ARM halt passed to debugger */
  16774. +#define ARM_C0_PRIO_PER 0x00F00000 /* per priority mask */
  16775. +#define ARM_C0_PRIO_L2 0x0F000000
  16776. +#define ARM_C0_PRIO_UC 0xF0000000
  16777. +
  16778. +#define ARM_C0_APROTPASS 0x0000A000 /* Translate 1:1 */
  16779. +#define ARM_C0_APROTUSER 0x00000000 /* Only user mode */
  16780. +#define ARM_C0_APROTSYST 0x0000F000 /* Only system mode */
  16781. +
  16782. +
  16783. +#define ARM_CONTROL1 HW_REGISTER_RW(ARM_BASE+0x440)
  16784. +#define ARM_C1_TIMER 0x00000001 /* re-route timer IRQ to VC */
  16785. +#define ARM_C1_MAIL 0x00000002 /* re-route Mail IRQ to VC */
  16786. +#define ARM_C1_BELL0 0x00000004 /* re-route Doorbell 0 to VC */
  16787. +#define ARM_C1_BELL1 0x00000008 /* re-route Doorbell 1 to VC */
  16788. +#define ARM_C1_PERSON 0x00000100 /* peripherals on */
  16789. +#define ARM_C1_REQSTOP 0x00000200 /* ASYNC bridge request stop */
  16790. +
  16791. +#define ARM_STATUS HW_REGISTER_RW(ARM_BASE+0x444)
  16792. +#define ARM_S_ACKSTOP 0x80000000 /* Bridge stopped */
  16793. +#define ARM_S_READPEND 0x000003FF /* pending reads counter */
  16794. +#define ARM_S_WRITPEND 0x000FFC00 /* pending writes counter */
  16795. +
  16796. +#define ARM_ERRHALT HW_REGISTER_RW(ARM_BASE+0x448)
  16797. +#define ARM_EH_PERIBURST 0x00000001 /* Burst write seen on peri bus */
  16798. +#define ARM_EH_ILLADDRS1 0x00000002 /* Address bits 25-27 error */
  16799. +#define ARM_EH_ILLADDRS2 0x00000004 /* Address bits 31-28 error */
  16800. +#define ARM_EH_VPU0HALT 0x00000008 /* VPU0 halted & in debug mode */
  16801. +#define ARM_EH_VPU1HALT 0x00000010 /* VPU1 halted & in debug mode */
  16802. +#define ARM_EH_ARMHALT 0x00000020 /* ARM in halted debug mode */
  16803. +
  16804. +#define ARM_ID_SECURE HW_REGISTER_RW(ARM_BASE+0x00C)
  16805. +#define ARM_ID HW_REGISTER_RW(ARM_BASE+0x44C)
  16806. +#define ARM_IDVAL 0x364D5241
  16807. +
  16808. +/* Translation memory */
  16809. +#define ARM_TRANSLATE HW_REGISTER_RW(ARM_BASE+0x100)
  16810. +/* 32 locations: 0x100.. 0x17F */
  16811. +/* 32 spare means we CAN go to 64 pages.... */
  16812. +
  16813. +
  16814. +/* Interrupts */
  16815. +#define ARM_IRQ_PEND0 HW_REGISTER_RW(ARM_BASE+0x200) /* Top IRQ bits */
  16816. +#define ARM_I0_TIMER 0x00000001 /* timer IRQ */
  16817. +#define ARM_I0_MAIL 0x00000002 /* Mail IRQ */
  16818. +#define ARM_I0_BELL0 0x00000004 /* Doorbell 0 */
  16819. +#define ARM_I0_BELL1 0x00000008 /* Doorbell 1 */
  16820. +#define ARM_I0_BANK1 0x00000100 /* Bank1 IRQ */
  16821. +#define ARM_I0_BANK2 0x00000200 /* Bank2 IRQ */
  16822. +
  16823. +#define ARM_IRQ_PEND1 HW_REGISTER_RW(ARM_BASE+0x204) /* All bank1 IRQ bits */
  16824. +/* todo: all I1_interrupt sources */
  16825. +#define ARM_IRQ_PEND2 HW_REGISTER_RW(ARM_BASE+0x208) /* All bank2 IRQ bits */
  16826. +/* todo: all I2_interrupt sources */
  16827. +
  16828. +#define ARM_IRQ_FAST HW_REGISTER_RW(ARM_BASE+0x20C) /* FIQ control */
  16829. +#define ARM_IF_INDEX 0x0000007F /* FIQ select */
  16830. +#define ARM_IF_ENABLE 0x00000080 /* FIQ enable */
  16831. +#define ARM_IF_VCMASK 0x0000003F /* FIQ = (index from VC source) */
  16832. +#define ARM_IF_TIMER 0x00000040 /* FIQ = ARM timer */
  16833. +#define ARM_IF_MAIL 0x00000041 /* FIQ = ARM Mail */
  16834. +#define ARM_IF_BELL0 0x00000042 /* FIQ = ARM Doorbell 0 */
  16835. +#define ARM_IF_BELL1 0x00000043 /* FIQ = ARM Doorbell 1 */
  16836. +#define ARM_IF_VP0HALT 0x00000044 /* FIQ = VPU0 Halt seen */
  16837. +#define ARM_IF_VP1HALT 0x00000045 /* FIQ = VPU1 Halt seen */
  16838. +#define ARM_IF_ILLEGAL 0x00000046 /* FIQ = Illegal access seen */
  16839. +
  16840. +#define ARM_IRQ_ENBL1 HW_REGISTER_RW(ARM_BASE+0x210) /* Bank1 enable bits */
  16841. +#define ARM_IRQ_ENBL2 HW_REGISTER_RW(ARM_BASE+0x214) /* Bank2 enable bits */
  16842. +#define ARM_IRQ_ENBL3 HW_REGISTER_RW(ARM_BASE+0x218) /* ARM irqs enable bits */
  16843. +#define ARM_IRQ_DIBL1 HW_REGISTER_RW(ARM_BASE+0x21C) /* Bank1 disable bits */
  16844. +#define ARM_IRQ_DIBL2 HW_REGISTER_RW(ARM_BASE+0x220) /* Bank2 disable bits */
  16845. +#define ARM_IRQ_DIBL3 HW_REGISTER_RW(ARM_BASE+0x224) /* ARM irqs disable bits */
  16846. +#define ARM_IE_TIMER 0x00000001 /* Timer IRQ */
  16847. +#define ARM_IE_MAIL 0x00000002 /* Mail IRQ */
  16848. +#define ARM_IE_BELL0 0x00000004 /* Doorbell 0 */
  16849. +#define ARM_IE_BELL1 0x00000008 /* Doorbell 1 */
  16850. +#define ARM_IE_VP0HALT 0x00000010 /* VPU0 Halt */
  16851. +#define ARM_IE_VP1HALT 0x00000020 /* VPU1 Halt */
  16852. +#define ARM_IE_ILLEGAL 0x00000040 /* Illegal access seen */
  16853. +
  16854. +/* Timer */
  16855. +/* For reg. fields see sp804 spec. */
  16856. +#define ARM_T_LOAD HW_REGISTER_RW(ARM_BASE+0x400)
  16857. +#define ARM_T_VALUE HW_REGISTER_RW(ARM_BASE+0x404)
  16858. +#define ARM_T_CONTROL HW_REGISTER_RW(ARM_BASE+0x408)
  16859. +#define ARM_T_IRQCNTL HW_REGISTER_RW(ARM_BASE+0x40C)
  16860. +#define ARM_T_RAWIRQ HW_REGISTER_RW(ARM_BASE+0x410)
  16861. +#define ARM_T_MSKIRQ HW_REGISTER_RW(ARM_BASE+0x414)
  16862. +#define ARM_T_RELOAD HW_REGISTER_RW(ARM_BASE+0x418)
  16863. +#define ARM_T_PREDIV HW_REGISTER_RW(ARM_BASE+0x41c)
  16864. +#define ARM_T_FREECNT HW_REGISTER_RW(ARM_BASE+0x420)
  16865. +
  16866. +#define TIMER_CTRL_ONESHOT (1 << 0)
  16867. +#define TIMER_CTRL_32BIT (1 << 1)
  16868. +#define TIMER_CTRL_DIV1 (0 << 2)
  16869. +#define TIMER_CTRL_DIV16 (1 << 2)
  16870. +#define TIMER_CTRL_DIV256 (2 << 2)
  16871. +#define TIMER_CTRL_IE (1 << 5)
  16872. +#define TIMER_CTRL_PERIODIC (1 << 6)
  16873. +#define TIMER_CTRL_ENABLE (1 << 7)
  16874. +#define TIMER_CTRL_DBGHALT (1 << 8)
  16875. +#define TIMER_CTRL_ENAFREE (1 << 9)
  16876. +#define TIMER_CTRL_FREEDIV_SHIFT 16)
  16877. +#define TIMER_CTRL_FREEDIV_MASK 0xff
  16878. +
  16879. +/* Semaphores, Doorbells, Mailboxes */
  16880. +#define ARM_SBM_OWN0 (ARM_BASE+0x800)
  16881. +#define ARM_SBM_OWN1 (ARM_BASE+0x900)
  16882. +#define ARM_SBM_OWN2 (ARM_BASE+0xA00)
  16883. +#define ARM_SBM_OWN3 (ARM_BASE+0xB00)
  16884. +
  16885. +/* MAILBOXES
  16886. + * Register flags are common across all
  16887. + * owner registers. See end of this section
  16888. + *
  16889. + * Semaphores, Doorbells, Mailboxes Owner 0
  16890. + *
  16891. + */
  16892. +
  16893. +#define ARM_0_SEMS HW_REGISTER_RW(ARM_SBM_OWN0+0x00)
  16894. +#define ARM_0_SEM0 HW_REGISTER_RW(ARM_SBM_OWN0+0x00)
  16895. +#define ARM_0_SEM1 HW_REGISTER_RW(ARM_SBM_OWN0+0x04)
  16896. +#define ARM_0_SEM2 HW_REGISTER_RW(ARM_SBM_OWN0+0x08)
  16897. +#define ARM_0_SEM3 HW_REGISTER_RW(ARM_SBM_OWN0+0x0C)
  16898. +#define ARM_0_SEM4 HW_REGISTER_RW(ARM_SBM_OWN0+0x10)
  16899. +#define ARM_0_SEM5 HW_REGISTER_RW(ARM_SBM_OWN0+0x14)
  16900. +#define ARM_0_SEM6 HW_REGISTER_RW(ARM_SBM_OWN0+0x18)
  16901. +#define ARM_0_SEM7 HW_REGISTER_RW(ARM_SBM_OWN0+0x1C)
  16902. +#define ARM_0_BELL0 HW_REGISTER_RW(ARM_SBM_OWN0+0x40)
  16903. +#define ARM_0_BELL1 HW_REGISTER_RW(ARM_SBM_OWN0+0x44)
  16904. +#define ARM_0_BELL2 HW_REGISTER_RW(ARM_SBM_OWN0+0x48)
  16905. +#define ARM_0_BELL3 HW_REGISTER_RW(ARM_SBM_OWN0+0x4C)
  16906. +/* MAILBOX 0 access in Owner 0 area */
  16907. +/* Some addresses should ONLY be used by owner 0 */
  16908. +#define ARM_0_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN0+0x80) /* .. 0x8C (4 locations) */
  16909. +#define ARM_0_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN0+0x80) /* .. 0x8C (4 locations) Normal read */
  16910. +#define ARM_0_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN0+0x90) /* none-pop read */
  16911. +#define ARM_0_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN0+0x94) /* Sender read (only LS 2 bits) */
  16912. +#define ARM_0_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN0+0x98) /* Status read */
  16913. +#define ARM_0_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN0+0x9C) /* Config read/write */
  16914. +/* MAILBOX 1 access in Owner 0 area */
  16915. +/* Owner 0 should only WRITE to this mailbox */
  16916. +#define ARM_0_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN0+0xA0) /* .. 0xAC (4 locations) */
  16917. +/*#define ARM_0_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN0+0xA0) */ /* DO NOT USE THIS !!!!! */
  16918. +/*#define ARM_0_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN0+0xB0) */ /* DO NOT USE THIS !!!!! */
  16919. +/*#define ARM_0_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN0+0xB4) */ /* DO NOT USE THIS !!!!! */
  16920. +#define ARM_0_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN0+0xB8) /* Status read */
  16921. +/*#define ARM_0_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN0+0xBC) */ /* DO NOT USE THIS !!!!! */
  16922. +/* General SEM, BELL, MAIL config/status */
  16923. +#define ARM_0_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN0+0xE0) /* semaphore clear/debug register */
  16924. +#define ARM_0_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN0+0xE4) /* Doorbells clear/debug register */
  16925. +#define ARM_0_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN0+0xF8) /* ALL interrupts */
  16926. +#define ARM_0_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN0+0xFC) /* IRQS pending for owner 0 */
  16927. +
  16928. +/* Semaphores, Doorbells, Mailboxes Owner 1 */
  16929. +#define ARM_1_SEMS HW_REGISTER_RW(ARM_SBM_OWN1+0x00)
  16930. +#define ARM_1_SEM0 HW_REGISTER_RW(ARM_SBM_OWN1+0x00)
  16931. +#define ARM_1_SEM1 HW_REGISTER_RW(ARM_SBM_OWN1+0x04)
  16932. +#define ARM_1_SEM2 HW_REGISTER_RW(ARM_SBM_OWN1+0x08)
  16933. +#define ARM_1_SEM3 HW_REGISTER_RW(ARM_SBM_OWN1+0x0C)
  16934. +#define ARM_1_SEM4 HW_REGISTER_RW(ARM_SBM_OWN1+0x10)
  16935. +#define ARM_1_SEM5 HW_REGISTER_RW(ARM_SBM_OWN1+0x14)
  16936. +#define ARM_1_SEM6 HW_REGISTER_RW(ARM_SBM_OWN1+0x18)
  16937. +#define ARM_1_SEM7 HW_REGISTER_RW(ARM_SBM_OWN1+0x1C)
  16938. +#define ARM_1_BELL0 HW_REGISTER_RW(ARM_SBM_OWN1+0x40)
  16939. +#define ARM_1_BELL1 HW_REGISTER_RW(ARM_SBM_OWN1+0x44)
  16940. +#define ARM_1_BELL2 HW_REGISTER_RW(ARM_SBM_OWN1+0x48)
  16941. +#define ARM_1_BELL3 HW_REGISTER_RW(ARM_SBM_OWN1+0x4C)
  16942. +/* MAILBOX 0 access in Owner 0 area */
  16943. +/* Owner 1 should only WRITE to this mailbox */
  16944. +#define ARM_1_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN1+0x80) /* .. 0x8C (4 locations) */
  16945. +/*#define ARM_1_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN1+0x80) */ /* DO NOT USE THIS !!!!! */
  16946. +/*#define ARM_1_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN1+0x90) */ /* DO NOT USE THIS !!!!! */
  16947. +/*#define ARM_1_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN1+0x94) */ /* DO NOT USE THIS !!!!! */
  16948. +#define ARM_1_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN1+0x98) /* Status read */
  16949. +/*#define ARM_1_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN1+0x9C) */ /* DO NOT USE THIS !!!!! */
  16950. +/* MAILBOX 1 access in Owner 0 area */
  16951. +#define ARM_1_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN1+0xA0) /* .. 0xAC (4 locations) */
  16952. +#define ARM_1_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN1+0xA0) /* .. 0xAC (4 locations) Normal read */
  16953. +#define ARM_1_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN1+0xB0) /* none-pop read */
  16954. +#define ARM_1_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN1+0xB4) /* Sender read (only LS 2 bits) */
  16955. +#define ARM_1_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN1+0xB8) /* Status read */
  16956. +#define ARM_1_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN1+0xBC)
  16957. +/* General SEM, BELL, MAIL config/status */
  16958. +#define ARM_1_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN1+0xE0) /* semaphore clear/debug register */
  16959. +#define ARM_1_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN1+0xE4) /* Doorbells clear/debug register */
  16960. +#define ARM_1_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN1+0xFC) /* IRQS pending for owner 1 */
  16961. +#define ARM_1_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN1+0xF8) /* ALL interrupts */
  16962. +
  16963. +/* Semaphores, Doorbells, Mailboxes Owner 2 */
  16964. +#define ARM_2_SEMS HW_REGISTER_RW(ARM_SBM_OWN2+0x00)
  16965. +#define ARM_2_SEM0 HW_REGISTER_RW(ARM_SBM_OWN2+0x00)
  16966. +#define ARM_2_SEM1 HW_REGISTER_RW(ARM_SBM_OWN2+0x04)
  16967. +#define ARM_2_SEM2 HW_REGISTER_RW(ARM_SBM_OWN2+0x08)
  16968. +#define ARM_2_SEM3 HW_REGISTER_RW(ARM_SBM_OWN2+0x0C)
  16969. +#define ARM_2_SEM4 HW_REGISTER_RW(ARM_SBM_OWN2+0x10)
  16970. +#define ARM_2_SEM5 HW_REGISTER_RW(ARM_SBM_OWN2+0x14)
  16971. +#define ARM_2_SEM6 HW_REGISTER_RW(ARM_SBM_OWN2+0x18)
  16972. +#define ARM_2_SEM7 HW_REGISTER_RW(ARM_SBM_OWN2+0x1C)
  16973. +#define ARM_2_BELL0 HW_REGISTER_RW(ARM_SBM_OWN2+0x40)
  16974. +#define ARM_2_BELL1 HW_REGISTER_RW(ARM_SBM_OWN2+0x44)
  16975. +#define ARM_2_BELL2 HW_REGISTER_RW(ARM_SBM_OWN2+0x48)
  16976. +#define ARM_2_BELL3 HW_REGISTER_RW(ARM_SBM_OWN2+0x4C)
  16977. +/* MAILBOX 0 access in Owner 2 area */
  16978. +/* Owner 2 should only WRITE to this mailbox */
  16979. +#define ARM_2_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN2+0x80) /* .. 0x8C (4 locations) */
  16980. +/*#define ARM_2_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN2+0x80) */ /* DO NOT USE THIS !!!!! */
  16981. +/*#define ARM_2_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN2+0x90) */ /* DO NOT USE THIS !!!!! */
  16982. +/*#define ARM_2_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN2+0x94) */ /* DO NOT USE THIS !!!!! */
  16983. +#define ARM_2_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN2+0x98) /* Status read */
  16984. +/*#define ARM_2_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN2+0x9C) */ /* DO NOT USE THIS !!!!! */
  16985. +/* MAILBOX 1 access in Owner 2 area */
  16986. +/* Owner 2 should only WRITE to this mailbox */
  16987. +#define ARM_2_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN2+0xA0) /* .. 0xAC (4 locations) */
  16988. +/*#define ARM_2_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN2+0xA0) */ /* DO NOT USE THIS !!!!! */
  16989. +/*#define ARM_2_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN2+0xB0) */ /* DO NOT USE THIS !!!!! */
  16990. +/*#define ARM_2_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN2+0xB4) */ /* DO NOT USE THIS !!!!! */
  16991. +#define ARM_2_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN2+0xB8) /* Status read */
  16992. +/*#define ARM_2_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN2+0xBC) */ /* DO NOT USE THIS !!!!! */
  16993. +/* General SEM, BELL, MAIL config/status */
  16994. +#define ARM_2_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN2+0xE0) /* semaphore clear/debug register */
  16995. +#define ARM_2_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN2+0xE4) /* Doorbells clear/debug register */
  16996. +#define ARM_2_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN2+0xFC) /* IRQS pending for owner 2 */
  16997. +#define ARM_2_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN2+0xF8) /* ALL interrupts */
  16998. +
  16999. +/* Semaphores, Doorbells, Mailboxes Owner 3 */
  17000. +#define ARM_3_SEMS HW_REGISTER_RW(ARM_SBM_OWN3+0x00)
  17001. +#define ARM_3_SEM0 HW_REGISTER_RW(ARM_SBM_OWN3+0x00)
  17002. +#define ARM_3_SEM1 HW_REGISTER_RW(ARM_SBM_OWN3+0x04)
  17003. +#define ARM_3_SEM2 HW_REGISTER_RW(ARM_SBM_OWN3+0x08)
  17004. +#define ARM_3_SEM3 HW_REGISTER_RW(ARM_SBM_OWN3+0x0C)
  17005. +#define ARM_3_SEM4 HW_REGISTER_RW(ARM_SBM_OWN3+0x10)
  17006. +#define ARM_3_SEM5 HW_REGISTER_RW(ARM_SBM_OWN3+0x14)
  17007. +#define ARM_3_SEM6 HW_REGISTER_RW(ARM_SBM_OWN3+0x18)
  17008. +#define ARM_3_SEM7 HW_REGISTER_RW(ARM_SBM_OWN3+0x1C)
  17009. +#define ARM_3_BELL0 HW_REGISTER_RW(ARM_SBM_OWN3+0x40)
  17010. +#define ARM_3_BELL1 HW_REGISTER_RW(ARM_SBM_OWN3+0x44)
  17011. +#define ARM_3_BELL2 HW_REGISTER_RW(ARM_SBM_OWN3+0x48)
  17012. +#define ARM_3_BELL3 HW_REGISTER_RW(ARM_SBM_OWN3+0x4C)
  17013. +/* MAILBOX 0 access in Owner 3 area */
  17014. +/* Owner 3 should only WRITE to this mailbox */
  17015. +#define ARM_3_MAIL0_WRT HW_REGISTER_RW(ARM_SBM_OWN3+0x80) /* .. 0x8C (4 locations) */
  17016. +/*#define ARM_3_MAIL0_RD HW_REGISTER_RW(ARM_SBM_OWN3+0x80) */ /* DO NOT USE THIS !!!!! */
  17017. +/*#define ARM_3_MAIL0_POL HW_REGISTER_RW(ARM_SBM_OWN3+0x90) */ /* DO NOT USE THIS !!!!! */
  17018. +/*#define ARM_3_MAIL0_SND HW_REGISTER_RW(ARM_SBM_OWN3+0x94) */ /* DO NOT USE THIS !!!!! */
  17019. +#define ARM_3_MAIL0_STA HW_REGISTER_RW(ARM_SBM_OWN3+0x98) /* Status read */
  17020. +/*#define ARM_3_MAIL0_CNF HW_REGISTER_RW(ARM_SBM_OWN3+0x9C) */ /* DO NOT USE THIS !!!!! */
  17021. +/* MAILBOX 1 access in Owner 3 area */
  17022. +/* Owner 3 should only WRITE to this mailbox */
  17023. +#define ARM_3_MAIL1_WRT HW_REGISTER_RW(ARM_SBM_OWN3+0xA0) /* .. 0xAC (4 locations) */
  17024. +/*#define ARM_3_MAIL1_RD HW_REGISTER_RW(ARM_SBM_OWN3+0xA0) */ /* DO NOT USE THIS !!!!! */
  17025. +/*#define ARM_3_MAIL1_POL HW_REGISTER_RW(ARM_SBM_OWN3+0xB0) */ /* DO NOT USE THIS !!!!! */
  17026. +/*#define ARM_3_MAIL1_SND HW_REGISTER_RW(ARM_SBM_OWN3+0xB4) */ /* DO NOT USE THIS !!!!! */
  17027. +#define ARM_3_MAIL1_STA HW_REGISTER_RW(ARM_SBM_OWN3+0xB8) /* Status read */
  17028. +/*#define ARM_3_MAIL1_CNF HW_REGISTER_RW(ARM_SBM_OWN3+0xBC) */ /* DO NOT USE THIS !!!!! */
  17029. +/* General SEM, BELL, MAIL config/status */
  17030. +#define ARM_3_SEMCLRDBG HW_REGISTER_RW(ARM_SBM_OWN3+0xE0) /* semaphore clear/debug register */
  17031. +#define ARM_3_BELLCLRDBG HW_REGISTER_RW(ARM_SBM_OWN3+0xE4) /* Doorbells clear/debug register */
  17032. +#define ARM_3_MY_IRQS HW_REGISTER_RW(ARM_SBM_OWN3+0xFC) /* IRQS pending for owner 3 */
  17033. +#define ARM_3_ALL_IRQS HW_REGISTER_RW(ARM_SBM_OWN3+0xF8) /* ALL interrupts */
  17034. +
  17035. +
  17036. +
  17037. +/* Mailbox flags. Valid for all owners */
  17038. +
  17039. +/* Mailbox status register (...0x98) */
  17040. +#define ARM_MS_FULL 0x80000000
  17041. +#define ARM_MS_EMPTY 0x40000000
  17042. +#define ARM_MS_LEVEL 0x400000FF /* Max. value depdnds on mailbox depth parameter */
  17043. +
  17044. +/* MAILBOX config/status register (...0x9C) */
  17045. +/* ANY write to this register clears the error bits! */
  17046. +#define ARM_MC_IHAVEDATAIRQEN 0x00000001 /* mailbox irq enable: has data */
  17047. +#define ARM_MC_IHAVESPACEIRQEN 0x00000002 /* mailbox irq enable: has space */
  17048. +#define ARM_MC_OPPISEMPTYIRQEN 0x00000004 /* mailbox irq enable: Opp. is empty */
  17049. +#define ARM_MC_MAIL_CLEAR 0x00000008 /* mailbox clear write 1, then 0 */
  17050. +#define ARM_MC_IHAVEDATAIRQPEND 0x00000010 /* mailbox irq pending: has space */
  17051. +#define ARM_MC_IHAVESPACEIRQPEND 0x00000020 /* mailbox irq pending: Opp. is empty */
  17052. +#define ARM_MC_OPPISEMPTYIRQPEND 0x00000040 /* mailbox irq pending */
  17053. +/* Bit 7 is unused */
  17054. +#define ARM_MC_ERRNOOWN 0x00000100 /* error : none owner read from mailbox */
  17055. +#define ARM_MC_ERROVERFLW 0x00000200 /* error : write to fill mailbox */
  17056. +#define ARM_MC_ERRUNDRFLW 0x00000400 /* error : read from empty mailbox */
  17057. +
  17058. +/* Semaphore clear/debug register (...0xE0) */
  17059. +#define ARM_SD_OWN0 0x00000003 /* Owner of sem 0 */
  17060. +#define ARM_SD_OWN1 0x0000000C /* Owner of sem 1 */
  17061. +#define ARM_SD_OWN2 0x00000030 /* Owner of sem 2 */
  17062. +#define ARM_SD_OWN3 0x000000C0 /* Owner of sem 3 */
  17063. +#define ARM_SD_OWN4 0x00000300 /* Owner of sem 4 */
  17064. +#define ARM_SD_OWN5 0x00000C00 /* Owner of sem 5 */
  17065. +#define ARM_SD_OWN6 0x00003000 /* Owner of sem 6 */
  17066. +#define ARM_SD_OWN7 0x0000C000 /* Owner of sem 7 */
  17067. +#define ARM_SD_SEM0 0x00010000 /* Status of sem 0 */
  17068. +#define ARM_SD_SEM1 0x00020000 /* Status of sem 1 */
  17069. +#define ARM_SD_SEM2 0x00040000 /* Status of sem 2 */
  17070. +#define ARM_SD_SEM3 0x00080000 /* Status of sem 3 */
  17071. +#define ARM_SD_SEM4 0x00100000 /* Status of sem 4 */
  17072. +#define ARM_SD_SEM5 0x00200000 /* Status of sem 5 */
  17073. +#define ARM_SD_SEM6 0x00400000 /* Status of sem 6 */
  17074. +#define ARM_SD_SEM7 0x00800000 /* Status of sem 7 */
  17075. +
  17076. +/* Doorbells clear/debug register (...0xE4) */
  17077. +#define ARM_BD_OWN0 0x00000003 /* Owner of doorbell 0 */
  17078. +#define ARM_BD_OWN1 0x0000000C /* Owner of doorbell 1 */
  17079. +#define ARM_BD_OWN2 0x00000030 /* Owner of doorbell 2 */
  17080. +#define ARM_BD_OWN3 0x000000C0 /* Owner of doorbell 3 */
  17081. +#define ARM_BD_BELL0 0x00000100 /* Status of doorbell 0 */
  17082. +#define ARM_BD_BELL1 0x00000200 /* Status of doorbell 1 */
  17083. +#define ARM_BD_BELL2 0x00000400 /* Status of doorbell 2 */
  17084. +#define ARM_BD_BELL3 0x00000800 /* Status of doorbell 3 */
  17085. +
  17086. +/* MY IRQS register (...0xF8) */
  17087. +#define ARM_MYIRQ_BELL 0x00000001 /* This owner has a doorbell IRQ */
  17088. +#define ARM_MYIRQ_MAIL 0x00000002 /* This owner has a mailbox IRQ */
  17089. +
  17090. +/* ALL IRQS register (...0xF8) */
  17091. +#define ARM_AIS_BELL0 0x00000001 /* Doorbell 0 IRQ pending */
  17092. +#define ARM_AIS_BELL1 0x00000002 /* Doorbell 1 IRQ pending */
  17093. +#define ARM_AIS_BELL2 0x00000004 /* Doorbell 2 IRQ pending */
  17094. +#define ARM_AIS_BELL3 0x00000008 /* Doorbell 3 IRQ pending */
  17095. +#define ARM_AIS0_HAVEDATA 0x00000010 /* MAIL 0 has data IRQ pending */
  17096. +#define ARM_AIS0_HAVESPAC 0x00000020 /* MAIL 0 has space IRQ pending */
  17097. +#define ARM_AIS0_OPPEMPTY 0x00000040 /* MAIL 0 opposite is empty IRQ */
  17098. +#define ARM_AIS1_HAVEDATA 0x00000080 /* MAIL 1 has data IRQ pending */
  17099. +#define ARM_AIS1_HAVESPAC 0x00000100 /* MAIL 1 has space IRQ pending */
  17100. +#define ARM_AIS1_OPPEMPTY 0x00000200 /* MAIL 1 opposite is empty IRQ */
  17101. +/* Note that bell-0, bell-1 and MAIL0 IRQ go only to the ARM */
  17102. +/* Whilst that bell-2, bell-3 and MAIL1 IRQ go only to the VC */
  17103. +/* */
  17104. +/* ARM JTAG BASH */
  17105. +/* */
  17106. +#define AJB_BASE 0x7e2000c0
  17107. +
  17108. +#define AJBCONF HW_REGISTER_RW(AJB_BASE+0x00)
  17109. +#define AJB_BITS0 0x000000
  17110. +#define AJB_BITS4 0x000004
  17111. +#define AJB_BITS8 0x000008
  17112. +#define AJB_BITS12 0x00000C
  17113. +#define AJB_BITS16 0x000010
  17114. +#define AJB_BITS20 0x000014
  17115. +#define AJB_BITS24 0x000018
  17116. +#define AJB_BITS28 0x00001C
  17117. +#define AJB_BITS32 0x000020
  17118. +#define AJB_BITS34 0x000022
  17119. +#define AJB_OUT_MS 0x000040
  17120. +#define AJB_OUT_LS 0x000000
  17121. +#define AJB_INV_CLK 0x000080
  17122. +#define AJB_D0_RISE 0x000100
  17123. +#define AJB_D0_FALL 0x000000
  17124. +#define AJB_D1_RISE 0x000200
  17125. +#define AJB_D1_FALL 0x000000
  17126. +#define AJB_IN_RISE 0x000400
  17127. +#define AJB_IN_FALL 0x000000
  17128. +#define AJB_ENABLE 0x000800
  17129. +#define AJB_HOLD0 0x000000
  17130. +#define AJB_HOLD1 0x001000
  17131. +#define AJB_HOLD2 0x002000
  17132. +#define AJB_HOLD3 0x003000
  17133. +#define AJB_RESETN 0x004000
  17134. +#define AJB_CLKSHFT 16
  17135. +#define AJB_BUSY 0x80000000
  17136. +#define AJBTMS HW_REGISTER_RW(AJB_BASE+0x04)
  17137. +#define AJBTDI HW_REGISTER_RW(AJB_BASE+0x08)
  17138. +#define AJBTDO HW_REGISTER_RW(AJB_BASE+0x0c)
  17139. +
  17140. +#define ARM_LOCAL_BASE 0x40000000
  17141. +#define ARM_LOCAL_CONTROL HW_REGISTER_RW(ARM_LOCAL_BASE+0x000)
  17142. +#define ARM_LOCAL_PRESCALER HW_REGISTER_RW(ARM_LOCAL_BASE+0x008)
  17143. +#define ARM_LOCAL_GPU_INT_ROUTING HW_REGISTER_RW(ARM_LOCAL_BASE+0x00C)
  17144. +#define ARM_LOCAL_PM_ROUTING_SET HW_REGISTER_RW(ARM_LOCAL_BASE+0x010)
  17145. +#define ARM_LOCAL_PM_ROUTING_CLR HW_REGISTER_RW(ARM_LOCAL_BASE+0x014)
  17146. +#define ARM_LOCAL_TIMER_LS HW_REGISTER_RW(ARM_LOCAL_BASE+0x01C)
  17147. +#define ARM_LOCAL_TIMER_MS HW_REGISTER_RW(ARM_LOCAL_BASE+0x020)
  17148. +#define ARM_LOCAL_INT_ROUTING HW_REGISTER_RW(ARM_LOCAL_BASE+0x024)
  17149. +#define ARM_LOCAL_AXI_COUNT HW_REGISTER_RW(ARM_LOCAL_BASE+0x02C)
  17150. +#define ARM_LOCAL_AXI_IRQ HW_REGISTER_RW(ARM_LOCAL_BASE+0x030)
  17151. +#define ARM_LOCAL_TIMER_CONTROL HW_REGISTER_RW(ARM_LOCAL_BASE+0x034)
  17152. +#define ARM_LOCAL_TIMER_WRITE HW_REGISTER_RW(ARM_LOCAL_BASE+0x038)
  17153. +
  17154. +#define ARM_LOCAL_TIMER_INT_CONTROL0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x040)
  17155. +#define ARM_LOCAL_TIMER_INT_CONTROL1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x044)
  17156. +#define ARM_LOCAL_TIMER_INT_CONTROL2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x048)
  17157. +#define ARM_LOCAL_TIMER_INT_CONTROL3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x04C)
  17158. +
  17159. +#define ARM_LOCAL_MAILBOX_INT_CONTROL0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x050)
  17160. +#define ARM_LOCAL_MAILBOX_INT_CONTROL1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x054)
  17161. +#define ARM_LOCAL_MAILBOX_INT_CONTROL2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x058)
  17162. +#define ARM_LOCAL_MAILBOX_INT_CONTROL3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x05C)
  17163. +
  17164. +#define ARM_LOCAL_IRQ_PENDING0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x060)
  17165. +#define ARM_LOCAL_IRQ_PENDING1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x064)
  17166. +#define ARM_LOCAL_IRQ_PENDING2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x068)
  17167. +#define ARM_LOCAL_IRQ_PENDING3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x06C)
  17168. +
  17169. +#define ARM_LOCAL_FIQ_PENDING0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x070)
  17170. +#define ARM_LOCAL_FIQ_PENDING1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x074)
  17171. +#define ARM_LOCAL_FIQ_PENDING2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x078)
  17172. +#define ARM_LOCAL_FIQ_PENDING3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x07C)
  17173. +
  17174. +#define ARM_LOCAL_MAILBOX0_SET0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x080)
  17175. +#define ARM_LOCAL_MAILBOX1_SET0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x084)
  17176. +#define ARM_LOCAL_MAILBOX2_SET0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x088)
  17177. +#define ARM_LOCAL_MAILBOX3_SET0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x08C)
  17178. +
  17179. +#define ARM_LOCAL_MAILBOX0_SET1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x090)
  17180. +#define ARM_LOCAL_MAILBOX1_SET1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x094)
  17181. +#define ARM_LOCAL_MAILBOX2_SET1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x098)
  17182. +#define ARM_LOCAL_MAILBOX3_SET1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x09C)
  17183. +
  17184. +#define ARM_LOCAL_MAILBOX0_SET2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0A0)
  17185. +#define ARM_LOCAL_MAILBOX1_SET2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0A4)
  17186. +#define ARM_LOCAL_MAILBOX2_SET2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0A8)
  17187. +#define ARM_LOCAL_MAILBOX3_SET2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0AC)
  17188. +
  17189. +#define ARM_LOCAL_MAILBOX0_SET3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0B0)
  17190. +#define ARM_LOCAL_MAILBOX1_SET3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0B4)
  17191. +#define ARM_LOCAL_MAILBOX2_SET3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0B8)
  17192. +#define ARM_LOCAL_MAILBOX3_SET3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0BC)
  17193. +
  17194. +#define ARM_LOCAL_MAILBOX0_CLR0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0C0)
  17195. +#define ARM_LOCAL_MAILBOX1_CLR0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0C4)
  17196. +#define ARM_LOCAL_MAILBOX2_CLR0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0C8)
  17197. +#define ARM_LOCAL_MAILBOX3_CLR0 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0CC)
  17198. +
  17199. +#define ARM_LOCAL_MAILBOX0_CLR1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0D0)
  17200. +#define ARM_LOCAL_MAILBOX1_CLR1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0D4)
  17201. +#define ARM_LOCAL_MAILBOX2_CLR1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0D8)
  17202. +#define ARM_LOCAL_MAILBOX3_CLR1 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0DC)
  17203. +
  17204. +#define ARM_LOCAL_MAILBOX0_CLR2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0E0)
  17205. +#define ARM_LOCAL_MAILBOX1_CLR2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0E4)
  17206. +#define ARM_LOCAL_MAILBOX2_CLR2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0E8)
  17207. +#define ARM_LOCAL_MAILBOX3_CLR2 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0EC)
  17208. +
  17209. +#define ARM_LOCAL_MAILBOX0_CLR3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0F0)
  17210. +#define ARM_LOCAL_MAILBOX1_CLR3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0F4)
  17211. +#define ARM_LOCAL_MAILBOX2_CLR3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0F8)
  17212. +#define ARM_LOCAL_MAILBOX3_CLR3 HW_REGISTER_RW(ARM_LOCAL_BASE+0x0FC)
  17213. +
  17214. +#endif
  17215. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/barriers.h linux-rpi/arch/arm/mach-bcm2709/include/mach/barriers.h
  17216. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/barriers.h 1970-01-01 01:00:00.000000000 +0100
  17217. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/barriers.h 2015-11-29 09:42:34.791439401 +0100
  17218. @@ -0,0 +1,3 @@
  17219. +#define mb() dsb()
  17220. +#define rmb() dsb()
  17221. +#define wmb() mb()
  17222. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/clkdev.h linux-rpi/arch/arm/mach-bcm2709/include/mach/clkdev.h
  17223. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/clkdev.h 1970-01-01 01:00:00.000000000 +0100
  17224. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/clkdev.h 2015-11-29 09:42:34.791439401 +0100
  17225. @@ -0,0 +1,7 @@
  17226. +#ifndef __ASM_MACH_CLKDEV_H
  17227. +#define __ASM_MACH_CLKDEV_H
  17228. +
  17229. +#define __clk_get(clk) ({ 1; })
  17230. +#define __clk_put(clk) do { } while (0)
  17231. +
  17232. +#endif
  17233. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/debug-macro.S linux-rpi/arch/arm/mach-bcm2709/include/mach/debug-macro.S
  17234. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/debug-macro.S 1970-01-01 01:00:00.000000000 +0100
  17235. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/debug-macro.S 2015-11-29 09:42:34.791439401 +0100
  17236. @@ -0,0 +1,22 @@
  17237. +/* arch/arm/mach-bcm2708/include/mach/debug-macro.S
  17238. + *
  17239. + * Debugging macro include header
  17240. + *
  17241. + * Copyright (C) 2010 Broadcom
  17242. + * Copyright (C) 1994-1999 Russell King
  17243. + * Moved from linux/arch/arm/kernel/debug.S by Ben Dooks
  17244. + *
  17245. + * This program is free software; you can redistribute it and/or modify
  17246. + * it under the terms of the GNU General Public License version 2 as
  17247. + * published by the Free Software Foundation.
  17248. + *
  17249. +*/
  17250. +
  17251. +#include <mach/platform.h>
  17252. +
  17253. + .macro addruart, rp, rv, tmp
  17254. + ldr \rp, =UART0_BASE
  17255. + ldr \rv, =IO_ADDRESS(UART0_BASE)
  17256. + .endm
  17257. +
  17258. +#include <debug/pl01x.S>
  17259. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/entry-macro.S linux-rpi/arch/arm/mach-bcm2709/include/mach/entry-macro.S
  17260. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/entry-macro.S 1970-01-01 01:00:00.000000000 +0100
  17261. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/entry-macro.S 2015-11-29 09:42:34.791439401 +0100
  17262. @@ -0,0 +1,120 @@
  17263. +/*
  17264. + * arch/arm/mach-bcm2708/include/mach/entry-macro.S
  17265. + *
  17266. + * Low-level IRQ helper macros for BCM2708 platforms
  17267. + *
  17268. + * Copyright (C) 2010 Broadcom
  17269. + *
  17270. + * This program is free software; you can redistribute it and/or modify
  17271. + * it under the terms of the GNU General Public License as published by
  17272. + * the Free Software Foundation; either version 2 of the License, or
  17273. + * (at your option) any later version.
  17274. + *
  17275. + * This program is distributed in the hope that it will be useful,
  17276. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17277. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17278. + * GNU General Public License for more details.
  17279. + *
  17280. + * You should have received a copy of the GNU General Public License
  17281. + * along with this program; if not, write to the Free Software
  17282. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17283. + */
  17284. +#include <mach/hardware.h>
  17285. +#include <mach/irqs.h>
  17286. +
  17287. + .macro arch_ret_to_user, tmp1, tmp2
  17288. + .endm
  17289. +
  17290. + .macro get_irqnr_and_base, irqnr, irqstat, base, tmp
  17291. +
  17292. + /* get core number */
  17293. + mrc p15, 0, \base, c0, c0, 5
  17294. + ubfx \base, \base, #0, #2
  17295. +
  17296. + /* get core's local interrupt controller */
  17297. + ldr \irqstat, = __io_address(ARM_LOCAL_IRQ_PENDING0) @ local interrupt source
  17298. + add \irqstat, \irqstat, \base, lsl #2
  17299. + ldr \tmp, [\irqstat]
  17300. +#ifdef CONFIG_SMP
  17301. + /* test for mailbox0 (IPI) interrupt */
  17302. + tst \tmp, #0x10
  17303. + beq 1030f
  17304. +
  17305. + /* get core's mailbox interrupt control */
  17306. + ldr \irqstat, = __io_address(ARM_LOCAL_MAILBOX0_CLR0) @ mbox_clr
  17307. + add \irqstat, \irqstat, \base, lsl #4
  17308. + ldr \tmp, [\irqstat]
  17309. + clz \tmp, \tmp
  17310. + rsb \irqnr, \tmp, #31
  17311. + mov \tmp, #1
  17312. + lsl \tmp, \irqnr
  17313. + str \tmp, [\irqstat] @ clear interrupt source
  17314. + dsb
  17315. + mov r1, sp
  17316. + adr lr, BSYM(1b)
  17317. + b do_IPI
  17318. +#endif
  17319. +1030:
  17320. + /* check gpu interrupt */
  17321. + tst \tmp, #0x100
  17322. + beq 1040f
  17323. +
  17324. + ldr \base, =IO_ADDRESS(ARMCTRL_IC_BASE)
  17325. + /* get masked status */
  17326. + ldr \irqstat, [\base, #(ARM_IRQ_PEND0 - ARMCTRL_IC_BASE)]
  17327. + mov \irqnr, #(ARM_IRQ0_BASE + 31)
  17328. + and \tmp, \irqstat, #0x300 @ save bits 8 and 9
  17329. + /* clear bits 8 and 9, and test */
  17330. + bics \irqstat, \irqstat, #0x300
  17331. + bne 1010f
  17332. +
  17333. + tst \tmp, #0x100
  17334. + ldrne \irqstat, [\base, #(ARM_IRQ_PEND1 - ARMCTRL_IC_BASE)]
  17335. + movne \irqnr, #(ARM_IRQ1_BASE + 31)
  17336. + @ Mask out the interrupts also present in PEND0 - see SW-5809
  17337. + bicne \irqstat, #((1<<7) | (1<<9) | (1<<10))
  17338. + bicne \irqstat, #((1<<18) | (1<<19))
  17339. + bne 1010f
  17340. +
  17341. + tst \tmp, #0x200
  17342. + ldrne \irqstat, [\base, #(ARM_IRQ_PEND2 - ARMCTRL_IC_BASE)]
  17343. + movne \irqnr, #(ARM_IRQ2_BASE + 31)
  17344. + @ Mask out the interrupts also present in PEND0 - see SW-5809
  17345. + bicne \irqstat, #((1<<21) | (1<<22) | (1<<23) | (1<<24) | (1<<25))
  17346. + bicne \irqstat, #((1<<30))
  17347. + beq 1020f
  17348. +1010:
  17349. + @ For non-zero x, LSB(x) = 31 - CLZ(x^(x-1))
  17350. + sub \tmp, \irqstat, #1
  17351. + eor \irqstat, \irqstat, \tmp
  17352. + clz \tmp, \irqstat
  17353. + sub \irqnr, \tmp
  17354. + b 1050f
  17355. +1040:
  17356. + cmp \tmp, #0
  17357. + beq 1020f
  17358. +
  17359. + /* handle local (e.g. timer) interrupts */
  17360. + @ For non-zero x, LSB(x) = 31 - CLZ(x^(x-1))
  17361. + mov \irqnr, #(ARM_IRQ_LOCAL_BASE + 31)
  17362. + sub \irqstat, \tmp, #1
  17363. + eor \irqstat, \irqstat, \tmp
  17364. + clz \tmp, \irqstat
  17365. + sub \irqnr, \tmp
  17366. +1050:
  17367. + mov r1, sp
  17368. + @
  17369. + @ routine called with r0 = irq number, r1 = struct pt_regs *
  17370. + @
  17371. + adr lr, BSYM(1b)
  17372. + b asm_do_IRQ
  17373. +
  17374. +1020: @ EQ will be set if no irqs pending
  17375. + .endm
  17376. +
  17377. +/*
  17378. + * Interrupt handling. Preserves r7, r8, r9
  17379. + */
  17380. + .macro arch_irq_handler_default
  17381. +1: get_irqnr_and_base r0, r2, r6, lr
  17382. + .endm
  17383. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/frc.h linux-rpi/arch/arm/mach-bcm2709/include/mach/frc.h
  17384. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/frc.h 1970-01-01 01:00:00.000000000 +0100
  17385. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/frc.h 2015-11-29 09:42:34.791439401 +0100
  17386. @@ -0,0 +1,38 @@
  17387. +/*
  17388. + * arch/arm/mach-bcm2708/include/mach/timex.h
  17389. + *
  17390. + * BCM2708 free running counter (timer)
  17391. + *
  17392. + * Copyright (C) 2010 Broadcom
  17393. + *
  17394. + * This program is free software; you can redistribute it and/or modify
  17395. + * it under the terms of the GNU General Public License as published by
  17396. + * the Free Software Foundation; either version 2 of the License, or
  17397. + * (at your option) any later version.
  17398. + *
  17399. + * This program is distributed in the hope that it will be useful,
  17400. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17401. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17402. + * GNU General Public License for more details.
  17403. + *
  17404. + * You should have received a copy of the GNU General Public License
  17405. + * along with this program; if not, write to the Free Software
  17406. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17407. + */
  17408. +
  17409. +#ifndef _MACH_FRC_H
  17410. +#define _MACH_FRC_H
  17411. +
  17412. +#define FRC_TICK_RATE (1000000)
  17413. +
  17414. +/*! Free running counter incrementing at the CLOCK_TICK_RATE
  17415. + (slightly faster than frc_clock_ticks63()
  17416. + */
  17417. +extern unsigned long frc_clock_ticks32(void);
  17418. +
  17419. +/*! Free running counter incrementing at the CLOCK_TICK_RATE
  17420. + * Note - top bit should be ignored (see cnt32_to_63)
  17421. + */
  17422. +extern unsigned long long frc_clock_ticks63(void);
  17423. +
  17424. +#endif
  17425. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/gpio.h linux-rpi/arch/arm/mach-bcm2709/include/mach/gpio.h
  17426. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/gpio.h 1970-01-01 01:00:00.000000000 +0100
  17427. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/gpio.h 2015-11-29 09:42:34.791439401 +0100
  17428. @@ -0,0 +1,17 @@
  17429. +/*
  17430. + * arch/arm/mach-bcm2708/include/mach/gpio.h
  17431. + *
  17432. + * This file is licensed under the terms of the GNU General Public
  17433. + * License version 2. This program is licensed "as is" without any
  17434. + * warranty of any kind, whether express or implied.
  17435. + */
  17436. +
  17437. +#ifndef __ASM_ARCH_GPIO_H
  17438. +#define __ASM_ARCH_GPIO_H
  17439. +
  17440. +#define BCM2708_NR_GPIOS 54 // number of gpio lines
  17441. +
  17442. +#define gpio_to_irq(x) ((x) + GPIO_IRQ_START)
  17443. +#define irq_to_gpio(x) ((x) - GPIO_IRQ_START)
  17444. +
  17445. +#endif
  17446. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/hardware.h linux-rpi/arch/arm/mach-bcm2709/include/mach/hardware.h
  17447. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/hardware.h 1970-01-01 01:00:00.000000000 +0100
  17448. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/hardware.h 2015-11-29 09:42:34.791439401 +0100
  17449. @@ -0,0 +1,28 @@
  17450. +/*
  17451. + * arch/arm/mach-bcm2708/include/mach/hardware.h
  17452. + *
  17453. + * This file contains the hardware definitions of the BCM2708 devices.
  17454. + *
  17455. + * Copyright (C) 2010 Broadcom
  17456. + *
  17457. + * This program is free software; you can redistribute it and/or modify
  17458. + * it under the terms of the GNU General Public License as published by
  17459. + * the Free Software Foundation; either version 2 of the License, or
  17460. + * (at your option) any later version.
  17461. + *
  17462. + * This program is distributed in the hope that it will be useful,
  17463. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17464. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17465. + * GNU General Public License for more details.
  17466. + *
  17467. + * You should have received a copy of the GNU General Public License
  17468. + * along with this program; if not, write to the Free Software
  17469. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17470. + */
  17471. +#ifndef __ASM_ARCH_HARDWARE_H
  17472. +#define __ASM_ARCH_HARDWARE_H
  17473. +
  17474. +#include <asm/sizes.h>
  17475. +#include <mach/platform.h>
  17476. +
  17477. +#endif
  17478. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/io.h linux-rpi/arch/arm/mach-bcm2709/include/mach/io.h
  17479. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/io.h 1970-01-01 01:00:00.000000000 +0100
  17480. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/io.h 2015-11-29 09:42:34.791439401 +0100
  17481. @@ -0,0 +1,27 @@
  17482. +/*
  17483. + * arch/arm/mach-bcm2708/include/mach/io.h
  17484. + *
  17485. + * Copyright (C) 2003 ARM Limited
  17486. + *
  17487. + * This program is free software; you can redistribute it and/or modify
  17488. + * it under the terms of the GNU General Public License as published by
  17489. + * the Free Software Foundation; either version 2 of the License, or
  17490. + * (at your option) any later version.
  17491. + *
  17492. + * This program is distributed in the hope that it will be useful,
  17493. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17494. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17495. + * GNU General Public License for more details.
  17496. + *
  17497. + * You should have received a copy of the GNU General Public License
  17498. + * along with this program; if not, write to the Free Software
  17499. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17500. + */
  17501. +#ifndef __ASM_ARM_ARCH_IO_H
  17502. +#define __ASM_ARM_ARCH_IO_H
  17503. +
  17504. +#define IO_SPACE_LIMIT 0xffffffff
  17505. +
  17506. +#define __io(a) __typesafe_io(a)
  17507. +
  17508. +#endif
  17509. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/irqs.h linux-rpi/arch/arm/mach-bcm2709/include/mach/irqs.h
  17510. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/irqs.h 1970-01-01 01:00:00.000000000 +0100
  17511. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/irqs.h 2015-11-29 09:42:34.791439401 +0100
  17512. @@ -0,0 +1,225 @@
  17513. +/*
  17514. + * arch/arm/mach-bcm2708/include/mach/irqs.h
  17515. + *
  17516. + * Copyright (C) 2010 Broadcom
  17517. + * Copyright (C) 2003 ARM Limited
  17518. + * Copyright (C) 2000 Deep Blue Solutions Ltd.
  17519. + *
  17520. + * This program is free software; you can redistribute it and/or modify
  17521. + * it under the terms of the GNU General Public License as published by
  17522. + * the Free Software Foundation; either version 2 of the License, or
  17523. + * (at your option) any later version.
  17524. + *
  17525. + * This program is distributed in the hope that it will be useful,
  17526. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17527. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17528. + * GNU General Public License for more details.
  17529. + *
  17530. + * You should have received a copy of the GNU General Public License
  17531. + * along with this program; if not, write to the Free Software
  17532. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17533. + */
  17534. +
  17535. +#ifndef _BCM2708_IRQS_H_
  17536. +#define _BCM2708_IRQS_H_
  17537. +
  17538. +#include <mach/platform.h>
  17539. +
  17540. +/*
  17541. + * IRQ interrupts definitions are the same as the INT definitions
  17542. + * held within platform.h
  17543. + */
  17544. +#define IRQ_ARMCTRL_START 0
  17545. +#define IRQ_TIMER0 (IRQ_ARMCTRL_START + INTERRUPT_TIMER0)
  17546. +#define IRQ_TIMER1 (IRQ_ARMCTRL_START + INTERRUPT_TIMER1)
  17547. +#define IRQ_TIMER2 (IRQ_ARMCTRL_START + INTERRUPT_TIMER2)
  17548. +#define IRQ_TIMER3 (IRQ_ARMCTRL_START + INTERRUPT_TIMER3)
  17549. +#define IRQ_CODEC0 (IRQ_ARMCTRL_START + INTERRUPT_CODEC0)
  17550. +#define IRQ_CODEC1 (IRQ_ARMCTRL_START + INTERRUPT_CODEC1)
  17551. +#define IRQ_CODEC2 (IRQ_ARMCTRL_START + INTERRUPT_CODEC2)
  17552. +#define IRQ_JPEG (IRQ_ARMCTRL_START + INTERRUPT_JPEG)
  17553. +#define IRQ_ISP (IRQ_ARMCTRL_START + INTERRUPT_ISP)
  17554. +#define IRQ_USB (IRQ_ARMCTRL_START + INTERRUPT_USB)
  17555. +#define IRQ_3D (IRQ_ARMCTRL_START + INTERRUPT_3D)
  17556. +#define IRQ_TRANSPOSER (IRQ_ARMCTRL_START + INTERRUPT_TRANSPOSER)
  17557. +#define IRQ_MULTICORESYNC0 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC0)
  17558. +#define IRQ_MULTICORESYNC1 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC1)
  17559. +#define IRQ_MULTICORESYNC2 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC2)
  17560. +#define IRQ_MULTICORESYNC3 (IRQ_ARMCTRL_START + INTERRUPT_MULTICORESYNC3)
  17561. +#define IRQ_DMA0 (IRQ_ARMCTRL_START + INTERRUPT_DMA0)
  17562. +#define IRQ_DMA1 (IRQ_ARMCTRL_START + INTERRUPT_DMA1)
  17563. +#define IRQ_DMA2 (IRQ_ARMCTRL_START + INTERRUPT_DMA2)
  17564. +#define IRQ_DMA3 (IRQ_ARMCTRL_START + INTERRUPT_DMA3)
  17565. +#define IRQ_DMA4 (IRQ_ARMCTRL_START + INTERRUPT_DMA4)
  17566. +#define IRQ_DMA5 (IRQ_ARMCTRL_START + INTERRUPT_DMA5)
  17567. +#define IRQ_DMA6 (IRQ_ARMCTRL_START + INTERRUPT_DMA6)
  17568. +#define IRQ_DMA7 (IRQ_ARMCTRL_START + INTERRUPT_DMA7)
  17569. +#define IRQ_DMA8 (IRQ_ARMCTRL_START + INTERRUPT_DMA8)
  17570. +#define IRQ_DMA9 (IRQ_ARMCTRL_START + INTERRUPT_DMA9)
  17571. +#define IRQ_DMA10 (IRQ_ARMCTRL_START + INTERRUPT_DMA10)
  17572. +#define IRQ_DMA11 (IRQ_ARMCTRL_START + INTERRUPT_DMA11)
  17573. +#define IRQ_DMA12 (IRQ_ARMCTRL_START + INTERRUPT_DMA12)
  17574. +#define IRQ_AUX (IRQ_ARMCTRL_START + INTERRUPT_AUX)
  17575. +#define IRQ_ARM (IRQ_ARMCTRL_START + INTERRUPT_ARM)
  17576. +#define IRQ_VPUDMA (IRQ_ARMCTRL_START + INTERRUPT_VPUDMA)
  17577. +#define IRQ_HOSTPORT (IRQ_ARMCTRL_START + INTERRUPT_HOSTPORT)
  17578. +#define IRQ_VIDEOSCALER (IRQ_ARMCTRL_START + INTERRUPT_VIDEOSCALER)
  17579. +#define IRQ_CCP2TX (IRQ_ARMCTRL_START + INTERRUPT_CCP2TX)
  17580. +#define IRQ_SDC (IRQ_ARMCTRL_START + INTERRUPT_SDC)
  17581. +#define IRQ_DSI0 (IRQ_ARMCTRL_START + INTERRUPT_DSI0)
  17582. +#define IRQ_AVE (IRQ_ARMCTRL_START + INTERRUPT_AVE)
  17583. +#define IRQ_CAM0 (IRQ_ARMCTRL_START + INTERRUPT_CAM0)
  17584. +#define IRQ_CAM1 (IRQ_ARMCTRL_START + INTERRUPT_CAM1)
  17585. +#define IRQ_HDMI0 (IRQ_ARMCTRL_START + INTERRUPT_HDMI0)
  17586. +#define IRQ_HDMI1 (IRQ_ARMCTRL_START + INTERRUPT_HDMI1)
  17587. +#define IRQ_PIXELVALVE1 (IRQ_ARMCTRL_START + INTERRUPT_PIXELVALVE1)
  17588. +#define IRQ_I2CSPISLV (IRQ_ARMCTRL_START + INTERRUPT_I2CSPISLV)
  17589. +#define IRQ_DSI1 (IRQ_ARMCTRL_START + INTERRUPT_DSI1)
  17590. +#define IRQ_PWA0 (IRQ_ARMCTRL_START + INTERRUPT_PWA0)
  17591. +#define IRQ_PWA1 (IRQ_ARMCTRL_START + INTERRUPT_PWA1)
  17592. +#define IRQ_CPR (IRQ_ARMCTRL_START + INTERRUPT_CPR)
  17593. +#define IRQ_SMI (IRQ_ARMCTRL_START + INTERRUPT_SMI)
  17594. +#define IRQ_GPIO0 (IRQ_ARMCTRL_START + INTERRUPT_GPIO0)
  17595. +#define IRQ_GPIO1 (IRQ_ARMCTRL_START + INTERRUPT_GPIO1)
  17596. +#define IRQ_GPIO2 (IRQ_ARMCTRL_START + INTERRUPT_GPIO2)
  17597. +#define IRQ_GPIO3 (IRQ_ARMCTRL_START + INTERRUPT_GPIO3)
  17598. +#define IRQ_I2C (IRQ_ARMCTRL_START + INTERRUPT_I2C)
  17599. +#define IRQ_SPI (IRQ_ARMCTRL_START + INTERRUPT_SPI)
  17600. +#define IRQ_I2SPCM (IRQ_ARMCTRL_START + INTERRUPT_I2SPCM)
  17601. +#define IRQ_SDIO (IRQ_ARMCTRL_START + INTERRUPT_SDIO)
  17602. +#define IRQ_UART (IRQ_ARMCTRL_START + INTERRUPT_UART)
  17603. +#define IRQ_SLIMBUS (IRQ_ARMCTRL_START + INTERRUPT_SLIMBUS)
  17604. +#define IRQ_VEC (IRQ_ARMCTRL_START + INTERRUPT_VEC)
  17605. +#define IRQ_CPG (IRQ_ARMCTRL_START + INTERRUPT_CPG)
  17606. +#define IRQ_RNG (IRQ_ARMCTRL_START + INTERRUPT_RNG)
  17607. +#define IRQ_ARASANSDIO (IRQ_ARMCTRL_START + INTERRUPT_ARASANSDIO)
  17608. +#define IRQ_AVSPMON (IRQ_ARMCTRL_START + INTERRUPT_AVSPMON)
  17609. +
  17610. +#define IRQ_ARM_TIMER (IRQ_ARMCTRL_START + INTERRUPT_ARM_TIMER)
  17611. +#define IRQ_ARM_MAILBOX (IRQ_ARMCTRL_START + INTERRUPT_ARM_MAILBOX)
  17612. +#define IRQ_ARM_DOORBELL_0 (IRQ_ARMCTRL_START + INTERRUPT_ARM_DOORBELL_0)
  17613. +#define IRQ_ARM_DOORBELL_1 (IRQ_ARMCTRL_START + INTERRUPT_ARM_DOORBELL_1)
  17614. +#define IRQ_VPU0_HALTED (IRQ_ARMCTRL_START + INTERRUPT_VPU0_HALTED)
  17615. +#define IRQ_VPU1_HALTED (IRQ_ARMCTRL_START + INTERRUPT_VPU1_HALTED)
  17616. +#define IRQ_ILLEGAL_TYPE0 (IRQ_ARMCTRL_START + INTERRUPT_ILLEGAL_TYPE0)
  17617. +#define IRQ_ILLEGAL_TYPE1 (IRQ_ARMCTRL_START + INTERRUPT_ILLEGAL_TYPE1)
  17618. +#define IRQ_PENDING1 (IRQ_ARMCTRL_START + INTERRUPT_PENDING1)
  17619. +#define IRQ_PENDING2 (IRQ_ARMCTRL_START + INTERRUPT_PENDING2)
  17620. +
  17621. +#define IRQ_ARM_LOCAL_CNTPSIRQ (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTPSIRQ)
  17622. +#define IRQ_ARM_LOCAL_CNTPNSIRQ (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTPNSIRQ)
  17623. +#define IRQ_ARM_LOCAL_CNTHPIRQ (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTHPIRQ)
  17624. +#define IRQ_ARM_LOCAL_CNTVIRQ (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTVIRQ)
  17625. +#define IRQ_ARM_LOCAL_MAILBOX0 (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX0)
  17626. +#define IRQ_ARM_LOCAL_MAILBOX1 (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX1)
  17627. +#define IRQ_ARM_LOCAL_MAILBOX2 (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX2)
  17628. +#define IRQ_ARM_LOCAL_MAILBOX3 (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX3)
  17629. +#define IRQ_ARM_LOCAL_GPU_FAST (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_GPU_FAST)
  17630. +#define IRQ_ARM_LOCAL_PMU_FAST (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_PMU_FAST)
  17631. +#define IRQ_ARM_LOCAL_ZERO (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_ZERO)
  17632. +#define IRQ_ARM_LOCAL_TIMER (IRQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_TIMER)
  17633. +
  17634. +#define FIQ_START HARD_IRQS
  17635. +
  17636. +/*
  17637. + * FIQ interrupts definitions are the same as the INT definitions.
  17638. + */
  17639. +#define FIQ_TIMER0 (FIQ_START+INTERRUPT_TIMER0)
  17640. +#define FIQ_TIMER1 (FIQ_START+INTERRUPT_TIMER1)
  17641. +#define FIQ_TIMER2 (FIQ_START+INTERRUPT_TIMER2)
  17642. +#define FIQ_TIMER3 (FIQ_START+INTERRUPT_TIMER3)
  17643. +#define FIQ_CODEC0 (FIQ_START+INTERRUPT_CODEC0)
  17644. +#define FIQ_CODEC1 (FIQ_START+INTERRUPT_CODEC1)
  17645. +#define FIQ_CODEC2 (FIQ_START+INTERRUPT_CODEC2)
  17646. +#define FIQ_JPEG (FIQ_START+INTERRUPT_JPEG)
  17647. +#define FIQ_ISP (FIQ_START+INTERRUPT_ISP)
  17648. +#define FIQ_USB (FIQ_START+INTERRUPT_USB)
  17649. +#define FIQ_3D (FIQ_START+INTERRUPT_3D)
  17650. +#define FIQ_TRANSPOSER (FIQ_START+INTERRUPT_TRANSPOSER)
  17651. +#define FIQ_MULTICORESYNC0 (FIQ_START+INTERRUPT_MULTICORESYNC0)
  17652. +#define FIQ_MULTICORESYNC1 (FIQ_START+INTERRUPT_MULTICORESYNC1)
  17653. +#define FIQ_MULTICORESYNC2 (FIQ_START+INTERRUPT_MULTICORESYNC2)
  17654. +#define FIQ_MULTICORESYNC3 (FIQ_START+INTERRUPT_MULTICORESYNC3)
  17655. +#define FIQ_DMA0 (FIQ_START+INTERRUPT_DMA0)
  17656. +#define FIQ_DMA1 (FIQ_START+INTERRUPT_DMA1)
  17657. +#define FIQ_DMA2 (FIQ_START+INTERRUPT_DMA2)
  17658. +#define FIQ_DMA3 (FIQ_START+INTERRUPT_DMA3)
  17659. +#define FIQ_DMA4 (FIQ_START+INTERRUPT_DMA4)
  17660. +#define FIQ_DMA5 (FIQ_START+INTERRUPT_DMA5)
  17661. +#define FIQ_DMA6 (FIQ_START+INTERRUPT_DMA6)
  17662. +#define FIQ_DMA7 (FIQ_START+INTERRUPT_DMA7)
  17663. +#define FIQ_DMA8 (FIQ_START+INTERRUPT_DMA8)
  17664. +#define FIQ_DMA9 (FIQ_START+INTERRUPT_DMA9)
  17665. +#define FIQ_DMA10 (FIQ_START+INTERRUPT_DMA10)
  17666. +#define FIQ_DMA11 (FIQ_START+INTERRUPT_DMA11)
  17667. +#define FIQ_DMA12 (FIQ_START+INTERRUPT_DMA12)
  17668. +#define FIQ_AUX (FIQ_START+INTERRUPT_AUX)
  17669. +#define FIQ_ARM (FIQ_START+INTERRUPT_ARM)
  17670. +#define FIQ_VPUDMA (FIQ_START+INTERRUPT_VPUDMA)
  17671. +#define FIQ_HOSTPORT (FIQ_START+INTERRUPT_HOSTPORT)
  17672. +#define FIQ_VIDEOSCALER (FIQ_START+INTERRUPT_VIDEOSCALER)
  17673. +#define FIQ_CCP2TX (FIQ_START+INTERRUPT_CCP2TX)
  17674. +#define FIQ_SDC (FIQ_START+INTERRUPT_SDC)
  17675. +#define FIQ_DSI0 (FIQ_START+INTERRUPT_DSI0)
  17676. +#define FIQ_AVE (FIQ_START+INTERRUPT_AVE)
  17677. +#define FIQ_CAM0 (FIQ_START+INTERRUPT_CAM0)
  17678. +#define FIQ_CAM1 (FIQ_START+INTERRUPT_CAM1)
  17679. +#define FIQ_HDMI0 (FIQ_START+INTERRUPT_HDMI0)
  17680. +#define FIQ_HDMI1 (FIQ_START+INTERRUPT_HDMI1)
  17681. +#define FIQ_PIXELVALVE1 (FIQ_START+INTERRUPT_PIXELVALVE1)
  17682. +#define FIQ_I2CSPISLV (FIQ_START+INTERRUPT_I2CSPISLV)
  17683. +#define FIQ_DSI1 (FIQ_START+INTERRUPT_DSI1)
  17684. +#define FIQ_PWA0 (FIQ_START+INTERRUPT_PWA0)
  17685. +#define FIQ_PWA1 (FIQ_START+INTERRUPT_PWA1)
  17686. +#define FIQ_CPR (FIQ_START+INTERRUPT_CPR)
  17687. +#define FIQ_SMI (FIQ_START+INTERRUPT_SMI)
  17688. +#define FIQ_GPIO0 (FIQ_START+INTERRUPT_GPIO0)
  17689. +#define FIQ_GPIO1 (FIQ_START+INTERRUPT_GPIO1)
  17690. +#define FIQ_GPIO2 (FIQ_START+INTERRUPT_GPIO2)
  17691. +#define FIQ_GPIO3 (FIQ_START+INTERRUPT_GPIO3)
  17692. +#define FIQ_I2C (FIQ_START+INTERRUPT_I2C)
  17693. +#define FIQ_SPI (FIQ_START+INTERRUPT_SPI)
  17694. +#define FIQ_I2SPCM (FIQ_START+INTERRUPT_I2SPCM)
  17695. +#define FIQ_SDIO (FIQ_START+INTERRUPT_SDIO)
  17696. +#define FIQ_UART (FIQ_START+INTERRUPT_UART)
  17697. +#define FIQ_SLIMBUS (FIQ_START+INTERRUPT_SLIMBUS)
  17698. +#define FIQ_VEC (FIQ_START+INTERRUPT_VEC)
  17699. +#define FIQ_CPG (FIQ_START+INTERRUPT_CPG)
  17700. +#define FIQ_RNG (FIQ_START+INTERRUPT_RNG)
  17701. +#define FIQ_ARASANSDIO (FIQ_START+INTERRUPT_ARASANSDIO)
  17702. +#define FIQ_AVSPMON (FIQ_START+INTERRUPT_AVSPMON)
  17703. +
  17704. +#define FIQ_ARM_TIMER (FIQ_START+INTERRUPT_ARM_TIMER)
  17705. +#define FIQ_ARM_MAILBOX (FIQ_START+INTERRUPT_ARM_MAILBOX)
  17706. +#define FIQ_ARM_DOORBELL_0 (FIQ_START+INTERRUPT_ARM_DOORBELL_0)
  17707. +#define FIQ_ARM_DOORBELL_1 (FIQ_START+INTERRUPT_ARM_DOORBELL_1)
  17708. +#define FIQ_VPU0_HALTED (FIQ_START+INTERRUPT_VPU0_HALTED)
  17709. +#define FIQ_VPU1_HALTED (FIQ_START+INTERRUPT_VPU1_HALTED)
  17710. +#define FIQ_ILLEGAL_TYPE0 (FIQ_START+INTERRUPT_ILLEGAL_TYPE0)
  17711. +#define FIQ_ILLEGAL_TYPE1 (FIQ_START+INTERRUPT_ILLEGAL_TYPE1)
  17712. +#define FIQ_PENDING1 (FIQ_START+INTERRUPT_PENDING1)
  17713. +#define FIQ_PENDING2 (FIQ_START+INTERRUPT_PENDING2)
  17714. +
  17715. +#define FIQ_ARM_LOCAL_CNTPSIRQ (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTPSIRQ)
  17716. +#define FIQ_ARM_LOCAL_CNTPNSIRQ (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTPNSIRQ)
  17717. +#define FIQ_ARM_LOCAL_CNTHPIRQ (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTHPIRQ)
  17718. +#define FIQ_ARM_LOCAL_CNTVIRQ (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_CNTVIRQ)
  17719. +#define FIQ_ARM_LOCAL_MAILBOX0 (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX0)
  17720. +#define FIQ_ARM_LOCAL_MAILBOX1 (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX1)
  17721. +#define FIQ_ARM_LOCAL_MAILBOX2 (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX2)
  17722. +#define FIQ_ARM_LOCAL_MAILBOX3 (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_MAILBOX3)
  17723. +#define FIQ_ARM_LOCAL_GPU_FAST (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_GPU_FAST)
  17724. +#define FIQ_ARM_LOCAL_PMU_FAST (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_PMU_FAST)
  17725. +#define FIQ_ARM_LOCAL_ZERO (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_ZERO)
  17726. +#define FIQ_ARM_LOCAL_TIMER (FIQ_ARMCTRL_START + INTERRUPT_ARM_LOCAL_TIMER)
  17727. +
  17728. +#define HARD_IRQS (128)
  17729. +#define FIQ_IRQS (128)
  17730. +#define GPIO_IRQ_START (HARD_IRQS + FIQ_IRQS)
  17731. +#define GPIO_IRQS (32*5)
  17732. +#define SPARE_ALLOC_IRQS 64
  17733. +#define BCM2708_ALLOC_IRQS (HARD_IRQS+FIQ_IRQS+GPIO_IRQS+SPARE_ALLOC_IRQS)
  17734. +#define FREE_IRQS 128
  17735. +#define NR_IRQS (BCM2708_ALLOC_IRQS+FREE_IRQS)
  17736. +
  17737. +#endif /* _BCM2708_IRQS_H_ */
  17738. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/memory.h linux-rpi/arch/arm/mach-bcm2709/include/mach/memory.h
  17739. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/memory.h 1970-01-01 01:00:00.000000000 +0100
  17740. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/memory.h 2015-11-29 09:42:34.791439401 +0100
  17741. @@ -0,0 +1,57 @@
  17742. +/*
  17743. + * arch/arm/mach-bcm2708/include/mach/memory.h
  17744. + *
  17745. + * Copyright (C) 2010 Broadcom
  17746. + *
  17747. + * This program is free software; you can redistribute it and/or modify
  17748. + * it under the terms of the GNU General Public License as published by
  17749. + * the Free Software Foundation; either version 2 of the License, or
  17750. + * (at your option) any later version.
  17751. + *
  17752. + * This program is distributed in the hope that it will be useful,
  17753. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17754. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17755. + * GNU General Public License for more details.
  17756. + *
  17757. + * You should have received a copy of the GNU General Public License
  17758. + * along with this program; if not, write to the Free Software
  17759. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17760. + */
  17761. +#ifndef __ASM_ARCH_MEMORY_H
  17762. +#define __ASM_ARCH_MEMORY_H
  17763. +
  17764. +/* Memory overview:
  17765. +
  17766. + [ARMcore] <--virtual addr-->
  17767. + [ARMmmu] <--physical addr-->
  17768. + [GERTmap] <--bus add-->
  17769. + [VCperiph]
  17770. +
  17771. +*/
  17772. +
  17773. +/*
  17774. + * Physical DRAM offset.
  17775. + */
  17776. +#define BCM_PLAT_PHYS_OFFSET UL(0x00000000)
  17777. +#define VC_ARMMEM_OFFSET UL(0x00000000) /* offset in VC of ARM memory */
  17778. +
  17779. +#ifdef CONFIG_BCM2708_NOL2CACHE
  17780. + #define _REAL_BUS_OFFSET UL(0xC0000000) /* don't use L1 or L2 caches */
  17781. +#else
  17782. + #define _REAL_BUS_OFFSET UL(0x40000000) /* use L2 cache */
  17783. +#endif
  17784. +
  17785. +/* We're using the memory at 64M in the VideoCore for Linux - this adjustment
  17786. + * will provide the offset into this area as well as setting the bits that
  17787. + * stop the L1 and L2 cache from being used
  17788. + *
  17789. + * WARNING: this only works because the ARM is given memory at a fixed location
  17790. + * (ARMMEM_OFFSET)
  17791. + */
  17792. +#define BUS_OFFSET (VC_ARMMEM_OFFSET + _REAL_BUS_OFFSET)
  17793. +#define __virt_to_bus(x) ((x) + (BUS_OFFSET - PAGE_OFFSET))
  17794. +#define __bus_to_virt(x) ((x) - (BUS_OFFSET - PAGE_OFFSET))
  17795. +#define __pfn_to_bus(x) (__pfn_to_phys(x) + (BUS_OFFSET - BCM_PLAT_PHYS_OFFSET))
  17796. +#define __bus_to_pfn(x) __phys_to_pfn((x) - (BUS_OFFSET - BCM_PLAT_PHYS_OFFSET))
  17797. +
  17798. +#endif
  17799. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/platform.h linux-rpi/arch/arm/mach-bcm2709/include/mach/platform.h
  17800. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/platform.h 1970-01-01 01:00:00.000000000 +0100
  17801. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/platform.h 2015-11-29 09:42:34.791439401 +0100
  17802. @@ -0,0 +1,227 @@
  17803. +/*
  17804. + * arch/arm/mach-bcm2708/include/mach/platform.h
  17805. + *
  17806. + * Copyright (C) 2010 Broadcom
  17807. + *
  17808. + * This program is free software; you can redistribute it and/or modify
  17809. + * it under the terms of the GNU General Public License as published by
  17810. + * the Free Software Foundation; either version 2 of the License, or
  17811. + * (at your option) any later version.
  17812. + *
  17813. + * This program is distributed in the hope that it will be useful,
  17814. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  17815. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  17816. + * GNU General Public License for more details.
  17817. + *
  17818. + * You should have received a copy of the GNU General Public License
  17819. + * along with this program; if not, write to the Free Software
  17820. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  17821. + */
  17822. +
  17823. +#ifndef _BCM2708_PLATFORM_H
  17824. +#define _BCM2708_PLATFORM_H
  17825. +
  17826. +
  17827. +/* macros to get at IO space when running virtually */
  17828. +#define IO_ADDRESS(x) (((x) & 0x00ffffff) + (((x) >> 4) & 0x0f000000) + 0xf0000000)
  17829. +
  17830. +#define __io_address(n) IOMEM(IO_ADDRESS(n))
  17831. +
  17832. +
  17833. +/*
  17834. + * SDRAM
  17835. + */
  17836. +#define BCM2708_SDRAM_BASE 0x00000000
  17837. +
  17838. +/*
  17839. + * Logic expansion modules
  17840. + *
  17841. + */
  17842. +
  17843. +
  17844. +/* ------------------------------------------------------------------------
  17845. + * BCM2708 ARMCTRL Registers
  17846. + * ------------------------------------------------------------------------
  17847. + */
  17848. +
  17849. +#define HW_REGISTER_RW(addr) (addr)
  17850. +#define HW_REGISTER_RO(addr) (addr)
  17851. +
  17852. +#include "arm_control.h"
  17853. +#undef ARM_BASE
  17854. +
  17855. +/*
  17856. + * Definitions and addresses for the ARM CONTROL logic
  17857. + * This file is manually generated.
  17858. + */
  17859. +
  17860. +#define BCM2708_PERI_BASE 0x3F000000
  17861. +#define IC0_BASE (BCM2708_PERI_BASE + 0x2000)
  17862. +#define ST_BASE (BCM2708_PERI_BASE + 0x3000) /* System Timer */
  17863. +#define MPHI_BASE (BCM2708_PERI_BASE + 0x6000) /* Message -based Parallel Host Interface */
  17864. +#define DMA_BASE (BCM2708_PERI_BASE + 0x7000) /* DMA controller */
  17865. +#define ARM_BASE (BCM2708_PERI_BASE + 0xB000) /* BCM2708 ARM control block */
  17866. +#define PM_BASE (BCM2708_PERI_BASE + 0x100000) /* Power Management, Reset controller and Watchdog registers */
  17867. +#define PCM_CLOCK_BASE (BCM2708_PERI_BASE + 0x101098) /* PCM Clock */
  17868. +#define RNG_BASE (BCM2708_PERI_BASE + 0x104000) /* Hardware RNG */
  17869. +#define GPIO_BASE (BCM2708_PERI_BASE + 0x200000) /* GPIO */
  17870. +#define UART0_BASE (BCM2708_PERI_BASE + 0x201000) /* Uart 0 */
  17871. +#define MMCI0_BASE (BCM2708_PERI_BASE + 0x202000) /* MMC interface */
  17872. +#define I2S_BASE (BCM2708_PERI_BASE + 0x203000) /* I2S */
  17873. +#define SPI0_BASE (BCM2708_PERI_BASE + 0x204000) /* SPI0 */
  17874. +#define BSC0_BASE (BCM2708_PERI_BASE + 0x205000) /* BSC0 I2C/TWI */
  17875. +#define UART1_BASE (BCM2708_PERI_BASE + 0x215000) /* Uart 1 */
  17876. +#define EMMC_BASE (BCM2708_PERI_BASE + 0x300000) /* eMMC interface */
  17877. +#define SMI_BASE (BCM2708_PERI_BASE + 0x600000) /* SMI */
  17878. +#define BSC1_BASE (BCM2708_PERI_BASE + 0x804000) /* BSC1 I2C/TWI */
  17879. +#define USB_BASE (BCM2708_PERI_BASE + 0x980000) /* DTC_OTG USB controller */
  17880. +#define MCORE_BASE (BCM2708_PERI_BASE + 0x0000) /* Fake frame buffer device (actually the multicore sync block*/
  17881. +
  17882. +#define ARMCTRL_BASE (ARM_BASE + 0x000)
  17883. +#define ARMCTRL_IC_BASE (ARM_BASE + 0x200) /* ARM interrupt controller */
  17884. +#define ARMCTRL_TIMER0_1_BASE (ARM_BASE + 0x400) /* Timer 0 and 1 */
  17885. +#define ARMCTRL_0_SBM_BASE (ARM_BASE + 0x800) /* User 0 (ARM)'s Semaphores Doorbells and Mailboxes */
  17886. +#define ARMCTRL_0_BELL_BASE (ARMCTRL_0_SBM_BASE + 0x40) /* User 0 (ARM)'s Doorbell */
  17887. +#define ARMCTRL_0_MAIL0_BASE (ARMCTRL_0_SBM_BASE + 0x80) /* User 0 (ARM)'s Mailbox 0 */
  17888. +
  17889. +
  17890. +/*
  17891. + * Interrupt assignments
  17892. + */
  17893. +
  17894. +#define ARM_IRQ1_BASE 0
  17895. +#define INTERRUPT_TIMER0 (ARM_IRQ1_BASE + 0)
  17896. +#define INTERRUPT_TIMER1 (ARM_IRQ1_BASE + 1)
  17897. +#define INTERRUPT_TIMER2 (ARM_IRQ1_BASE + 2)
  17898. +#define INTERRUPT_TIMER3 (ARM_IRQ1_BASE + 3)
  17899. +#define INTERRUPT_CODEC0 (ARM_IRQ1_BASE + 4)
  17900. +#define INTERRUPT_CODEC1 (ARM_IRQ1_BASE + 5)
  17901. +#define INTERRUPT_CODEC2 (ARM_IRQ1_BASE + 6)
  17902. +#define INTERRUPT_VC_JPEG (ARM_IRQ1_BASE + 7)
  17903. +#define INTERRUPT_ISP (ARM_IRQ1_BASE + 8)
  17904. +#define INTERRUPT_VC_USB (ARM_IRQ1_BASE + 9)
  17905. +#define INTERRUPT_VC_3D (ARM_IRQ1_BASE + 10)
  17906. +#define INTERRUPT_TRANSPOSER (ARM_IRQ1_BASE + 11)
  17907. +#define INTERRUPT_MULTICORESYNC0 (ARM_IRQ1_BASE + 12)
  17908. +#define INTERRUPT_MULTICORESYNC1 (ARM_IRQ1_BASE + 13)
  17909. +#define INTERRUPT_MULTICORESYNC2 (ARM_IRQ1_BASE + 14)
  17910. +#define INTERRUPT_MULTICORESYNC3 (ARM_IRQ1_BASE + 15)
  17911. +#define INTERRUPT_DMA0 (ARM_IRQ1_BASE + 16)
  17912. +#define INTERRUPT_DMA1 (ARM_IRQ1_BASE + 17)
  17913. +#define INTERRUPT_VC_DMA2 (ARM_IRQ1_BASE + 18)
  17914. +#define INTERRUPT_VC_DMA3 (ARM_IRQ1_BASE + 19)
  17915. +#define INTERRUPT_DMA4 (ARM_IRQ1_BASE + 20)
  17916. +#define INTERRUPT_DMA5 (ARM_IRQ1_BASE + 21)
  17917. +#define INTERRUPT_DMA6 (ARM_IRQ1_BASE + 22)
  17918. +#define INTERRUPT_DMA7 (ARM_IRQ1_BASE + 23)
  17919. +#define INTERRUPT_DMA8 (ARM_IRQ1_BASE + 24)
  17920. +#define INTERRUPT_DMA9 (ARM_IRQ1_BASE + 25)
  17921. +#define INTERRUPT_DMA10 (ARM_IRQ1_BASE + 26)
  17922. +#define INTERRUPT_DMA11 (ARM_IRQ1_BASE + 27)
  17923. +#define INTERRUPT_DMA12 (ARM_IRQ1_BASE + 28)
  17924. +#define INTERRUPT_AUX (ARM_IRQ1_BASE + 29)
  17925. +#define INTERRUPT_ARM (ARM_IRQ1_BASE + 30)
  17926. +#define INTERRUPT_VPUDMA (ARM_IRQ1_BASE + 31)
  17927. +
  17928. +#define ARM_IRQ2_BASE 32
  17929. +#define INTERRUPT_HOSTPORT (ARM_IRQ2_BASE + 0)
  17930. +#define INTERRUPT_VIDEOSCALER (ARM_IRQ2_BASE + 1)
  17931. +#define INTERRUPT_CCP2TX (ARM_IRQ2_BASE + 2)
  17932. +#define INTERRUPT_SDC (ARM_IRQ2_BASE + 3)
  17933. +#define INTERRUPT_DSI0 (ARM_IRQ2_BASE + 4)
  17934. +#define INTERRUPT_AVE (ARM_IRQ2_BASE + 5)
  17935. +#define INTERRUPT_CAM0 (ARM_IRQ2_BASE + 6)
  17936. +#define INTERRUPT_CAM1 (ARM_IRQ2_BASE + 7)
  17937. +#define INTERRUPT_HDMI0 (ARM_IRQ2_BASE + 8)
  17938. +#define INTERRUPT_HDMI1 (ARM_IRQ2_BASE + 9)
  17939. +#define INTERRUPT_PIXELVALVE1 (ARM_IRQ2_BASE + 10)
  17940. +#define INTERRUPT_I2CSPISLV (ARM_IRQ2_BASE + 11)
  17941. +#define INTERRUPT_DSI1 (ARM_IRQ2_BASE + 12)
  17942. +#define INTERRUPT_PWA0 (ARM_IRQ2_BASE + 13)
  17943. +#define INTERRUPT_PWA1 (ARM_IRQ2_BASE + 14)
  17944. +#define INTERRUPT_CPR (ARM_IRQ2_BASE + 15)
  17945. +#define INTERRUPT_SMI (ARM_IRQ2_BASE + 16)
  17946. +#define INTERRUPT_GPIO0 (ARM_IRQ2_BASE + 17)
  17947. +#define INTERRUPT_GPIO1 (ARM_IRQ2_BASE + 18)
  17948. +#define INTERRUPT_GPIO2 (ARM_IRQ2_BASE + 19)
  17949. +#define INTERRUPT_GPIO3 (ARM_IRQ2_BASE + 20)
  17950. +#define INTERRUPT_VC_I2C (ARM_IRQ2_BASE + 21)
  17951. +#define INTERRUPT_VC_SPI (ARM_IRQ2_BASE + 22)
  17952. +#define INTERRUPT_VC_I2SPCM (ARM_IRQ2_BASE + 23)
  17953. +#define INTERRUPT_VC_SDIO (ARM_IRQ2_BASE + 24)
  17954. +#define INTERRUPT_VC_UART (ARM_IRQ2_BASE + 25)
  17955. +#define INTERRUPT_SLIMBUS (ARM_IRQ2_BASE + 26)
  17956. +#define INTERRUPT_VEC (ARM_IRQ2_BASE + 27)
  17957. +#define INTERRUPT_CPG (ARM_IRQ2_BASE + 28)
  17958. +#define INTERRUPT_RNG (ARM_IRQ2_BASE + 29)
  17959. +#define INTERRUPT_VC_ARASANSDIO (ARM_IRQ2_BASE + 30)
  17960. +#define INTERRUPT_AVSPMON (ARM_IRQ2_BASE + 31)
  17961. +
  17962. +#define ARM_IRQ0_BASE 64
  17963. +#define INTERRUPT_ARM_TIMER (ARM_IRQ0_BASE + 0)
  17964. +#define INTERRUPT_ARM_MAILBOX (ARM_IRQ0_BASE + 1)
  17965. +#define INTERRUPT_ARM_DOORBELL_0 (ARM_IRQ0_BASE + 2)
  17966. +#define INTERRUPT_ARM_DOORBELL_1 (ARM_IRQ0_BASE + 3)
  17967. +#define INTERRUPT_VPU0_HALTED (ARM_IRQ0_BASE + 4)
  17968. +#define INTERRUPT_VPU1_HALTED (ARM_IRQ0_BASE + 5)
  17969. +#define INTERRUPT_ILLEGAL_TYPE0 (ARM_IRQ0_BASE + 6)
  17970. +#define INTERRUPT_ILLEGAL_TYPE1 (ARM_IRQ0_BASE + 7)
  17971. +#define INTERRUPT_PENDING1 (ARM_IRQ0_BASE + 8)
  17972. +#define INTERRUPT_PENDING2 (ARM_IRQ0_BASE + 9)
  17973. +#define INTERRUPT_JPEG (ARM_IRQ0_BASE + 10)
  17974. +#define INTERRUPT_USB (ARM_IRQ0_BASE + 11)
  17975. +#define INTERRUPT_3D (ARM_IRQ0_BASE + 12)
  17976. +#define INTERRUPT_DMA2 (ARM_IRQ0_BASE + 13)
  17977. +#define INTERRUPT_DMA3 (ARM_IRQ0_BASE + 14)
  17978. +#define INTERRUPT_I2C (ARM_IRQ0_BASE + 15)
  17979. +#define INTERRUPT_SPI (ARM_IRQ0_BASE + 16)
  17980. +#define INTERRUPT_I2SPCM (ARM_IRQ0_BASE + 17)
  17981. +#define INTERRUPT_SDIO (ARM_IRQ0_BASE + 18)
  17982. +#define INTERRUPT_UART (ARM_IRQ0_BASE + 19)
  17983. +#define INTERRUPT_ARASANSDIO (ARM_IRQ0_BASE + 20)
  17984. +
  17985. +#define ARM_IRQ_LOCAL_BASE 96
  17986. +#define INTERRUPT_ARM_LOCAL_CNTPSIRQ (ARM_IRQ_LOCAL_BASE + 0)
  17987. +#define INTERRUPT_ARM_LOCAL_CNTPNSIRQ (ARM_IRQ_LOCAL_BASE + 1)
  17988. +#define INTERRUPT_ARM_LOCAL_CNTHPIRQ (ARM_IRQ_LOCAL_BASE + 2)
  17989. +#define INTERRUPT_ARM_LOCAL_CNTVIRQ (ARM_IRQ_LOCAL_BASE + 3)
  17990. +#define INTERRUPT_ARM_LOCAL_MAILBOX0 (ARM_IRQ_LOCAL_BASE + 4)
  17991. +#define INTERRUPT_ARM_LOCAL_MAILBOX1 (ARM_IRQ_LOCAL_BASE + 5)
  17992. +#define INTERRUPT_ARM_LOCAL_MAILBOX2 (ARM_IRQ_LOCAL_BASE + 6)
  17993. +#define INTERRUPT_ARM_LOCAL_MAILBOX3 (ARM_IRQ_LOCAL_BASE + 7)
  17994. +#define INTERRUPT_ARM_LOCAL_GPU_FAST (ARM_IRQ_LOCAL_BASE + 8)
  17995. +#define INTERRUPT_ARM_LOCAL_PMU_FAST (ARM_IRQ_LOCAL_BASE + 9)
  17996. +#define INTERRUPT_ARM_LOCAL_ZERO (ARM_IRQ_LOCAL_BASE + 10)
  17997. +#define INTERRUPT_ARM_LOCAL_TIMER (ARM_IRQ_LOCAL_BASE + 11)
  17998. +
  17999. +/*
  18000. + * Watchdog
  18001. + */
  18002. +#define PM_RSTC (PM_BASE+0x1c)
  18003. +#define PM_RSTS (PM_BASE+0x20)
  18004. +#define PM_WDOG (PM_BASE+0x24)
  18005. +
  18006. +#define PM_WDOG_RESET 0000000000
  18007. +#define PM_PASSWORD 0x5a000000
  18008. +#define PM_WDOG_TIME_SET 0x000fffff
  18009. +#define PM_RSTC_WRCFG_CLR 0xffffffcf
  18010. +#define PM_RSTC_WRCFG_SET 0x00000030
  18011. +#define PM_RSTC_WRCFG_FULL_RESET 0x00000020
  18012. +#define PM_RSTC_RESET 0x00000102
  18013. +
  18014. +#define PM_RSTS_HADPOR_SET 0x00001000
  18015. +#define PM_RSTS_HADSRH_SET 0x00000400
  18016. +#define PM_RSTS_HADSRF_SET 0x00000200
  18017. +#define PM_RSTS_HADSRQ_SET 0x00000100
  18018. +#define PM_RSTS_HADWRH_SET 0x00000040
  18019. +#define PM_RSTS_HADWRF_SET 0x00000020
  18020. +#define PM_RSTS_HADWRQ_SET 0x00000010
  18021. +#define PM_RSTS_HADDRH_SET 0x00000004
  18022. +#define PM_RSTS_HADDRF_SET 0x00000002
  18023. +#define PM_RSTS_HADDRQ_SET 0x00000001
  18024. +
  18025. +#define UART0_CLOCK 3000000
  18026. +
  18027. +#endif
  18028. +
  18029. +/* END */
  18030. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/system.h linux-rpi/arch/arm/mach-bcm2709/include/mach/system.h
  18031. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/system.h 1970-01-01 01:00:00.000000000 +0100
  18032. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/system.h 2015-11-29 09:42:34.791439401 +0100
  18033. @@ -0,0 +1,38 @@
  18034. +/*
  18035. + * arch/arm/mach-bcm2708/include/mach/system.h
  18036. + *
  18037. + * Copyright (C) 2010 Broadcom
  18038. + * Copyright (C) 2003 ARM Limited
  18039. + * Copyright (C) 2000 Deep Blue Solutions Ltd
  18040. + *
  18041. + * This program is free software; you can redistribute it and/or modify
  18042. + * it under the terms of the GNU General Public License as published by
  18043. + * the Free Software Foundation; either version 2 of the License, or
  18044. + * (at your option) any later version.
  18045. + *
  18046. + * This program is distributed in the hope that it will be useful,
  18047. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18048. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18049. + * GNU General Public License for more details.
  18050. + *
  18051. + * You should have received a copy of the GNU General Public License
  18052. + * along with this program; if not, write to the Free Software
  18053. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  18054. + */
  18055. +#ifndef __ASM_ARCH_SYSTEM_H
  18056. +#define __ASM_ARCH_SYSTEM_H
  18057. +
  18058. +#include <linux/io.h>
  18059. +#include <mach/hardware.h>
  18060. +#include <mach/platform.h>
  18061. +
  18062. +static inline void arch_idle(void)
  18063. +{
  18064. + /*
  18065. + * This should do all the clock switching
  18066. + * and wait for interrupt tricks
  18067. + */
  18068. + cpu_do_idle();
  18069. +}
  18070. +
  18071. +#endif
  18072. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/timex.h linux-rpi/arch/arm/mach-bcm2709/include/mach/timex.h
  18073. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/timex.h 1970-01-01 01:00:00.000000000 +0100
  18074. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/timex.h 2015-11-29 09:42:34.791439401 +0100
  18075. @@ -0,0 +1,23 @@
  18076. +/*
  18077. + * arch/arm/mach-bcm2708/include/mach/timex.h
  18078. + *
  18079. + * BCM2708 sysem clock frequency
  18080. + *
  18081. + * Copyright (C) 2010 Broadcom
  18082. + *
  18083. + * This program is free software; you can redistribute it and/or modify
  18084. + * it under the terms of the GNU General Public License as published by
  18085. + * the Free Software Foundation; either version 2 of the License, or
  18086. + * (at your option) any later version.
  18087. + *
  18088. + * This program is distributed in the hope that it will be useful,
  18089. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18090. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18091. + * GNU General Public License for more details.
  18092. + *
  18093. + * You should have received a copy of the GNU General Public License
  18094. + * along with this program; if not, write to the Free Software
  18095. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  18096. + */
  18097. +
  18098. +#define CLOCK_TICK_RATE (1000000)
  18099. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/uncompress.h linux-rpi/arch/arm/mach-bcm2709/include/mach/uncompress.h
  18100. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/uncompress.h 1970-01-01 01:00:00.000000000 +0100
  18101. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/uncompress.h 2015-11-29 09:42:34.791439401 +0100
  18102. @@ -0,0 +1,84 @@
  18103. +/*
  18104. + * arch/arm/mach-bcn2708/include/mach/uncompress.h
  18105. + *
  18106. + * Copyright (C) 2010 Broadcom
  18107. + * Copyright (C) 2003 ARM Limited
  18108. + *
  18109. + * This program is free software; you can redistribute it and/or modify
  18110. + * it under the terms of the GNU General Public License as published by
  18111. + * the Free Software Foundation; either version 2 of the License, or
  18112. + * (at your option) any later version.
  18113. + *
  18114. + * This program is distributed in the hope that it will be useful,
  18115. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18116. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18117. + * GNU General Public License for more details.
  18118. + *
  18119. + * You should have received a copy of the GNU General Public License
  18120. + * along with this program; if not, write to the Free Software
  18121. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  18122. + */
  18123. +
  18124. +#include <linux/io.h>
  18125. +#include <linux/amba/serial.h>
  18126. +#include <mach/hardware.h>
  18127. +
  18128. +#define UART_BAUD 115200
  18129. +
  18130. +#define BCM2708_UART_DR __io(UART0_BASE + UART01x_DR)
  18131. +#define BCM2708_UART_FR __io(UART0_BASE + UART01x_FR)
  18132. +#define BCM2708_UART_IBRD __io(UART0_BASE + UART011_IBRD)
  18133. +#define BCM2708_UART_FBRD __io(UART0_BASE + UART011_FBRD)
  18134. +#define BCM2708_UART_LCRH __io(UART0_BASE + UART011_LCRH)
  18135. +#define BCM2708_UART_CR __io(UART0_BASE + UART011_CR)
  18136. +
  18137. +/*
  18138. + * This does not append a newline
  18139. + */
  18140. +static inline void putc(int c)
  18141. +{
  18142. + while (__raw_readl(BCM2708_UART_FR) & UART01x_FR_TXFF)
  18143. + barrier();
  18144. +
  18145. + __raw_writel(c, BCM2708_UART_DR);
  18146. +}
  18147. +
  18148. +static inline void flush(void)
  18149. +{
  18150. + int fr;
  18151. +
  18152. + do {
  18153. + fr = __raw_readl(BCM2708_UART_FR);
  18154. + barrier();
  18155. + } while ((fr & (UART011_FR_TXFE | UART01x_FR_BUSY)) != UART011_FR_TXFE);
  18156. +}
  18157. +
  18158. +static inline void arch_decomp_setup(void)
  18159. +{
  18160. + int temp, div, rem, frac;
  18161. +
  18162. + temp = 16 * UART_BAUD;
  18163. + div = UART0_CLOCK / temp;
  18164. + rem = UART0_CLOCK % temp;
  18165. + temp = (8 * rem) / UART_BAUD;
  18166. + frac = (temp >> 1) + (temp & 1);
  18167. +
  18168. + /* Make sure the UART is disabled before we start */
  18169. + __raw_writel(0, BCM2708_UART_CR);
  18170. +
  18171. + /* Set the baud rate */
  18172. + __raw_writel(div, BCM2708_UART_IBRD);
  18173. + __raw_writel(frac, BCM2708_UART_FBRD);
  18174. +
  18175. + /* Set the UART to 8n1, FIFO enabled */
  18176. + __raw_writel(UART01x_LCRH_WLEN_8 | UART01x_LCRH_FEN, BCM2708_UART_LCRH);
  18177. +
  18178. + /* Enable the UART */
  18179. + __raw_writel(UART01x_CR_UARTEN | UART011_CR_TXE | UART011_CR_RXE,
  18180. + BCM2708_UART_CR);
  18181. +}
  18182. +
  18183. +/*
  18184. + * nothing to do
  18185. + */
  18186. +#define arch_decomp_wdog()
  18187. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/vc_support.h linux-rpi/arch/arm/mach-bcm2709/include/mach/vc_support.h
  18188. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/vc_support.h 1970-01-01 01:00:00.000000000 +0100
  18189. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/vc_support.h 2015-11-29 09:42:34.791439401 +0100
  18190. @@ -0,0 +1,69 @@
  18191. +#ifndef _VC_SUPPORT_H_
  18192. +#define _VC_SUPPORT_H_
  18193. +
  18194. +/*
  18195. + * vc_support.h
  18196. + *
  18197. + * Created on: 25 Nov 2012
  18198. + * Author: Simon
  18199. + */
  18200. +
  18201. +enum {
  18202. +/*
  18203. + If a MEM_HANDLE_T is discardable, the memory manager may resize it to size
  18204. + 0 at any time when it is not locked or retained.
  18205. + */
  18206. + MEM_FLAG_DISCARDABLE = 1 << 0,
  18207. +
  18208. + /*
  18209. + If a MEM_HANDLE_T is allocating (or normal), its block of memory will be
  18210. + accessed in an allocating fashion through the cache.
  18211. + */
  18212. + MEM_FLAG_NORMAL = 0 << 2,
  18213. + MEM_FLAG_ALLOCATING = MEM_FLAG_NORMAL,
  18214. +
  18215. + /*
  18216. + If a MEM_HANDLE_T is direct, its block of memory will be accessed
  18217. + directly, bypassing the cache.
  18218. + */
  18219. + MEM_FLAG_DIRECT = 1 << 2,
  18220. +
  18221. + /*
  18222. + If a MEM_HANDLE_T is coherent, its block of memory will be accessed in a
  18223. + non-allocating fashion through the cache.
  18224. + */
  18225. + MEM_FLAG_COHERENT = 2 << 2,
  18226. +
  18227. + /*
  18228. + If a MEM_HANDLE_T is L1-nonallocating, its block of memory will be accessed by
  18229. + the VPU in a fashion which is allocating in L2, but only coherent in L1.
  18230. + */
  18231. + MEM_FLAG_L1_NONALLOCATING = (MEM_FLAG_DIRECT | MEM_FLAG_COHERENT),
  18232. +
  18233. + /*
  18234. + If a MEM_HANDLE_T is zero'd, its contents are set to 0 rather than
  18235. + MEM_HANDLE_INVALID on allocation and resize up.
  18236. + */
  18237. + MEM_FLAG_ZERO = 1 << 4,
  18238. +
  18239. + /*
  18240. + If a MEM_HANDLE_T is uninitialised, it will not be reset to a defined value
  18241. + (either zero, or all 1's) on allocation.
  18242. + */
  18243. + MEM_FLAG_NO_INIT = 1 << 5,
  18244. +
  18245. + /*
  18246. + Hints.
  18247. + */
  18248. + MEM_FLAG_HINT_PERMALOCK = 1 << 6, /* Likely to be locked for long periods of time. */
  18249. +};
  18250. +
  18251. +unsigned int AllocateVcMemory(unsigned int *pHandle, unsigned int size, unsigned int alignment, unsigned int flags);
  18252. +unsigned int ReleaseVcMemory(unsigned int handle);
  18253. +unsigned int LockVcMemory(unsigned int *pBusAddress, unsigned int handle);
  18254. +unsigned int UnlockVcMemory(unsigned int handle);
  18255. +
  18256. +unsigned int ExecuteVcCode(unsigned int code,
  18257. + unsigned int r0, unsigned int r1, unsigned int r2, unsigned int r3, unsigned int r4, unsigned int r5);
  18258. +
  18259. +#endif
  18260. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/vmalloc.h linux-rpi/arch/arm/mach-bcm2709/include/mach/vmalloc.h
  18261. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/include/mach/vmalloc.h 1970-01-01 01:00:00.000000000 +0100
  18262. +++ linux-rpi/arch/arm/mach-bcm2709/include/mach/vmalloc.h 2015-11-29 09:42:34.791439401 +0100
  18263. @@ -0,0 +1,20 @@
  18264. +/*
  18265. + * arch/arm/mach-bcm2708/include/mach/vmalloc.h
  18266. + *
  18267. + * Copyright (C) 2010 Broadcom
  18268. + *
  18269. + * This program is free software; you can redistribute it and/or modify
  18270. + * it under the terms of the GNU General Public License as published by
  18271. + * the Free Software Foundation; either version 2 of the License, or
  18272. + * (at your option) any later version.
  18273. + *
  18274. + * This program is distributed in the hope that it will be useful,
  18275. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  18276. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18277. + * GNU General Public License for more details.
  18278. + *
  18279. + * You should have received a copy of the GNU General Public License
  18280. + * along with this program; if not, write to the Free Software
  18281. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  18282. + */
  18283. +#define VMALLOC_END (0xff000000)
  18284. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/Kconfig linux-rpi/arch/arm/mach-bcm2709/Kconfig
  18285. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/Kconfig 1970-01-01 01:00:00.000000000 +0100
  18286. +++ linux-rpi/arch/arm/mach-bcm2709/Kconfig 2015-11-29 09:42:34.791439401 +0100
  18287. @@ -0,0 +1,42 @@
  18288. +menu "Broadcom BCM2709 Implementations"
  18289. + depends on ARCH_BCM2709
  18290. +
  18291. +config MACH_BCM2709
  18292. + bool "Broadcom BCM2709 Development Platform"
  18293. + help
  18294. + Include support for the Broadcom(R) BCM2709 platform.
  18295. +
  18296. +config BCM2709_DT
  18297. + bool "BCM2709 Device Tree support"
  18298. + depends on MACH_BCM2709
  18299. + default n
  18300. + select USE_OF
  18301. + select ARCH_REQUIRE_GPIOLIB
  18302. + select PINCTRL
  18303. + select PINCTRL_BCM2835
  18304. + help
  18305. + Enable Device Tree support for BCM2709
  18306. +
  18307. +config BCM2708_GPIO
  18308. + bool "BCM2709 gpio support"
  18309. + depends on MACH_BCM2709
  18310. + select ARCH_REQUIRE_GPIOLIB
  18311. + default y
  18312. + help
  18313. + Include support for the Broadcom(R) BCM2709 gpio.
  18314. +
  18315. +config BCM2708_NOL2CACHE
  18316. + bool "Videocore L2 cache disable"
  18317. + depends on MACH_BCM2709
  18318. + default y
  18319. + help
  18320. + Do not allow ARM to use GPU's L2 cache. Requires disable_l2cache in config.txt.
  18321. +
  18322. +config BCM2708_SPIDEV
  18323. + bool "Bind spidev to SPI0 master"
  18324. + depends on MACH_BCM2709
  18325. + depends on SPI
  18326. + default y
  18327. + help
  18328. + Binds spidev driver to the SPI0 master
  18329. +endmenu
  18330. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/Makefile linux-rpi/arch/arm/mach-bcm2709/Makefile
  18331. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/Makefile 1970-01-01 01:00:00.000000000 +0100
  18332. +++ linux-rpi/arch/arm/mach-bcm2709/Makefile 2015-11-29 09:42:34.791439401 +0100
  18333. @@ -0,0 +1,6 @@
  18334. +#
  18335. +# Makefile for the linux kernel.
  18336. +#
  18337. +
  18338. +obj-$(CONFIG_MACH_BCM2709) += bcm2709.o armctrl.o
  18339. +obj-$(CONFIG_BCM2708_GPIO) += bcm2708_gpio.o
  18340. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/Makefile.boot linux-rpi/arch/arm/mach-bcm2709/Makefile.boot
  18341. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/Makefile.boot 1970-01-01 01:00:00.000000000 +0100
  18342. +++ linux-rpi/arch/arm/mach-bcm2709/Makefile.boot 2015-11-29 09:42:34.791439401 +0100
  18343. @@ -0,0 +1,3 @@
  18344. + zreladdr-y := 0x00008000
  18345. +params_phys-y := 0x00000100
  18346. +initrd_phys-y := 0x00800000
  18347. diff -Nur linux-4.1.13.orig/arch/arm/mach-bcm2709/vc_support.c linux-rpi/arch/arm/mach-bcm2709/vc_support.c
  18348. --- linux-4.1.13.orig/arch/arm/mach-bcm2709/vc_support.c 1970-01-01 01:00:00.000000000 +0100
  18349. +++ linux-rpi/arch/arm/mach-bcm2709/vc_support.c 2015-11-29 09:42:34.791439401 +0100
  18350. @@ -0,0 +1,318 @@
  18351. +/*
  18352. + * vc_support.c
  18353. + *
  18354. + * Created on: 25 Nov 2012
  18355. + * Author: Simon
  18356. + */
  18357. +
  18358. +#include <linux/module.h>
  18359. +#include <linux/platform_data/mailbox-bcm2708.h>
  18360. +
  18361. +#ifdef ECLIPSE_IGNORE
  18362. +
  18363. +#define __user
  18364. +#define __init
  18365. +#define __exit
  18366. +#define __iomem
  18367. +#define KERN_DEBUG
  18368. +#define KERN_ERR
  18369. +#define KERN_WARNING
  18370. +#define KERN_INFO
  18371. +#define _IOWR(a, b, c) b
  18372. +#define _IOW(a, b, c) b
  18373. +#define _IO(a, b) b
  18374. +
  18375. +#endif
  18376. +
  18377. +/****** VC MAILBOX FUNCTIONALITY ******/
  18378. +unsigned int AllocateVcMemory(unsigned int *pHandle, unsigned int size, unsigned int alignment, unsigned int flags)
  18379. +{
  18380. + struct vc_msg
  18381. + {
  18382. + unsigned int m_msgSize;
  18383. + unsigned int m_response;
  18384. +
  18385. + struct vc_tag
  18386. + {
  18387. + unsigned int m_tagId;
  18388. + unsigned int m_sendBufferSize;
  18389. + union {
  18390. + unsigned int m_sendDataSize;
  18391. + unsigned int m_recvDataSize;
  18392. + };
  18393. +
  18394. + struct args
  18395. + {
  18396. + union {
  18397. + unsigned int m_size;
  18398. + unsigned int m_handle;
  18399. + };
  18400. + unsigned int m_alignment;
  18401. + unsigned int m_flags;
  18402. + } m_args;
  18403. + } m_tag;
  18404. +
  18405. + unsigned int m_endTag;
  18406. + } msg;
  18407. + int s;
  18408. +
  18409. + msg.m_msgSize = sizeof(msg);
  18410. + msg.m_response = 0;
  18411. + msg.m_endTag = 0;
  18412. +
  18413. + //fill in the tag for the allocation command
  18414. + msg.m_tag.m_tagId = 0x3000c;
  18415. + msg.m_tag.m_sendBufferSize = 12;
  18416. + msg.m_tag.m_sendDataSize = 12;
  18417. +
  18418. + //fill in our args
  18419. + msg.m_tag.m_args.m_size = size;
  18420. + msg.m_tag.m_args.m_alignment = alignment;
  18421. + msg.m_tag.m_args.m_flags = flags;
  18422. +
  18423. + //run the command
  18424. + s = bcm_mailbox_property(&msg, sizeof(msg));
  18425. +
  18426. + if (s == 0 && msg.m_response == 0x80000000 && msg.m_tag.m_recvDataSize == 0x80000004)
  18427. + {
  18428. + *pHandle = msg.m_tag.m_args.m_handle;
  18429. + return 0;
  18430. + }
  18431. + else
  18432. + {
  18433. + printk(KERN_ERR "failed to allocate vc memory: s=%d response=%08x recv data size=%08x\n",
  18434. + s, msg.m_response, msg.m_tag.m_recvDataSize);
  18435. + return 1;
  18436. + }
  18437. +}
  18438. +
  18439. +unsigned int ReleaseVcMemory(unsigned int handle)
  18440. +{
  18441. + struct vc_msg
  18442. + {
  18443. + unsigned int m_msgSize;
  18444. + unsigned int m_response;
  18445. +
  18446. + struct vc_tag
  18447. + {
  18448. + unsigned int m_tagId;
  18449. + unsigned int m_sendBufferSize;
  18450. + union {
  18451. + unsigned int m_sendDataSize;
  18452. + unsigned int m_recvDataSize;
  18453. + };
  18454. +
  18455. + struct args
  18456. + {
  18457. + union {
  18458. + unsigned int m_handle;
  18459. + unsigned int m_error;
  18460. + };
  18461. + } m_args;
  18462. + } m_tag;
  18463. +
  18464. + unsigned int m_endTag;
  18465. + } msg;
  18466. + int s;
  18467. +
  18468. + msg.m_msgSize = sizeof(msg);
  18469. + msg.m_response = 0;
  18470. + msg.m_endTag = 0;
  18471. +
  18472. + //fill in the tag for the release command
  18473. + msg.m_tag.m_tagId = 0x3000f;
  18474. + msg.m_tag.m_sendBufferSize = 4;
  18475. + msg.m_tag.m_sendDataSize = 4;
  18476. +
  18477. + //pass across the handle
  18478. + msg.m_tag.m_args.m_handle = handle;
  18479. +
  18480. + s = bcm_mailbox_property(&msg, sizeof(msg));
  18481. +
  18482. + if (s == 0 && msg.m_response == 0x80000000 && msg.m_tag.m_recvDataSize == 0x80000004 && msg.m_tag.m_args.m_error == 0)
  18483. + return 0;
  18484. + else
  18485. + {
  18486. + printk(KERN_ERR "failed to release vc memory: s=%d response=%08x recv data size=%08x error=%08x\n",
  18487. + s, msg.m_response, msg.m_tag.m_recvDataSize, msg.m_tag.m_args.m_error);
  18488. + return 1;
  18489. + }
  18490. +}
  18491. +
  18492. +unsigned int LockVcMemory(unsigned int *pBusAddress, unsigned int handle)
  18493. +{
  18494. + struct vc_msg
  18495. + {
  18496. + unsigned int m_msgSize;
  18497. + unsigned int m_response;
  18498. +
  18499. + struct vc_tag
  18500. + {
  18501. + unsigned int m_tagId;
  18502. + unsigned int m_sendBufferSize;
  18503. + union {
  18504. + unsigned int m_sendDataSize;
  18505. + unsigned int m_recvDataSize;
  18506. + };
  18507. +
  18508. + struct args
  18509. + {
  18510. + union {
  18511. + unsigned int m_handle;
  18512. + unsigned int m_busAddress;
  18513. + };
  18514. + } m_args;
  18515. + } m_tag;
  18516. +
  18517. + unsigned int m_endTag;
  18518. + } msg;
  18519. + int s;
  18520. +
  18521. + msg.m_msgSize = sizeof(msg);
  18522. + msg.m_response = 0;
  18523. + msg.m_endTag = 0;
  18524. +
  18525. + //fill in the tag for the lock command
  18526. + msg.m_tag.m_tagId = 0x3000d;
  18527. + msg.m_tag.m_sendBufferSize = 4;
  18528. + msg.m_tag.m_sendDataSize = 4;
  18529. +
  18530. + //pass across the handle
  18531. + msg.m_tag.m_args.m_handle = handle;
  18532. +
  18533. + s = bcm_mailbox_property(&msg, sizeof(msg));
  18534. +
  18535. + if (s == 0 && msg.m_response == 0x80000000 && msg.m_tag.m_recvDataSize == 0x80000004)
  18536. + {
  18537. + //pick out the bus address
  18538. + *pBusAddress = msg.m_tag.m_args.m_busAddress;
  18539. + return 0;
  18540. + }
  18541. + else
  18542. + {
  18543. + printk(KERN_ERR "failed to lock vc memory: s=%d response=%08x recv data size=%08x\n",
  18544. + s, msg.m_response, msg.m_tag.m_recvDataSize);
  18545. + return 1;
  18546. + }
  18547. +}
  18548. +
  18549. +unsigned int UnlockVcMemory(unsigned int handle)
  18550. +{
  18551. + struct vc_msg
  18552. + {
  18553. + unsigned int m_msgSize;
  18554. + unsigned int m_response;
  18555. +
  18556. + struct vc_tag
  18557. + {
  18558. + unsigned int m_tagId;
  18559. + unsigned int m_sendBufferSize;
  18560. + union {
  18561. + unsigned int m_sendDataSize;
  18562. + unsigned int m_recvDataSize;
  18563. + };
  18564. +
  18565. + struct args
  18566. + {
  18567. + union {
  18568. + unsigned int m_handle;
  18569. + unsigned int m_error;
  18570. + };
  18571. + } m_args;
  18572. + } m_tag;
  18573. +
  18574. + unsigned int m_endTag;
  18575. + } msg;
  18576. + int s;
  18577. +
  18578. + msg.m_msgSize = sizeof(msg);
  18579. + msg.m_response = 0;
  18580. + msg.m_endTag = 0;
  18581. +
  18582. + //fill in the tag for the unlock command
  18583. + msg.m_tag.m_tagId = 0x3000e;
  18584. + msg.m_tag.m_sendBufferSize = 4;
  18585. + msg.m_tag.m_sendDataSize = 4;
  18586. +
  18587. + //pass across the handle
  18588. + msg.m_tag.m_args.m_handle = handle;
  18589. +
  18590. + s = bcm_mailbox_property(&msg, sizeof(msg));
  18591. +
  18592. + //check the error code too
  18593. + if (s == 0 && msg.m_response == 0x80000000 && msg.m_tag.m_recvDataSize == 0x80000004 && msg.m_tag.m_args.m_error == 0)
  18594. + return 0;
  18595. + else
  18596. + {
  18597. + printk(KERN_ERR "failed to unlock vc memory: s=%d response=%08x recv data size=%08x error%08x\n",
  18598. + s, msg.m_response, msg.m_tag.m_recvDataSize, msg.m_tag.m_args.m_error);
  18599. + return 1;
  18600. + }
  18601. +}
  18602. +
  18603. +unsigned int ExecuteVcCode(unsigned int code,
  18604. + unsigned int r0, unsigned int r1, unsigned int r2, unsigned int r3, unsigned int r4, unsigned int r5)
  18605. +{
  18606. + struct vc_msg
  18607. + {
  18608. + unsigned int m_msgSize;
  18609. + unsigned int m_response;
  18610. +
  18611. + struct vc_tag
  18612. + {
  18613. + unsigned int m_tagId;
  18614. + unsigned int m_sendBufferSize;
  18615. + union {
  18616. + unsigned int m_sendDataSize;
  18617. + unsigned int m_recvDataSize;
  18618. + };
  18619. +
  18620. + struct args
  18621. + {
  18622. + union {
  18623. + unsigned int m_pCode;
  18624. + unsigned int m_return;
  18625. + };
  18626. + unsigned int m_r0;
  18627. + unsigned int m_r1;
  18628. + unsigned int m_r2;
  18629. + unsigned int m_r3;
  18630. + unsigned int m_r4;
  18631. + unsigned int m_r5;
  18632. + } m_args;
  18633. + } m_tag;
  18634. +
  18635. + unsigned int m_endTag;
  18636. + } msg;
  18637. + int s;
  18638. +
  18639. + msg.m_msgSize = sizeof(msg);
  18640. + msg.m_response = 0;
  18641. + msg.m_endTag = 0;
  18642. +
  18643. + //fill in the tag for the unlock command
  18644. + msg.m_tag.m_tagId = 0x30010;
  18645. + msg.m_tag.m_sendBufferSize = 28;
  18646. + msg.m_tag.m_sendDataSize = 28;
  18647. +
  18648. + //pass across the handle
  18649. + msg.m_tag.m_args.m_pCode = code;
  18650. + msg.m_tag.m_args.m_r0 = r0;
  18651. + msg.m_tag.m_args.m_r1 = r1;
  18652. + msg.m_tag.m_args.m_r2 = r2;
  18653. + msg.m_tag.m_args.m_r3 = r3;
  18654. + msg.m_tag.m_args.m_r4 = r4;
  18655. + msg.m_tag.m_args.m_r5 = r5;
  18656. +
  18657. + s = bcm_mailbox_property(&msg, sizeof(msg));
  18658. +
  18659. + //check the error code too
  18660. + if (s == 0 && msg.m_response == 0x80000000 && msg.m_tag.m_recvDataSize == 0x80000004)
  18661. + return msg.m_tag.m_args.m_return;
  18662. + else
  18663. + {
  18664. + printk(KERN_ERR "failed to execute: s=%d response=%08x recv data size=%08x\n",
  18665. + s, msg.m_response, msg.m_tag.m_recvDataSize);
  18666. + return 1;
  18667. + }
  18668. +}
  18669. diff -Nur linux-4.1.13.orig/arch/arm/Makefile linux-rpi/arch/arm/Makefile
  18670. --- linux-4.1.13.orig/arch/arm/Makefile 2015-11-09 23:34:10.000000000 +0100
  18671. +++ linux-rpi/arch/arm/Makefile 2015-11-29 09:42:34.559454815 +0100
  18672. @@ -150,6 +150,8 @@
  18673. # Machine directory name. This list is sorted alphanumerically
  18674. # by CONFIG_* macro name.
  18675. +machine-$(CONFIG_ARCH_BCM2708) += bcm2708
  18676. +machine-$(CONFIG_ARCH_BCM2709) += bcm2709
  18677. machine-$(CONFIG_ARCH_ALPINE) += alpine
  18678. machine-$(CONFIG_ARCH_AT91) += at91
  18679. machine-$(CONFIG_ARCH_AXXIA) += axxia
  18680. diff -Nur linux-4.1.13.orig/arch/arm/mm/Kconfig linux-rpi/arch/arm/mm/Kconfig
  18681. --- linux-4.1.13.orig/arch/arm/mm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  18682. +++ linux-rpi/arch/arm/mm/Kconfig 2015-11-29 09:42:35.047422392 +0100
  18683. @@ -358,7 +358,7 @@
  18684. # ARMv6
  18685. config CPU_V6
  18686. - bool "Support ARM V6 processor" if (!ARCH_MULTIPLATFORM || ARCH_MULTI_V6) && (ARCH_INTEGRATOR || MACH_REALVIEW_EB || MACH_REALVIEW_PBX)
  18687. + bool "Support ARM V6 processor" if (!ARCH_MULTIPLATFORM || ARCH_MULTI_V6) && (ARCH_INTEGRATOR || MACH_REALVIEW_EB || MACH_REALVIEW_PBX || MACH_BCM2708)
  18688. select CPU_32v6
  18689. select CPU_ABRT_EV6
  18690. select CPU_CACHE_V6
  18691. diff -Nur linux-4.1.13.orig/arch/arm/mm/proc-v6.S linux-rpi/arch/arm/mm/proc-v6.S
  18692. --- linux-4.1.13.orig/arch/arm/mm/proc-v6.S 2015-11-09 23:34:10.000000000 +0100
  18693. +++ linux-rpi/arch/arm/mm/proc-v6.S 2015-11-29 09:42:35.055421861 +0100
  18694. @@ -73,10 +73,19 @@
  18695. *
  18696. * IRQs are already disabled.
  18697. */
  18698. +
  18699. +/* See jira SW-5991 for details of this workaround */
  18700. ENTRY(cpu_v6_do_idle)
  18701. - mov r1, #0
  18702. - mcr p15, 0, r1, c7, c10, 4 @ DWB - WFI may enter a low-power mode
  18703. - mcr p15, 0, r1, c7, c0, 4 @ wait for interrupt
  18704. + .align 5
  18705. + mov r1, #2
  18706. +1: subs r1, #1
  18707. + nop
  18708. + mcreq p15, 0, r1, c7, c10, 4 @ DWB - WFI may enter a low-power mode
  18709. + mcreq p15, 0, r1, c7, c0, 4 @ wait for interrupt
  18710. + nop
  18711. + nop
  18712. + nop
  18713. + bne 1b
  18714. ret lr
  18715. ENTRY(cpu_v6_dcache_clean_area)
  18716. diff -Nur linux-4.1.13.orig/arch/arm/mm/proc-v7.S linux-rpi/arch/arm/mm/proc-v7.S
  18717. --- linux-4.1.13.orig/arch/arm/mm/proc-v7.S 2015-11-09 23:34:10.000000000 +0100
  18718. +++ linux-rpi/arch/arm/mm/proc-v7.S 2015-11-29 09:42:35.055421861 +0100
  18719. @@ -460,6 +460,7 @@
  18720. orr r0, r0, r6 @ set them
  18721. THUMB( orr r0, r0, #1 << 30 ) @ Thumb exceptions
  18722. ret lr @ return to head.S:__ret
  18723. + .space 256
  18724. ENDPROC(__v7_setup)
  18725. .align 2
  18726. diff -Nur linux-4.1.13.orig/arch/arm/tools/mach-types linux-rpi/arch/arm/tools/mach-types
  18727. --- linux-4.1.13.orig/arch/arm/tools/mach-types 2015-11-09 23:34:10.000000000 +0100
  18728. +++ linux-rpi/arch/arm/tools/mach-types 2015-11-29 09:42:35.103418671 +0100
  18729. @@ -522,6 +522,8 @@
  18730. prima2_evb MACH_PRIMA2_EVB PRIMA2_EVB 3103
  18731. paz00 MACH_PAZ00 PAZ00 3128
  18732. acmenetusfoxg20 MACH_ACMENETUSFOXG20 ACMENETUSFOXG20 3129
  18733. +bcm2708 MACH_BCM2708 BCM2708 3138
  18734. +bcm2709 MACH_BCM2709 BCM2709 3139
  18735. ag5evm MACH_AG5EVM AG5EVM 3189
  18736. ics_if_voip MACH_ICS_IF_VOIP ICS_IF_VOIP 3206
  18737. wlf_cragg_6410 MACH_WLF_CRAGG_6410 WLF_CRAGG_6410 3207
  18738. diff -Nur linux-4.1.13.orig/Documentation/ABI/stable/sysfs-driver-w1_ds28ea00 linux-rpi/Documentation/ABI/stable/sysfs-driver-w1_ds28ea00
  18739. --- linux-4.1.13.orig/Documentation/ABI/stable/sysfs-driver-w1_ds28ea00 1970-01-01 01:00:00.000000000 +0100
  18740. +++ linux-rpi/Documentation/ABI/stable/sysfs-driver-w1_ds28ea00 2015-11-29 09:42:34.091485909 +0100
  18741. @@ -0,0 +1,6 @@
  18742. +What: /sys/bus/w1/devices/.../w1_seq
  18743. +Date: Apr 2015
  18744. +Contact: Matt Campbell <mattrcampbell@gmail.com>
  18745. +Description: Support for the DS28EA00 chain sequence function
  18746. + see Documentation/w1/slaves/w1_therm for detailed information
  18747. +Users: any user space application which wants to communicate with DS28EA00
  18748. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/dma/brcm,bcm2835-dma.txt linux-rpi/Documentation/devicetree/bindings/dma/brcm,bcm2835-dma.txt
  18749. --- linux-4.1.13.orig/Documentation/devicetree/bindings/dma/brcm,bcm2835-dma.txt 2015-11-09 23:34:10.000000000 +0100
  18750. +++ linux-rpi/Documentation/devicetree/bindings/dma/brcm,bcm2835-dma.txt 2015-11-29 09:42:34.191479265 +0100
  18751. @@ -48,8 +48,8 @@
  18752. bcm2835_i2s: i2s@7e203000 {
  18753. compatible = "brcm,bcm2835-i2s";
  18754. - reg = < 0x7e203000 0x20>,
  18755. - < 0x7e101098 0x02>;
  18756. + reg = < 0x7e203000 0x24>,
  18757. + < 0x7e101098 0x08>;
  18758. dmas = <&dma 2>,
  18759. <&dma 3>;
  18760. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/input/touchscreen/focaltech-ft6236.txt linux-rpi/Documentation/devicetree/bindings/input/touchscreen/focaltech-ft6236.txt
  18761. --- linux-4.1.13.orig/Documentation/devicetree/bindings/input/touchscreen/focaltech-ft6236.txt 1970-01-01 01:00:00.000000000 +0100
  18762. +++ linux-rpi/Documentation/devicetree/bindings/input/touchscreen/focaltech-ft6236.txt 2015-11-29 09:42:34.203478468 +0100
  18763. @@ -0,0 +1,35 @@
  18764. +* FocalTech FT6236 I2C touchscreen controller
  18765. +
  18766. +Required properties:
  18767. + - compatible : "focaltech,ft6236"
  18768. + - reg : I2C slave address of the chip (0x38)
  18769. + - interrupt-parent : a phandle pointing to the interrupt controller
  18770. + serving the interrupt for this chip
  18771. + - interrupts : interrupt specification for the touch controller
  18772. + interrupt
  18773. + - reset-gpios : GPIO specification for the RSTN input
  18774. + - touchscreen-size-x : horizontal resolution of touchscreen (in pixels)
  18775. + - touchscreen-size-y : vertical resolution of touchscreen (in pixels)
  18776. +
  18777. +Optional properties:
  18778. + - touchscreen-fuzz-x : horizontal noise value of the absolute input
  18779. + device (in pixels)
  18780. + - touchscreen-fuzz-y : vertical noise value of the absolute input
  18781. + device (in pixels)
  18782. + - touchscreen-inverted-x : X axis is inverted (boolean)
  18783. + - touchscreen-inverted-y : Y axis is inverted (boolean)
  18784. + - touchscreen-swapped-x-y: X and Y axis are swapped (boolean)
  18785. + Swapping is done after inverting the axis
  18786. +
  18787. +Example:
  18788. +
  18789. + ft6x06@38 {
  18790. + compatible = "focaltech,ft6236";
  18791. + reg = <0x38>;
  18792. + interrupt-parent = <&gpio>;
  18793. + interrupts = <23 2>;
  18794. + touchscreen-size-x = <320>;
  18795. + touchscreen-size-y = <480>;
  18796. + touchscreen-inverted-x;
  18797. + touchscreen-swapped-x-y;
  18798. + };
  18799. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi-dev.txt linux-rpi/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi-dev.txt
  18800. --- linux-4.1.13.orig/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi-dev.txt 1970-01-01 01:00:00.000000000 +0100
  18801. +++ linux-rpi/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi-dev.txt 2015-11-29 09:42:34.211477936 +0100
  18802. @@ -0,0 +1,17 @@
  18803. +* Broadcom BCM2835 SMI character device driver.
  18804. +
  18805. +SMI or secondary memory interface is a peripheral specific to certain Broadcom
  18806. +SOCs, and is helpful for talking to things like parallel-interface displays
  18807. +and NAND flashes (in fact, most things with a parallel register interface).
  18808. +
  18809. +This driver adds a character device which provides a user-space interface to
  18810. +an instance of the SMI driver.
  18811. +
  18812. +Required properties:
  18813. +- compatible: "brcm,bcm2835-smi-dev"
  18814. +- smi_handle: a phandle to the smi node.
  18815. +
  18816. +Optional properties:
  18817. +- None.
  18818. +
  18819. +
  18820. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi.txt linux-rpi/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi.txt
  18821. --- linux-4.1.13.orig/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi.txt 1970-01-01 01:00:00.000000000 +0100
  18822. +++ linux-rpi/Documentation/devicetree/bindings/misc/brcm,bcm2835-smi.txt 2015-11-29 09:42:34.211477936 +0100
  18823. @@ -0,0 +1,48 @@
  18824. +* Broadcom BCM2835 SMI driver.
  18825. +
  18826. +SMI or secondary memory interface is a peripheral specific to certain Broadcom
  18827. +SOCs, and is helpful for talking to things like parallel-interface displays
  18828. +and NAND flashes (in fact, most things with a parallel register interface).
  18829. +
  18830. +Required properties:
  18831. +- compatible: "brcm,bcm2835-smi"
  18832. +- reg: Should contain location and length of SMI registers and SMI clkman regs
  18833. +- interrupts: *the* SMI interrupt.
  18834. +- pinctrl-names: should be "default".
  18835. +- pinctrl-0: the phandle of the gpio pin node.
  18836. +- brcm,smi-clock-source: the clock source for clkman
  18837. +- brcm,smi-clock-divisor: the integer clock divisor for clkman
  18838. +- dmas: the dma controller phandle and the DREQ number (4 on a 2835)
  18839. +- dma-names: the name used by the driver to request its channel.
  18840. + Should be "rx-tx".
  18841. +
  18842. +Optional properties:
  18843. +- None.
  18844. +
  18845. +Examples:
  18846. +
  18847. +8 data pin configuration:
  18848. +
  18849. +smi: smi@7e600000 {
  18850. + compatible = "brcm,bcm2835-smi";
  18851. + reg = <0x7e600000 0x44>, <0x7e1010b0 0x8>;
  18852. + interrupts = <2 16>;
  18853. + pinctrl-names = "default";
  18854. + pinctrl-0 = <&smi_pins>;
  18855. + brcm,smi-clock-source = <6>;
  18856. + brcm,smi-clock-divisor = <4>;
  18857. + dmas = <&dma 4>;
  18858. + dma-names = "rx-tx";
  18859. +
  18860. + status = "okay";
  18861. +};
  18862. +
  18863. +smi_pins: smi_pins {
  18864. + brcm,pins = <2 3 4 5 6 7 8 9 10 11 12 13 14 15>;
  18865. + /* Alt 1: SMI */
  18866. + brcm,function = <5 5 5 5 5 5 5 5 5 5 5 5 5 5>;
  18867. + /* /CS, /WE and /OE are pulled high, as they are
  18868. + generally active low signals */
  18869. + brcm,pull = <2 2 2 2 2 2 0 0 0 0 0 0 0 0>;
  18870. +};
  18871. +
  18872. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/mtd/brcm,bcm2835-smi-nand.txt linux-rpi/Documentation/devicetree/bindings/mtd/brcm,bcm2835-smi-nand.txt
  18873. --- linux-4.1.13.orig/Documentation/devicetree/bindings/mtd/brcm,bcm2835-smi-nand.txt 1970-01-01 01:00:00.000000000 +0100
  18874. +++ linux-rpi/Documentation/devicetree/bindings/mtd/brcm,bcm2835-smi-nand.txt 2015-11-29 09:42:34.211477936 +0100
  18875. @@ -0,0 +1,42 @@
  18876. +* BCM2835 SMI NAND flash
  18877. +
  18878. +This driver is a shim between the BCM2835 SMI driver (SMI is a peripheral for
  18879. +talking to parallel register interfaces) and Linux's MTD layer.
  18880. +
  18881. +Required properties:
  18882. +- compatible: "brcm,bcm2835-smi-nand"
  18883. +- status: "okay"
  18884. +
  18885. +Optional properties:
  18886. +- partition@n, where n is an integer from a consecutive sequence starting at 0
  18887. + - Difficult to store partition table on NAND device - normally put it
  18888. + in the source code, kernel bootparams, or device tree (the best way!)
  18889. + - Sub-properties:
  18890. + - label: the partition name, as shown by mtdinfo /dev/mtd*
  18891. + - reg: the size and offset of this partition.
  18892. + - (optional) read-only: an empty property flagging as read only
  18893. +
  18894. +Example:
  18895. +
  18896. +nand: flash@0 {
  18897. + compatible = "brcm,bcm2835-smi-nand";
  18898. + status = "okay";
  18899. +
  18900. + partition@0 {
  18901. + label = "stage2";
  18902. + // 128k
  18903. + reg = <0 0x20000>;
  18904. + read-only;
  18905. + };
  18906. + partition@1 {
  18907. + label = "firmware";
  18908. + // 16M
  18909. + reg = <0x20000 0x1000000>;
  18910. + read-only;
  18911. + };
  18912. + partition@2 {
  18913. + label = "root";
  18914. + // 2G
  18915. + reg = <0x1020000 0x80000000>;
  18916. + };
  18917. +};
  18918. \ No newline at end of file
  18919. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/sound/brcm,bcm2835-i2s.txt linux-rpi/Documentation/devicetree/bindings/sound/brcm,bcm2835-i2s.txt
  18920. --- linux-4.1.13.orig/Documentation/devicetree/bindings/sound/brcm,bcm2835-i2s.txt 2015-11-09 23:34:10.000000000 +0100
  18921. +++ linux-rpi/Documentation/devicetree/bindings/sound/brcm,bcm2835-i2s.txt 2015-11-29 09:42:34.251475279 +0100
  18922. @@ -16,8 +16,8 @@
  18923. bcm2835_i2s: i2s@7e203000 {
  18924. compatible = "brcm,bcm2835-i2s";
  18925. - reg = <0x7e203000 0x20>,
  18926. - <0x7e101098 0x02>;
  18927. + reg = <0x7e203000 0x24>,
  18928. + <0x7e101098 0x08>;
  18929. dmas = <&dma 2>,
  18930. <&dma 3>;
  18931. diff -Nur linux-4.1.13.orig/Documentation/devicetree/bindings/vendor-prefixes.txt linux-rpi/Documentation/devicetree/bindings/vendor-prefixes.txt
  18932. --- linux-4.1.13.orig/Documentation/devicetree/bindings/vendor-prefixes.txt 2015-11-09 23:34:10.000000000 +0100
  18933. +++ linux-rpi/Documentation/devicetree/bindings/vendor-prefixes.txt 2015-11-29 09:42:34.263474481 +0100
  18934. @@ -76,6 +76,7 @@
  18935. excito Excito
  18936. fcs Fairchild Semiconductor
  18937. firefly Firefly
  18938. +focaltech FocalTech Systems Co.,Ltd
  18939. fsl Freescale Semiconductor
  18940. GEFanuc GE Fanuc Intelligent Platforms Embedded Systems, Inc.
  18941. gef GE Fanuc Intelligent Platforms Embedded Systems, Inc.
  18942. diff -Nur linux-4.1.13.orig/Documentation/video4linux/bcm2835-v4l2.txt linux-rpi/Documentation/video4linux/bcm2835-v4l2.txt
  18943. --- linux-4.1.13.orig/Documentation/video4linux/bcm2835-v4l2.txt 1970-01-01 01:00:00.000000000 +0100
  18944. +++ linux-rpi/Documentation/video4linux/bcm2835-v4l2.txt 2015-11-29 09:42:34.479460130 +0100
  18945. @@ -0,0 +1,60 @@
  18946. +
  18947. +BCM2835 (aka Raspberry Pi) V4L2 driver
  18948. +======================================
  18949. +
  18950. +1. Copyright
  18951. +============
  18952. +
  18953. +Copyright © 2013 Raspberry Pi (Trading) Ltd.
  18954. +
  18955. +2. License
  18956. +==========
  18957. +
  18958. +This program is free software; you can redistribute it and/or modify
  18959. +it under the terms of the GNU General Public License as published by
  18960. +the Free Software Foundation; either version 2 of the License, or
  18961. +(at your option) any later version.
  18962. +
  18963. +This program is distributed in the hope that it will be useful,
  18964. +but WITHOUT ANY WARRANTY; without even the implied warranty of
  18965. +MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  18966. +GNU General Public License for more details.
  18967. +
  18968. +You should have received a copy of the GNU General Public License
  18969. +along with this program; if not, write to the Free Software
  18970. +Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18971. +
  18972. +3. Quick Start
  18973. +==============
  18974. +
  18975. +You need a version 1.0 or later of v4l2-ctl, available from:
  18976. + git://git.linuxtv.org/v4l-utils.git
  18977. +
  18978. +$ sudo modprobe bcm2835-v4l2
  18979. +
  18980. +Turn on the overlay:
  18981. +
  18982. +$ v4l2-ctl --overlay=1
  18983. +
  18984. +Turn off the overlay:
  18985. +
  18986. +$ v4l2-ctl --overlay=0
  18987. +
  18988. +Set the capture format for video:
  18989. +
  18990. +$ v4l2-ctl --set-fmt-video=width=1920,height=1088,pixelformat=4
  18991. +
  18992. +(Note: 1088 not 1080).
  18993. +
  18994. +Capture:
  18995. +
  18996. +$ v4l2-ctl --stream-mmap=3 --stream-count=100 --stream-to=somefile.h264
  18997. +
  18998. +Stills capture:
  18999. +
  19000. +$ v4l2-ctl --set-fmt-video=width=2592,height=1944,pixelformat=3
  19001. +$ v4l2-ctl --stream-mmap=3 --stream-count=1 --stream-to=somefile.jpg
  19002. +
  19003. +List of available formats:
  19004. +
  19005. +$ v4l2-ctl --list-formats
  19006. diff -Nur linux-4.1.13.orig/Documentation/w1/slaves/w1_therm linux-rpi/Documentation/w1/slaves/w1_therm
  19007. --- linux-4.1.13.orig/Documentation/w1/slaves/w1_therm 2015-11-09 23:34:10.000000000 +0100
  19008. +++ linux-rpi/Documentation/w1/slaves/w1_therm 2015-11-29 09:42:34.491459333 +0100
  19009. @@ -11,12 +11,14 @@
  19010. Description
  19011. -----------
  19012. -w1_therm provides basic temperature conversion for ds18*20 devices.
  19013. +w1_therm provides basic temperature conversion for ds18*20 devices, and the
  19014. +ds28ea00 device.
  19015. supported family codes:
  19016. W1_THERM_DS18S20 0x10
  19017. W1_THERM_DS1822 0x22
  19018. W1_THERM_DS18B20 0x28
  19019. W1_THERM_DS1825 0x3B
  19020. +W1_THERM_DS28EA00 0x42
  19021. Support is provided through the sysfs w1_slave file. Each open and
  19022. read sequence will initiate a temperature conversion then provide two
  19023. @@ -48,3 +50,10 @@
  19024. maximum current draw of 1.5mA and that a 5k pullup resistor is not
  19025. sufficient. The strong pullup is designed to provide the additional
  19026. current required.
  19027. +
  19028. +The DS28EA00 provides an additional two pins for implementing a sequence
  19029. +detection algorithm. This feature allows you to determine the physical
  19030. +location of the chip in the 1-wire bus without needing pre-existing
  19031. +knowledge of the bus ordering. Support is provided through the sysfs
  19032. +w1_seq file. The file will contain a single line with an integer value
  19033. +representing the device index in the bus starting at 0.
  19034. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/bcm2835-gpiomem.c linux-rpi/drivers/char/broadcom/bcm2835-gpiomem.c
  19035. --- linux-4.1.13.orig/drivers/char/broadcom/bcm2835-gpiomem.c 1970-01-01 01:00:00.000000000 +0100
  19036. +++ linux-rpi/drivers/char/broadcom/bcm2835-gpiomem.c 2015-11-29 09:42:36.703312367 +0100
  19037. @@ -0,0 +1,260 @@
  19038. +/**
  19039. + * GPIO memory device driver
  19040. + *
  19041. + * Creates a chardev /dev/gpiomem which will provide user access to
  19042. + * the BCM2835's GPIO registers when it is mmap()'d.
  19043. + * No longer need root for user GPIO access, but without relaxing permissions
  19044. + * on /dev/mem.
  19045. + *
  19046. + * Written by Luke Wren <luke@raspberrypi.org>
  19047. + * Copyright (c) 2015, Raspberry Pi (Trading) Ltd.
  19048. + *
  19049. + * Redistribution and use in source and binary forms, with or without
  19050. + * modification, are permitted provided that the following conditions
  19051. + * are met:
  19052. + * 1. Redistributions of source code must retain the above copyright
  19053. + * notice, this list of conditions, and the following disclaimer,
  19054. + * without modification.
  19055. + * 2. Redistributions in binary form must reproduce the above copyright
  19056. + * notice, this list of conditions and the following disclaimer in the
  19057. + * documentation and/or other materials provided with the distribution.
  19058. + * 3. The names of the above-listed copyright holders may not be used
  19059. + * to endorse or promote products derived from this software without
  19060. + * specific prior written permission.
  19061. + *
  19062. + * ALTERNATIVELY, this software may be distributed under the terms of the
  19063. + * GNU General Public License ("GPL") version 2, as published by the Free
  19064. + * Software Foundation.
  19065. + *
  19066. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  19067. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  19068. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19069. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  19070. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  19071. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19072. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  19073. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  19074. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  19075. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  19076. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  19077. + */
  19078. +
  19079. +#include <linux/kernel.h>
  19080. +#include <linux/module.h>
  19081. +#include <linux/of.h>
  19082. +#include <linux/platform_device.h>
  19083. +#include <linux/mm.h>
  19084. +#include <linux/slab.h>
  19085. +#include <linux/cdev.h>
  19086. +#include <linux/pagemap.h>
  19087. +#include <linux/io.h>
  19088. +
  19089. +#define DEVICE_NAME "bcm2835-gpiomem"
  19090. +#define DRIVER_NAME "gpiomem-bcm2835"
  19091. +#define DEVICE_MINOR 0
  19092. +
  19093. +struct bcm2835_gpiomem_instance {
  19094. + unsigned long gpio_regs_phys;
  19095. + struct device *dev;
  19096. +};
  19097. +
  19098. +static struct cdev bcm2835_gpiomem_cdev;
  19099. +static dev_t bcm2835_gpiomem_devid;
  19100. +static struct class *bcm2835_gpiomem_class;
  19101. +static struct device *bcm2835_gpiomem_dev;
  19102. +static struct bcm2835_gpiomem_instance *inst;
  19103. +
  19104. +
  19105. +/****************************************************************************
  19106. +*
  19107. +* GPIO mem chardev file ops
  19108. +*
  19109. +***************************************************************************/
  19110. +
  19111. +static int bcm2835_gpiomem_open(struct inode *inode, struct file *file)
  19112. +{
  19113. + int dev = iminor(inode);
  19114. + int ret = 0;
  19115. +
  19116. + dev_info(inst->dev, "gpiomem device opened.");
  19117. +
  19118. + if (dev != DEVICE_MINOR) {
  19119. + dev_err(inst->dev, "Unknown minor device: %d", dev);
  19120. + ret = -ENXIO;
  19121. + }
  19122. + return ret;
  19123. +}
  19124. +
  19125. +static int bcm2835_gpiomem_release(struct inode *inode, struct file *file)
  19126. +{
  19127. + int dev = iminor(inode);
  19128. + int ret = 0;
  19129. +
  19130. + if (dev != DEVICE_MINOR) {
  19131. + dev_err(inst->dev, "Unknown minor device %d", dev);
  19132. + ret = -ENXIO;
  19133. + }
  19134. + return ret;
  19135. +}
  19136. +
  19137. +static const struct vm_operations_struct bcm2835_gpiomem_vm_ops = {
  19138. +#ifdef CONFIG_HAVE_IOREMAP_PROT
  19139. + .access = generic_access_phys
  19140. +#endif
  19141. +};
  19142. +
  19143. +static int bcm2835_gpiomem_mmap(struct file *file, struct vm_area_struct *vma)
  19144. +{
  19145. + /* Ignore what the user says - they're getting the GPIO regs
  19146. + whether they like it or not! */
  19147. + unsigned long gpio_page = inst->gpio_regs_phys >> PAGE_SHIFT;
  19148. +
  19149. + vma->vm_page_prot = phys_mem_access_prot(file, gpio_page,
  19150. + PAGE_SIZE,
  19151. + vma->vm_page_prot);
  19152. + vma->vm_ops = &bcm2835_gpiomem_vm_ops;
  19153. + if (remap_pfn_range(vma, vma->vm_start,
  19154. + gpio_page,
  19155. + PAGE_SIZE,
  19156. + vma->vm_page_prot)) {
  19157. + return -EAGAIN;
  19158. + }
  19159. + return 0;
  19160. +}
  19161. +
  19162. +static const struct file_operations
  19163. +bcm2835_gpiomem_fops = {
  19164. + .owner = THIS_MODULE,
  19165. + .open = bcm2835_gpiomem_open,
  19166. + .release = bcm2835_gpiomem_release,
  19167. + .mmap = bcm2835_gpiomem_mmap,
  19168. +};
  19169. +
  19170. +
  19171. + /****************************************************************************
  19172. +*
  19173. +* Probe and remove functions
  19174. +*
  19175. +***************************************************************************/
  19176. +
  19177. +
  19178. +static int bcm2835_gpiomem_probe(struct platform_device *pdev)
  19179. +{
  19180. + int err;
  19181. + void *ptr_err;
  19182. + struct device *dev = &pdev->dev;
  19183. + struct resource *ioresource;
  19184. +
  19185. + /* Allocate buffers and instance data */
  19186. +
  19187. + inst = kzalloc(sizeof(struct bcm2835_gpiomem_instance), GFP_KERNEL);
  19188. +
  19189. + if (!inst) {
  19190. + err = -ENOMEM;
  19191. + goto failed_inst_alloc;
  19192. + }
  19193. +
  19194. + inst->dev = dev;
  19195. +
  19196. + ioresource = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  19197. + if (ioresource) {
  19198. + inst->gpio_regs_phys = ioresource->start;
  19199. + } else {
  19200. + dev_err(inst->dev, "failed to get IO resource");
  19201. + err = -ENOENT;
  19202. + goto failed_get_resource;
  19203. + }
  19204. +
  19205. + /* Create character device entries */
  19206. +
  19207. + err = alloc_chrdev_region(&bcm2835_gpiomem_devid,
  19208. + DEVICE_MINOR, 1, DEVICE_NAME);
  19209. + if (err != 0) {
  19210. + dev_err(inst->dev, "unable to allocate device number");
  19211. + goto failed_alloc_chrdev;
  19212. + }
  19213. + cdev_init(&bcm2835_gpiomem_cdev, &bcm2835_gpiomem_fops);
  19214. + bcm2835_gpiomem_cdev.owner = THIS_MODULE;
  19215. + err = cdev_add(&bcm2835_gpiomem_cdev, bcm2835_gpiomem_devid, 1);
  19216. + if (err != 0) {
  19217. + dev_err(inst->dev, "unable to register device");
  19218. + goto failed_cdev_add;
  19219. + }
  19220. +
  19221. + /* Create sysfs entries */
  19222. +
  19223. + bcm2835_gpiomem_class = class_create(THIS_MODULE, DEVICE_NAME);
  19224. + ptr_err = bcm2835_gpiomem_class;
  19225. + if (IS_ERR(ptr_err))
  19226. + goto failed_class_create;
  19227. +
  19228. + bcm2835_gpiomem_dev = device_create(bcm2835_gpiomem_class, NULL,
  19229. + bcm2835_gpiomem_devid, NULL,
  19230. + "gpiomem");
  19231. + ptr_err = bcm2835_gpiomem_dev;
  19232. + if (IS_ERR(ptr_err))
  19233. + goto failed_device_create;
  19234. +
  19235. + dev_info(inst->dev, "Initialised: Registers at 0x%08lx",
  19236. + inst->gpio_regs_phys);
  19237. +
  19238. + return 0;
  19239. +
  19240. +failed_device_create:
  19241. + class_destroy(bcm2835_gpiomem_class);
  19242. +failed_class_create:
  19243. + cdev_del(&bcm2835_gpiomem_cdev);
  19244. + err = PTR_ERR(ptr_err);
  19245. +failed_cdev_add:
  19246. + unregister_chrdev_region(bcm2835_gpiomem_devid, 1);
  19247. +failed_alloc_chrdev:
  19248. +failed_get_resource:
  19249. + kfree(inst);
  19250. +failed_inst_alloc:
  19251. + dev_err(inst->dev, "could not load bcm2835_gpiomem");
  19252. + return err;
  19253. +}
  19254. +
  19255. +static int bcm2835_gpiomem_remove(struct platform_device *pdev)
  19256. +{
  19257. + struct device *dev = inst->dev;
  19258. +
  19259. + kfree(inst);
  19260. + device_destroy(bcm2835_gpiomem_class, bcm2835_gpiomem_devid);
  19261. + class_destroy(bcm2835_gpiomem_class);
  19262. + cdev_del(&bcm2835_gpiomem_cdev);
  19263. + unregister_chrdev_region(bcm2835_gpiomem_devid, 1);
  19264. +
  19265. + dev_info(dev, "GPIO mem driver removed - OK");
  19266. + return 0;
  19267. +}
  19268. +
  19269. + /****************************************************************************
  19270. +*
  19271. +* Register the driver with device tree
  19272. +*
  19273. +***************************************************************************/
  19274. +
  19275. +static const struct of_device_id bcm2835_gpiomem_of_match[] = {
  19276. + {.compatible = "brcm,bcm2835-gpiomem",},
  19277. + { /* sentinel */ },
  19278. +};
  19279. +
  19280. +MODULE_DEVICE_TABLE(of, bcm2835_gpiomem_of_match);
  19281. +
  19282. +static struct platform_driver bcm2835_gpiomem_driver = {
  19283. + .probe = bcm2835_gpiomem_probe,
  19284. + .remove = bcm2835_gpiomem_remove,
  19285. + .driver = {
  19286. + .name = DRIVER_NAME,
  19287. + .owner = THIS_MODULE,
  19288. + .of_match_table = bcm2835_gpiomem_of_match,
  19289. + },
  19290. +};
  19291. +
  19292. +module_platform_driver(bcm2835_gpiomem_driver);
  19293. +
  19294. +MODULE_ALIAS("platform:gpiomem-bcm2835");
  19295. +MODULE_LICENSE("GPL");
  19296. +MODULE_DESCRIPTION("gpiomem driver for accessing GPIO from userspace");
  19297. +MODULE_AUTHOR("Luke Wren <luke@raspberrypi.org>");
  19298. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/bcm2835_smi_dev.c linux-rpi/drivers/char/broadcom/bcm2835_smi_dev.c
  19299. --- linux-4.1.13.orig/drivers/char/broadcom/bcm2835_smi_dev.c 1970-01-01 01:00:00.000000000 +0100
  19300. +++ linux-rpi/drivers/char/broadcom/bcm2835_smi_dev.c 2015-11-29 09:42:36.703312367 +0100
  19301. @@ -0,0 +1,402 @@
  19302. +/**
  19303. + * Character device driver for Broadcom Secondary Memory Interface
  19304. + *
  19305. + * Written by Luke Wren <luke@raspberrypi.org>
  19306. + * Copyright (c) 2015, Raspberry Pi (Trading) Ltd.
  19307. + *
  19308. + * Redistribution and use in source and binary forms, with or without
  19309. + * modification, are permitted provided that the following conditions
  19310. + * are met:
  19311. + * 1. Redistributions of source code must retain the above copyright
  19312. + * notice, this list of conditions, and the following disclaimer,
  19313. + * without modification.
  19314. + * 2. Redistributions in binary form must reproduce the above copyright
  19315. + * notice, this list of conditions and the following disclaimer in the
  19316. + * documentation and/or other materials provided with the distribution.
  19317. + * 3. The names of the above-listed copyright holders may not be used
  19318. + * to endorse or promote products derived from this software without
  19319. + * specific prior written permission.
  19320. + *
  19321. + * ALTERNATIVELY, this software may be distributed under the terms of the
  19322. + * GNU General Public License ("GPL") version 2, as published by the Free
  19323. + * Software Foundation.
  19324. + *
  19325. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  19326. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  19327. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19328. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  19329. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  19330. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19331. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  19332. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  19333. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  19334. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  19335. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  19336. + */
  19337. +
  19338. +#include <linux/kernel.h>
  19339. +#include <linux/module.h>
  19340. +#include <linux/of.h>
  19341. +#include <linux/platform_device.h>
  19342. +#include <linux/slab.h>
  19343. +#include <linux/mm.h>
  19344. +#include <linux/pagemap.h>
  19345. +#include <linux/fs.h>
  19346. +#include <linux/cdev.h>
  19347. +#include <linux/fs.h>
  19348. +
  19349. +#include <linux/broadcom/bcm2835_smi.h>
  19350. +
  19351. +#define DEVICE_NAME "bcm2835-smi-dev"
  19352. +#define DRIVER_NAME "smi-dev-bcm2835"
  19353. +#define DEVICE_MINOR 0
  19354. +
  19355. +static struct cdev bcm2835_smi_cdev;
  19356. +static dev_t bcm2835_smi_devid;
  19357. +static struct class *bcm2835_smi_class;
  19358. +static struct device *bcm2835_smi_dev;
  19359. +
  19360. +struct bcm2835_smi_dev_instance {
  19361. + struct device *dev;
  19362. +};
  19363. +
  19364. +static struct bcm2835_smi_instance *smi_inst;
  19365. +static struct bcm2835_smi_dev_instance *inst;
  19366. +
  19367. +static const char *const ioctl_names[] = {
  19368. + "READ_SETTINGS",
  19369. + "WRITE_SETTINGS",
  19370. + "ADDRESS"
  19371. +};
  19372. +
  19373. +/****************************************************************************
  19374. +*
  19375. +* SMI chardev file ops
  19376. +*
  19377. +***************************************************************************/
  19378. +static long
  19379. +bcm2835_smi_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  19380. +{
  19381. + long ret = 0;
  19382. +
  19383. + dev_info(inst->dev, "serving ioctl...");
  19384. +
  19385. + switch (cmd) {
  19386. + case BCM2835_SMI_IOC_GET_SETTINGS:{
  19387. + struct smi_settings *settings;
  19388. +
  19389. + dev_info(inst->dev, "Reading SMI settings to user.");
  19390. + settings = bcm2835_smi_get_settings_from_regs(smi_inst);
  19391. + if (copy_to_user((void *)arg, settings,
  19392. + sizeof(struct smi_settings)))
  19393. + dev_err(inst->dev, "settings copy failed.");
  19394. + break;
  19395. + }
  19396. + case BCM2835_SMI_IOC_WRITE_SETTINGS:{
  19397. + struct smi_settings *settings;
  19398. +
  19399. + dev_info(inst->dev, "Setting user's SMI settings.");
  19400. + settings = bcm2835_smi_get_settings_from_regs(smi_inst);
  19401. + if (copy_from_user(settings, (void *)arg,
  19402. + sizeof(struct smi_settings)))
  19403. + dev_err(inst->dev, "settings copy failed.");
  19404. + else
  19405. + bcm2835_smi_set_regs_from_settings(smi_inst);
  19406. + break;
  19407. + }
  19408. + case BCM2835_SMI_IOC_ADDRESS:
  19409. + dev_info(inst->dev, "SMI address set: 0x%02x", (int)arg);
  19410. + bcm2835_smi_set_address(smi_inst, arg);
  19411. + break;
  19412. + default:
  19413. + dev_err(inst->dev, "invalid ioctl cmd: %d", cmd);
  19414. + ret = -ENOTTY;
  19415. + break;
  19416. + }
  19417. +
  19418. + return ret;
  19419. +}
  19420. +
  19421. +static int bcm2835_smi_open(struct inode *inode, struct file *file)
  19422. +{
  19423. + int dev = iminor(inode);
  19424. +
  19425. + dev_dbg(inst->dev, "SMI device opened.");
  19426. +
  19427. + if (dev != DEVICE_MINOR) {
  19428. + dev_err(inst->dev,
  19429. + "bcm2835_smi_release: Unknown minor device: %d",
  19430. + dev);
  19431. + return -ENXIO;
  19432. + }
  19433. +
  19434. + return 0;
  19435. +}
  19436. +
  19437. +static int bcm2835_smi_release(struct inode *inode, struct file *file)
  19438. +{
  19439. + int dev = iminor(inode);
  19440. +
  19441. + if (dev != DEVICE_MINOR) {
  19442. + dev_err(inst->dev,
  19443. + "bcm2835_smi_release: Unknown minor device %d", dev);
  19444. + return -ENXIO;
  19445. + }
  19446. +
  19447. + return 0;
  19448. +}
  19449. +
  19450. +static ssize_t dma_bounce_user(
  19451. + enum dma_transfer_direction dma_dir,
  19452. + char __user *user_ptr,
  19453. + size_t count,
  19454. + struct bcm2835_smi_bounce_info *bounce)
  19455. +{
  19456. + int chunk_size;
  19457. + int chunk_no = 0;
  19458. + int count_left = count;
  19459. +
  19460. + while (count_left) {
  19461. + int rv;
  19462. + void *buf;
  19463. +
  19464. + /* Wait for current chunk to complete: */
  19465. + if (down_timeout(&bounce->callback_sem,
  19466. + msecs_to_jiffies(1000))) {
  19467. + dev_err(inst->dev, "DMA bounce timed out");
  19468. + count -= (count_left);
  19469. + break;
  19470. + }
  19471. +
  19472. + if (bounce->callback_sem.count >= DMA_BOUNCE_BUFFER_COUNT - 1)
  19473. + dev_err(inst->dev, "WARNING: Ring buffer overflow");
  19474. + chunk_size = count_left > DMA_BOUNCE_BUFFER_SIZE ?
  19475. + DMA_BOUNCE_BUFFER_SIZE : count_left;
  19476. + buf = bounce->buffer[chunk_no % DMA_BOUNCE_BUFFER_COUNT];
  19477. + if (dma_dir == DMA_DEV_TO_MEM)
  19478. + rv = copy_to_user(user_ptr, buf, chunk_size);
  19479. + else
  19480. + rv = copy_from_user(buf, user_ptr, chunk_size);
  19481. + if (rv)
  19482. + dev_err(inst->dev, "copy_*_user() failed!: %d", rv);
  19483. + user_ptr += chunk_size;
  19484. + count_left -= chunk_size;
  19485. + chunk_no++;
  19486. + }
  19487. + return count;
  19488. +}
  19489. +
  19490. +static ssize_t
  19491. +bcm2835_read_file(struct file *f, char __user *user_ptr,
  19492. + size_t count, loff_t *offs)
  19493. +{
  19494. + int odd_bytes;
  19495. +
  19496. + dev_dbg(inst->dev, "User reading %d bytes from SMI.", count);
  19497. + /* We don't want to DMA a number of bytes % 4 != 0 (32 bit FIFO) */
  19498. + if (count > DMA_THRESHOLD_BYTES)
  19499. + odd_bytes = count & 0x3;
  19500. + else
  19501. + odd_bytes = count;
  19502. + count -= odd_bytes;
  19503. + if (count) {
  19504. + struct bcm2835_smi_bounce_info *bounce;
  19505. +
  19506. + count = bcm2835_smi_user_dma(smi_inst,
  19507. + DMA_DEV_TO_MEM, user_ptr, count,
  19508. + &bounce);
  19509. + if (count)
  19510. + count = dma_bounce_user(DMA_DEV_TO_MEM, user_ptr,
  19511. + count, bounce);
  19512. + }
  19513. + if (odd_bytes) {
  19514. + /* Read from FIFO directly if not using DMA */
  19515. + uint8_t buf[DMA_THRESHOLD_BYTES];
  19516. +
  19517. + bcm2835_smi_read_buf(smi_inst, buf, odd_bytes);
  19518. + if (copy_to_user(user_ptr, buf, odd_bytes))
  19519. + dev_err(inst->dev, "copy_to_user() failed.");
  19520. + count += odd_bytes;
  19521. +
  19522. + }
  19523. + return count;
  19524. +}
  19525. +
  19526. +static ssize_t
  19527. +bcm2835_write_file(struct file *f, const char __user *user_ptr,
  19528. + size_t count, loff_t *offs)
  19529. +{
  19530. + int odd_bytes;
  19531. +
  19532. + dev_dbg(inst->dev, "User writing %d bytes to SMI.", count);
  19533. + if (count > DMA_THRESHOLD_BYTES)
  19534. + odd_bytes = count & 0x3;
  19535. + else
  19536. + odd_bytes = count;
  19537. + count -= odd_bytes;
  19538. + if (count) {
  19539. + struct bcm2835_smi_bounce_info *bounce;
  19540. +
  19541. + count = bcm2835_smi_user_dma(smi_inst,
  19542. + DMA_MEM_TO_DEV, (char __user *)user_ptr, count,
  19543. + &bounce);
  19544. + if (count)
  19545. + count = dma_bounce_user(DMA_MEM_TO_DEV,
  19546. + (char __user *)user_ptr,
  19547. + count, bounce);
  19548. + }
  19549. + if (odd_bytes) {
  19550. + uint8_t buf[DMA_THRESHOLD_BYTES];
  19551. +
  19552. + if (copy_from_user(buf, user_ptr, odd_bytes))
  19553. + dev_err(inst->dev, "copy_from_user() failed.");
  19554. + else
  19555. + bcm2835_smi_write_buf(smi_inst, buf, odd_bytes);
  19556. + count += odd_bytes;
  19557. + }
  19558. + return count;
  19559. +}
  19560. +
  19561. +static const struct file_operations
  19562. +bcm2835_smi_fops = {
  19563. + .owner = THIS_MODULE,
  19564. + .unlocked_ioctl = bcm2835_smi_ioctl,
  19565. + .open = bcm2835_smi_open,
  19566. + .release = bcm2835_smi_release,
  19567. + .read = bcm2835_read_file,
  19568. + .write = bcm2835_write_file,
  19569. +};
  19570. +
  19571. +
  19572. +/****************************************************************************
  19573. +*
  19574. +* bcm2835_smi_probe - called when the driver is loaded.
  19575. +*
  19576. +***************************************************************************/
  19577. +
  19578. +static int bcm2835_smi_dev_probe(struct platform_device *pdev)
  19579. +{
  19580. + int err;
  19581. + void *ptr_err;
  19582. + struct device *dev = &pdev->dev;
  19583. + struct device_node *node = dev->of_node, *smi_node;
  19584. +
  19585. + if (!node) {
  19586. + dev_err(dev, "No device tree node supplied!");
  19587. + return -EINVAL;
  19588. + }
  19589. +
  19590. + smi_node = of_parse_phandle(node, "smi_handle", 0);
  19591. +
  19592. + if (!smi_node) {
  19593. + dev_err(dev, "No such property: smi_handle");
  19594. + return -ENXIO;
  19595. + }
  19596. +
  19597. + smi_inst = bcm2835_smi_get(smi_node);
  19598. +
  19599. + if (!smi_inst)
  19600. + return -EPROBE_DEFER;
  19601. +
  19602. + /* Allocate buffers and instance data */
  19603. +
  19604. + inst = devm_kzalloc(dev, sizeof(*inst), GFP_KERNEL);
  19605. +
  19606. + if (!inst)
  19607. + return -ENOMEM;
  19608. +
  19609. + inst->dev = dev;
  19610. +
  19611. + /* Create character device entries */
  19612. +
  19613. + err = alloc_chrdev_region(&bcm2835_smi_devid,
  19614. + DEVICE_MINOR, 1, DEVICE_NAME);
  19615. + if (err != 0) {
  19616. + dev_err(inst->dev, "unable to allocate device number");
  19617. + return -ENOMEM;
  19618. + }
  19619. + cdev_init(&bcm2835_smi_cdev, &bcm2835_smi_fops);
  19620. + bcm2835_smi_cdev.owner = THIS_MODULE;
  19621. + err = cdev_add(&bcm2835_smi_cdev, bcm2835_smi_devid, 1);
  19622. + if (err != 0) {
  19623. + dev_err(inst->dev, "unable to register device");
  19624. + err = -ENOMEM;
  19625. + goto failed_cdev_add;
  19626. + }
  19627. +
  19628. + /* Create sysfs entries */
  19629. +
  19630. + bcm2835_smi_class = class_create(THIS_MODULE, DEVICE_NAME);
  19631. + ptr_err = bcm2835_smi_class;
  19632. + if (IS_ERR(ptr_err))
  19633. + goto failed_class_create;
  19634. +
  19635. + bcm2835_smi_dev = device_create(bcm2835_smi_class, NULL,
  19636. + bcm2835_smi_devid, NULL,
  19637. + "smi");
  19638. + ptr_err = bcm2835_smi_dev;
  19639. + if (IS_ERR(ptr_err))
  19640. + goto failed_device_create;
  19641. +
  19642. + dev_info(inst->dev, "initialised");
  19643. +
  19644. + return 0;
  19645. +
  19646. +failed_device_create:
  19647. + class_destroy(bcm2835_smi_class);
  19648. +failed_class_create:
  19649. + cdev_del(&bcm2835_smi_cdev);
  19650. + err = PTR_ERR(ptr_err);
  19651. +failed_cdev_add:
  19652. + unregister_chrdev_region(bcm2835_smi_devid, 1);
  19653. + dev_err(dev, "could not load bcm2835_smi_dev");
  19654. + return err;
  19655. +}
  19656. +
  19657. +/****************************************************************************
  19658. +*
  19659. +* bcm2835_smi_remove - called when the driver is unloaded.
  19660. +*
  19661. +***************************************************************************/
  19662. +
  19663. +static int bcm2835_smi_dev_remove(struct platform_device *pdev)
  19664. +{
  19665. + device_destroy(bcm2835_smi_class, bcm2835_smi_devid);
  19666. + class_destroy(bcm2835_smi_class);
  19667. + cdev_del(&bcm2835_smi_cdev);
  19668. + unregister_chrdev_region(bcm2835_smi_devid, 1);
  19669. +
  19670. + dev_info(inst->dev, "SMI character dev removed - OK");
  19671. + return 0;
  19672. +}
  19673. +
  19674. +/****************************************************************************
  19675. +*
  19676. +* Register the driver with device tree
  19677. +*
  19678. +***************************************************************************/
  19679. +
  19680. +static const struct of_device_id bcm2835_smi_dev_of_match[] = {
  19681. + {.compatible = "brcm,bcm2835-smi-dev",},
  19682. + { /* sentinel */ },
  19683. +};
  19684. +
  19685. +MODULE_DEVICE_TABLE(of, bcm2835_smi_dev_of_match);
  19686. +
  19687. +static struct platform_driver bcm2835_smi_dev_driver = {
  19688. + .probe = bcm2835_smi_dev_probe,
  19689. + .remove = bcm2835_smi_dev_remove,
  19690. + .driver = {
  19691. + .name = DRIVER_NAME,
  19692. + .owner = THIS_MODULE,
  19693. + .of_match_table = bcm2835_smi_dev_of_match,
  19694. + },
  19695. +};
  19696. +
  19697. +module_platform_driver(bcm2835_smi_dev_driver);
  19698. +
  19699. +MODULE_ALIAS("platform:smi-dev-bcm2835");
  19700. +MODULE_LICENSE("GPL");
  19701. +MODULE_DESCRIPTION(
  19702. + "Character device driver for BCM2835's secondary memory interface");
  19703. +MODULE_AUTHOR("Luke Wren <luke@raspberrypi.org>");
  19704. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/Kconfig linux-rpi/drivers/char/broadcom/Kconfig
  19705. --- linux-4.1.13.orig/drivers/char/broadcom/Kconfig 1970-01-01 01:00:00.000000000 +0100
  19706. +++ linux-rpi/drivers/char/broadcom/Kconfig 2015-11-29 09:42:36.703312367 +0100
  19707. @@ -0,0 +1,57 @@
  19708. +#
  19709. +# Broadcom char driver config
  19710. +#
  19711. +
  19712. +menuconfig BRCM_CHAR_DRIVERS
  19713. + bool "Broadcom Char Drivers"
  19714. + help
  19715. + Broadcom's char drivers
  19716. +
  19717. +if BRCM_CHAR_DRIVERS
  19718. +
  19719. +config BCM_VC_CMA
  19720. + bool "Videocore CMA"
  19721. + depends on CMA && BCM2708_VCHIQ
  19722. + default n
  19723. + help
  19724. + Helper for videocore CMA access.
  19725. +
  19726. +config BCM2708_VCMEM
  19727. + bool "Videocore Memory"
  19728. + default y
  19729. + help
  19730. + Helper for videocore memory access and total size allocation.
  19731. +
  19732. +config BCM_VCIO
  19733. + tristate "Mailbox userspace access"
  19734. + depends on BCM2835_MBOX
  19735. + help
  19736. + Gives access to the mailbox property channel from userspace.
  19737. +
  19738. +endif
  19739. +
  19740. +config BCM_VC_SM
  19741. + bool "VMCS Shared Memory"
  19742. + depends on BCM2708_VCHIQ
  19743. + select BCM2708_VCMEM
  19744. + default n
  19745. + help
  19746. + Support for the VC shared memory on the Broadcom reference
  19747. + design. Uses the VCHIQ stack.
  19748. +
  19749. +config BCM2835_DEVGPIOMEM
  19750. + tristate "/dev/gpiomem rootless GPIO access via mmap() on the BCM2835"
  19751. + default m
  19752. + help
  19753. + Provides users with root-free access to the GPIO registers
  19754. + on the 2835. Calling mmap(/dev/gpiomem) will map the GPIO
  19755. + register page to the user's pointer.
  19756. +
  19757. +config BCM2835_SMI_DEV
  19758. + tristate "Character device driver for BCM2835 Secondary Memory Interface"
  19759. + depends on (MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835) && BCM2835_SMI
  19760. + default m
  19761. + help
  19762. + This driver provides a character device interface (ioctl + read/write) to
  19763. + Broadcom's Secondary Memory interface. The low-level functionality is provided
  19764. + by the SMI driver itself.
  19765. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/Makefile linux-rpi/drivers/char/broadcom/Makefile
  19766. --- linux-4.1.13.orig/drivers/char/broadcom/Makefile 1970-01-01 01:00:00.000000000 +0100
  19767. +++ linux-rpi/drivers/char/broadcom/Makefile 2015-11-29 09:42:36.703312367 +0100
  19768. @@ -0,0 +1,7 @@
  19769. +obj-$(CONFIG_BCM_VC_CMA) += vc_cma/
  19770. +obj-$(CONFIG_BCM2708_VCMEM) += vc_mem.o
  19771. +obj-$(CONFIG_BCM_VCIO) += vcio.o
  19772. +obj-$(CONFIG_BCM_VC_SM) += vc_sm/
  19773. +
  19774. +obj-$(CONFIG_BCM2835_DEVGPIOMEM)+= bcm2835-gpiomem.o
  19775. +obj-$(CONFIG_BCM2835_SMI_DEV) += bcm2835_smi_dev.o
  19776. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_cma/Makefile linux-rpi/drivers/char/broadcom/vc_cma/Makefile
  19777. --- linux-4.1.13.orig/drivers/char/broadcom/vc_cma/Makefile 1970-01-01 01:00:00.000000000 +0100
  19778. +++ linux-rpi/drivers/char/broadcom/vc_cma/Makefile 2015-11-29 09:42:36.703312367 +0100
  19779. @@ -0,0 +1,14 @@
  19780. +ccflags-y += -Wall -Wstrict-prototypes -Wno-trigraphs
  19781. +ccflags-y += -Werror
  19782. +ccflags-y += -Iinclude/linux/broadcom
  19783. +ccflags-y += -Idrivers/misc/vc04_services
  19784. +ccflags-y += -Idrivers/misc/vc04_services/interface/vchi
  19785. +ccflags-y += -Idrivers/misc/vc04_services/interface/vchiq_arm
  19786. +
  19787. +ccflags-y += -D__KERNEL__
  19788. +ccflags-y += -D__linux__
  19789. +ccflags-y += -Werror
  19790. +
  19791. +obj-$(CONFIG_BCM_VC_CMA) += vc-cma.o
  19792. +
  19793. +vc-cma-objs := vc_cma.o
  19794. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_cma/vc_cma.c linux-rpi/drivers/char/broadcom/vc_cma/vc_cma.c
  19795. --- linux-4.1.13.orig/drivers/char/broadcom/vc_cma/vc_cma.c 1970-01-01 01:00:00.000000000 +0100
  19796. +++ linux-rpi/drivers/char/broadcom/vc_cma/vc_cma.c 2015-11-29 09:42:36.703312367 +0100
  19797. @@ -0,0 +1,1193 @@
  19798. +/**
  19799. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  19800. + *
  19801. + * Redistribution and use in source and binary forms, with or without
  19802. + * modification, are permitted provided that the following conditions
  19803. + * are met:
  19804. + * 1. Redistributions of source code must retain the above copyright
  19805. + * notice, this list of conditions, and the following disclaimer,
  19806. + * without modification.
  19807. + * 2. Redistributions in binary form must reproduce the above copyright
  19808. + * notice, this list of conditions and the following disclaimer in the
  19809. + * documentation and/or other materials provided with the distribution.
  19810. + * 3. The names of the above-listed copyright holders may not be used
  19811. + * to endorse or promote products derived from this software without
  19812. + * specific prior written permission.
  19813. + *
  19814. + * ALTERNATIVELY, this software may be distributed under the terms of the
  19815. + * GNU General Public License ("GPL") version 2, as published by the Free
  19816. + * Software Foundation.
  19817. + *
  19818. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  19819. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  19820. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19821. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  19822. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  19823. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  19824. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  19825. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  19826. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  19827. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  19828. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  19829. + */
  19830. +
  19831. +#include <linux/kernel.h>
  19832. +#include <linux/module.h>
  19833. +#include <linux/kthread.h>
  19834. +#include <linux/fs.h>
  19835. +#include <linux/device.h>
  19836. +#include <linux/cdev.h>
  19837. +#include <linux/mm.h>
  19838. +#include <linux/proc_fs.h>
  19839. +#include <linux/seq_file.h>
  19840. +#include <linux/dma-mapping.h>
  19841. +#include <linux/dma-contiguous.h>
  19842. +#include <linux/platform_device.h>
  19843. +#include <linux/uaccess.h>
  19844. +#include <asm/cacheflush.h>
  19845. +
  19846. +#include "vc_cma.h"
  19847. +
  19848. +#include "vchiq_util.h"
  19849. +#include "vchiq_connected.h"
  19850. +//#include "debug_sym.h"
  19851. +//#include "vc_mem.h"
  19852. +
  19853. +#define DRIVER_NAME "vc-cma"
  19854. +
  19855. +#define LOG_DBG(fmt, ...) \
  19856. + if (vc_cma_debug) \
  19857. + printk(KERN_INFO fmt "\n", ##__VA_ARGS__)
  19858. +#define LOG_INFO(fmt, ...) \
  19859. + printk(KERN_INFO fmt "\n", ##__VA_ARGS__)
  19860. +#define LOG_ERR(fmt, ...) \
  19861. + printk(KERN_ERR fmt "\n", ##__VA_ARGS__)
  19862. +
  19863. +#define VC_CMA_FOURCC VCHIQ_MAKE_FOURCC('C', 'M', 'A', ' ')
  19864. +#define VC_CMA_VERSION 2
  19865. +
  19866. +#define VC_CMA_CHUNK_ORDER 6 /* 256K */
  19867. +#define VC_CMA_CHUNK_SIZE (4096 << VC_CMA_CHUNK_ORDER)
  19868. +#define VC_CMA_MAX_PARAMS_PER_MSG \
  19869. + ((VCHIQ_MAX_MSG_SIZE - sizeof(unsigned short))/sizeof(unsigned short))
  19870. +#define VC_CMA_RESERVE_COUNT_MAX 16
  19871. +
  19872. +#define PAGES_PER_CHUNK (VC_CMA_CHUNK_SIZE / PAGE_SIZE)
  19873. +
  19874. +#define VCADDR_TO_PHYSADDR(vcaddr) (mm_vc_mem_phys_addr + vcaddr)
  19875. +
  19876. +#define loud_error(...) \
  19877. + LOG_ERR("===== " __VA_ARGS__)
  19878. +
  19879. +enum {
  19880. + VC_CMA_MSG_QUIT,
  19881. + VC_CMA_MSG_OPEN,
  19882. + VC_CMA_MSG_TICK,
  19883. + VC_CMA_MSG_ALLOC, /* chunk count */
  19884. + VC_CMA_MSG_FREE, /* chunk, chunk, ... */
  19885. + VC_CMA_MSG_ALLOCATED, /* chunk, chunk, ... */
  19886. + VC_CMA_MSG_REQUEST_ALLOC, /* chunk count */
  19887. + VC_CMA_MSG_REQUEST_FREE, /* chunk count */
  19888. + VC_CMA_MSG_RESERVE, /* bytes lo, bytes hi */
  19889. + VC_CMA_MSG_UPDATE_RESERVE,
  19890. + VC_CMA_MSG_MAX
  19891. +};
  19892. +
  19893. +struct cma_msg {
  19894. + unsigned short type;
  19895. + unsigned short params[VC_CMA_MAX_PARAMS_PER_MSG];
  19896. +};
  19897. +
  19898. +struct vc_cma_reserve_user {
  19899. + unsigned int pid;
  19900. + unsigned int reserve;
  19901. +};
  19902. +
  19903. +/* Device (/dev) related variables */
  19904. +static dev_t vc_cma_devnum;
  19905. +static struct class *vc_cma_class;
  19906. +static struct cdev vc_cma_cdev;
  19907. +static int vc_cma_inited;
  19908. +static int vc_cma_debug;
  19909. +
  19910. +/* Proc entry */
  19911. +static struct proc_dir_entry *vc_cma_proc_entry;
  19912. +
  19913. +phys_addr_t vc_cma_base;
  19914. +struct page *vc_cma_base_page;
  19915. +unsigned int vc_cma_size;
  19916. +EXPORT_SYMBOL(vc_cma_size);
  19917. +unsigned int vc_cma_initial;
  19918. +unsigned int vc_cma_chunks;
  19919. +unsigned int vc_cma_chunks_used;
  19920. +unsigned int vc_cma_chunks_reserved;
  19921. +
  19922. +
  19923. +void *vc_cma_dma_alloc;
  19924. +unsigned int vc_cma_dma_size;
  19925. +
  19926. +static int in_loud_error;
  19927. +
  19928. +unsigned int vc_cma_reserve_total;
  19929. +unsigned int vc_cma_reserve_count;
  19930. +struct vc_cma_reserve_user vc_cma_reserve_users[VC_CMA_RESERVE_COUNT_MAX];
  19931. +static DEFINE_SEMAPHORE(vc_cma_reserve_mutex);
  19932. +static DEFINE_SEMAPHORE(vc_cma_worker_queue_push_mutex);
  19933. +
  19934. +static u64 vc_cma_dma_mask = DMA_BIT_MASK(32);
  19935. +static struct platform_device vc_cma_device = {
  19936. + .name = "vc-cma",
  19937. + .id = 0,
  19938. + .dev = {
  19939. + .dma_mask = &vc_cma_dma_mask,
  19940. + .coherent_dma_mask = DMA_BIT_MASK(32),
  19941. + },
  19942. +};
  19943. +
  19944. +static VCHIQ_INSTANCE_T cma_instance;
  19945. +static VCHIQ_SERVICE_HANDLE_T cma_service;
  19946. +static VCHIU_QUEUE_T cma_msg_queue;
  19947. +static struct task_struct *cma_worker;
  19948. +
  19949. +static int vc_cma_set_reserve(unsigned int reserve, unsigned int pid);
  19950. +static int vc_cma_alloc_chunks(int num_chunks, struct cma_msg *reply);
  19951. +static VCHIQ_STATUS_T cma_service_callback(VCHIQ_REASON_T reason,
  19952. + VCHIQ_HEADER_T * header,
  19953. + VCHIQ_SERVICE_HANDLE_T service,
  19954. + void *bulk_userdata);
  19955. +static void send_vc_msg(unsigned short type,
  19956. + unsigned short param1, unsigned short param2);
  19957. +static bool send_worker_msg(VCHIQ_HEADER_T * msg);
  19958. +
  19959. +static int early_vc_cma_mem(char *p)
  19960. +{
  19961. + unsigned int new_size;
  19962. + printk(KERN_NOTICE "early_vc_cma_mem(%s)", p);
  19963. + vc_cma_size = memparse(p, &p);
  19964. + vc_cma_initial = vc_cma_size;
  19965. + if (*p == '/')
  19966. + vc_cma_size = memparse(p + 1, &p);
  19967. + if (*p == '@')
  19968. + vc_cma_base = memparse(p + 1, &p);
  19969. +
  19970. + new_size = (vc_cma_size - ((-vc_cma_base) & (VC_CMA_CHUNK_SIZE - 1)))
  19971. + & ~(VC_CMA_CHUNK_SIZE - 1);
  19972. + if (new_size > vc_cma_size)
  19973. + vc_cma_size = 0;
  19974. + vc_cma_initial = (vc_cma_initial + VC_CMA_CHUNK_SIZE - 1)
  19975. + & ~(VC_CMA_CHUNK_SIZE - 1);
  19976. + if (vc_cma_initial > vc_cma_size)
  19977. + vc_cma_initial = vc_cma_size;
  19978. + vc_cma_base = (vc_cma_base + VC_CMA_CHUNK_SIZE - 1)
  19979. + & ~(VC_CMA_CHUNK_SIZE - 1);
  19980. +
  19981. + printk(KERN_NOTICE " -> initial %x, size %x, base %x", vc_cma_initial,
  19982. + vc_cma_size, (unsigned int)vc_cma_base);
  19983. +
  19984. + return 0;
  19985. +}
  19986. +
  19987. +early_param("vc-cma-mem", early_vc_cma_mem);
  19988. +
  19989. +void vc_cma_early_init(void)
  19990. +{
  19991. + LOG_DBG("vc_cma_early_init - vc_cma_chunks = %d", vc_cma_chunks);
  19992. + if (vc_cma_size) {
  19993. + int rc = platform_device_register(&vc_cma_device);
  19994. + LOG_DBG("platform_device_register -> %d", rc);
  19995. + }
  19996. +}
  19997. +
  19998. +void vc_cma_reserve(void)
  19999. +{
  20000. + /* if vc_cma_size is set, then declare vc CMA area of the same
  20001. + * size from the end of memory
  20002. + */
  20003. + if (vc_cma_size) {
  20004. + if (dma_declare_contiguous(&vc_cma_device.dev, vc_cma_size,
  20005. + vc_cma_base, 0) == 0) {
  20006. + if (!dev_get_cma_area(NULL)) {
  20007. + /* There is no default CMA area - make this
  20008. + the default */
  20009. + struct cma *vc_cma_area = dev_get_cma_area(
  20010. + &vc_cma_device.dev);
  20011. + dma_contiguous_set_default(vc_cma_area);
  20012. + LOG_INFO("vc_cma_reserve - using vc_cma as "
  20013. + "the default contiguous DMA area");
  20014. + }
  20015. + } else {
  20016. + LOG_ERR("vc_cma: dma_declare_contiguous(%x,%x) failed",
  20017. + vc_cma_size, (unsigned int)vc_cma_base);
  20018. + vc_cma_size = 0;
  20019. + }
  20020. + }
  20021. + vc_cma_chunks = vc_cma_size / VC_CMA_CHUNK_SIZE;
  20022. +}
  20023. +
  20024. +/****************************************************************************
  20025. +*
  20026. +* vc_cma_open
  20027. +*
  20028. +***************************************************************************/
  20029. +
  20030. +static int vc_cma_open(struct inode *inode, struct file *file)
  20031. +{
  20032. + (void)inode;
  20033. + (void)file;
  20034. +
  20035. + return 0;
  20036. +}
  20037. +
  20038. +/****************************************************************************
  20039. +*
  20040. +* vc_cma_release
  20041. +*
  20042. +***************************************************************************/
  20043. +
  20044. +static int vc_cma_release(struct inode *inode, struct file *file)
  20045. +{
  20046. + (void)inode;
  20047. + (void)file;
  20048. +
  20049. + vc_cma_set_reserve(0, current->tgid);
  20050. +
  20051. + return 0;
  20052. +}
  20053. +
  20054. +/****************************************************************************
  20055. +*
  20056. +* vc_cma_ioctl
  20057. +*
  20058. +***************************************************************************/
  20059. +
  20060. +static long vc_cma_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  20061. +{
  20062. + int rc = 0;
  20063. +
  20064. + (void)cmd;
  20065. + (void)arg;
  20066. +
  20067. + switch (cmd) {
  20068. + case VC_CMA_IOC_RESERVE:
  20069. + rc = vc_cma_set_reserve((unsigned int)arg, current->tgid);
  20070. + if (rc >= 0)
  20071. + rc = 0;
  20072. + break;
  20073. + default:
  20074. + LOG_ERR("vc-cma: Unknown ioctl %x", cmd);
  20075. + return -ENOTTY;
  20076. + }
  20077. +
  20078. + return rc;
  20079. +}
  20080. +
  20081. +/****************************************************************************
  20082. +*
  20083. +* File Operations for the driver.
  20084. +*
  20085. +***************************************************************************/
  20086. +
  20087. +static const struct file_operations vc_cma_fops = {
  20088. + .owner = THIS_MODULE,
  20089. + .open = vc_cma_open,
  20090. + .release = vc_cma_release,
  20091. + .unlocked_ioctl = vc_cma_ioctl,
  20092. +};
  20093. +
  20094. +/****************************************************************************
  20095. +*
  20096. +* vc_cma_proc_open
  20097. +*
  20098. +***************************************************************************/
  20099. +
  20100. +static int vc_cma_show_info(struct seq_file *m, void *v)
  20101. +{
  20102. + int i;
  20103. +
  20104. + seq_printf(m, "Videocore CMA:\n");
  20105. + seq_printf(m, " Base : %08x\n", (unsigned int)vc_cma_base);
  20106. + seq_printf(m, " Length : %08x\n", vc_cma_size);
  20107. + seq_printf(m, " Initial : %08x\n", vc_cma_initial);
  20108. + seq_printf(m, " Chunk size : %08x\n", VC_CMA_CHUNK_SIZE);
  20109. + seq_printf(m, " Chunks : %4d (%d bytes)\n",
  20110. + (int)vc_cma_chunks,
  20111. + (int)(vc_cma_chunks * VC_CMA_CHUNK_SIZE));
  20112. + seq_printf(m, " Used : %4d (%d bytes)\n",
  20113. + (int)vc_cma_chunks_used,
  20114. + (int)(vc_cma_chunks_used * VC_CMA_CHUNK_SIZE));
  20115. + seq_printf(m, " Reserved : %4d (%d bytes)\n",
  20116. + (unsigned int)vc_cma_chunks_reserved,
  20117. + (int)(vc_cma_chunks_reserved * VC_CMA_CHUNK_SIZE));
  20118. +
  20119. + for (i = 0; i < vc_cma_reserve_count; i++) {
  20120. + struct vc_cma_reserve_user *user = &vc_cma_reserve_users[i];
  20121. + seq_printf(m, " PID %5d: %d bytes\n", user->pid,
  20122. + user->reserve);
  20123. + }
  20124. + seq_printf(m, " dma_alloc : %p (%d pages)\n",
  20125. + vc_cma_dma_alloc ? page_address(vc_cma_dma_alloc) : 0,
  20126. + vc_cma_dma_size);
  20127. +
  20128. + seq_printf(m, "\n");
  20129. +
  20130. + return 0;
  20131. +}
  20132. +
  20133. +static int vc_cma_proc_open(struct inode *inode, struct file *file)
  20134. +{
  20135. + return single_open(file, vc_cma_show_info, NULL);
  20136. +}
  20137. +
  20138. +/****************************************************************************
  20139. +*
  20140. +* vc_cma_proc_write
  20141. +*
  20142. +***************************************************************************/
  20143. +
  20144. +static int vc_cma_proc_write(struct file *file,
  20145. + const char __user *buffer,
  20146. + size_t size, loff_t *ppos)
  20147. +{
  20148. + int rc = -EFAULT;
  20149. + char input_str[20];
  20150. +
  20151. + memset(input_str, 0, sizeof(input_str));
  20152. +
  20153. + if (size > sizeof(input_str)) {
  20154. + LOG_ERR("%s: input string length too long", __func__);
  20155. + goto out;
  20156. + }
  20157. +
  20158. + if (copy_from_user(input_str, buffer, size - 1)) {
  20159. + LOG_ERR("%s: failed to get input string", __func__);
  20160. + goto out;
  20161. + }
  20162. +#define ALLOC_STR "alloc"
  20163. +#define FREE_STR "free"
  20164. +#define DEBUG_STR "debug"
  20165. +#define RESERVE_STR "reserve"
  20166. +#define DMA_ALLOC_STR "dma_alloc"
  20167. +#define DMA_FREE_STR "dma_free"
  20168. + if (strncmp(input_str, ALLOC_STR, strlen(ALLOC_STR)) == 0) {
  20169. + int alloc_size;
  20170. + char *p = input_str + strlen(ALLOC_STR);
  20171. +
  20172. + while (*p == ' ')
  20173. + p++;
  20174. + alloc_size = memparse(p, NULL);
  20175. + LOG_INFO("/proc/vc-cma: alloc %d", alloc_size);
  20176. + if (alloc_size)
  20177. + send_vc_msg(VC_CMA_MSG_REQUEST_FREE,
  20178. + alloc_size / VC_CMA_CHUNK_SIZE, 0);
  20179. + else
  20180. + LOG_ERR("invalid size '%s'", p);
  20181. + rc = size;
  20182. + } else if (strncmp(input_str, FREE_STR, strlen(FREE_STR)) == 0) {
  20183. + int alloc_size;
  20184. + char *p = input_str + strlen(FREE_STR);
  20185. +
  20186. + while (*p == ' ')
  20187. + p++;
  20188. + alloc_size = memparse(p, NULL);
  20189. + LOG_INFO("/proc/vc-cma: free %d", alloc_size);
  20190. + if (alloc_size)
  20191. + send_vc_msg(VC_CMA_MSG_REQUEST_ALLOC,
  20192. + alloc_size / VC_CMA_CHUNK_SIZE, 0);
  20193. + else
  20194. + LOG_ERR("invalid size '%s'", p);
  20195. + rc = size;
  20196. + } else if (strncmp(input_str, DEBUG_STR, strlen(DEBUG_STR)) == 0) {
  20197. + char *p = input_str + strlen(DEBUG_STR);
  20198. + while (*p == ' ')
  20199. + p++;
  20200. + if ((strcmp(p, "on") == 0) || (strcmp(p, "1") == 0))
  20201. + vc_cma_debug = 1;
  20202. + else if ((strcmp(p, "off") == 0) || (strcmp(p, "0") == 0))
  20203. + vc_cma_debug = 0;
  20204. + LOG_INFO("/proc/vc-cma: debug %s", vc_cma_debug ? "on" : "off");
  20205. + rc = size;
  20206. + } else if (strncmp(input_str, RESERVE_STR, strlen(RESERVE_STR)) == 0) {
  20207. + int alloc_size;
  20208. + int reserved;
  20209. + char *p = input_str + strlen(RESERVE_STR);
  20210. + while (*p == ' ')
  20211. + p++;
  20212. + alloc_size = memparse(p, NULL);
  20213. +
  20214. + reserved = vc_cma_set_reserve(alloc_size, current->tgid);
  20215. + rc = (reserved >= 0) ? size : reserved;
  20216. + } else if (strncmp(input_str, DMA_ALLOC_STR, strlen(DMA_ALLOC_STR)) == 0) {
  20217. + int alloc_size;
  20218. + char *p = input_str + strlen(DMA_ALLOC_STR);
  20219. + while (*p == ' ')
  20220. + p++;
  20221. + alloc_size = memparse(p, NULL);
  20222. +
  20223. + if (vc_cma_dma_alloc) {
  20224. + dma_release_from_contiguous(NULL, vc_cma_dma_alloc,
  20225. + vc_cma_dma_size);
  20226. + vc_cma_dma_alloc = NULL;
  20227. + vc_cma_dma_size = 0;
  20228. + }
  20229. + vc_cma_dma_alloc = dma_alloc_from_contiguous(NULL, alloc_size, 0);
  20230. + vc_cma_dma_size = (vc_cma_dma_alloc ? alloc_size : 0);
  20231. + if (vc_cma_dma_alloc)
  20232. + LOG_INFO("dma_alloc(%d pages) -> %p", alloc_size, page_address(vc_cma_dma_alloc));
  20233. + else
  20234. + LOG_ERR("dma_alloc(%d pages) failed", alloc_size);
  20235. + rc = size;
  20236. + } else if (strncmp(input_str, DMA_FREE_STR, strlen(DMA_FREE_STR)) == 0) {
  20237. + if (vc_cma_dma_alloc) {
  20238. + dma_release_from_contiguous(NULL, vc_cma_dma_alloc,
  20239. + vc_cma_dma_size);
  20240. + vc_cma_dma_alloc = NULL;
  20241. + vc_cma_dma_size = 0;
  20242. + }
  20243. + rc = size;
  20244. + }
  20245. +
  20246. +out:
  20247. + return rc;
  20248. +}
  20249. +
  20250. +/****************************************************************************
  20251. +*
  20252. +* File Operations for /proc interface.
  20253. +*
  20254. +***************************************************************************/
  20255. +
  20256. +static const struct file_operations vc_cma_proc_fops = {
  20257. + .open = vc_cma_proc_open,
  20258. + .read = seq_read,
  20259. + .write = vc_cma_proc_write,
  20260. + .llseek = seq_lseek,
  20261. + .release = single_release
  20262. +};
  20263. +
  20264. +static int vc_cma_set_reserve(unsigned int reserve, unsigned int pid)
  20265. +{
  20266. + struct vc_cma_reserve_user *user = NULL;
  20267. + int delta = 0;
  20268. + int i;
  20269. +
  20270. + if (down_interruptible(&vc_cma_reserve_mutex))
  20271. + return -ERESTARTSYS;
  20272. +
  20273. + for (i = 0; i < vc_cma_reserve_count; i++) {
  20274. + if (pid == vc_cma_reserve_users[i].pid) {
  20275. + user = &vc_cma_reserve_users[i];
  20276. + delta = reserve - user->reserve;
  20277. + if (reserve)
  20278. + user->reserve = reserve;
  20279. + else {
  20280. + /* Remove this entry by copying downwards */
  20281. + while ((i + 1) < vc_cma_reserve_count) {
  20282. + user[0].pid = user[1].pid;
  20283. + user[0].reserve = user[1].reserve;
  20284. + user++;
  20285. + i++;
  20286. + }
  20287. + vc_cma_reserve_count--;
  20288. + user = NULL;
  20289. + }
  20290. + break;
  20291. + }
  20292. + }
  20293. +
  20294. + if (reserve && !user) {
  20295. + if (vc_cma_reserve_count == VC_CMA_RESERVE_COUNT_MAX) {
  20296. + LOG_ERR("vc-cma: Too many reservations - "
  20297. + "increase CMA_RESERVE_COUNT_MAX");
  20298. + up(&vc_cma_reserve_mutex);
  20299. + return -EBUSY;
  20300. + }
  20301. + user = &vc_cma_reserve_users[vc_cma_reserve_count];
  20302. + user->pid = pid;
  20303. + user->reserve = reserve;
  20304. + delta = reserve;
  20305. + vc_cma_reserve_count++;
  20306. + }
  20307. +
  20308. + vc_cma_reserve_total += delta;
  20309. +
  20310. + send_vc_msg(VC_CMA_MSG_RESERVE,
  20311. + vc_cma_reserve_total & 0xffff, vc_cma_reserve_total >> 16);
  20312. +
  20313. + send_worker_msg((VCHIQ_HEADER_T *) VC_CMA_MSG_UPDATE_RESERVE);
  20314. +
  20315. + LOG_DBG("/proc/vc-cma: reserve %d (PID %d) - total %u",
  20316. + reserve, pid, vc_cma_reserve_total);
  20317. +
  20318. + up(&vc_cma_reserve_mutex);
  20319. +
  20320. + return vc_cma_reserve_total;
  20321. +}
  20322. +
  20323. +static VCHIQ_STATUS_T cma_service_callback(VCHIQ_REASON_T reason,
  20324. + VCHIQ_HEADER_T * header,
  20325. + VCHIQ_SERVICE_HANDLE_T service,
  20326. + void *bulk_userdata)
  20327. +{
  20328. + switch (reason) {
  20329. + case VCHIQ_MESSAGE_AVAILABLE:
  20330. + if (!send_worker_msg(header))
  20331. + return VCHIQ_RETRY;
  20332. + break;
  20333. + case VCHIQ_SERVICE_CLOSED:
  20334. + LOG_DBG("CMA service closed");
  20335. + break;
  20336. + default:
  20337. + LOG_ERR("Unexpected CMA callback reason %d", reason);
  20338. + break;
  20339. + }
  20340. + return VCHIQ_SUCCESS;
  20341. +}
  20342. +
  20343. +static void send_vc_msg(unsigned short type,
  20344. + unsigned short param1, unsigned short param2)
  20345. +{
  20346. + unsigned short msg[] = { type, param1, param2 };
  20347. + VCHIQ_ELEMENT_T elem = { &msg, sizeof(msg) };
  20348. + VCHIQ_STATUS_T ret;
  20349. + vchiq_use_service(cma_service);
  20350. + ret = vchiq_queue_message(cma_service, &elem, 1);
  20351. + vchiq_release_service(cma_service);
  20352. + if (ret != VCHIQ_SUCCESS)
  20353. + LOG_ERR("vchiq_queue_message returned %x", ret);
  20354. +}
  20355. +
  20356. +static bool send_worker_msg(VCHIQ_HEADER_T * msg)
  20357. +{
  20358. + if (down_interruptible(&vc_cma_worker_queue_push_mutex))
  20359. + return false;
  20360. + vchiu_queue_push(&cma_msg_queue, msg);
  20361. + up(&vc_cma_worker_queue_push_mutex);
  20362. + return true;
  20363. +}
  20364. +
  20365. +static int vc_cma_alloc_chunks(int num_chunks, struct cma_msg *reply)
  20366. +{
  20367. + int i;
  20368. + for (i = 0; i < num_chunks; i++) {
  20369. + struct page *chunk;
  20370. + unsigned int chunk_num;
  20371. + uint8_t *chunk_addr;
  20372. + size_t chunk_size = PAGES_PER_CHUNK << PAGE_SHIFT;
  20373. +
  20374. + chunk = dma_alloc_from_contiguous(&vc_cma_device.dev,
  20375. + PAGES_PER_CHUNK,
  20376. + VC_CMA_CHUNK_ORDER);
  20377. + if (!chunk)
  20378. + break;
  20379. +
  20380. + chunk_addr = page_address(chunk);
  20381. + dmac_flush_range(chunk_addr, chunk_addr + chunk_size);
  20382. + outer_inv_range(__pa(chunk_addr), __pa(chunk_addr) +
  20383. + chunk_size);
  20384. +
  20385. + chunk_num =
  20386. + (page_to_phys(chunk) - vc_cma_base) / VC_CMA_CHUNK_SIZE;
  20387. + BUG_ON(((page_to_phys(chunk) - vc_cma_base) %
  20388. + VC_CMA_CHUNK_SIZE) != 0);
  20389. + if (chunk_num >= vc_cma_chunks) {
  20390. + phys_addr_t _pa = vc_cma_base + vc_cma_size - 1;
  20391. + LOG_ERR("%s: ===============================",
  20392. + __func__);
  20393. + LOG_ERR("%s: chunk phys %x, vc_cma %pa-%pa - "
  20394. + "bad SPARSEMEM configuration?",
  20395. + __func__, (unsigned int)page_to_phys(chunk),
  20396. + &vc_cma_base, &_pa);
  20397. + LOG_ERR("%s: dev->cma_area = %p", __func__,
  20398. + (void*)0/*vc_cma_device.dev.cma_area*/);
  20399. + LOG_ERR("%s: ===============================",
  20400. + __func__);
  20401. + break;
  20402. + }
  20403. + reply->params[i] = chunk_num;
  20404. + vc_cma_chunks_used++;
  20405. + }
  20406. +
  20407. + if (i < num_chunks) {
  20408. + LOG_ERR("%s: dma_alloc_from_contiguous failed "
  20409. + "for %x bytes (alloc %d of %d, %d free)",
  20410. + __func__, VC_CMA_CHUNK_SIZE, i,
  20411. + num_chunks, vc_cma_chunks - vc_cma_chunks_used);
  20412. + num_chunks = i;
  20413. + }
  20414. +
  20415. + LOG_DBG("CMA allocated %d chunks -> %d used",
  20416. + num_chunks, vc_cma_chunks_used);
  20417. + reply->type = VC_CMA_MSG_ALLOCATED;
  20418. +
  20419. + {
  20420. + VCHIQ_ELEMENT_T elem = {
  20421. + reply,
  20422. + offsetof(struct cma_msg, params[0]) +
  20423. + num_chunks * sizeof(reply->params[0])
  20424. + };
  20425. + VCHIQ_STATUS_T ret;
  20426. + vchiq_use_service(cma_service);
  20427. + ret = vchiq_queue_message(cma_service, &elem, 1);
  20428. + vchiq_release_service(cma_service);
  20429. + if (ret != VCHIQ_SUCCESS)
  20430. + LOG_ERR("vchiq_queue_message return " "%x", ret);
  20431. + }
  20432. +
  20433. + return num_chunks;
  20434. +}
  20435. +
  20436. +static int cma_worker_proc(void *param)
  20437. +{
  20438. + static struct cma_msg reply;
  20439. + (void)param;
  20440. +
  20441. + while (1) {
  20442. + VCHIQ_HEADER_T *msg;
  20443. + static struct cma_msg msg_copy;
  20444. + struct cma_msg *cma_msg = &msg_copy;
  20445. + int type, msg_size;
  20446. +
  20447. + msg = vchiu_queue_pop(&cma_msg_queue);
  20448. + if ((unsigned int)msg >= VC_CMA_MSG_MAX) {
  20449. + msg_size = msg->size;
  20450. + memcpy(&msg_copy, msg->data, msg_size);
  20451. + type = cma_msg->type;
  20452. + vchiq_release_message(cma_service, msg);
  20453. + } else {
  20454. + msg_size = 0;
  20455. + type = (int)msg;
  20456. + if (type == VC_CMA_MSG_QUIT)
  20457. + break;
  20458. + else if (type == VC_CMA_MSG_UPDATE_RESERVE) {
  20459. + msg = NULL;
  20460. + cma_msg = NULL;
  20461. + } else {
  20462. + BUG();
  20463. + continue;
  20464. + }
  20465. + }
  20466. +
  20467. + switch (type) {
  20468. + case VC_CMA_MSG_ALLOC:{
  20469. + int num_chunks, free_chunks;
  20470. + num_chunks = cma_msg->params[0];
  20471. + free_chunks =
  20472. + vc_cma_chunks - vc_cma_chunks_used;
  20473. + LOG_DBG("CMA_MSG_ALLOC(%d chunks)", num_chunks);
  20474. + if (num_chunks > VC_CMA_MAX_PARAMS_PER_MSG) {
  20475. + LOG_ERR
  20476. + ("CMA_MSG_ALLOC - chunk count (%d) "
  20477. + "exceeds VC_CMA_MAX_PARAMS_PER_MSG (%d)",
  20478. + num_chunks,
  20479. + VC_CMA_MAX_PARAMS_PER_MSG);
  20480. + num_chunks = VC_CMA_MAX_PARAMS_PER_MSG;
  20481. + }
  20482. +
  20483. + if (num_chunks > free_chunks) {
  20484. + LOG_ERR
  20485. + ("CMA_MSG_ALLOC - chunk count (%d) "
  20486. + "exceeds free chunks (%d)",
  20487. + num_chunks, free_chunks);
  20488. + num_chunks = free_chunks;
  20489. + }
  20490. +
  20491. + vc_cma_alloc_chunks(num_chunks, &reply);
  20492. + }
  20493. + break;
  20494. +
  20495. + case VC_CMA_MSG_FREE:{
  20496. + int chunk_count =
  20497. + (msg_size -
  20498. + offsetof(struct cma_msg,
  20499. + params)) /
  20500. + sizeof(cma_msg->params[0]);
  20501. + int i;
  20502. + BUG_ON(chunk_count <= 0);
  20503. +
  20504. + LOG_DBG("CMA_MSG_FREE(%d chunks - %x, ...)",
  20505. + chunk_count, cma_msg->params[0]);
  20506. + for (i = 0; i < chunk_count; i++) {
  20507. + int chunk_num = cma_msg->params[i];
  20508. + struct page *page = vc_cma_base_page +
  20509. + chunk_num * PAGES_PER_CHUNK;
  20510. + if (chunk_num >= vc_cma_chunks) {
  20511. + LOG_ERR
  20512. + ("CMA_MSG_FREE - chunk %d of %d"
  20513. + " (value %x) exceeds maximum "
  20514. + "(%x)", i, chunk_count,
  20515. + chunk_num,
  20516. + vc_cma_chunks - 1);
  20517. + break;
  20518. + }
  20519. +
  20520. + if (!dma_release_from_contiguous
  20521. + (&vc_cma_device.dev, page,
  20522. + PAGES_PER_CHUNK)) {
  20523. + phys_addr_t _pa = page_to_phys(page);
  20524. + LOG_ERR
  20525. + ("CMA_MSG_FREE - failed to "
  20526. + "release chunk %d (phys %pa, "
  20527. + "page %x)", chunk_num,
  20528. + &_pa,
  20529. + (unsigned int)page);
  20530. + }
  20531. + vc_cma_chunks_used--;
  20532. + }
  20533. + LOG_DBG("CMA released %d chunks -> %d used",
  20534. + i, vc_cma_chunks_used);
  20535. + }
  20536. + break;
  20537. +
  20538. + case VC_CMA_MSG_UPDATE_RESERVE:{
  20539. + int chunks_needed =
  20540. + ((vc_cma_reserve_total + VC_CMA_CHUNK_SIZE -
  20541. + 1)
  20542. + / VC_CMA_CHUNK_SIZE) -
  20543. + vc_cma_chunks_reserved;
  20544. +
  20545. + LOG_DBG
  20546. + ("CMA_MSG_UPDATE_RESERVE(%d chunks needed)",
  20547. + chunks_needed);
  20548. +
  20549. + /* Cap the reservations to what is available */
  20550. + if (chunks_needed > 0) {
  20551. + if (chunks_needed >
  20552. + (vc_cma_chunks -
  20553. + vc_cma_chunks_used))
  20554. + chunks_needed =
  20555. + (vc_cma_chunks -
  20556. + vc_cma_chunks_used);
  20557. +
  20558. + chunks_needed =
  20559. + vc_cma_alloc_chunks(chunks_needed,
  20560. + &reply);
  20561. + }
  20562. +
  20563. + LOG_DBG
  20564. + ("CMA_MSG_UPDATE_RESERVE(%d chunks allocated)",
  20565. + chunks_needed);
  20566. + vc_cma_chunks_reserved += chunks_needed;
  20567. + }
  20568. + break;
  20569. +
  20570. + default:
  20571. + LOG_ERR("unexpected msg type %d", type);
  20572. + break;
  20573. + }
  20574. + }
  20575. +
  20576. + LOG_DBG("quitting...");
  20577. + return 0;
  20578. +}
  20579. +
  20580. +/****************************************************************************
  20581. +*
  20582. +* vc_cma_connected_init
  20583. +*
  20584. +* This function is called once the videocore has been connected.
  20585. +*
  20586. +***************************************************************************/
  20587. +
  20588. +static void vc_cma_connected_init(void)
  20589. +{
  20590. + VCHIQ_SERVICE_PARAMS_T service_params;
  20591. +
  20592. + LOG_DBG("vc_cma_connected_init");
  20593. +
  20594. + if (!vchiu_queue_init(&cma_msg_queue, 16)) {
  20595. + LOG_ERR("could not create CMA msg queue");
  20596. + goto fail_queue;
  20597. + }
  20598. +
  20599. + if (vchiq_initialise(&cma_instance) != VCHIQ_SUCCESS)
  20600. + goto fail_vchiq_init;
  20601. +
  20602. + vchiq_connect(cma_instance);
  20603. +
  20604. + service_params.fourcc = VC_CMA_FOURCC;
  20605. + service_params.callback = cma_service_callback;
  20606. + service_params.userdata = NULL;
  20607. + service_params.version = VC_CMA_VERSION;
  20608. + service_params.version_min = VC_CMA_VERSION;
  20609. +
  20610. + if (vchiq_open_service(cma_instance, &service_params,
  20611. + &cma_service) != VCHIQ_SUCCESS) {
  20612. + LOG_ERR("failed to open service - already in use?");
  20613. + goto fail_vchiq_open;
  20614. + }
  20615. +
  20616. + vchiq_release_service(cma_service);
  20617. +
  20618. + cma_worker = kthread_create(cma_worker_proc, NULL, "cma_worker");
  20619. + if (!cma_worker) {
  20620. + LOG_ERR("could not create CMA worker thread");
  20621. + goto fail_worker;
  20622. + }
  20623. + set_user_nice(cma_worker, -20);
  20624. + wake_up_process(cma_worker);
  20625. +
  20626. + return;
  20627. +
  20628. +fail_worker:
  20629. + vchiq_close_service(cma_service);
  20630. +fail_vchiq_open:
  20631. + vchiq_shutdown(cma_instance);
  20632. +fail_vchiq_init:
  20633. + vchiu_queue_delete(&cma_msg_queue);
  20634. +fail_queue:
  20635. + return;
  20636. +}
  20637. +
  20638. +void
  20639. +loud_error_header(void)
  20640. +{
  20641. + if (in_loud_error)
  20642. + return;
  20643. +
  20644. + LOG_ERR("============================================================"
  20645. + "================");
  20646. + LOG_ERR("============================================================"
  20647. + "================");
  20648. + LOG_ERR("=====");
  20649. +
  20650. + in_loud_error = 1;
  20651. +}
  20652. +
  20653. +void
  20654. +loud_error_footer(void)
  20655. +{
  20656. + if (!in_loud_error)
  20657. + return;
  20658. +
  20659. + LOG_ERR("=====");
  20660. + LOG_ERR("============================================================"
  20661. + "================");
  20662. + LOG_ERR("============================================================"
  20663. + "================");
  20664. +
  20665. + in_loud_error = 0;
  20666. +}
  20667. +
  20668. +#if 1
  20669. +static int check_cma_config(void) { return 1; }
  20670. +#else
  20671. +static int
  20672. +read_vc_debug_var(VC_MEM_ACCESS_HANDLE_T handle,
  20673. + const char *symbol,
  20674. + void *buf, size_t bufsize)
  20675. +{
  20676. + VC_MEM_ADDR_T vcMemAddr;
  20677. + size_t vcMemSize;
  20678. + uint8_t *mapAddr;
  20679. + off_t vcMapAddr;
  20680. +
  20681. + if (!LookupVideoCoreSymbol(handle, symbol,
  20682. + &vcMemAddr,
  20683. + &vcMemSize)) {
  20684. + loud_error_header();
  20685. + loud_error(
  20686. + "failed to find VC symbol \"%s\".",
  20687. + symbol);
  20688. + loud_error_footer();
  20689. + return 0;
  20690. + }
  20691. +
  20692. + if (vcMemSize != bufsize) {
  20693. + loud_error_header();
  20694. + loud_error(
  20695. + "VC symbol \"%s\" is the wrong size.",
  20696. + symbol);
  20697. + loud_error_footer();
  20698. + return 0;
  20699. + }
  20700. +
  20701. + vcMapAddr = (off_t)vcMemAddr & VC_MEM_TO_ARM_ADDR_MASK;
  20702. + vcMapAddr += mm_vc_mem_phys_addr;
  20703. + mapAddr = ioremap_nocache(vcMapAddr, vcMemSize);
  20704. + if (mapAddr == 0) {
  20705. + loud_error_header();
  20706. + loud_error(
  20707. + "failed to ioremap \"%s\" @ 0x%x "
  20708. + "(phys: 0x%x, size: %u).",
  20709. + symbol,
  20710. + (unsigned int)vcMapAddr,
  20711. + (unsigned int)vcMemAddr,
  20712. + (unsigned int)vcMemSize);
  20713. + loud_error_footer();
  20714. + return 0;
  20715. + }
  20716. +
  20717. + memcpy(buf, mapAddr, bufsize);
  20718. + iounmap(mapAddr);
  20719. +
  20720. + return 1;
  20721. +}
  20722. +
  20723. +
  20724. +static int
  20725. +check_cma_config(void)
  20726. +{
  20727. + VC_MEM_ACCESS_HANDLE_T mem_hndl;
  20728. + VC_MEM_ADDR_T mempool_start;
  20729. + VC_MEM_ADDR_T mempool_end;
  20730. + VC_MEM_ADDR_T mempool_offline_start;
  20731. + VC_MEM_ADDR_T mempool_offline_end;
  20732. + VC_MEM_ADDR_T cam_alloc_base;
  20733. + VC_MEM_ADDR_T cam_alloc_size;
  20734. + VC_MEM_ADDR_T cam_alloc_end;
  20735. + int success = 0;
  20736. +
  20737. + if (OpenVideoCoreMemory(&mem_hndl) != 0)
  20738. + goto out;
  20739. +
  20740. + /* Read the relevant VideoCore variables */
  20741. + if (!read_vc_debug_var(mem_hndl, "__MEMPOOL_START",
  20742. + &mempool_start,
  20743. + sizeof(mempool_start)))
  20744. + goto close;
  20745. +
  20746. + if (!read_vc_debug_var(mem_hndl, "__MEMPOOL_END",
  20747. + &mempool_end,
  20748. + sizeof(mempool_end)))
  20749. + goto close;
  20750. +
  20751. + if (!read_vc_debug_var(mem_hndl, "__MEMPOOL_OFFLINE_START",
  20752. + &mempool_offline_start,
  20753. + sizeof(mempool_offline_start)))
  20754. + goto close;
  20755. +
  20756. + if (!read_vc_debug_var(mem_hndl, "__MEMPOOL_OFFLINE_END",
  20757. + &mempool_offline_end,
  20758. + sizeof(mempool_offline_end)))
  20759. + goto close;
  20760. +
  20761. + if (!read_vc_debug_var(mem_hndl, "cam_alloc_base",
  20762. + &cam_alloc_base,
  20763. + sizeof(cam_alloc_base)))
  20764. + goto close;
  20765. +
  20766. + if (!read_vc_debug_var(mem_hndl, "cam_alloc_size",
  20767. + &cam_alloc_size,
  20768. + sizeof(cam_alloc_size)))
  20769. + goto close;
  20770. +
  20771. + cam_alloc_end = cam_alloc_base + cam_alloc_size;
  20772. +
  20773. + success = 1;
  20774. +
  20775. + /* Now the sanity checks */
  20776. + if (!mempool_offline_start)
  20777. + mempool_offline_start = mempool_start;
  20778. + if (!mempool_offline_end)
  20779. + mempool_offline_end = mempool_end;
  20780. +
  20781. + if (VCADDR_TO_PHYSADDR(mempool_offline_start) != vc_cma_base) {
  20782. + loud_error_header();
  20783. + loud_error(
  20784. + "__MEMPOOL_OFFLINE_START(%x -> %lx) doesn't match "
  20785. + "vc_cma_base(%x)",
  20786. + mempool_offline_start,
  20787. + VCADDR_TO_PHYSADDR(mempool_offline_start),
  20788. + vc_cma_base);
  20789. + success = 0;
  20790. + }
  20791. +
  20792. + if (VCADDR_TO_PHYSADDR(mempool_offline_end) !=
  20793. + (vc_cma_base + vc_cma_size)) {
  20794. + loud_error_header();
  20795. + loud_error(
  20796. + "__MEMPOOL_OFFLINE_END(%x -> %lx) doesn't match "
  20797. + "vc_cma_base(%x) + vc_cma_size(%x) = %x",
  20798. + mempool_offline_start,
  20799. + VCADDR_TO_PHYSADDR(mempool_offline_end),
  20800. + vc_cma_base, vc_cma_size, vc_cma_base + vc_cma_size);
  20801. + success = 0;
  20802. + }
  20803. +
  20804. + if (mempool_end < mempool_start) {
  20805. + loud_error_header();
  20806. + loud_error(
  20807. + "__MEMPOOL_END(%x) must not be before "
  20808. + "__MEMPOOL_START(%x)",
  20809. + mempool_end,
  20810. + mempool_start);
  20811. + success = 0;
  20812. + }
  20813. +
  20814. + if (mempool_offline_end < mempool_offline_start) {
  20815. + loud_error_header();
  20816. + loud_error(
  20817. + "__MEMPOOL_OFFLINE_END(%x) must not be before "
  20818. + "__MEMPOOL_OFFLINE_START(%x)",
  20819. + mempool_offline_end,
  20820. + mempool_offline_start);
  20821. + success = 0;
  20822. + }
  20823. +
  20824. + if (mempool_offline_start < mempool_start) {
  20825. + loud_error_header();
  20826. + loud_error(
  20827. + "__MEMPOOL_OFFLINE_START(%x) must not be before "
  20828. + "__MEMPOOL_START(%x)",
  20829. + mempool_offline_start,
  20830. + mempool_start);
  20831. + success = 0;
  20832. + }
  20833. +
  20834. + if (mempool_offline_end > mempool_end) {
  20835. + loud_error_header();
  20836. + loud_error(
  20837. + "__MEMPOOL_OFFLINE_END(%x) must not be after "
  20838. + "__MEMPOOL_END(%x)",
  20839. + mempool_offline_end,
  20840. + mempool_end);
  20841. + success = 0;
  20842. + }
  20843. +
  20844. + if ((cam_alloc_base < mempool_end) &&
  20845. + (cam_alloc_end > mempool_start)) {
  20846. + loud_error_header();
  20847. + loud_error(
  20848. + "cam_alloc pool(%x-%x) overlaps "
  20849. + "mempool(%x-%x)",
  20850. + cam_alloc_base, cam_alloc_end,
  20851. + mempool_start, mempool_end);
  20852. + success = 0;
  20853. + }
  20854. +
  20855. + loud_error_footer();
  20856. +
  20857. +close:
  20858. + CloseVideoCoreMemory(mem_hndl);
  20859. +
  20860. +out:
  20861. + return success;
  20862. +}
  20863. +#endif
  20864. +
  20865. +static int vc_cma_init(void)
  20866. +{
  20867. + int rc = -EFAULT;
  20868. + struct device *dev;
  20869. +
  20870. + if (!check_cma_config())
  20871. + goto out_release;
  20872. +
  20873. + LOG_INFO("vc-cma: Videocore CMA driver");
  20874. + LOG_INFO("vc-cma: vc_cma_base = %pa", &vc_cma_base);
  20875. + LOG_INFO("vc-cma: vc_cma_size = 0x%08x (%u MiB)",
  20876. + vc_cma_size, vc_cma_size / (1024 * 1024));
  20877. + LOG_INFO("vc-cma: vc_cma_initial = 0x%08x (%u MiB)",
  20878. + vc_cma_initial, vc_cma_initial / (1024 * 1024));
  20879. +
  20880. + vc_cma_base_page = phys_to_page(vc_cma_base);
  20881. +
  20882. + if (vc_cma_chunks) {
  20883. + int chunks_needed = vc_cma_initial / VC_CMA_CHUNK_SIZE;
  20884. +
  20885. + for (vc_cma_chunks_used = 0;
  20886. + vc_cma_chunks_used < chunks_needed; vc_cma_chunks_used++) {
  20887. + struct page *chunk;
  20888. + chunk = dma_alloc_from_contiguous(&vc_cma_device.dev,
  20889. + PAGES_PER_CHUNK,
  20890. + VC_CMA_CHUNK_ORDER);
  20891. + if (!chunk)
  20892. + break;
  20893. + BUG_ON(((page_to_phys(chunk) - vc_cma_base) %
  20894. + VC_CMA_CHUNK_SIZE) != 0);
  20895. + }
  20896. + if (vc_cma_chunks_used != chunks_needed) {
  20897. + LOG_ERR("%s: dma_alloc_from_contiguous failed (%d "
  20898. + "bytes, allocation %d of %d)",
  20899. + __func__, VC_CMA_CHUNK_SIZE,
  20900. + vc_cma_chunks_used, chunks_needed);
  20901. + goto out_release;
  20902. + }
  20903. +
  20904. + vchiq_add_connected_callback(vc_cma_connected_init);
  20905. + }
  20906. +
  20907. + rc = alloc_chrdev_region(&vc_cma_devnum, 0, 1, DRIVER_NAME);
  20908. + if (rc < 0) {
  20909. + LOG_ERR("%s: alloc_chrdev_region failed (rc=%d)", __func__, rc);
  20910. + goto out_release;
  20911. + }
  20912. +
  20913. + cdev_init(&vc_cma_cdev, &vc_cma_fops);
  20914. + rc = cdev_add(&vc_cma_cdev, vc_cma_devnum, 1);
  20915. + if (rc != 0) {
  20916. + LOG_ERR("%s: cdev_add failed (rc=%d)", __func__, rc);
  20917. + goto out_unregister;
  20918. + }
  20919. +
  20920. + vc_cma_class = class_create(THIS_MODULE, DRIVER_NAME);
  20921. + if (IS_ERR(vc_cma_class)) {
  20922. + rc = PTR_ERR(vc_cma_class);
  20923. + LOG_ERR("%s: class_create failed (rc=%d)", __func__, rc);
  20924. + goto out_cdev_del;
  20925. + }
  20926. +
  20927. + dev = device_create(vc_cma_class, NULL, vc_cma_devnum, NULL,
  20928. + DRIVER_NAME);
  20929. + if (IS_ERR(dev)) {
  20930. + rc = PTR_ERR(dev);
  20931. + LOG_ERR("%s: device_create failed (rc=%d)", __func__, rc);
  20932. + goto out_class_destroy;
  20933. + }
  20934. +
  20935. + vc_cma_proc_entry = proc_create(DRIVER_NAME, 0444, NULL, &vc_cma_proc_fops);
  20936. + if (vc_cma_proc_entry == NULL) {
  20937. + rc = -EFAULT;
  20938. + LOG_ERR("%s: proc_create failed", __func__);
  20939. + goto out_device_destroy;
  20940. + }
  20941. +
  20942. + vc_cma_inited = 1;
  20943. + return 0;
  20944. +
  20945. +out_device_destroy:
  20946. + device_destroy(vc_cma_class, vc_cma_devnum);
  20947. +
  20948. +out_class_destroy:
  20949. + class_destroy(vc_cma_class);
  20950. + vc_cma_class = NULL;
  20951. +
  20952. +out_cdev_del:
  20953. + cdev_del(&vc_cma_cdev);
  20954. +
  20955. +out_unregister:
  20956. + unregister_chrdev_region(vc_cma_devnum, 1);
  20957. +
  20958. +out_release:
  20959. + /* It is tempting to try to clean up by calling
  20960. + dma_release_from_contiguous for all allocated chunks, but it isn't
  20961. + a very safe thing to do. If vc_cma_initial is non-zero it is because
  20962. + VideoCore is already using that memory, so giving it back to Linux
  20963. + is likely to be fatal.
  20964. + */
  20965. + return -1;
  20966. +}
  20967. +
  20968. +/****************************************************************************
  20969. +*
  20970. +* vc_cma_exit
  20971. +*
  20972. +***************************************************************************/
  20973. +
  20974. +static void __exit vc_cma_exit(void)
  20975. +{
  20976. + LOG_DBG("%s: called", __func__);
  20977. +
  20978. + if (vc_cma_inited) {
  20979. + remove_proc_entry(DRIVER_NAME, NULL);
  20980. + device_destroy(vc_cma_class, vc_cma_devnum);
  20981. + class_destroy(vc_cma_class);
  20982. + cdev_del(&vc_cma_cdev);
  20983. + unregister_chrdev_region(vc_cma_devnum, 1);
  20984. + }
  20985. +}
  20986. +
  20987. +module_init(vc_cma_init);
  20988. +module_exit(vc_cma_exit);
  20989. +MODULE_LICENSE("GPL");
  20990. +MODULE_AUTHOR("Broadcom Corporation");
  20991. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vcio.c linux-rpi/drivers/char/broadcom/vcio.c
  20992. --- linux-4.1.13.orig/drivers/char/broadcom/vcio.c 1970-01-01 01:00:00.000000000 +0100
  20993. +++ linux-rpi/drivers/char/broadcom/vcio.c 2015-11-29 09:42:36.707312101 +0100
  20994. @@ -0,0 +1,175 @@
  20995. +/*
  20996. + * Copyright (C) 2010 Broadcom
  20997. + * Copyright (C) 2015 Noralf Trønnes
  20998. + *
  20999. + * This program is free software; you can redistribute it and/or modify
  21000. + * it under the terms of the GNU General Public License version 2 as
  21001. + * published by the Free Software Foundation.
  21002. + *
  21003. + */
  21004. +
  21005. +#define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
  21006. +
  21007. +#include <linux/cdev.h>
  21008. +#include <linux/device.h>
  21009. +#include <linux/fs.h>
  21010. +#include <linux/init.h>
  21011. +#include <linux/ioctl.h>
  21012. +#include <linux/module.h>
  21013. +#include <linux/slab.h>
  21014. +#include <linux/uaccess.h>
  21015. +#include <soc/bcm2835/raspberrypi-firmware.h>
  21016. +
  21017. +#define MBOX_CHAN_PROPERTY 8
  21018. +
  21019. +#define VCIO_IOC_MAGIC 100
  21020. +#define IOCTL_MBOX_PROPERTY _IOWR(VCIO_IOC_MAGIC, 0, char *)
  21021. +
  21022. +static struct {
  21023. + dev_t devt;
  21024. + struct cdev cdev;
  21025. + struct class *class;
  21026. + struct rpi_firmware *fw;
  21027. +} vcio;
  21028. +
  21029. +static int vcio_user_property_list(void *user)
  21030. +{
  21031. + u32 *buf, size;
  21032. + int ret;
  21033. +
  21034. + /* The first 32-bit is the size of the buffer */
  21035. + if (copy_from_user(&size, user, sizeof(size)))
  21036. + return -EFAULT;
  21037. +
  21038. + buf = kmalloc(size, GFP_KERNEL);
  21039. + if (!buf)
  21040. + return -ENOMEM;
  21041. +
  21042. + if (copy_from_user(buf, user, size)) {
  21043. + kfree(buf);
  21044. + return -EFAULT;
  21045. + }
  21046. +
  21047. + /* Strip off protocol encapsulation */
  21048. + ret = rpi_firmware_property_list(vcio.fw, &buf[2], size - 12);
  21049. + if (ret) {
  21050. + kfree(buf);
  21051. + return ret;
  21052. + }
  21053. +
  21054. + buf[1] = RPI_FIRMWARE_STATUS_SUCCESS;
  21055. + if (copy_to_user(user, buf, size))
  21056. + ret = -EFAULT;
  21057. +
  21058. + kfree(buf);
  21059. +
  21060. + return ret;
  21061. +}
  21062. +
  21063. +static int vcio_device_open(struct inode *inode, struct file *file)
  21064. +{
  21065. + try_module_get(THIS_MODULE);
  21066. +
  21067. + return 0;
  21068. +}
  21069. +
  21070. +static int vcio_device_release(struct inode *inode, struct file *file)
  21071. +{
  21072. + module_put(THIS_MODULE);
  21073. +
  21074. + return 0;
  21075. +}
  21076. +
  21077. +static long vcio_device_ioctl(struct file *file, unsigned int ioctl_num,
  21078. + unsigned long ioctl_param)
  21079. +{
  21080. + switch (ioctl_num) {
  21081. + case IOCTL_MBOX_PROPERTY:
  21082. + return vcio_user_property_list((void *)ioctl_param);
  21083. + default:
  21084. + pr_err("unknown ioctl: %d\n", ioctl_num);
  21085. + return -EINVAL;
  21086. + }
  21087. +}
  21088. +
  21089. +const struct file_operations vcio_fops = {
  21090. + .unlocked_ioctl = vcio_device_ioctl,
  21091. + .open = vcio_device_open,
  21092. + .release = vcio_device_release,
  21093. +};
  21094. +
  21095. +static int __init vcio_init(void)
  21096. +{
  21097. + struct device_node *np;
  21098. + static struct device *dev;
  21099. + int ret;
  21100. +
  21101. + np = of_find_compatible_node(NULL, NULL,
  21102. + "raspberrypi,bcm2835-firmware");
  21103. +/* Uncomment this when we only boot with Device Tree
  21104. + if (!of_device_is_available(np))
  21105. + return -ENODEV;
  21106. +*/
  21107. + vcio.fw = rpi_firmware_get(np);
  21108. + if (!vcio.fw)
  21109. + return -ENODEV;
  21110. +
  21111. + ret = alloc_chrdev_region(&vcio.devt, 0, 1, "vcio");
  21112. + if (ret) {
  21113. + pr_err("failed to allocate device number\n");
  21114. + return ret;
  21115. + }
  21116. +
  21117. + cdev_init(&vcio.cdev, &vcio_fops);
  21118. + vcio.cdev.owner = THIS_MODULE;
  21119. + ret = cdev_add(&vcio.cdev, vcio.devt, 1);
  21120. + if (ret) {
  21121. + pr_err("failed to register device\n");
  21122. + goto err_unregister_chardev;
  21123. + }
  21124. +
  21125. + /*
  21126. + * Create sysfs entries
  21127. + * 'bcm2708_vcio' is used for backwards compatibility so we don't break
  21128. + * userspace. Raspian has a udev rule that changes the permissions.
  21129. + */
  21130. + vcio.class = class_create(THIS_MODULE, "bcm2708_vcio");
  21131. + if (IS_ERR(vcio.class)) {
  21132. + ret = PTR_ERR(vcio.class);
  21133. + pr_err("failed to create class\n");
  21134. + goto err_cdev_del;
  21135. + }
  21136. +
  21137. + dev = device_create(vcio.class, NULL, vcio.devt, NULL, "vcio");
  21138. + if (IS_ERR(dev)) {
  21139. + ret = PTR_ERR(dev);
  21140. + pr_err("failed to create device\n");
  21141. + goto err_class_destroy;
  21142. + }
  21143. +
  21144. + return 0;
  21145. +
  21146. +err_class_destroy:
  21147. + class_destroy(vcio.class);
  21148. +err_cdev_del:
  21149. + cdev_del(&vcio.cdev);
  21150. +err_unregister_chardev:
  21151. + unregister_chrdev_region(vcio.devt, 1);
  21152. +
  21153. + return ret;
  21154. +}
  21155. +module_init(vcio_init);
  21156. +
  21157. +static void __exit vcio_exit(void)
  21158. +{
  21159. + device_destroy(vcio.class, vcio.devt);
  21160. + class_destroy(vcio.class);
  21161. + cdev_del(&vcio.cdev);
  21162. + unregister_chrdev_region(vcio.devt, 1);
  21163. +}
  21164. +module_exit(vcio_exit);
  21165. +
  21166. +MODULE_AUTHOR("Gray Girling");
  21167. +MODULE_AUTHOR("Noralf Trønnes");
  21168. +MODULE_DESCRIPTION("Mailbox userspace access");
  21169. +MODULE_LICENSE("GPL");
  21170. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_mem.c linux-rpi/drivers/char/broadcom/vc_mem.c
  21171. --- linux-4.1.13.orig/drivers/char/broadcom/vc_mem.c 1970-01-01 01:00:00.000000000 +0100
  21172. +++ linux-rpi/drivers/char/broadcom/vc_mem.c 2015-11-29 09:42:36.703312367 +0100
  21173. @@ -0,0 +1,422 @@
  21174. +/*****************************************************************************
  21175. +* Copyright 2010 - 2011 Broadcom Corporation. All rights reserved.
  21176. +*
  21177. +* Unless you and Broadcom execute a separate written software license
  21178. +* agreement governing use of this software, this software is licensed to you
  21179. +* under the terms of the GNU General Public License version 2, available at
  21180. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  21181. +*
  21182. +* Notwithstanding the above, under no circumstances may you combine this
  21183. +* software in any way with any other Broadcom software provided under a
  21184. +* license other than the GPL, without Broadcom's express prior written
  21185. +* consent.
  21186. +*****************************************************************************/
  21187. +
  21188. +#include <linux/kernel.h>
  21189. +#include <linux/module.h>
  21190. +#include <linux/fs.h>
  21191. +#include <linux/device.h>
  21192. +#include <linux/cdev.h>
  21193. +#include <linux/mm.h>
  21194. +#include <linux/slab.h>
  21195. +#include <linux/debugfs.h>
  21196. +#include <asm/uaccess.h>
  21197. +#include <linux/dma-mapping.h>
  21198. +#include <linux/broadcom/vc_mem.h>
  21199. +
  21200. +#define DRIVER_NAME "vc-mem"
  21201. +
  21202. +// Device (/dev) related variables
  21203. +static dev_t vc_mem_devnum = 0;
  21204. +static struct class *vc_mem_class = NULL;
  21205. +static struct cdev vc_mem_cdev;
  21206. +static int vc_mem_inited = 0;
  21207. +
  21208. +#ifdef CONFIG_DEBUG_FS
  21209. +static struct dentry *vc_mem_debugfs_entry;
  21210. +#endif
  21211. +
  21212. +/*
  21213. + * Videocore memory addresses and size
  21214. + *
  21215. + * Drivers that wish to know the videocore memory addresses and sizes should
  21216. + * use these variables instead of the MM_IO_BASE and MM_ADDR_IO defines in
  21217. + * headers. This allows the other drivers to not be tied down to a a certain
  21218. + * address/size at compile time.
  21219. + *
  21220. + * In the future, the goal is to have the videocore memory virtual address and
  21221. + * size be calculated at boot time rather than at compile time. The decision of
  21222. + * where the videocore memory resides and its size would be in the hands of the
  21223. + * bootloader (and/or kernel). When that happens, the values of these variables
  21224. + * would be calculated and assigned in the init function.
  21225. + */
  21226. +// in the 2835 VC in mapped above ARM, but ARM has full access to VC space
  21227. +unsigned long mm_vc_mem_phys_addr = 0x00000000;
  21228. +unsigned int mm_vc_mem_size = 0;
  21229. +unsigned int mm_vc_mem_base = 0;
  21230. +
  21231. +EXPORT_SYMBOL(mm_vc_mem_phys_addr);
  21232. +EXPORT_SYMBOL(mm_vc_mem_size);
  21233. +EXPORT_SYMBOL(mm_vc_mem_base);
  21234. +
  21235. +static uint phys_addr = 0;
  21236. +static uint mem_size = 0;
  21237. +static uint mem_base = 0;
  21238. +
  21239. +
  21240. +/****************************************************************************
  21241. +*
  21242. +* vc_mem_open
  21243. +*
  21244. +***************************************************************************/
  21245. +
  21246. +static int
  21247. +vc_mem_open(struct inode *inode, struct file *file)
  21248. +{
  21249. + (void) inode;
  21250. + (void) file;
  21251. +
  21252. + pr_debug("%s: called file = 0x%p\n", __func__, file);
  21253. +
  21254. + return 0;
  21255. +}
  21256. +
  21257. +/****************************************************************************
  21258. +*
  21259. +* vc_mem_release
  21260. +*
  21261. +***************************************************************************/
  21262. +
  21263. +static int
  21264. +vc_mem_release(struct inode *inode, struct file *file)
  21265. +{
  21266. + (void) inode;
  21267. + (void) file;
  21268. +
  21269. + pr_debug("%s: called file = 0x%p\n", __func__, file);
  21270. +
  21271. + return 0;
  21272. +}
  21273. +
  21274. +/****************************************************************************
  21275. +*
  21276. +* vc_mem_get_size
  21277. +*
  21278. +***************************************************************************/
  21279. +
  21280. +static void
  21281. +vc_mem_get_size(void)
  21282. +{
  21283. +}
  21284. +
  21285. +/****************************************************************************
  21286. +*
  21287. +* vc_mem_get_base
  21288. +*
  21289. +***************************************************************************/
  21290. +
  21291. +static void
  21292. +vc_mem_get_base(void)
  21293. +{
  21294. +}
  21295. +
  21296. +/****************************************************************************
  21297. +*
  21298. +* vc_mem_get_current_size
  21299. +*
  21300. +***************************************************************************/
  21301. +
  21302. +int
  21303. +vc_mem_get_current_size(void)
  21304. +{
  21305. + return mm_vc_mem_size;
  21306. +}
  21307. +
  21308. +EXPORT_SYMBOL_GPL(vc_mem_get_current_size);
  21309. +
  21310. +/****************************************************************************
  21311. +*
  21312. +* vc_mem_ioctl
  21313. +*
  21314. +***************************************************************************/
  21315. +
  21316. +static long
  21317. +vc_mem_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  21318. +{
  21319. + int rc = 0;
  21320. +
  21321. + (void) cmd;
  21322. + (void) arg;
  21323. +
  21324. + pr_debug("%s: called file = 0x%p\n", __func__, file);
  21325. +
  21326. + switch (cmd) {
  21327. + case VC_MEM_IOC_MEM_PHYS_ADDR:
  21328. + {
  21329. + pr_debug("%s: VC_MEM_IOC_MEM_PHYS_ADDR=0x%p\n",
  21330. + __func__, (void *) mm_vc_mem_phys_addr);
  21331. +
  21332. + if (copy_to_user((void *) arg, &mm_vc_mem_phys_addr,
  21333. + sizeof (mm_vc_mem_phys_addr)) != 0) {
  21334. + rc = -EFAULT;
  21335. + }
  21336. + break;
  21337. + }
  21338. + case VC_MEM_IOC_MEM_SIZE:
  21339. + {
  21340. + // Get the videocore memory size first
  21341. + vc_mem_get_size();
  21342. +
  21343. + pr_debug("%s: VC_MEM_IOC_MEM_SIZE=%u\n", __func__,
  21344. + mm_vc_mem_size);
  21345. +
  21346. + if (copy_to_user((void *) arg, &mm_vc_mem_size,
  21347. + sizeof (mm_vc_mem_size)) != 0) {
  21348. + rc = -EFAULT;
  21349. + }
  21350. + break;
  21351. + }
  21352. + case VC_MEM_IOC_MEM_BASE:
  21353. + {
  21354. + // Get the videocore memory base
  21355. + vc_mem_get_base();
  21356. +
  21357. + pr_debug("%s: VC_MEM_IOC_MEM_BASE=%u\n", __func__,
  21358. + mm_vc_mem_base);
  21359. +
  21360. + if (copy_to_user((void *) arg, &mm_vc_mem_base,
  21361. + sizeof (mm_vc_mem_base)) != 0) {
  21362. + rc = -EFAULT;
  21363. + }
  21364. + break;
  21365. + }
  21366. + case VC_MEM_IOC_MEM_LOAD:
  21367. + {
  21368. + // Get the videocore memory base
  21369. + vc_mem_get_base();
  21370. +
  21371. + pr_debug("%s: VC_MEM_IOC_MEM_LOAD=%u\n", __func__,
  21372. + mm_vc_mem_base);
  21373. +
  21374. + if (copy_to_user((void *) arg, &mm_vc_mem_base,
  21375. + sizeof (mm_vc_mem_base)) != 0) {
  21376. + rc = -EFAULT;
  21377. + }
  21378. + break;
  21379. + }
  21380. + default:
  21381. + {
  21382. + return -ENOTTY;
  21383. + }
  21384. + }
  21385. + pr_debug("%s: file = 0x%p returning %d\n", __func__, file, rc);
  21386. +
  21387. + return rc;
  21388. +}
  21389. +
  21390. +/****************************************************************************
  21391. +*
  21392. +* vc_mem_mmap
  21393. +*
  21394. +***************************************************************************/
  21395. +
  21396. +static int
  21397. +vc_mem_mmap(struct file *filp, struct vm_area_struct *vma)
  21398. +{
  21399. + int rc = 0;
  21400. + unsigned long length = vma->vm_end - vma->vm_start;
  21401. + unsigned long offset = vma->vm_pgoff << PAGE_SHIFT;
  21402. +
  21403. + pr_debug("%s: vm_start = 0x%08lx vm_end = 0x%08lx vm_pgoff = 0x%08lx\n",
  21404. + __func__, (long) vma->vm_start, (long) vma->vm_end,
  21405. + (long) vma->vm_pgoff);
  21406. +
  21407. + if (offset + length > mm_vc_mem_size) {
  21408. + pr_err("%s: length %ld is too big\n", __func__, length);
  21409. + return -EINVAL;
  21410. + }
  21411. + // Do not cache the memory map
  21412. + vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot);
  21413. +
  21414. + rc = remap_pfn_range(vma, vma->vm_start,
  21415. + (mm_vc_mem_phys_addr >> PAGE_SHIFT) +
  21416. + vma->vm_pgoff, length, vma->vm_page_prot);
  21417. + if (rc != 0) {
  21418. + pr_err("%s: remap_pfn_range failed (rc=%d)\n", __func__, rc);
  21419. + }
  21420. +
  21421. + return rc;
  21422. +}
  21423. +
  21424. +/****************************************************************************
  21425. +*
  21426. +* File Operations for the driver.
  21427. +*
  21428. +***************************************************************************/
  21429. +
  21430. +static const struct file_operations vc_mem_fops = {
  21431. + .owner = THIS_MODULE,
  21432. + .open = vc_mem_open,
  21433. + .release = vc_mem_release,
  21434. + .unlocked_ioctl = vc_mem_ioctl,
  21435. + .mmap = vc_mem_mmap,
  21436. +};
  21437. +
  21438. +#ifdef CONFIG_DEBUG_FS
  21439. +static void vc_mem_debugfs_deinit(void)
  21440. +{
  21441. + debugfs_remove_recursive(vc_mem_debugfs_entry);
  21442. + vc_mem_debugfs_entry = NULL;
  21443. +}
  21444. +
  21445. +
  21446. +static int vc_mem_debugfs_init(
  21447. + struct device *dev)
  21448. +{
  21449. + vc_mem_debugfs_entry = debugfs_create_dir(DRIVER_NAME, NULL);
  21450. + if (!vc_mem_debugfs_entry) {
  21451. + dev_warn(dev, "could not create debugfs entry\n");
  21452. + return -EFAULT;
  21453. + }
  21454. +
  21455. + if (!debugfs_create_x32("vc_mem_phys_addr",
  21456. + 0444,
  21457. + vc_mem_debugfs_entry,
  21458. + (u32 *)&mm_vc_mem_phys_addr)) {
  21459. + dev_warn(dev, "%s:could not create vc_mem_phys entry\n",
  21460. + __func__);
  21461. + goto fail;
  21462. + }
  21463. +
  21464. + if (!debugfs_create_x32("vc_mem_size",
  21465. + 0444,
  21466. + vc_mem_debugfs_entry,
  21467. + (u32 *)&mm_vc_mem_size)) {
  21468. + dev_warn(dev, "%s:could not create vc_mem_size entry\n",
  21469. + __func__);
  21470. + goto fail;
  21471. + }
  21472. +
  21473. + if (!debugfs_create_x32("vc_mem_base",
  21474. + 0444,
  21475. + vc_mem_debugfs_entry,
  21476. + (u32 *)&mm_vc_mem_base)) {
  21477. + dev_warn(dev, "%s:could not create vc_mem_base entry\n",
  21478. + __func__);
  21479. + goto fail;
  21480. + }
  21481. +
  21482. + return 0;
  21483. +
  21484. +fail:
  21485. + vc_mem_debugfs_deinit();
  21486. + return -EFAULT;
  21487. +}
  21488. +
  21489. +#endif /* CONFIG_DEBUG_FS */
  21490. +
  21491. +
  21492. +/****************************************************************************
  21493. +*
  21494. +* vc_mem_init
  21495. +*
  21496. +***************************************************************************/
  21497. +
  21498. +static int __init
  21499. +vc_mem_init(void)
  21500. +{
  21501. + int rc = -EFAULT;
  21502. + struct device *dev;
  21503. +
  21504. + pr_debug("%s: called\n", __func__);
  21505. +
  21506. + mm_vc_mem_phys_addr = phys_addr;
  21507. + mm_vc_mem_size = mem_size;
  21508. + mm_vc_mem_base = mem_base;
  21509. +
  21510. + vc_mem_get_size();
  21511. +
  21512. + pr_info("vc-mem: phys_addr:0x%08lx mem_base=0x%08x mem_size:0x%08x(%u MiB)\n",
  21513. + mm_vc_mem_phys_addr, mm_vc_mem_base, mm_vc_mem_size, mm_vc_mem_size / (1024 * 1024));
  21514. +
  21515. + if ((rc = alloc_chrdev_region(&vc_mem_devnum, 0, 1, DRIVER_NAME)) < 0) {
  21516. + pr_err("%s: alloc_chrdev_region failed (rc=%d)\n",
  21517. + __func__, rc);
  21518. + goto out_err;
  21519. + }
  21520. +
  21521. + cdev_init(&vc_mem_cdev, &vc_mem_fops);
  21522. + if ((rc = cdev_add(&vc_mem_cdev, vc_mem_devnum, 1)) != 0) {
  21523. + pr_err("%s: cdev_add failed (rc=%d)\n", __func__, rc);
  21524. + goto out_unregister;
  21525. + }
  21526. +
  21527. + vc_mem_class = class_create(THIS_MODULE, DRIVER_NAME);
  21528. + if (IS_ERR(vc_mem_class)) {
  21529. + rc = PTR_ERR(vc_mem_class);
  21530. + pr_err("%s: class_create failed (rc=%d)\n", __func__, rc);
  21531. + goto out_cdev_del;
  21532. + }
  21533. +
  21534. + dev = device_create(vc_mem_class, NULL, vc_mem_devnum, NULL,
  21535. + DRIVER_NAME);
  21536. + if (IS_ERR(dev)) {
  21537. + rc = PTR_ERR(dev);
  21538. + pr_err("%s: device_create failed (rc=%d)\n", __func__, rc);
  21539. + goto out_class_destroy;
  21540. + }
  21541. +
  21542. +#ifdef CONFIG_DEBUG_FS
  21543. + /* don't fail if the debug entries cannot be created */
  21544. + vc_mem_debugfs_init(dev);
  21545. +#endif
  21546. +
  21547. + vc_mem_inited = 1;
  21548. + return 0;
  21549. +
  21550. + device_destroy(vc_mem_class, vc_mem_devnum);
  21551. +
  21552. + out_class_destroy:
  21553. + class_destroy(vc_mem_class);
  21554. + vc_mem_class = NULL;
  21555. +
  21556. + out_cdev_del:
  21557. + cdev_del(&vc_mem_cdev);
  21558. +
  21559. + out_unregister:
  21560. + unregister_chrdev_region(vc_mem_devnum, 1);
  21561. +
  21562. + out_err:
  21563. + return -1;
  21564. +}
  21565. +
  21566. +/****************************************************************************
  21567. +*
  21568. +* vc_mem_exit
  21569. +*
  21570. +***************************************************************************/
  21571. +
  21572. +static void __exit
  21573. +vc_mem_exit(void)
  21574. +{
  21575. + pr_debug("%s: called\n", __func__);
  21576. +
  21577. + if (vc_mem_inited) {
  21578. +#if CONFIG_DEBUG_FS
  21579. + vc_mem_debugfs_deinit();
  21580. +#endif
  21581. + device_destroy(vc_mem_class, vc_mem_devnum);
  21582. + class_destroy(vc_mem_class);
  21583. + cdev_del(&vc_mem_cdev);
  21584. + unregister_chrdev_region(vc_mem_devnum, 1);
  21585. + }
  21586. +}
  21587. +
  21588. +module_init(vc_mem_init);
  21589. +module_exit(vc_mem_exit);
  21590. +MODULE_LICENSE("GPL");
  21591. +MODULE_AUTHOR("Broadcom Corporation");
  21592. +
  21593. +module_param(phys_addr, uint, 0644);
  21594. +module_param(mem_size, uint, 0644);
  21595. +module_param(mem_base, uint, 0644);
  21596. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_sm/Makefile linux-rpi/drivers/char/broadcom/vc_sm/Makefile
  21597. --- linux-4.1.13.orig/drivers/char/broadcom/vc_sm/Makefile 1970-01-01 01:00:00.000000000 +0100
  21598. +++ linux-rpi/drivers/char/broadcom/vc_sm/Makefile 2015-11-29 09:42:36.703312367 +0100
  21599. @@ -0,0 +1,21 @@
  21600. +EXTRA_CFLAGS += -Wall -Wstrict-prototypes -Wno-trigraphs -O2
  21601. +
  21602. +EXTRA_CFLAGS += -I"./arch/arm/mach-bcm2708/include/mach"
  21603. +EXTRA_CFLAGS += -I"drivers/misc/vc04_services"
  21604. +EXTRA_CFLAGS += -I"drivers/misc/vc04_services/interface/vchi"
  21605. +EXTRA_CFLAGS += -I"drivers/misc/vc04_services/interface/vchiq_arm"
  21606. +EXTRA_CFLAGS += -I"$(srctree)/fs/"
  21607. +
  21608. +EXTRA_CFLAGS += -DOS_ASSERT_FAILURE
  21609. +EXTRA_CFLAGS += -D__STDC_VERSION=199901L
  21610. +EXTRA_CFLAGS += -D__STDC_VERSION__=199901L
  21611. +EXTRA_CFLAGS += -D__VCCOREVER__=0
  21612. +EXTRA_CFLAGS += -D__KERNEL__
  21613. +EXTRA_CFLAGS += -D__linux__
  21614. +EXTRA_CFLAGS += -Werror
  21615. +
  21616. +obj-$(CONFIG_BCM_VC_SM) := vc-sm.o
  21617. +
  21618. +vc-sm-objs := \
  21619. + vmcs_sm.o \
  21620. + vc_vchi_sm.o
  21621. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_sm/vc_vchi_sm.c linux-rpi/drivers/char/broadcom/vc_sm/vc_vchi_sm.c
  21622. --- linux-4.1.13.orig/drivers/char/broadcom/vc_sm/vc_vchi_sm.c 1970-01-01 01:00:00.000000000 +0100
  21623. +++ linux-rpi/drivers/char/broadcom/vc_sm/vc_vchi_sm.c 2015-11-29 09:42:36.703312367 +0100
  21624. @@ -0,0 +1,492 @@
  21625. +/*****************************************************************************
  21626. +* Copyright 2011-2012 Broadcom Corporation. All rights reserved.
  21627. +*
  21628. +* Unless you and Broadcom execute a separate written software license
  21629. +* agreement governing use of this software, this software is licensed to you
  21630. +* under the terms of the GNU General Public License version 2, available at
  21631. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  21632. +*
  21633. +* Notwithstanding the above, under no circumstances may you combine this
  21634. +* software in any way with any other Broadcom software provided under a
  21635. +* license other than the GPL, without Broadcom's express prior written
  21636. +* consent.
  21637. +*****************************************************************************/
  21638. +
  21639. +/* ---- Include Files ----------------------------------------------------- */
  21640. +#include <linux/types.h>
  21641. +#include <linux/kernel.h>
  21642. +#include <linux/list.h>
  21643. +#include <linux/semaphore.h>
  21644. +#include <linux/mutex.h>
  21645. +#include <linux/slab.h>
  21646. +#include <linux/kthread.h>
  21647. +
  21648. +#include "vc_vchi_sm.h"
  21649. +
  21650. +#define VC_SM_VER 1
  21651. +#define VC_SM_MIN_VER 0
  21652. +
  21653. +/* ---- Private Constants and Types -------------------------------------- */
  21654. +
  21655. +/* Command blocks come from a pool */
  21656. +#define SM_MAX_NUM_CMD_RSP_BLKS 32
  21657. +
  21658. +struct sm_cmd_rsp_blk {
  21659. + struct list_head head; /* To create lists */
  21660. + struct semaphore sema; /* To be signaled when the response is there */
  21661. +
  21662. + uint16_t id;
  21663. + uint16_t length;
  21664. +
  21665. + uint8_t msg[VC_SM_MAX_MSG_LEN];
  21666. +
  21667. + uint32_t wait:1;
  21668. + uint32_t sent:1;
  21669. + uint32_t alloc:1;
  21670. +
  21671. +};
  21672. +
  21673. +struct sm_instance {
  21674. + uint32_t num_connections;
  21675. + VCHI_SERVICE_HANDLE_T vchi_handle[VCHI_MAX_NUM_CONNECTIONS];
  21676. + struct task_struct *io_thread;
  21677. + struct semaphore io_sema;
  21678. +
  21679. + uint32_t trans_id;
  21680. +
  21681. + struct mutex lock;
  21682. + struct list_head cmd_list;
  21683. + struct list_head rsp_list;
  21684. + struct list_head dead_list;
  21685. +
  21686. + struct sm_cmd_rsp_blk free_blk[SM_MAX_NUM_CMD_RSP_BLKS];
  21687. + struct list_head free_list;
  21688. + struct mutex free_lock;
  21689. + struct semaphore free_sema;
  21690. +
  21691. +};
  21692. +
  21693. +/* ---- Private Variables ------------------------------------------------ */
  21694. +
  21695. +/* ---- Private Function Prototypes -------------------------------------- */
  21696. +
  21697. +/* ---- Private Functions ------------------------------------------------ */
  21698. +static struct
  21699. +sm_cmd_rsp_blk *vc_vchi_cmd_create(struct sm_instance *instance,
  21700. + VC_SM_MSG_TYPE id, void *msg,
  21701. + uint32_t size, int wait)
  21702. +{
  21703. + struct sm_cmd_rsp_blk *blk;
  21704. + VC_SM_MSG_HDR_T *hdr;
  21705. +
  21706. + if (down_interruptible(&instance->free_sema)) {
  21707. + blk = kmalloc(sizeof(*blk), GFP_KERNEL);
  21708. + if (!blk)
  21709. + return NULL;
  21710. +
  21711. + blk->alloc = 1;
  21712. + sema_init(&blk->sema, 0);
  21713. + } else {
  21714. + mutex_lock(&instance->free_lock);
  21715. + blk =
  21716. + list_first_entry(&instance->free_list,
  21717. + struct sm_cmd_rsp_blk, head);
  21718. + list_del(&blk->head);
  21719. + mutex_unlock(&instance->free_lock);
  21720. + }
  21721. +
  21722. + blk->sent = 0;
  21723. + blk->wait = wait;
  21724. + blk->length = sizeof(*hdr) + size;
  21725. +
  21726. + hdr = (VC_SM_MSG_HDR_T *) blk->msg;
  21727. + hdr->type = id;
  21728. + mutex_lock(&instance->lock);
  21729. + hdr->trans_id = blk->id = ++instance->trans_id;
  21730. + mutex_unlock(&instance->lock);
  21731. +
  21732. + if (size)
  21733. + memcpy(hdr->body, msg, size);
  21734. +
  21735. + return blk;
  21736. +}
  21737. +
  21738. +static void
  21739. +vc_vchi_cmd_delete(struct sm_instance *instance, struct sm_cmd_rsp_blk *blk)
  21740. +{
  21741. + if (blk->alloc) {
  21742. + kfree(blk);
  21743. + return;
  21744. + }
  21745. +
  21746. + mutex_lock(&instance->free_lock);
  21747. + list_add(&blk->head, &instance->free_list);
  21748. + mutex_unlock(&instance->free_lock);
  21749. + up(&instance->free_sema);
  21750. +}
  21751. +
  21752. +static int vc_vchi_sm_videocore_io(void *arg)
  21753. +{
  21754. + struct sm_instance *instance = arg;
  21755. + struct sm_cmd_rsp_blk *cmd = NULL, *cmd_tmp;
  21756. + VC_SM_RESULT_T *reply;
  21757. + uint32_t reply_len;
  21758. + int32_t status;
  21759. + int svc_use = 1;
  21760. +
  21761. + while (1) {
  21762. + if (svc_use)
  21763. + vchi_service_release(instance->vchi_handle[0]);
  21764. + svc_use = 0;
  21765. + if (!down_interruptible(&instance->io_sema)) {
  21766. + vchi_service_use(instance->vchi_handle[0]);
  21767. + svc_use = 1;
  21768. +
  21769. + do {
  21770. + unsigned int flags;
  21771. + /*
  21772. + * Get new command and move it to response list
  21773. + */
  21774. + mutex_lock(&instance->lock);
  21775. + if (list_empty(&instance->cmd_list)) {
  21776. + /* no more commands to process */
  21777. + mutex_unlock(&instance->lock);
  21778. + break;
  21779. + }
  21780. + cmd =
  21781. + list_first_entry(&instance->cmd_list,
  21782. + struct sm_cmd_rsp_blk,
  21783. + head);
  21784. + list_move(&cmd->head, &instance->rsp_list);
  21785. + cmd->sent = 1;
  21786. + mutex_unlock(&instance->lock);
  21787. +
  21788. + /* Send the command */
  21789. + flags = VCHI_FLAGS_BLOCK_UNTIL_QUEUED;
  21790. + status = vchi_msg_queue(
  21791. + instance->vchi_handle[0],
  21792. + cmd->msg, cmd->length,
  21793. + flags, NULL);
  21794. + if (status) {
  21795. + pr_err("%s: failed to queue message (%d)",
  21796. + __func__, status);
  21797. + }
  21798. +
  21799. + /* If no reply is needed then we're done */
  21800. + if (!cmd->wait) {
  21801. + mutex_lock(&instance->lock);
  21802. + list_del(&cmd->head);
  21803. + mutex_unlock(&instance->lock);
  21804. + vc_vchi_cmd_delete(instance, cmd);
  21805. + continue;
  21806. + }
  21807. +
  21808. + if (status) {
  21809. + up(&cmd->sema);
  21810. + continue;
  21811. + }
  21812. +
  21813. + } while (1);
  21814. +
  21815. + while (!vchi_msg_peek
  21816. + (instance->vchi_handle[0], (void **)&reply,
  21817. + &reply_len, VCHI_FLAGS_NONE)) {
  21818. + mutex_lock(&instance->lock);
  21819. + list_for_each_entry(cmd, &instance->rsp_list,
  21820. + head) {
  21821. + if (cmd->id == reply->trans_id)
  21822. + break;
  21823. + }
  21824. + mutex_unlock(&instance->lock);
  21825. +
  21826. + if (&cmd->head == &instance->rsp_list) {
  21827. + pr_debug("%s: received response %u, throw away...",
  21828. + __func__, reply->trans_id);
  21829. + } else if (reply_len > sizeof(cmd->msg)) {
  21830. + pr_err("%s: reply too big (%u) %u, throw away...",
  21831. + __func__, reply_len,
  21832. + reply->trans_id);
  21833. + } else {
  21834. + memcpy(cmd->msg, reply, reply_len);
  21835. + up(&cmd->sema);
  21836. + }
  21837. +
  21838. + vchi_msg_remove(instance->vchi_handle[0]);
  21839. + }
  21840. +
  21841. + /* Go through the dead list and free them */
  21842. + mutex_lock(&instance->lock);
  21843. + list_for_each_entry_safe(cmd, cmd_tmp,
  21844. + &instance->dead_list, head) {
  21845. + list_del(&cmd->head);
  21846. + vc_vchi_cmd_delete(instance, cmd);
  21847. + }
  21848. + mutex_unlock(&instance->lock);
  21849. + }
  21850. + }
  21851. +
  21852. + return 0;
  21853. +}
  21854. +
  21855. +static void vc_sm_vchi_callback(void *param,
  21856. + const VCHI_CALLBACK_REASON_T reason,
  21857. + void *msg_handle)
  21858. +{
  21859. + struct sm_instance *instance = param;
  21860. +
  21861. + (void)msg_handle;
  21862. +
  21863. + switch (reason) {
  21864. + case VCHI_CALLBACK_MSG_AVAILABLE:
  21865. + up(&instance->io_sema);
  21866. + break;
  21867. +
  21868. + case VCHI_CALLBACK_SERVICE_CLOSED:
  21869. + pr_info("%s: service CLOSED!!", __func__);
  21870. + default:
  21871. + break;
  21872. + }
  21873. +}
  21874. +
  21875. +VC_VCHI_SM_HANDLE_T vc_vchi_sm_init(VCHI_INSTANCE_T vchi_instance,
  21876. + VCHI_CONNECTION_T **vchi_connections,
  21877. + uint32_t num_connections)
  21878. +{
  21879. + uint32_t i;
  21880. + struct sm_instance *instance;
  21881. + int status;
  21882. +
  21883. + pr_debug("%s: start", __func__);
  21884. +
  21885. + if (num_connections > VCHI_MAX_NUM_CONNECTIONS) {
  21886. + pr_err("%s: unsupported number of connections %u (max=%u)",
  21887. + __func__, num_connections, VCHI_MAX_NUM_CONNECTIONS);
  21888. +
  21889. + goto err_null;
  21890. + }
  21891. + /* Allocate memory for this instance */
  21892. + instance = kzalloc(sizeof(*instance), GFP_KERNEL);
  21893. +
  21894. + /* Misc initialisations */
  21895. + mutex_init(&instance->lock);
  21896. + sema_init(&instance->io_sema, 0);
  21897. + INIT_LIST_HEAD(&instance->cmd_list);
  21898. + INIT_LIST_HEAD(&instance->rsp_list);
  21899. + INIT_LIST_HEAD(&instance->dead_list);
  21900. + INIT_LIST_HEAD(&instance->free_list);
  21901. + sema_init(&instance->free_sema, SM_MAX_NUM_CMD_RSP_BLKS);
  21902. + mutex_init(&instance->free_lock);
  21903. + for (i = 0; i < SM_MAX_NUM_CMD_RSP_BLKS; i++) {
  21904. + sema_init(&instance->free_blk[i].sema, 0);
  21905. + list_add(&instance->free_blk[i].head, &instance->free_list);
  21906. + }
  21907. +
  21908. + /* Open the VCHI service connections */
  21909. + instance->num_connections = num_connections;
  21910. + for (i = 0; i < num_connections; i++) {
  21911. + SERVICE_CREATION_T params = {
  21912. + VCHI_VERSION_EX(VC_SM_VER, VC_SM_MIN_VER),
  21913. + VC_SM_SERVER_NAME,
  21914. + vchi_connections[i],
  21915. + 0,
  21916. + 0,
  21917. + vc_sm_vchi_callback,
  21918. + instance,
  21919. + 0,
  21920. + 0,
  21921. + 0,
  21922. + };
  21923. +
  21924. + status = vchi_service_open(vchi_instance,
  21925. + &params, &instance->vchi_handle[i]);
  21926. + if (status) {
  21927. + pr_err("%s: failed to open VCHI service (%d)",
  21928. + __func__, status);
  21929. +
  21930. + goto err_close_services;
  21931. + }
  21932. + }
  21933. +
  21934. + /* Create the thread which takes care of all io to/from videoocore. */
  21935. + instance->io_thread = kthread_create(&vc_vchi_sm_videocore_io,
  21936. + (void *)instance, "SMIO");
  21937. + if (instance->io_thread == NULL) {
  21938. + pr_err("%s: failed to create SMIO thread", __func__);
  21939. +
  21940. + goto err_close_services;
  21941. + }
  21942. + set_user_nice(instance->io_thread, -10);
  21943. + wake_up_process(instance->io_thread);
  21944. +
  21945. + pr_debug("%s: success - instance 0x%x", __func__, (unsigned)instance);
  21946. + return instance;
  21947. +
  21948. +err_close_services:
  21949. + for (i = 0; i < instance->num_connections; i++) {
  21950. + if (instance->vchi_handle[i] != NULL)
  21951. + vchi_service_close(instance->vchi_handle[i]);
  21952. + }
  21953. + kfree(instance);
  21954. +err_null:
  21955. + pr_debug("%s: FAILED", __func__);
  21956. + return NULL;
  21957. +}
  21958. +
  21959. +int vc_vchi_sm_stop(VC_VCHI_SM_HANDLE_T *handle)
  21960. +{
  21961. + struct sm_instance *instance;
  21962. + uint32_t i;
  21963. +
  21964. + if (handle == NULL) {
  21965. + pr_err("%s: invalid pointer to handle %p", __func__, handle);
  21966. + goto lock;
  21967. + }
  21968. +
  21969. + if (*handle == NULL) {
  21970. + pr_err("%s: invalid handle %p", __func__, *handle);
  21971. + goto lock;
  21972. + }
  21973. +
  21974. + instance = *handle;
  21975. +
  21976. + /* Close all VCHI service connections */
  21977. + for (i = 0; i < instance->num_connections; i++) {
  21978. + int32_t success;
  21979. + vchi_service_use(instance->vchi_handle[i]);
  21980. +
  21981. + success = vchi_service_close(instance->vchi_handle[i]);
  21982. + }
  21983. +
  21984. + kfree(instance);
  21985. +
  21986. + *handle = NULL;
  21987. + return 0;
  21988. +
  21989. +lock:
  21990. + return -EINVAL;
  21991. +}
  21992. +
  21993. +int vc_vchi_sm_send_msg(VC_VCHI_SM_HANDLE_T handle,
  21994. + VC_SM_MSG_TYPE msg_id,
  21995. + void *msg, uint32_t msg_size,
  21996. + void *result, uint32_t result_size,
  21997. + uint32_t *cur_trans_id, uint8_t wait_reply)
  21998. +{
  21999. + int status = 0;
  22000. + struct sm_instance *instance = handle;
  22001. + struct sm_cmd_rsp_blk *cmd_blk;
  22002. +
  22003. + if (handle == NULL) {
  22004. + pr_err("%s: invalid handle", __func__);
  22005. + return -EINVAL;
  22006. + }
  22007. + if (msg == NULL) {
  22008. + pr_err("%s: invalid msg pointer", __func__);
  22009. + return -EINVAL;
  22010. + }
  22011. +
  22012. + cmd_blk =
  22013. + vc_vchi_cmd_create(instance, msg_id, msg, msg_size, wait_reply);
  22014. + if (cmd_blk == NULL) {
  22015. + pr_err("[%s]: failed to allocate global tracking resource",
  22016. + __func__);
  22017. + return -ENOMEM;
  22018. + }
  22019. +
  22020. + if (cur_trans_id != NULL)
  22021. + *cur_trans_id = cmd_blk->id;
  22022. +
  22023. + mutex_lock(&instance->lock);
  22024. + list_add_tail(&cmd_blk->head, &instance->cmd_list);
  22025. + mutex_unlock(&instance->lock);
  22026. + up(&instance->io_sema);
  22027. +
  22028. + if (!wait_reply)
  22029. + /* We're done */
  22030. + return 0;
  22031. +
  22032. + /* Wait for the response */
  22033. + if (down_interruptible(&cmd_blk->sema)) {
  22034. + mutex_lock(&instance->lock);
  22035. + if (!cmd_blk->sent) {
  22036. + list_del(&cmd_blk->head);
  22037. + mutex_unlock(&instance->lock);
  22038. + vc_vchi_cmd_delete(instance, cmd_blk);
  22039. + return -ENXIO;
  22040. + }
  22041. + mutex_unlock(&instance->lock);
  22042. +
  22043. + mutex_lock(&instance->lock);
  22044. + list_move(&cmd_blk->head, &instance->dead_list);
  22045. + mutex_unlock(&instance->lock);
  22046. + up(&instance->io_sema);
  22047. + return -EINTR; /* We're done */
  22048. + }
  22049. +
  22050. + if (result && result_size) {
  22051. + memcpy(result, cmd_blk->msg, result_size);
  22052. + } else {
  22053. + VC_SM_RESULT_T *res = (VC_SM_RESULT_T *) cmd_blk->msg;
  22054. + status = (res->success == 0) ? 0 : -ENXIO;
  22055. + }
  22056. +
  22057. + mutex_lock(&instance->lock);
  22058. + list_del(&cmd_blk->head);
  22059. + mutex_unlock(&instance->lock);
  22060. + vc_vchi_cmd_delete(instance, cmd_blk);
  22061. + return status;
  22062. +}
  22063. +
  22064. +int vc_vchi_sm_alloc(VC_VCHI_SM_HANDLE_T handle, VC_SM_ALLOC_T *msg,
  22065. + VC_SM_ALLOC_RESULT_T *result, uint32_t *cur_trans_id)
  22066. +{
  22067. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_ALLOC,
  22068. + msg, sizeof(*msg), result, sizeof(*result),
  22069. + cur_trans_id, 1);
  22070. +}
  22071. +
  22072. +int vc_vchi_sm_free(VC_VCHI_SM_HANDLE_T handle,
  22073. + VC_SM_FREE_T *msg, uint32_t *cur_trans_id)
  22074. +{
  22075. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_FREE,
  22076. + msg, sizeof(*msg), 0, 0, cur_trans_id, 0);
  22077. +}
  22078. +
  22079. +int vc_vchi_sm_lock(VC_VCHI_SM_HANDLE_T handle,
  22080. + VC_SM_LOCK_UNLOCK_T *msg,
  22081. + VC_SM_LOCK_RESULT_T *result, uint32_t *cur_trans_id)
  22082. +{
  22083. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_LOCK,
  22084. + msg, sizeof(*msg), result, sizeof(*result),
  22085. + cur_trans_id, 1);
  22086. +}
  22087. +
  22088. +int vc_vchi_sm_unlock(VC_VCHI_SM_HANDLE_T handle,
  22089. + VC_SM_LOCK_UNLOCK_T *msg,
  22090. + uint32_t *cur_trans_id, uint8_t wait_reply)
  22091. +{
  22092. + return vc_vchi_sm_send_msg(handle, wait_reply ?
  22093. + VC_SM_MSG_TYPE_UNLOCK :
  22094. + VC_SM_MSG_TYPE_UNLOCK_NOANS, msg,
  22095. + sizeof(*msg), 0, 0, cur_trans_id,
  22096. + wait_reply);
  22097. +}
  22098. +
  22099. +int vc_vchi_sm_resize(VC_VCHI_SM_HANDLE_T handle, VC_SM_RESIZE_T *msg,
  22100. + uint32_t *cur_trans_id)
  22101. +{
  22102. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_RESIZE,
  22103. + msg, sizeof(*msg), 0, 0, cur_trans_id, 1);
  22104. +}
  22105. +
  22106. +int vc_vchi_sm_walk_alloc(VC_VCHI_SM_HANDLE_T handle)
  22107. +{
  22108. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_WALK_ALLOC,
  22109. + 0, 0, 0, 0, 0, 0);
  22110. +}
  22111. +
  22112. +int vc_vchi_sm_clean_up(VC_VCHI_SM_HANDLE_T handle, VC_SM_ACTION_CLEAN_T *msg)
  22113. +{
  22114. + return vc_vchi_sm_send_msg(handle, VC_SM_MSG_TYPE_ACTION_CLEAN,
  22115. + msg, sizeof(*msg), 0, 0, 0, 0);
  22116. +}
  22117. diff -Nur linux-4.1.13.orig/drivers/char/broadcom/vc_sm/vmcs_sm.c linux-rpi/drivers/char/broadcom/vc_sm/vmcs_sm.c
  22118. --- linux-4.1.13.orig/drivers/char/broadcom/vc_sm/vmcs_sm.c 1970-01-01 01:00:00.000000000 +0100
  22119. +++ linux-rpi/drivers/char/broadcom/vc_sm/vmcs_sm.c 2015-11-29 09:42:36.707312101 +0100
  22120. @@ -0,0 +1,3211 @@
  22121. +/*****************************************************************************
  22122. +* Copyright 2011-2012 Broadcom Corporation. All rights reserved.
  22123. +*
  22124. +* Unless you and Broadcom execute a separate written software license
  22125. +* agreement governing use of this software, this software is licensed to you
  22126. +* under the terms of the GNU General Public License version 2, available at
  22127. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  22128. +*
  22129. +* Notwithstanding the above, under no circumstances may you combine this
  22130. +* software in any way with any other Broadcom software provided under a
  22131. +* license other than the GPL, without Broadcom's express prior written
  22132. +* consent.
  22133. +*****************************************************************************/
  22134. +
  22135. +/* ---- Include Files ----------------------------------------------------- */
  22136. +
  22137. +#include <linux/cdev.h>
  22138. +#include <linux/broadcom/vc_mem.h>
  22139. +#include <linux/device.h>
  22140. +#include <linux/debugfs.h>
  22141. +#include <linux/dma-mapping.h>
  22142. +#include <linux/errno.h>
  22143. +#include <linux/fs.h>
  22144. +#include <linux/hugetlb.h>
  22145. +#include <linux/ioctl.h>
  22146. +#include <linux/kernel.h>
  22147. +#include <linux/list.h>
  22148. +#include <linux/module.h>
  22149. +#include <linux/mm.h>
  22150. +#include <linux/pfn.h>
  22151. +#include <linux/proc_fs.h>
  22152. +#include <linux/pagemap.h>
  22153. +#include <linux/semaphore.h>
  22154. +#include <linux/slab.h>
  22155. +#include <linux/seq_file.h>
  22156. +#include <linux/types.h>
  22157. +#include <asm/cacheflush.h>
  22158. +
  22159. +#include "vchiq_connected.h"
  22160. +#include "vc_vchi_sm.h"
  22161. +
  22162. +#include <vmcs_sm_ioctl.h>
  22163. +#include "vc_sm_knl.h"
  22164. +
  22165. +/* ---- Private Constants and Types --------------------------------------- */
  22166. +
  22167. +#define DEVICE_NAME "vcsm"
  22168. +#define DEVICE_MINOR 0
  22169. +
  22170. +#define VC_SM_DIR_ROOT_NAME "vc-smem"
  22171. +#define VC_SM_DIR_ALLOC_NAME "alloc"
  22172. +#define VC_SM_STATE "state"
  22173. +#define VC_SM_STATS "statistics"
  22174. +#define VC_SM_RESOURCES "resources"
  22175. +#define VC_SM_DEBUG "debug"
  22176. +#define VC_SM_WRITE_BUF_SIZE 128
  22177. +
  22178. +/* Statistics tracked per resource and globally.
  22179. +*/
  22180. +enum SM_STATS_T {
  22181. + /* Attempt. */
  22182. + ALLOC,
  22183. + FREE,
  22184. + LOCK,
  22185. + UNLOCK,
  22186. + MAP,
  22187. + FLUSH,
  22188. + INVALID,
  22189. +
  22190. + END_ATTEMPT,
  22191. +
  22192. + /* Failure. */
  22193. + ALLOC_FAIL,
  22194. + FREE_FAIL,
  22195. + LOCK_FAIL,
  22196. + UNLOCK_FAIL,
  22197. + MAP_FAIL,
  22198. + FLUSH_FAIL,
  22199. + INVALID_FAIL,
  22200. +
  22201. + END_ALL,
  22202. +
  22203. +};
  22204. +
  22205. +static const char *const sm_stats_human_read[] = {
  22206. + "Alloc",
  22207. + "Free",
  22208. + "Lock",
  22209. + "Unlock",
  22210. + "Map",
  22211. + "Cache Flush",
  22212. + "Cache Invalidate",
  22213. +};
  22214. +
  22215. +typedef int (*VC_SM_SHOW) (struct seq_file *s, void *v);
  22216. +struct SM_PDE_T {
  22217. + VC_SM_SHOW show; /* Debug fs function hookup. */
  22218. + struct dentry *dir_entry; /* Debug fs directory entry. */
  22219. + void *priv_data; /* Private data */
  22220. +
  22221. +};
  22222. +
  22223. +/* Single resource allocation tracked for all devices.
  22224. +*/
  22225. +struct sm_mmap {
  22226. + struct list_head map_list; /* Linked list of maps. */
  22227. +
  22228. + struct SM_RESOURCE_T *resource; /* Pointer to the resource. */
  22229. +
  22230. + pid_t res_pid; /* PID owning that resource. */
  22231. + unsigned int res_vc_hdl; /* Resource handle (videocore). */
  22232. + unsigned int res_usr_hdl; /* Resource handle (user). */
  22233. +
  22234. + long unsigned int res_addr; /* Mapped virtual address. */
  22235. + struct vm_area_struct *vma; /* VM area for this mapping. */
  22236. + unsigned int ref_count; /* Reference count to this vma. */
  22237. +
  22238. + /* Used to link maps associated with a resource. */
  22239. + struct list_head resource_map_list;
  22240. +};
  22241. +
  22242. +/* Single resource allocation tracked for each opened device.
  22243. +*/
  22244. +struct SM_RESOURCE_T {
  22245. + struct list_head resource_list; /* List of resources. */
  22246. + struct list_head global_resource_list; /* Global list of resources. */
  22247. +
  22248. + pid_t pid; /* PID owning that resource. */
  22249. + uint32_t res_guid; /* Unique identifier. */
  22250. + uint32_t lock_count; /* Lock count for this resource. */
  22251. + uint32_t ref_count; /* Ref count for this resource. */
  22252. +
  22253. + uint32_t res_handle; /* Resource allocation handle. */
  22254. + void *res_base_mem; /* Resource base memory address. */
  22255. + uint32_t res_size; /* Resource size allocated. */
  22256. + enum vmcs_sm_cache_e res_cached; /* Resource cache type. */
  22257. + struct SM_RESOURCE_T *res_shared; /* Shared resource */
  22258. +
  22259. + enum SM_STATS_T res_stats[END_ALL]; /* Resource statistics. */
  22260. +
  22261. + uint8_t map_count; /* Counter of mappings for this resource. */
  22262. + struct list_head map_list; /* Maps associated with a resource. */
  22263. +
  22264. + struct SM_PRIV_DATA_T *private;
  22265. +};
  22266. +
  22267. +/* Private file data associated with each opened device.
  22268. +*/
  22269. +struct SM_PRIV_DATA_T {
  22270. + struct list_head resource_list; /* List of resources. */
  22271. +
  22272. + pid_t pid; /* PID of creator. */
  22273. +
  22274. + struct dentry *dir_pid; /* Debug fs entries root. */
  22275. + struct SM_PDE_T dir_stats; /* Debug fs entries statistics sub-tree. */
  22276. + struct SM_PDE_T dir_res; /* Debug fs resource sub-tree. */
  22277. +
  22278. + int restart_sys; /* Tracks restart on interrupt. */
  22279. + VC_SM_MSG_TYPE int_action; /* Interrupted action. */
  22280. + uint32_t int_trans_id; /* Interrupted transaction. */
  22281. +
  22282. +};
  22283. +
  22284. +/* Global state information.
  22285. +*/
  22286. +struct SM_STATE_T {
  22287. + VC_VCHI_SM_HANDLE_T sm_handle; /* Handle for videocore service. */
  22288. + struct dentry *dir_root; /* Debug fs entries root. */
  22289. + struct dentry *dir_alloc; /* Debug fs entries allocations. */
  22290. + struct SM_PDE_T dir_stats; /* Debug fs entries statistics sub-tree. */
  22291. + struct SM_PDE_T dir_state; /* Debug fs entries state sub-tree. */
  22292. + struct dentry *debug; /* Debug fs entries debug. */
  22293. +
  22294. + struct mutex map_lock; /* Global map lock. */
  22295. + struct list_head map_list; /* List of maps. */
  22296. + struct list_head resource_list; /* List of resources. */
  22297. +
  22298. + enum SM_STATS_T deceased[END_ALL]; /* Natural termination stats. */
  22299. + enum SM_STATS_T terminated[END_ALL]; /* Forced termination stats. */
  22300. + uint32_t res_deceased_cnt; /* Natural termination counter. */
  22301. + uint32_t res_terminated_cnt; /* Forced termination counter. */
  22302. +
  22303. + struct cdev sm_cdev; /* Device. */
  22304. + dev_t sm_devid; /* Device identifier. */
  22305. + struct class *sm_class; /* Class. */
  22306. + struct device *sm_dev; /* Device. */
  22307. +
  22308. + struct SM_PRIV_DATA_T *data_knl; /* Kernel internal data tracking. */
  22309. +
  22310. + struct mutex lock; /* Global lock. */
  22311. + uint32_t guid; /* GUID (next) tracker. */
  22312. +
  22313. +};
  22314. +
  22315. +/* ---- Private Variables ----------------------------------------------- */
  22316. +
  22317. +static struct SM_STATE_T *sm_state;
  22318. +static int sm_inited;
  22319. +
  22320. +static const char *const sm_cache_map_vector[] = {
  22321. + "(null)",
  22322. + "host",
  22323. + "videocore",
  22324. + "host+videocore",
  22325. +};
  22326. +
  22327. +/* ---- Private Function Prototypes -------------------------------------- */
  22328. +
  22329. +/* ---- Private Functions ------------------------------------------------ */
  22330. +
  22331. +static inline unsigned vcaddr_to_pfn(unsigned long vc_addr)
  22332. +{
  22333. + unsigned long pfn = vc_addr & 0x3FFFFFFF;
  22334. + pfn += mm_vc_mem_phys_addr;
  22335. + pfn >>= PAGE_SHIFT;
  22336. + return pfn;
  22337. +}
  22338. +
  22339. +/* Carries over to the state statistics the statistics once owned by a deceased
  22340. +** resource.
  22341. +*/
  22342. +static void vc_sm_resource_deceased(struct SM_RESOURCE_T *p_res, int terminated)
  22343. +{
  22344. + if (sm_state != NULL) {
  22345. + if (p_res != NULL) {
  22346. + int ix;
  22347. +
  22348. + if (terminated)
  22349. + sm_state->res_terminated_cnt++;
  22350. + else
  22351. + sm_state->res_deceased_cnt++;
  22352. +
  22353. + for (ix = 0; ix < END_ALL; ix++) {
  22354. + if (terminated)
  22355. + sm_state->terminated[ix] +=
  22356. + p_res->res_stats[ix];
  22357. + else
  22358. + sm_state->deceased[ix] +=
  22359. + p_res->res_stats[ix];
  22360. + }
  22361. + }
  22362. + }
  22363. +}
  22364. +
  22365. +/* Fetch a videocore handle corresponding to a mapping of the pid+address
  22366. +** returns 0 (ie NULL) if no such handle exists in the global map.
  22367. +*/
  22368. +static unsigned int vmcs_sm_vc_handle_from_pid_and_address(unsigned int pid,
  22369. + unsigned int addr)
  22370. +{
  22371. + struct sm_mmap *map = NULL;
  22372. + unsigned int handle = 0;
  22373. +
  22374. + if (!sm_state || addr == 0)
  22375. + goto out;
  22376. +
  22377. + mutex_lock(&(sm_state->map_lock));
  22378. +
  22379. + /* Lookup the resource.
  22380. + */
  22381. + if (!list_empty(&sm_state->map_list)) {
  22382. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  22383. + if (map->res_pid != pid || map->res_addr != addr)
  22384. + continue;
  22385. +
  22386. + pr_debug("[%s]: global map %p (pid %u, addr %lx) -> vc-hdl %x (usr-hdl %x)\n",
  22387. + __func__, map, map->res_pid, map->res_addr,
  22388. + map->res_vc_hdl, map->res_usr_hdl);
  22389. +
  22390. + handle = map->res_vc_hdl;
  22391. + break;
  22392. + }
  22393. + }
  22394. +
  22395. + mutex_unlock(&(sm_state->map_lock));
  22396. +
  22397. +out:
  22398. + /* Use a debug log here as it may be a valid situation that we query
  22399. + ** for something that is not mapped, we do not want a kernel log each
  22400. + ** time around.
  22401. + **
  22402. + ** There are other error log that would pop up accordingly if someone
  22403. + ** subsequently tries to use something invalid after being told not to
  22404. + ** use it...
  22405. + */
  22406. + if (handle == 0) {
  22407. + pr_debug("[%s]: not a valid map (pid %u, addr %x)\n",
  22408. + __func__, pid, addr);
  22409. + }
  22410. +
  22411. + return handle;
  22412. +}
  22413. +
  22414. +/* Fetch a user handle corresponding to a mapping of the pid+address
  22415. +** returns 0 (ie NULL) if no such handle exists in the global map.
  22416. +*/
  22417. +static unsigned int vmcs_sm_usr_handle_from_pid_and_address(unsigned int pid,
  22418. + unsigned int addr)
  22419. +{
  22420. + struct sm_mmap *map = NULL;
  22421. + unsigned int handle = 0;
  22422. +
  22423. + if (!sm_state || addr == 0)
  22424. + goto out;
  22425. +
  22426. + mutex_lock(&(sm_state->map_lock));
  22427. +
  22428. + /* Lookup the resource.
  22429. + */
  22430. + if (!list_empty(&sm_state->map_list)) {
  22431. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  22432. + if (map->res_pid != pid || map->res_addr != addr)
  22433. + continue;
  22434. +
  22435. + pr_debug("[%s]: global map %p (pid %u, addr %lx) -> usr-hdl %x (vc-hdl %x)\n",
  22436. + __func__, map, map->res_pid, map->res_addr,
  22437. + map->res_usr_hdl, map->res_vc_hdl);
  22438. +
  22439. + handle = map->res_usr_hdl;
  22440. + break;
  22441. + }
  22442. + }
  22443. +
  22444. + mutex_unlock(&(sm_state->map_lock));
  22445. +
  22446. +out:
  22447. + /* Use a debug log here as it may be a valid situation that we query
  22448. + * for something that is not mapped yet.
  22449. + *
  22450. + * There are other error log that would pop up accordingly if someone
  22451. + * subsequently tries to use something invalid after being told not to
  22452. + * use it...
  22453. + */
  22454. + if (handle == 0)
  22455. + pr_debug("[%s]: not a valid map (pid %u, addr %x)\n",
  22456. + __func__, pid, addr);
  22457. +
  22458. + return handle;
  22459. +}
  22460. +
  22461. +#if defined(DO_NOT_USE)
  22462. +/* Fetch an address corresponding to a mapping of the pid+handle
  22463. +** returns 0 (ie NULL) if no such address exists in the global map.
  22464. +*/
  22465. +static unsigned int vmcs_sm_usr_address_from_pid_and_vc_handle(unsigned int pid,
  22466. + unsigned int hdl)
  22467. +{
  22468. + struct sm_mmap *map = NULL;
  22469. + unsigned int addr = 0;
  22470. +
  22471. + if (sm_state == NULL || hdl == 0)
  22472. + goto out;
  22473. +
  22474. + mutex_lock(&(sm_state->map_lock));
  22475. +
  22476. + /* Lookup the resource.
  22477. + */
  22478. + if (!list_empty(&sm_state->map_list)) {
  22479. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  22480. + if (map->res_pid != pid || map->res_vc_hdl != hdl)
  22481. + continue;
  22482. +
  22483. + pr_debug("[%s]: global map %p (pid %u, vc-hdl %x, usr-hdl %x) -> addr %lx\n",
  22484. + __func__, map, map->res_pid, map->res_vc_hdl,
  22485. + map->res_usr_hdl, map->res_addr);
  22486. +
  22487. + addr = map->res_addr;
  22488. + break;
  22489. + }
  22490. + }
  22491. +
  22492. + mutex_unlock(&(sm_state->map_lock));
  22493. +
  22494. +out:
  22495. + /* Use a debug log here as it may be a valid situation that we query
  22496. + ** for something that is not mapped, we do not want a kernel log each
  22497. + ** time around.
  22498. + **
  22499. + ** There are other error log that would pop up accordingly if someone
  22500. + ** subsequently tries to use something invalid after being told not to
  22501. + ** use it...
  22502. + */
  22503. + if (addr == 0)
  22504. + pr_debug("[%s]: not a valid map (pid %u, hdl %x)\n",
  22505. + __func__, pid, hdl);
  22506. +
  22507. + return addr;
  22508. +}
  22509. +#endif
  22510. +
  22511. +/* Fetch an address corresponding to a mapping of the pid+handle
  22512. +** returns 0 (ie NULL) if no such address exists in the global map.
  22513. +*/
  22514. +static unsigned int vmcs_sm_usr_address_from_pid_and_usr_handle(unsigned int
  22515. + pid,
  22516. + unsigned int
  22517. + hdl)
  22518. +{
  22519. + struct sm_mmap *map = NULL;
  22520. + unsigned int addr = 0;
  22521. +
  22522. + if (sm_state == NULL || hdl == 0)
  22523. + goto out;
  22524. +
  22525. + mutex_lock(&(sm_state->map_lock));
  22526. +
  22527. + /* Lookup the resource.
  22528. + */
  22529. + if (!list_empty(&sm_state->map_list)) {
  22530. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  22531. + if (map->res_pid != pid || map->res_usr_hdl != hdl)
  22532. + continue;
  22533. +
  22534. + pr_debug("[%s]: global map %p (pid %u, vc-hdl %x, usr-hdl %x) -> addr %lx\n",
  22535. + __func__, map, map->res_pid, map->res_vc_hdl,
  22536. + map->res_usr_hdl, map->res_addr);
  22537. +
  22538. + addr = map->res_addr;
  22539. + break;
  22540. + }
  22541. + }
  22542. +
  22543. + mutex_unlock(&(sm_state->map_lock));
  22544. +
  22545. +out:
  22546. + /* Use a debug log here as it may be a valid situation that we query
  22547. + * for something that is not mapped, we do not want a kernel log each
  22548. + * time around.
  22549. + *
  22550. + * There are other error log that would pop up accordingly if someone
  22551. + * subsequently tries to use something invalid after being told not to
  22552. + * use it...
  22553. + */
  22554. + if (addr == 0)
  22555. + pr_debug("[%s]: not a valid map (pid %u, hdl %x)\n", __func__,
  22556. + pid, hdl);
  22557. +
  22558. + return addr;
  22559. +}
  22560. +
  22561. +/* Adds a resource mapping to the global data list.
  22562. +*/
  22563. +static void vmcs_sm_add_map(struct SM_STATE_T *state,
  22564. + struct SM_RESOURCE_T *resource, struct sm_mmap *map)
  22565. +{
  22566. + mutex_lock(&(state->map_lock));
  22567. +
  22568. + /* Add to the global list of mappings
  22569. + */
  22570. + list_add(&map->map_list, &state->map_list);
  22571. +
  22572. + /* Add to the list of mappings for this resource
  22573. + */
  22574. + list_add(&map->resource_map_list, &resource->map_list);
  22575. + resource->map_count++;
  22576. +
  22577. + mutex_unlock(&(state->map_lock));
  22578. +
  22579. + pr_debug("[%s]: added map %p (pid %u, vc-hdl %x, usr-hdl %x, addr %lx)\n",
  22580. + __func__, map, map->res_pid, map->res_vc_hdl,
  22581. + map->res_usr_hdl, map->res_addr);
  22582. +}
  22583. +
  22584. +/* Removes a resource mapping from the global data list.
  22585. +*/
  22586. +static void vmcs_sm_remove_map(struct SM_STATE_T *state,
  22587. + struct SM_RESOURCE_T *resource,
  22588. + struct sm_mmap *map)
  22589. +{
  22590. + mutex_lock(&(state->map_lock));
  22591. +
  22592. + /* Remove from the global list of mappings
  22593. + */
  22594. + list_del(&map->map_list);
  22595. +
  22596. + /* Remove from the list of mapping for this resource
  22597. + */
  22598. + list_del(&map->resource_map_list);
  22599. + if (resource->map_count > 0)
  22600. + resource->map_count--;
  22601. +
  22602. + mutex_unlock(&(state->map_lock));
  22603. +
  22604. + pr_debug("[%s]: removed map %p (pid %d, vc-hdl %x, usr-hdl %x, addr %lx)\n",
  22605. + __func__, map, map->res_pid, map->res_vc_hdl, map->res_usr_hdl,
  22606. + map->res_addr);
  22607. +
  22608. + kfree(map);
  22609. +}
  22610. +
  22611. +/* Read callback for the global state proc entry.
  22612. +*/
  22613. +static int vc_sm_global_state_show(struct seq_file *s, void *v)
  22614. +{
  22615. + struct sm_mmap *map = NULL;
  22616. + int map_count = 0;
  22617. +
  22618. + if (sm_state == NULL)
  22619. + return 0;
  22620. +
  22621. + seq_printf(s, "\nVC-ServiceHandle 0x%x\n",
  22622. + (unsigned int)sm_state->sm_handle);
  22623. +
  22624. + /* Log all applicable mapping(s).
  22625. + */
  22626. +
  22627. + mutex_lock(&(sm_state->map_lock));
  22628. +
  22629. + if (!list_empty(&sm_state->map_list)) {
  22630. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  22631. + map_count++;
  22632. +
  22633. + seq_printf(s, "\nMapping 0x%x\n",
  22634. + (unsigned int)map);
  22635. + seq_printf(s, " TGID %u\n",
  22636. + map->res_pid);
  22637. + seq_printf(s, " VC-HDL 0x%x\n",
  22638. + map->res_vc_hdl);
  22639. + seq_printf(s, " USR-HDL 0x%x\n",
  22640. + map->res_usr_hdl);
  22641. + seq_printf(s, " USR-ADDR 0x%lx\n",
  22642. + map->res_addr);
  22643. + }
  22644. + }
  22645. +
  22646. + mutex_unlock(&(sm_state->map_lock));
  22647. + seq_printf(s, "\n\nTotal map count: %d\n\n", map_count);
  22648. +
  22649. + return 0;
  22650. +}
  22651. +
  22652. +static int vc_sm_global_statistics_show(struct seq_file *s, void *v)
  22653. +{
  22654. + int ix;
  22655. +
  22656. + /* Global state tracked statistics.
  22657. + */
  22658. + if (sm_state != NULL) {
  22659. + seq_puts(s, "\nDeceased Resources Statistics\n");
  22660. +
  22661. + seq_printf(s, "\nNatural Cause (%u occurences)\n",
  22662. + sm_state->res_deceased_cnt);
  22663. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22664. + if (sm_state->deceased[ix] > 0) {
  22665. + seq_printf(s, " %u\t%s\n",
  22666. + sm_state->deceased[ix],
  22667. + sm_stats_human_read[ix]);
  22668. + }
  22669. + }
  22670. + seq_puts(s, "\n");
  22671. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22672. + if (sm_state->deceased[ix + END_ATTEMPT] > 0) {
  22673. + seq_printf(s, " %u\tFAILED %s\n",
  22674. + sm_state->deceased[ix + END_ATTEMPT],
  22675. + sm_stats_human_read[ix]);
  22676. + }
  22677. + }
  22678. +
  22679. + seq_printf(s, "\nForcefull (%u occurences)\n",
  22680. + sm_state->res_terminated_cnt);
  22681. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22682. + if (sm_state->terminated[ix] > 0) {
  22683. + seq_printf(s, " %u\t%s\n",
  22684. + sm_state->terminated[ix],
  22685. + sm_stats_human_read[ix]);
  22686. + }
  22687. + }
  22688. + seq_puts(s, "\n");
  22689. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22690. + if (sm_state->terminated[ix + END_ATTEMPT] > 0) {
  22691. + seq_printf(s, " %u\tFAILED %s\n",
  22692. + sm_state->terminated[ix +
  22693. + END_ATTEMPT],
  22694. + sm_stats_human_read[ix]);
  22695. + }
  22696. + }
  22697. + }
  22698. +
  22699. + return 0;
  22700. +}
  22701. +
  22702. +#if 0
  22703. +/* Read callback for the statistics proc entry.
  22704. +*/
  22705. +static int vc_sm_statistics_show(struct seq_file *s, void *v)
  22706. +{
  22707. + int ix;
  22708. + struct SM_PRIV_DATA_T *file_data;
  22709. + struct SM_RESOURCE_T *resource;
  22710. + int res_count = 0;
  22711. + struct SM_PDE_T *p_pde;
  22712. +
  22713. + p_pde = (struct SM_PDE_T *)(s->private);
  22714. + file_data = (struct SM_PRIV_DATA_T *)(p_pde->priv_data);
  22715. +
  22716. + if (file_data == NULL)
  22717. + return 0;
  22718. +
  22719. + /* Per process statistics.
  22720. + */
  22721. +
  22722. + seq_printf(s, "\nStatistics for TGID %d\n", file_data->pid);
  22723. +
  22724. + mutex_lock(&(sm_state->map_lock));
  22725. +
  22726. + if (!list_empty(&file_data->resource_list)) {
  22727. + list_for_each_entry(resource, &file_data->resource_list,
  22728. + resource_list) {
  22729. + res_count++;
  22730. +
  22731. + seq_printf(s, "\nGUID: 0x%x\n\n",
  22732. + resource->res_guid);
  22733. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22734. + if (resource->res_stats[ix] > 0) {
  22735. + seq_printf(s,
  22736. + " %u\t%s\n",
  22737. + resource->res_stats[ix],
  22738. + sm_stats_human_read[ix]);
  22739. + }
  22740. + }
  22741. + seq_puts(s, "\n");
  22742. + for (ix = 0; ix < END_ATTEMPT; ix++) {
  22743. + if (resource->res_stats[ix + END_ATTEMPT] > 0) {
  22744. + seq_printf(s,
  22745. + " %u\tFAILED %s\n",
  22746. + resource->res_stats[
  22747. + ix + END_ATTEMPT],
  22748. + sm_stats_human_read[ix]);
  22749. + }
  22750. + }
  22751. + }
  22752. + }
  22753. +
  22754. + mutex_unlock(&(sm_state->map_lock));
  22755. +
  22756. + seq_printf(s, "\nResources Count %d\n", res_count);
  22757. +
  22758. + return 0;
  22759. +}
  22760. +#endif
  22761. +
  22762. +#if 0
  22763. +/* Read callback for the allocation proc entry. */
  22764. +static int vc_sm_alloc_show(struct seq_file *s, void *v)
  22765. +{
  22766. + struct SM_PRIV_DATA_T *file_data;
  22767. + struct SM_RESOURCE_T *resource;
  22768. + int alloc_count = 0;
  22769. + struct SM_PDE_T *p_pde;
  22770. +
  22771. + p_pde = (struct SM_PDE_T *)(s->private);
  22772. + file_data = (struct SM_PRIV_DATA_T *)(p_pde->priv_data);
  22773. +
  22774. + if (!file_data)
  22775. + return 0;
  22776. +
  22777. + /* Per process statistics. */
  22778. + seq_printf(s, "\nAllocation for TGID %d\n", file_data->pid);
  22779. +
  22780. + mutex_lock(&(sm_state->map_lock));
  22781. +
  22782. + if (!list_empty(&file_data->resource_list)) {
  22783. + list_for_each_entry(resource, &file_data->resource_list,
  22784. + resource_list) {
  22785. + alloc_count++;
  22786. +
  22787. + seq_printf(s, "\nGUID: 0x%x\n",
  22788. + resource->res_guid);
  22789. + seq_printf(s, "Lock Count: %u\n",
  22790. + resource->lock_count);
  22791. + seq_printf(s, "Mapped: %s\n",
  22792. + (resource->map_count ? "yes" : "no"));
  22793. + seq_printf(s, "VC-handle: 0x%x\n",
  22794. + resource->res_handle);
  22795. + seq_printf(s, "VC-address: 0x%p\n",
  22796. + resource->res_base_mem);
  22797. + seq_printf(s, "VC-size (bytes): %u\n",
  22798. + resource->res_size);
  22799. + seq_printf(s, "Cache: %s\n",
  22800. + sm_cache_map_vector[resource->res_cached]);
  22801. + }
  22802. + }
  22803. +
  22804. + mutex_unlock(&(sm_state->map_lock));
  22805. +
  22806. + seq_printf(s, "\n\nTotal allocation count: %d\n\n", alloc_count);
  22807. +
  22808. + return 0;
  22809. +}
  22810. +#endif
  22811. +
  22812. +static int vc_sm_seq_file_show(struct seq_file *s, void *v)
  22813. +{
  22814. + struct SM_PDE_T *sm_pde;
  22815. +
  22816. + sm_pde = (struct SM_PDE_T *)(s->private);
  22817. +
  22818. + if (sm_pde && sm_pde->show)
  22819. + sm_pde->show(s, v);
  22820. +
  22821. + return 0;
  22822. +}
  22823. +
  22824. +static int vc_sm_single_open(struct inode *inode, struct file *file)
  22825. +{
  22826. + return single_open(file, vc_sm_seq_file_show, inode->i_private);
  22827. +}
  22828. +
  22829. +static const struct file_operations vc_sm_debug_fs_fops = {
  22830. + .open = vc_sm_single_open,
  22831. + .read = seq_read,
  22832. + .llseek = seq_lseek,
  22833. + .release = single_release,
  22834. +};
  22835. +
  22836. +/* Adds a resource to the private data list which tracks all the allocated
  22837. +** data.
  22838. +*/
  22839. +static void vmcs_sm_add_resource(struct SM_PRIV_DATA_T *privdata,
  22840. + struct SM_RESOURCE_T *resource)
  22841. +{
  22842. + mutex_lock(&(sm_state->map_lock));
  22843. + list_add(&resource->resource_list, &privdata->resource_list);
  22844. + list_add(&resource->global_resource_list, &sm_state->resource_list);
  22845. + mutex_unlock(&(sm_state->map_lock));
  22846. +
  22847. + pr_debug("[%s]: added resource %p (base addr %p, hdl %x, size %u, cache %u)\n",
  22848. + __func__, resource, resource->res_base_mem,
  22849. + resource->res_handle, resource->res_size, resource->res_cached);
  22850. +}
  22851. +
  22852. +/* Locates a resource and acquire a reference on it.
  22853. +** The resource won't be deleted while there is a reference on it.
  22854. +*/
  22855. +static struct SM_RESOURCE_T *vmcs_sm_acquire_resource(struct SM_PRIV_DATA_T
  22856. + *private,
  22857. + unsigned int res_guid)
  22858. +{
  22859. + struct SM_RESOURCE_T *resource, *ret = NULL;
  22860. +
  22861. + mutex_lock(&(sm_state->map_lock));
  22862. +
  22863. + list_for_each_entry(resource, &private->resource_list, resource_list) {
  22864. + if (resource->res_guid != res_guid)
  22865. + continue;
  22866. +
  22867. + pr_debug("[%s]: located resource %p (guid: %x, base addr %p, hdl %x, size %u, cache %u)\n",
  22868. + __func__, resource, resource->res_guid,
  22869. + resource->res_base_mem, resource->res_handle,
  22870. + resource->res_size, resource->res_cached);
  22871. + resource->ref_count++;
  22872. + ret = resource;
  22873. + break;
  22874. + }
  22875. +
  22876. + mutex_unlock(&(sm_state->map_lock));
  22877. +
  22878. + return ret;
  22879. +}
  22880. +
  22881. +/* Locates a resource and acquire a reference on it.
  22882. +** The resource won't be deleted while there is a reference on it.
  22883. +*/
  22884. +static struct SM_RESOURCE_T *vmcs_sm_acquire_first_resource(
  22885. + struct SM_PRIV_DATA_T *private)
  22886. +{
  22887. + struct SM_RESOURCE_T *resource, *ret = NULL;
  22888. +
  22889. + mutex_lock(&(sm_state->map_lock));
  22890. +
  22891. + list_for_each_entry(resource, &private->resource_list, resource_list) {
  22892. + pr_debug("[%s]: located resource %p (guid: %x, base addr %p, hdl %x, size %u, cache %u)\n",
  22893. + __func__, resource, resource->res_guid,
  22894. + resource->res_base_mem, resource->res_handle,
  22895. + resource->res_size, resource->res_cached);
  22896. + resource->ref_count++;
  22897. + ret = resource;
  22898. + break;
  22899. + }
  22900. +
  22901. + mutex_unlock(&(sm_state->map_lock));
  22902. +
  22903. + return ret;
  22904. +}
  22905. +
  22906. +/* Locates a resource and acquire a reference on it.
  22907. +** The resource won't be deleted while there is a reference on it.
  22908. +*/
  22909. +static struct SM_RESOURCE_T *vmcs_sm_acquire_global_resource(unsigned int
  22910. + res_guid)
  22911. +{
  22912. + struct SM_RESOURCE_T *resource, *ret = NULL;
  22913. +
  22914. + mutex_lock(&(sm_state->map_lock));
  22915. +
  22916. + list_for_each_entry(resource, &sm_state->resource_list,
  22917. + global_resource_list) {
  22918. + if (resource->res_guid != res_guid)
  22919. + continue;
  22920. +
  22921. + pr_debug("[%s]: located resource %p (guid: %x, base addr %p, hdl %x, size %u, cache %u)\n",
  22922. + __func__, resource, resource->res_guid,
  22923. + resource->res_base_mem, resource->res_handle,
  22924. + resource->res_size, resource->res_cached);
  22925. + resource->ref_count++;
  22926. + ret = resource;
  22927. + break;
  22928. + }
  22929. +
  22930. + mutex_unlock(&(sm_state->map_lock));
  22931. +
  22932. + return ret;
  22933. +}
  22934. +
  22935. +/* Release a previously acquired resource.
  22936. +** The resource will be deleted when its refcount reaches 0.
  22937. +*/
  22938. +static void vmcs_sm_release_resource(struct SM_RESOURCE_T *resource, int force)
  22939. +{
  22940. + struct SM_PRIV_DATA_T *private = resource->private;
  22941. + struct sm_mmap *map, *map_tmp;
  22942. + struct SM_RESOURCE_T *res_tmp;
  22943. + int ret;
  22944. +
  22945. + mutex_lock(&(sm_state->map_lock));
  22946. +
  22947. + if (--resource->ref_count) {
  22948. + if (force)
  22949. + pr_err("[%s]: resource %p in use\n", __func__, resource);
  22950. +
  22951. + mutex_unlock(&(sm_state->map_lock));
  22952. + return;
  22953. + }
  22954. +
  22955. + /* Time to free the resource. Start by removing it from the list */
  22956. + list_del(&resource->resource_list);
  22957. + list_del(&resource->global_resource_list);
  22958. +
  22959. + /* Walk the global resource list, find out if the resource is used
  22960. + * somewhere else. In which case we don't want to delete it.
  22961. + */
  22962. + list_for_each_entry(res_tmp, &sm_state->resource_list,
  22963. + global_resource_list) {
  22964. + if (res_tmp->res_handle == resource->res_handle) {
  22965. + resource->res_handle = 0;
  22966. + break;
  22967. + }
  22968. + }
  22969. +
  22970. + mutex_unlock(&(sm_state->map_lock));
  22971. +
  22972. + pr_debug("[%s]: freeing data - guid %x, hdl %x, base address %p\n",
  22973. + __func__, resource->res_guid, resource->res_handle,
  22974. + resource->res_base_mem);
  22975. + resource->res_stats[FREE]++;
  22976. +
  22977. + /* Make sure the resource we're removing is unmapped first */
  22978. + if (resource->map_count && !list_empty(&resource->map_list)) {
  22979. + down_write(&current->mm->mmap_sem);
  22980. + list_for_each_entry_safe(map, map_tmp, &resource->map_list,
  22981. + resource_map_list) {
  22982. + ret =
  22983. + do_munmap(current->mm, map->res_addr,
  22984. + resource->res_size);
  22985. + if (ret) {
  22986. + pr_err("[%s]: could not unmap resource %p\n",
  22987. + __func__, resource);
  22988. + }
  22989. + }
  22990. + up_write(&current->mm->mmap_sem);
  22991. + }
  22992. +
  22993. + /* Free up the videocore allocated resource.
  22994. + */
  22995. + if (resource->res_handle) {
  22996. + VC_SM_FREE_T free = {
  22997. + resource->res_handle, resource->res_base_mem
  22998. + };
  22999. + int status = vc_vchi_sm_free(sm_state->sm_handle, &free,
  23000. + &private->int_trans_id);
  23001. + if (status != 0 && status != -EINTR) {
  23002. + pr_err("[%s]: failed to free memory on videocore (status: %u, trans_id: %u)\n",
  23003. + __func__, status, private->int_trans_id);
  23004. + resource->res_stats[FREE_FAIL]++;
  23005. + ret = -EPERM;
  23006. + }
  23007. + }
  23008. +
  23009. + /* Free up the shared resource.
  23010. + */
  23011. + if (resource->res_shared)
  23012. + vmcs_sm_release_resource(resource->res_shared, 0);
  23013. +
  23014. + /* Free up the local resource tracking this allocation.
  23015. + */
  23016. + vc_sm_resource_deceased(resource, force);
  23017. + kfree(resource);
  23018. +}
  23019. +
  23020. +/* Dump the map table for the driver. If process is -1, dumps the whole table,
  23021. +** if process is a valid pid (non -1) dump only the entries associated with the
  23022. +** pid of interest.
  23023. +*/
  23024. +static void vmcs_sm_host_walk_map_per_pid(int pid)
  23025. +{
  23026. + struct sm_mmap *map = NULL;
  23027. +
  23028. + /* Make sure the device was started properly.
  23029. + */
  23030. + if (sm_state == NULL) {
  23031. + pr_err("[%s]: invalid device\n", __func__);
  23032. + return;
  23033. + }
  23034. +
  23035. + mutex_lock(&(sm_state->map_lock));
  23036. +
  23037. + /* Log all applicable mapping(s).
  23038. + */
  23039. + if (!list_empty(&sm_state->map_list)) {
  23040. + list_for_each_entry(map, &sm_state->map_list, map_list) {
  23041. + if (pid == -1 || map->res_pid == pid) {
  23042. + pr_info("[%s]: tgid: %u - vc-hdl: %x, usr-hdl: %x, usr-addr: %lx\n",
  23043. + __func__, map->res_pid, map->res_vc_hdl,
  23044. + map->res_usr_hdl, map->res_addr);
  23045. + }
  23046. + }
  23047. + }
  23048. +
  23049. + mutex_unlock(&(sm_state->map_lock));
  23050. +
  23051. + return;
  23052. +}
  23053. +
  23054. +/* Dump the allocation table from host side point of view. This only dumps the
  23055. +** data allocated for this process/device referenced by the file_data.
  23056. +*/
  23057. +static void vmcs_sm_host_walk_alloc(struct SM_PRIV_DATA_T *file_data)
  23058. +{
  23059. + struct SM_RESOURCE_T *resource = NULL;
  23060. +
  23061. + /* Make sure the device was started properly.
  23062. + */
  23063. + if ((sm_state == NULL) || (file_data == NULL)) {
  23064. + pr_err("[%s]: invalid device\n", __func__);
  23065. + return;
  23066. + }
  23067. +
  23068. + mutex_lock(&(sm_state->map_lock));
  23069. +
  23070. + if (!list_empty(&file_data->resource_list)) {
  23071. + list_for_each_entry(resource, &file_data->resource_list,
  23072. + resource_list) {
  23073. + pr_info("[%s]: guid: %x - hdl: %x, vc-mem: %p, size: %u, cache: %u\n",
  23074. + __func__, resource->res_guid, resource->res_handle,
  23075. + resource->res_base_mem, resource->res_size,
  23076. + resource->res_cached);
  23077. + }
  23078. + }
  23079. +
  23080. + mutex_unlock(&(sm_state->map_lock));
  23081. +
  23082. + return;
  23083. +}
  23084. +
  23085. +/* Create support for private data tracking.
  23086. +*/
  23087. +static struct SM_PRIV_DATA_T *vc_sm_create_priv_data(pid_t id)
  23088. +{
  23089. + char alloc_name[32];
  23090. + struct SM_PRIV_DATA_T *file_data = NULL;
  23091. +
  23092. + /* Allocate private structure. */
  23093. + file_data = kzalloc(sizeof(*file_data), GFP_KERNEL);
  23094. +
  23095. + if (!file_data) {
  23096. + pr_err("[%s]: cannot allocate file data\n", __func__);
  23097. + goto out;
  23098. + }
  23099. +
  23100. + snprintf(alloc_name, sizeof(alloc_name), "%d", id);
  23101. +
  23102. + INIT_LIST_HEAD(&file_data->resource_list);
  23103. + file_data->pid = id;
  23104. + file_data->dir_pid = debugfs_create_dir(alloc_name,
  23105. + sm_state->dir_alloc);
  23106. +#if 0
  23107. + /* TODO: fix this to support querying statistics per pid */
  23108. +
  23109. + if (IS_ERR_OR_NULL(file_data->dir_pid)) {
  23110. + file_data->dir_pid = NULL;
  23111. + } else {
  23112. + struct dentry *dir_entry;
  23113. +
  23114. + dir_entry = debugfs_create_file(VC_SM_RESOURCES, S_IRUGO,
  23115. + file_data->dir_pid, file_data,
  23116. + vc_sm_debug_fs_fops);
  23117. +
  23118. + file_data->dir_res.dir_entry = dir_entry;
  23119. + file_data->dir_res.priv_data = file_data;
  23120. + file_data->dir_res.show = &vc_sm_alloc_show;
  23121. +
  23122. + dir_entry = debugfs_create_file(VC_SM_STATS, S_IRUGO,
  23123. + file_data->dir_pid, file_data,
  23124. + vc_sm_debug_fs_fops);
  23125. +
  23126. + file_data->dir_res.dir_entry = dir_entry;
  23127. + file_data->dir_res.priv_data = file_data;
  23128. + file_data->dir_res.show = &vc_sm_statistics_show;
  23129. + }
  23130. + pr_debug("[%s]: private data allocated %p\n", __func__, file_data);
  23131. +
  23132. +#endif
  23133. +out:
  23134. + return file_data;
  23135. +}
  23136. +
  23137. +/* Open the device. Creates a private state to help track all allocation
  23138. +** associated with this device.
  23139. +*/
  23140. +static int vc_sm_open(struct inode *inode, struct file *file)
  23141. +{
  23142. + int ret = 0;
  23143. +
  23144. + /* Make sure the device was started properly.
  23145. + */
  23146. + if (!sm_state) {
  23147. + pr_err("[%s]: invalid device\n", __func__);
  23148. + ret = -EPERM;
  23149. + goto out;
  23150. + }
  23151. +
  23152. + file->private_data = vc_sm_create_priv_data(current->tgid);
  23153. + if (file->private_data == NULL) {
  23154. + pr_err("[%s]: failed to create data tracker\n", __func__);
  23155. +
  23156. + ret = -ENOMEM;
  23157. + goto out;
  23158. + }
  23159. +
  23160. +out:
  23161. + return ret;
  23162. +}
  23163. +
  23164. +/* Close the device. Free up all resources still associated with this device
  23165. +** at the time.
  23166. +*/
  23167. +static int vc_sm_release(struct inode *inode, struct file *file)
  23168. +{
  23169. + struct SM_PRIV_DATA_T *file_data =
  23170. + (struct SM_PRIV_DATA_T *)file->private_data;
  23171. + struct SM_RESOURCE_T *resource;
  23172. + int ret = 0;
  23173. +
  23174. + /* Make sure the device was started properly.
  23175. + */
  23176. + if (sm_state == NULL || file_data == NULL) {
  23177. + pr_err("[%s]: invalid device\n", __func__);
  23178. + ret = -EPERM;
  23179. + goto out;
  23180. + }
  23181. +
  23182. + pr_debug("[%s]: using private data %p\n", __func__, file_data);
  23183. +
  23184. + if (file_data->restart_sys == -EINTR) {
  23185. + VC_SM_ACTION_CLEAN_T action_clean;
  23186. +
  23187. + pr_debug("[%s]: releasing following EINTR on %u (trans_id: %u) (likely due to signal)...\n",
  23188. + __func__, file_data->int_action,
  23189. + file_data->int_trans_id);
  23190. +
  23191. + action_clean.res_action = file_data->int_action;
  23192. + action_clean.action_trans_id = file_data->int_trans_id;
  23193. +
  23194. + vc_vchi_sm_clean_up(sm_state->sm_handle, &action_clean);
  23195. + }
  23196. +
  23197. + while ((resource = vmcs_sm_acquire_first_resource(file_data)) != NULL) {
  23198. + vmcs_sm_release_resource(resource, 0);
  23199. + vmcs_sm_release_resource(resource, 1);
  23200. + }
  23201. +
  23202. + /* Remove the corresponding proc entry. */
  23203. + debugfs_remove_recursive(file_data->dir_pid);
  23204. +
  23205. + /* Terminate the private data.
  23206. + */
  23207. + kfree(file_data);
  23208. +
  23209. +out:
  23210. + return ret;
  23211. +}
  23212. +
  23213. +static void vcsm_vma_open(struct vm_area_struct *vma)
  23214. +{
  23215. + struct sm_mmap *map = (struct sm_mmap *)vma->vm_private_data;
  23216. +
  23217. + pr_debug("[%s]: virt %lx-%lx, pid %i, pfn %i\n",
  23218. + __func__, vma->vm_start, vma->vm_end, (int)current->tgid,
  23219. + (int)vma->vm_pgoff);
  23220. +
  23221. + map->ref_count++;
  23222. +}
  23223. +
  23224. +static void vcsm_vma_close(struct vm_area_struct *vma)
  23225. +{
  23226. + struct sm_mmap *map = (struct sm_mmap *)vma->vm_private_data;
  23227. +
  23228. + pr_debug("[%s]: virt %lx-%lx, pid %i, pfn %i\n",
  23229. + __func__, vma->vm_start, vma->vm_end, (int)current->tgid,
  23230. + (int)vma->vm_pgoff);
  23231. +
  23232. + map->ref_count--;
  23233. +
  23234. + /* Remove from the map table.
  23235. + */
  23236. + if (map->ref_count == 0)
  23237. + vmcs_sm_remove_map(sm_state, map->resource, map);
  23238. +}
  23239. +
  23240. +static int vcsm_vma_fault(struct vm_area_struct *vma, struct vm_fault *vmf)
  23241. +{
  23242. + struct sm_mmap *map = (struct sm_mmap *)vma->vm_private_data;
  23243. + struct SM_RESOURCE_T *resource = map->resource;
  23244. + pgoff_t page_offset;
  23245. + unsigned long pfn;
  23246. + int ret = 0;
  23247. +
  23248. + /* Lock the resource if necessary.
  23249. + */
  23250. + if (!resource->lock_count) {
  23251. + VC_SM_LOCK_UNLOCK_T lock_unlock;
  23252. + VC_SM_LOCK_RESULT_T lock_result;
  23253. + int status;
  23254. +
  23255. + lock_unlock.res_handle = resource->res_handle;
  23256. + lock_unlock.res_mem = resource->res_base_mem;
  23257. +
  23258. + pr_debug("[%s]: attempt to lock data - hdl %x, base address %p\n",
  23259. + __func__, lock_unlock.res_handle, lock_unlock.res_mem);
  23260. +
  23261. + /* Lock the videocore allocated resource.
  23262. + */
  23263. + status = vc_vchi_sm_lock(sm_state->sm_handle,
  23264. + &lock_unlock, &lock_result, 0);
  23265. + if ((status != 0) ||
  23266. + ((status == 0) && (lock_result.res_mem == NULL))) {
  23267. + pr_err("[%s]: failed to lock memory on videocore (status: %u)\n",
  23268. + __func__, status);
  23269. + resource->res_stats[LOCK_FAIL]++;
  23270. + return VM_FAULT_SIGBUS;
  23271. + }
  23272. +
  23273. + pfn = vcaddr_to_pfn((unsigned long)resource->res_base_mem);
  23274. + outer_inv_range(__pfn_to_phys(pfn),
  23275. + __pfn_to_phys(pfn) + resource->res_size);
  23276. +
  23277. + resource->res_stats[LOCK]++;
  23278. + resource->lock_count++;
  23279. +
  23280. + /* Keep track of the new base memory.
  23281. + */
  23282. + if ((lock_result.res_mem != NULL) &&
  23283. + (lock_result.res_old_mem != NULL) &&
  23284. + (lock_result.res_mem != lock_result.res_old_mem)) {
  23285. + resource->res_base_mem = lock_result.res_mem;
  23286. + }
  23287. + }
  23288. +
  23289. + /* We don't use vmf->pgoff since that has the fake offset */
  23290. + page_offset = ((unsigned long)vmf->virtual_address - vma->vm_start);
  23291. + pfn = (uint32_t)resource->res_base_mem & 0x3FFFFFFF;
  23292. + pfn += mm_vc_mem_phys_addr;
  23293. + pfn += page_offset;
  23294. + pfn >>= PAGE_SHIFT;
  23295. +
  23296. + /* Finally, remap it */
  23297. + ret = vm_insert_pfn(vma, (unsigned long)vmf->virtual_address, pfn);
  23298. +
  23299. + switch (ret) {
  23300. + case 0:
  23301. + case -ERESTARTSYS:
  23302. + return VM_FAULT_NOPAGE;
  23303. + case -ENOMEM:
  23304. + case -EAGAIN:
  23305. + return VM_FAULT_OOM;
  23306. + default:
  23307. + return VM_FAULT_SIGBUS;
  23308. + }
  23309. +}
  23310. +
  23311. +static struct vm_operations_struct vcsm_vm_ops = {
  23312. + .open = vcsm_vma_open,
  23313. + .close = vcsm_vma_close,
  23314. + .fault = vcsm_vma_fault,
  23315. +};
  23316. +
  23317. +/* Walks a VMA and clean each valid page from the cache */
  23318. +static void vcsm_vma_cache_clean_page_range(unsigned long addr,
  23319. + unsigned long end)
  23320. +{
  23321. + pgd_t *pgd;
  23322. + pud_t *pud;
  23323. + pmd_t *pmd;
  23324. + pte_t *pte;
  23325. + unsigned long pgd_next, pud_next, pmd_next;
  23326. +
  23327. + if (addr >= end)
  23328. + return;
  23329. +
  23330. + /* Walk PGD */
  23331. + pgd = pgd_offset(current->mm, addr);
  23332. + do {
  23333. + pgd_next = pgd_addr_end(addr, end);
  23334. +
  23335. + if (pgd_none(*pgd) || pgd_bad(*pgd))
  23336. + continue;
  23337. +
  23338. + /* Walk PUD */
  23339. + pud = pud_offset(pgd, addr);
  23340. + do {
  23341. + pud_next = pud_addr_end(addr, pgd_next);
  23342. + if (pud_none(*pud) || pud_bad(*pud))
  23343. + continue;
  23344. +
  23345. + /* Walk PMD */
  23346. + pmd = pmd_offset(pud, addr);
  23347. + do {
  23348. + pmd_next = pmd_addr_end(addr, pud_next);
  23349. + if (pmd_none(*pmd) || pmd_bad(*pmd))
  23350. + continue;
  23351. +
  23352. + /* Walk PTE */
  23353. + pte = pte_offset_map(pmd, addr);
  23354. + do {
  23355. + if (pte_none(*pte)
  23356. + || !pte_present(*pte))
  23357. + continue;
  23358. +
  23359. + /* Clean + invalidate */
  23360. + dmac_flush_range((const void *) addr,
  23361. + (const void *)
  23362. + (addr + PAGE_SIZE));
  23363. +
  23364. + } while (pte++, addr +=
  23365. + PAGE_SIZE, addr != pmd_next);
  23366. + pte_unmap(pte);
  23367. +
  23368. + } while (pmd++, addr = pmd_next, addr != pud_next);
  23369. +
  23370. + } while (pud++, addr = pud_next, addr != pgd_next);
  23371. + } while (pgd++, addr = pgd_next, addr != end);
  23372. +}
  23373. +
  23374. +/* Map an allocated data into something that the user space.
  23375. +*/
  23376. +static int vc_sm_mmap(struct file *file, struct vm_area_struct *vma)
  23377. +{
  23378. + int ret = 0;
  23379. + struct SM_PRIV_DATA_T *file_data =
  23380. + (struct SM_PRIV_DATA_T *)file->private_data;
  23381. + struct SM_RESOURCE_T *resource = NULL;
  23382. + struct sm_mmap *map = NULL;
  23383. +
  23384. + /* Make sure the device was started properly.
  23385. + */
  23386. + if ((sm_state == NULL) || (file_data == NULL)) {
  23387. + pr_err("[%s]: invalid device\n", __func__);
  23388. + return -EPERM;
  23389. + }
  23390. +
  23391. + pr_debug("[%s]: private data %p, guid %x\n", __func__, file_data,
  23392. + ((unsigned int)vma->vm_pgoff << PAGE_SHIFT));
  23393. +
  23394. + /* We lookup to make sure that the data we are being asked to mmap is
  23395. + ** something that we allocated.
  23396. + **
  23397. + ** We use the offset information as the key to tell us which resource
  23398. + ** we are mapping.
  23399. + */
  23400. + resource = vmcs_sm_acquire_resource(file_data,
  23401. + ((unsigned int)vma->vm_pgoff <<
  23402. + PAGE_SHIFT));
  23403. + if (resource == NULL) {
  23404. + pr_err("[%s]: failed to locate resource for guid %x\n", __func__,
  23405. + ((unsigned int)vma->vm_pgoff << PAGE_SHIFT));
  23406. + return -ENOMEM;
  23407. + }
  23408. +
  23409. + pr_debug("[%s]: guid %x, tgid %u, %u, %u\n",
  23410. + __func__, resource->res_guid, current->tgid, resource->pid,
  23411. + file_data->pid);
  23412. +
  23413. + /* Check permissions.
  23414. + */
  23415. + if (resource->pid && (resource->pid != current->tgid)) {
  23416. + pr_err("[%s]: current tgid %u != %u owner\n",
  23417. + __func__, current->tgid, resource->pid);
  23418. + ret = -EPERM;
  23419. + goto error;
  23420. + }
  23421. +
  23422. + /* Verify that what we are asked to mmap is proper.
  23423. + */
  23424. + if (resource->res_size != (unsigned int)(vma->vm_end - vma->vm_start)) {
  23425. + pr_err("[%s]: size inconsistency (resource: %u - mmap: %u)\n",
  23426. + __func__,
  23427. + resource->res_size,
  23428. + (unsigned int)(vma->vm_end - vma->vm_start));
  23429. +
  23430. + ret = -EINVAL;
  23431. + goto error;
  23432. + }
  23433. +
  23434. + /* Keep track of the tuple in the global resource list such that one
  23435. + * can do a mapping lookup for address/memory handle.
  23436. + */
  23437. + map = kzalloc(sizeof(*map), GFP_KERNEL);
  23438. + if (map == NULL) {
  23439. + pr_err("[%s]: failed to allocate global tracking resource\n",
  23440. + __func__);
  23441. + ret = -ENOMEM;
  23442. + goto error;
  23443. + }
  23444. +
  23445. + map->res_pid = current->tgid;
  23446. + map->res_vc_hdl = resource->res_handle;
  23447. + map->res_usr_hdl = resource->res_guid;
  23448. + map->res_addr = (long unsigned int)vma->vm_start;
  23449. + map->resource = resource;
  23450. + map->vma = vma;
  23451. + vmcs_sm_add_map(sm_state, resource, map);
  23452. +
  23453. + /* We are not actually mapping the pages, we just provide a fault
  23454. + ** handler to allow pages to be mapped when accessed
  23455. + */
  23456. + vma->vm_flags |=
  23457. + VM_IO | VM_PFNMAP | VM_DONTCOPY | VM_DONTEXPAND;
  23458. + vma->vm_ops = &vcsm_vm_ops;
  23459. + vma->vm_private_data = map;
  23460. +
  23461. + /* vm_pgoff is the first PFN of the mapped memory */
  23462. + vma->vm_pgoff = (unsigned long)resource->res_base_mem & 0x3FFFFFFF;
  23463. + vma->vm_pgoff += mm_vc_mem_phys_addr;
  23464. + vma->vm_pgoff >>= PAGE_SHIFT;
  23465. +
  23466. + if ((resource->res_cached == VMCS_SM_CACHE_NONE) ||
  23467. + (resource->res_cached == VMCS_SM_CACHE_VC)) {
  23468. + /* Allocated non host cached memory, honour it.
  23469. + */
  23470. + vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot);
  23471. + }
  23472. +
  23473. + pr_debug("[%s]: resource %p (guid %x) - cnt %u, base address %p, handle %x, size %u (%u), cache %u\n",
  23474. + __func__,
  23475. + resource, resource->res_guid, resource->lock_count,
  23476. + resource->res_base_mem, resource->res_handle,
  23477. + resource->res_size, (unsigned int)(vma->vm_end - vma->vm_start),
  23478. + resource->res_cached);
  23479. +
  23480. + pr_debug("[%s]: resource %p (base address %p, handle %x) - map-count %d, usr-addr %x\n",
  23481. + __func__, resource, resource->res_base_mem,
  23482. + resource->res_handle, resource->map_count,
  23483. + (unsigned int)vma->vm_start);
  23484. +
  23485. + vcsm_vma_open(vma);
  23486. + resource->res_stats[MAP]++;
  23487. + vmcs_sm_release_resource(resource, 0);
  23488. + return 0;
  23489. +
  23490. +error:
  23491. + resource->res_stats[MAP_FAIL]++;
  23492. + vmcs_sm_release_resource(resource, 0);
  23493. + return ret;
  23494. +}
  23495. +
  23496. +/* Allocate a shared memory handle and block.
  23497. +*/
  23498. +int vc_sm_ioctl_alloc(struct SM_PRIV_DATA_T *private,
  23499. + struct vmcs_sm_ioctl_alloc *ioparam)
  23500. +{
  23501. + int ret = 0;
  23502. + int status;
  23503. + struct SM_RESOURCE_T *resource;
  23504. + VC_SM_ALLOC_T alloc = { 0 };
  23505. + VC_SM_ALLOC_RESULT_T result = { 0 };
  23506. +
  23507. + /* Setup our allocation parameters */
  23508. + alloc.type = ((ioparam->cached == VMCS_SM_CACHE_VC)
  23509. + || (ioparam->cached ==
  23510. + VMCS_SM_CACHE_BOTH)) ? VC_SM_ALLOC_CACHED :
  23511. + VC_SM_ALLOC_NON_CACHED;
  23512. + alloc.base_unit = ioparam->size;
  23513. + alloc.num_unit = ioparam->num;
  23514. + alloc.allocator = current->tgid;
  23515. + /* Align to kernel page size */
  23516. + alloc.alignement = 4096;
  23517. + /* Align the size to the kernel page size */
  23518. + alloc.base_unit =
  23519. + (alloc.base_unit + alloc.alignement - 1) & ~(alloc.alignement - 1);
  23520. + if (*ioparam->name) {
  23521. + memcpy(alloc.name, ioparam->name, sizeof(alloc.name) - 1);
  23522. + } else {
  23523. + memcpy(alloc.name, VMCS_SM_RESOURCE_NAME_DEFAULT,
  23524. + sizeof(VMCS_SM_RESOURCE_NAME_DEFAULT));
  23525. + }
  23526. +
  23527. + pr_debug("[%s]: attempt to allocate \"%s\" data - type %u, base %u (%u), num %u, alignement %u\n",
  23528. + __func__, alloc.name, alloc.type, ioparam->size,
  23529. + alloc.base_unit, alloc.num_unit, alloc.alignement);
  23530. +
  23531. + /* Allocate local resource to track this allocation.
  23532. + */
  23533. + resource = kzalloc(sizeof(*resource), GFP_KERNEL);
  23534. + if (!resource) {
  23535. + ret = -ENOMEM;
  23536. + goto error;
  23537. + }
  23538. + INIT_LIST_HEAD(&resource->map_list);
  23539. + resource->ref_count++;
  23540. + resource->pid = current->tgid;
  23541. +
  23542. + /* Allocate the videocore resource.
  23543. + */
  23544. + status = vc_vchi_sm_alloc(sm_state->sm_handle, &alloc, &result,
  23545. + &private->int_trans_id);
  23546. + if (status == -EINTR) {
  23547. + pr_debug("[%s]: requesting allocate memory action restart (trans_id: %u)\n",
  23548. + __func__, private->int_trans_id);
  23549. + ret = -ERESTARTSYS;
  23550. + private->restart_sys = -EINTR;
  23551. + private->int_action = VC_SM_MSG_TYPE_ALLOC;
  23552. + goto error;
  23553. + } else if (status != 0 || (status == 0 && result.res_mem == NULL)) {
  23554. + pr_err("[%s]: failed to allocate memory on videocore (status: %u, trans_id: %u)\n",
  23555. + __func__, status, private->int_trans_id);
  23556. + ret = -ENOMEM;
  23557. + resource->res_stats[ALLOC_FAIL]++;
  23558. + goto error;
  23559. + }
  23560. +
  23561. + /* Keep track of the resource we created.
  23562. + */
  23563. + resource->private = private;
  23564. + resource->res_handle = result.res_handle;
  23565. + resource->res_base_mem = result.res_mem;
  23566. + resource->res_size = alloc.base_unit * alloc.num_unit;
  23567. + resource->res_cached = ioparam->cached;
  23568. +
  23569. + /* Kernel/user GUID. This global identifier is used for mmap'ing the
  23570. + * allocated region from user space, it is passed as the mmap'ing
  23571. + * offset, we use it to 'hide' the videocore handle/address.
  23572. + */
  23573. + mutex_lock(&sm_state->lock);
  23574. + resource->res_guid = ++sm_state->guid;
  23575. + mutex_unlock(&sm_state->lock);
  23576. + resource->res_guid <<= PAGE_SHIFT;
  23577. +
  23578. + vmcs_sm_add_resource(private, resource);
  23579. +
  23580. + pr_debug("[%s]: allocated data - guid %x, hdl %x, base address %p, size %d, cache %d\n",
  23581. + __func__, resource->res_guid, resource->res_handle,
  23582. + resource->res_base_mem, resource->res_size,
  23583. + resource->res_cached);
  23584. +
  23585. + /* We're done */
  23586. + resource->res_stats[ALLOC]++;
  23587. + ioparam->handle = resource->res_guid;
  23588. + return 0;
  23589. +
  23590. +error:
  23591. + pr_err("[%s]: failed to allocate \"%s\" data (%i) - type %u, base %u (%u), num %u, alignment %u\n",
  23592. + __func__, alloc.name, ret, alloc.type, ioparam->size,
  23593. + alloc.base_unit, alloc.num_unit, alloc.alignement);
  23594. + if (resource != NULL) {
  23595. + vc_sm_resource_deceased(resource, 1);
  23596. + kfree(resource);
  23597. + }
  23598. + return ret;
  23599. +}
  23600. +
  23601. +/* Share an allocate memory handle and block.
  23602. +*/
  23603. +int vc_sm_ioctl_alloc_share(struct SM_PRIV_DATA_T *private,
  23604. + struct vmcs_sm_ioctl_alloc_share *ioparam)
  23605. +{
  23606. + struct SM_RESOURCE_T *resource, *shared_resource;
  23607. + int ret = 0;
  23608. +
  23609. + pr_debug("[%s]: attempt to share resource %u\n", __func__,
  23610. + ioparam->handle);
  23611. +
  23612. + shared_resource = vmcs_sm_acquire_global_resource(ioparam->handle);
  23613. + if (shared_resource == NULL) {
  23614. + ret = -ENOMEM;
  23615. + goto error;
  23616. + }
  23617. +
  23618. + /* Allocate local resource to track this allocation.
  23619. + */
  23620. + resource = kzalloc(sizeof(*resource), GFP_KERNEL);
  23621. + if (resource == NULL) {
  23622. + pr_err("[%s]: failed to allocate local tracking resource\n",
  23623. + __func__);
  23624. + ret = -ENOMEM;
  23625. + goto error;
  23626. + }
  23627. + INIT_LIST_HEAD(&resource->map_list);
  23628. + resource->ref_count++;
  23629. + resource->pid = current->tgid;
  23630. +
  23631. + /* Keep track of the resource we created.
  23632. + */
  23633. + resource->private = private;
  23634. + resource->res_handle = shared_resource->res_handle;
  23635. + resource->res_base_mem = shared_resource->res_base_mem;
  23636. + resource->res_size = shared_resource->res_size;
  23637. + resource->res_cached = shared_resource->res_cached;
  23638. + resource->res_shared = shared_resource;
  23639. +
  23640. + mutex_lock(&sm_state->lock);
  23641. + resource->res_guid = ++sm_state->guid;
  23642. + mutex_unlock(&sm_state->lock);
  23643. + resource->res_guid <<= PAGE_SHIFT;
  23644. +
  23645. + vmcs_sm_add_resource(private, resource);
  23646. +
  23647. + pr_debug("[%s]: allocated data - guid %x, hdl %x, base address %p, size %d, cache %d\n",
  23648. + __func__, resource->res_guid, resource->res_handle,
  23649. + resource->res_base_mem, resource->res_size,
  23650. + resource->res_cached);
  23651. +
  23652. + /* We're done */
  23653. + resource->res_stats[ALLOC]++;
  23654. + ioparam->handle = resource->res_guid;
  23655. + ioparam->size = resource->res_size;
  23656. + return 0;
  23657. +
  23658. +error:
  23659. + pr_err("[%s]: failed to share %u\n", __func__, ioparam->handle);
  23660. + if (shared_resource != NULL)
  23661. + vmcs_sm_release_resource(shared_resource, 0);
  23662. +
  23663. + return ret;
  23664. +}
  23665. +
  23666. +/* Free a previously allocated shared memory handle and block.
  23667. +*/
  23668. +static int vc_sm_ioctl_free(struct SM_PRIV_DATA_T *private,
  23669. + struct vmcs_sm_ioctl_free *ioparam)
  23670. +{
  23671. + struct SM_RESOURCE_T *resource =
  23672. + vmcs_sm_acquire_resource(private, ioparam->handle);
  23673. +
  23674. + if (resource == NULL) {
  23675. + pr_err("[%s]: resource for guid %u does not exist\n", __func__,
  23676. + ioparam->handle);
  23677. + return -EINVAL;
  23678. + }
  23679. +
  23680. + /* Check permissions.
  23681. + */
  23682. + if (resource->pid && (resource->pid != current->tgid)) {
  23683. + pr_err("[%s]: current tgid %u != %u owner\n",
  23684. + __func__, current->tgid, resource->pid);
  23685. + vmcs_sm_release_resource(resource, 0);
  23686. + return -EPERM;
  23687. + }
  23688. +
  23689. + vmcs_sm_release_resource(resource, 0);
  23690. + vmcs_sm_release_resource(resource, 0);
  23691. + return 0;
  23692. +}
  23693. +
  23694. +/* Resize a previously allocated shared memory handle and block.
  23695. +*/
  23696. +static int vc_sm_ioctl_resize(struct SM_PRIV_DATA_T *private,
  23697. + struct vmcs_sm_ioctl_resize *ioparam)
  23698. +{
  23699. + int ret = 0;
  23700. + int status;
  23701. + VC_SM_RESIZE_T resize;
  23702. + struct SM_RESOURCE_T *resource;
  23703. +
  23704. + /* Locate resource from GUID.
  23705. + */
  23706. + resource = vmcs_sm_acquire_resource(private, ioparam->handle);
  23707. + if (!resource) {
  23708. + pr_err("[%s]: failed resource - guid %x\n",
  23709. + __func__, ioparam->handle);
  23710. + ret = -EFAULT;
  23711. + goto error;
  23712. + }
  23713. +
  23714. + /* If the resource is locked, its reference count will be not NULL,
  23715. + ** in which case we will not be allowed to resize it anyways, so
  23716. + ** reject the attempt here.
  23717. + */
  23718. + if (resource->lock_count != 0) {
  23719. + pr_err("[%s]: cannot resize - guid %x, ref-cnt %d\n",
  23720. + __func__, ioparam->handle, resource->lock_count);
  23721. + ret = -EFAULT;
  23722. + goto error;
  23723. + }
  23724. +
  23725. + /* Check permissions.
  23726. + */
  23727. + if (resource->pid && (resource->pid != current->tgid)) {
  23728. + pr_err("[%s]: current tgid %u != %u owner\n", __func__,
  23729. + current->tgid, resource->pid);
  23730. + ret = -EPERM;
  23731. + goto error;
  23732. + }
  23733. +
  23734. + if (resource->map_count != 0) {
  23735. + pr_err("[%s]: cannot resize - guid %x, ref-cnt %d\n",
  23736. + __func__, ioparam->handle, resource->map_count);
  23737. + ret = -EFAULT;
  23738. + goto error;
  23739. + }
  23740. +
  23741. + resize.res_handle = resource->res_handle;
  23742. + resize.res_mem = resource->res_base_mem;
  23743. + resize.res_new_size = ioparam->new_size;
  23744. +
  23745. + pr_debug("[%s]: attempt to resize data - guid %x, hdl %x, base address %p\n",
  23746. + __func__, ioparam->handle, resize.res_handle, resize.res_mem);
  23747. +
  23748. + /* Resize the videocore allocated resource.
  23749. + */
  23750. + status = vc_vchi_sm_resize(sm_state->sm_handle, &resize,
  23751. + &private->int_trans_id);
  23752. + if (status == -EINTR) {
  23753. + pr_debug("[%s]: requesting resize memory action restart (trans_id: %u)\n",
  23754. + __func__, private->int_trans_id);
  23755. + ret = -ERESTARTSYS;
  23756. + private->restart_sys = -EINTR;
  23757. + private->int_action = VC_SM_MSG_TYPE_RESIZE;
  23758. + goto error;
  23759. + } else if (status != 0) {
  23760. + pr_err("[%s]: failed to resize memory on videocore (status: %u, trans_id: %u)\n",
  23761. + __func__, status, private->int_trans_id);
  23762. + ret = -EPERM;
  23763. + goto error;
  23764. + }
  23765. +
  23766. + pr_debug("[%s]: success to resize data - hdl %x, size %d -> %d\n",
  23767. + __func__, resize.res_handle, resource->res_size,
  23768. + resize.res_new_size);
  23769. +
  23770. + /* Successfully resized, save the information and inform the user.
  23771. + */
  23772. + ioparam->old_size = resource->res_size;
  23773. + resource->res_size = resize.res_new_size;
  23774. +
  23775. +error:
  23776. + if (resource)
  23777. + vmcs_sm_release_resource(resource, 0);
  23778. +
  23779. + return ret;
  23780. +}
  23781. +
  23782. +/* Lock a previously allocated shared memory handle and block.
  23783. +*/
  23784. +static int vc_sm_ioctl_lock(struct SM_PRIV_DATA_T *private,
  23785. + struct vmcs_sm_ioctl_lock_unlock *ioparam,
  23786. + int change_cache, enum vmcs_sm_cache_e cache_type,
  23787. + unsigned int vc_addr)
  23788. +{
  23789. + int status;
  23790. + VC_SM_LOCK_UNLOCK_T lock;
  23791. + VC_SM_LOCK_RESULT_T result;
  23792. + struct SM_RESOURCE_T *resource;
  23793. + int ret = 0;
  23794. + struct sm_mmap *map, *map_tmp;
  23795. + long unsigned int phys_addr;
  23796. +
  23797. + map = NULL;
  23798. +
  23799. + /* Locate resource from GUID.
  23800. + */
  23801. + resource = vmcs_sm_acquire_resource(private, ioparam->handle);
  23802. + if (resource == NULL) {
  23803. + ret = -EINVAL;
  23804. + goto error;
  23805. + }
  23806. +
  23807. + /* Check permissions.
  23808. + */
  23809. + if (resource->pid && (resource->pid != current->tgid)) {
  23810. + pr_err("[%s]: current tgid %u != %u owner\n", __func__,
  23811. + current->tgid, resource->pid);
  23812. + ret = -EPERM;
  23813. + goto error;
  23814. + }
  23815. +
  23816. + lock.res_handle = resource->res_handle;
  23817. + lock.res_mem = resource->res_base_mem;
  23818. +
  23819. + /* Take the lock and get the address to be mapped.
  23820. + */
  23821. + if (vc_addr == 0) {
  23822. + pr_debug("[%s]: attempt to lock data - guid %x, hdl %x, base address %p\n",
  23823. + __func__, ioparam->handle, lock.res_handle,
  23824. + lock.res_mem);
  23825. +
  23826. + /* Lock the videocore allocated resource.
  23827. + */
  23828. + status = vc_vchi_sm_lock(sm_state->sm_handle, &lock, &result,
  23829. + &private->int_trans_id);
  23830. + if (status == -EINTR) {
  23831. + pr_debug("[%s]: requesting lock memory action restart (trans_id: %u)\n",
  23832. + __func__, private->int_trans_id);
  23833. + ret = -ERESTARTSYS;
  23834. + private->restart_sys = -EINTR;
  23835. + private->int_action = VC_SM_MSG_TYPE_LOCK;
  23836. + goto error;
  23837. + } else if (status != 0 ||
  23838. + (status == 0 && result.res_mem == NULL)) {
  23839. + pr_err("[%s]: failed to lock memory on videocore (status: %u, trans_id: %u)\n",
  23840. + __func__, status, private->int_trans_id);
  23841. + ret = -EPERM;
  23842. + resource->res_stats[LOCK_FAIL]++;
  23843. + goto error;
  23844. + }
  23845. +
  23846. + pr_debug("[%s]: succeed to lock data - hdl %x, base address %p (%p), ref-cnt %d\n",
  23847. + __func__, lock.res_handle, result.res_mem,
  23848. + lock.res_mem, resource->lock_count);
  23849. + }
  23850. + /* Lock assumed taken already, address to be mapped is known.
  23851. + */
  23852. + else
  23853. + resource->res_base_mem = (void *)vc_addr;
  23854. +
  23855. + resource->res_stats[LOCK]++;
  23856. + resource->lock_count++;
  23857. +
  23858. + /* Keep track of the new base memory allocation if it has changed.
  23859. + */
  23860. + if ((vc_addr == 0) &&
  23861. + (result.res_mem != NULL) &&
  23862. + (result.res_old_mem != NULL) &&
  23863. + (result.res_mem != result.res_old_mem)) {
  23864. + resource->res_base_mem = result.res_mem;
  23865. +
  23866. + /* Kernel allocated resources.
  23867. + */
  23868. + if (resource->pid == 0) {
  23869. + if (!list_empty(&resource->map_list)) {
  23870. + list_for_each_entry_safe(map, map_tmp,
  23871. + &resource->map_list,
  23872. + resource_map_list) {
  23873. + if (map->res_addr) {
  23874. + iounmap((void *)map->res_addr);
  23875. + map->res_addr = 0;
  23876. +
  23877. + vmcs_sm_remove_map(sm_state,
  23878. + map->resource,
  23879. + map);
  23880. + break;
  23881. + }
  23882. + }
  23883. + }
  23884. + }
  23885. + }
  23886. +
  23887. + if (change_cache)
  23888. + resource->res_cached = cache_type;
  23889. +
  23890. + if (resource->map_count) {
  23891. + ioparam->addr =
  23892. + vmcs_sm_usr_address_from_pid_and_usr_handle(
  23893. + current->tgid, ioparam->handle);
  23894. +
  23895. + pr_debug("[%s] map_count %d private->pid %d current->tgid %d hnd %x addr %u\n",
  23896. + __func__, resource->map_count, private->pid,
  23897. + current->tgid, ioparam->handle, ioparam->addr);
  23898. + } else {
  23899. + /* Kernel allocated resources.
  23900. + */
  23901. + if (resource->pid == 0) {
  23902. + pr_debug("[%s]: attempt mapping kernel resource - guid %x, hdl %x\n",
  23903. + __func__, ioparam->handle, lock.res_handle);
  23904. +
  23905. + ioparam->addr = 0;
  23906. +
  23907. + map = kzalloc(sizeof(*map), GFP_KERNEL);
  23908. + if (map == NULL) {
  23909. + pr_err("[%s]: failed allocating tracker\n",
  23910. + __func__);
  23911. + ret = -ENOMEM;
  23912. + goto error;
  23913. + } else {
  23914. + phys_addr = (uint32_t)resource->res_base_mem &
  23915. + 0x3FFFFFFF;
  23916. + phys_addr += mm_vc_mem_phys_addr;
  23917. + if (resource->res_cached
  23918. + == VMCS_SM_CACHE_HOST) {
  23919. + ioparam->addr = (long unsigned int)
  23920. + /* TODO - make cached work */
  23921. + ioremap_nocache(phys_addr,
  23922. + resource->res_size);
  23923. +
  23924. + pr_debug("[%s]: mapping kernel - guid %x, hdl %x - cached mapping %u\n",
  23925. + __func__, ioparam->handle,
  23926. + lock.res_handle, ioparam->addr);
  23927. + } else {
  23928. + ioparam->addr = (long unsigned int)
  23929. + ioremap_nocache(phys_addr,
  23930. + resource->res_size);
  23931. +
  23932. + pr_debug("[%s]: mapping kernel- guid %x, hdl %x - non cached mapping %u\n",
  23933. + __func__, ioparam->handle,
  23934. + lock.res_handle, ioparam->addr);
  23935. + }
  23936. +
  23937. + map->res_pid = 0;
  23938. + map->res_vc_hdl = resource->res_handle;
  23939. + map->res_usr_hdl = resource->res_guid;
  23940. + map->res_addr = ioparam->addr;
  23941. + map->resource = resource;
  23942. + map->vma = NULL;
  23943. +
  23944. + vmcs_sm_add_map(sm_state, resource, map);
  23945. + }
  23946. + } else
  23947. + ioparam->addr = 0;
  23948. + }
  23949. +
  23950. +error:
  23951. + if (resource)
  23952. + vmcs_sm_release_resource(resource, 0);
  23953. +
  23954. + return ret;
  23955. +}
  23956. +
  23957. +/* Unlock a previously allocated shared memory handle and block.
  23958. +*/
  23959. +static int vc_sm_ioctl_unlock(struct SM_PRIV_DATA_T *private,
  23960. + struct vmcs_sm_ioctl_lock_unlock *ioparam,
  23961. + int flush, int wait_reply, int no_vc_unlock)
  23962. +{
  23963. + int status;
  23964. + VC_SM_LOCK_UNLOCK_T unlock;
  23965. + struct sm_mmap *map, *map_tmp;
  23966. + struct SM_RESOURCE_T *resource;
  23967. + int ret = 0;
  23968. +
  23969. + map = NULL;
  23970. +
  23971. + /* Locate resource from GUID.
  23972. + */
  23973. + resource = vmcs_sm_acquire_resource(private, ioparam->handle);
  23974. + if (resource == NULL) {
  23975. + ret = -EINVAL;
  23976. + goto error;
  23977. + }
  23978. +
  23979. + /* Check permissions.
  23980. + */
  23981. + if (resource->pid && (resource->pid != current->tgid)) {
  23982. + pr_err("[%s]: current tgid %u != %u owner\n",
  23983. + __func__, current->tgid, resource->pid);
  23984. + ret = -EPERM;
  23985. + goto error;
  23986. + }
  23987. +
  23988. + unlock.res_handle = resource->res_handle;
  23989. + unlock.res_mem = resource->res_base_mem;
  23990. +
  23991. + pr_debug("[%s]: attempt to unlock data - guid %x, hdl %x, base address %p\n",
  23992. + __func__, ioparam->handle, unlock.res_handle, unlock.res_mem);
  23993. +
  23994. + /* User space allocated resources.
  23995. + */
  23996. + if (resource->pid) {
  23997. + /* Flush if requested */
  23998. + if (resource->res_cached && flush) {
  23999. + dma_addr_t phys_addr = 0;
  24000. + resource->res_stats[FLUSH]++;
  24001. +
  24002. + phys_addr =
  24003. + (dma_addr_t)((uint32_t)resource->res_base_mem &
  24004. + 0x3FFFFFFF);
  24005. + phys_addr += (dma_addr_t)mm_vc_mem_phys_addr;
  24006. +
  24007. + /* L1 cache flush */
  24008. + down_read(&current->mm->mmap_sem);
  24009. + list_for_each_entry(map, &resource->map_list,
  24010. + resource_map_list) {
  24011. + if (map->vma) {
  24012. + unsigned long start;
  24013. + unsigned long end;
  24014. + start = map->vma->vm_start;
  24015. + end = map->vma->vm_end;
  24016. +
  24017. + vcsm_vma_cache_clean_page_range(
  24018. + start, end);
  24019. + }
  24020. + }
  24021. + up_read(&current->mm->mmap_sem);
  24022. +
  24023. + /* L2 cache flush */
  24024. + outer_clean_range(phys_addr,
  24025. + phys_addr +
  24026. + (size_t) resource->res_size);
  24027. + }
  24028. +
  24029. + /* We need to zap all the vmas associated with this resource */
  24030. + if (resource->lock_count == 1) {
  24031. + down_read(&current->mm->mmap_sem);
  24032. + list_for_each_entry(map, &resource->map_list,
  24033. + resource_map_list) {
  24034. + if (map->vma) {
  24035. + zap_vma_ptes(map->vma,
  24036. + map->vma->vm_start,
  24037. + map->vma->vm_end -
  24038. + map->vma->vm_start);
  24039. + }
  24040. + }
  24041. + up_read(&current->mm->mmap_sem);
  24042. + }
  24043. + }
  24044. + /* Kernel allocated resources. */
  24045. + else {
  24046. + /* Global + Taken in this context */
  24047. + if (resource->ref_count == 2) {
  24048. + if (!list_empty(&resource->map_list)) {
  24049. + list_for_each_entry_safe(map, map_tmp,
  24050. + &resource->map_list,
  24051. + resource_map_list) {
  24052. + if (map->res_addr) {
  24053. + if (flush &&
  24054. + (resource->res_cached ==
  24055. + VMCS_SM_CACHE_HOST)) {
  24056. + long unsigned int
  24057. + phys_addr;
  24058. + phys_addr = (uint32_t)
  24059. + resource->res_base_mem & 0x3FFFFFFF;
  24060. + phys_addr +=
  24061. + mm_vc_mem_phys_addr;
  24062. +
  24063. + /* L1 cache flush */
  24064. + dmac_flush_range((const
  24065. + void
  24066. + *)
  24067. + map->res_addr, (const void *)
  24068. + (map->res_addr + resource->res_size));
  24069. +
  24070. + /* L2 cache flush */
  24071. + outer_clean_range
  24072. + (phys_addr,
  24073. + phys_addr +
  24074. + (size_t)
  24075. + resource->res_size);
  24076. + }
  24077. +
  24078. + iounmap((void *)map->res_addr);
  24079. + map->res_addr = 0;
  24080. +
  24081. + vmcs_sm_remove_map(sm_state,
  24082. + map->resource,
  24083. + map);
  24084. + break;
  24085. + }
  24086. + }
  24087. + }
  24088. + }
  24089. + }
  24090. +
  24091. + if (resource->lock_count) {
  24092. + /* Bypass the videocore unlock.
  24093. + */
  24094. + if (no_vc_unlock)
  24095. + status = 0;
  24096. + /* Unlock the videocore allocated resource.
  24097. + */
  24098. + else {
  24099. + status =
  24100. + vc_vchi_sm_unlock(sm_state->sm_handle, &unlock,
  24101. + &private->int_trans_id,
  24102. + wait_reply);
  24103. + if (status == -EINTR) {
  24104. + pr_debug("[%s]: requesting unlock memory action restart (trans_id: %u)\n",
  24105. + __func__, private->int_trans_id);
  24106. +
  24107. + ret = -ERESTARTSYS;
  24108. + resource->res_stats[UNLOCK]--;
  24109. + private->restart_sys = -EINTR;
  24110. + private->int_action = VC_SM_MSG_TYPE_UNLOCK;
  24111. + goto error;
  24112. + } else if (status != 0) {
  24113. + pr_err("[%s]: failed to unlock vc mem (status: %u, trans_id: %u)\n",
  24114. + __func__, status, private->int_trans_id);
  24115. +
  24116. + ret = -EPERM;
  24117. + resource->res_stats[UNLOCK_FAIL]++;
  24118. + goto error;
  24119. + }
  24120. + }
  24121. +
  24122. + resource->res_stats[UNLOCK]++;
  24123. + resource->lock_count--;
  24124. + }
  24125. +
  24126. + pr_debug("[%s]: success to unlock data - hdl %x, base address %p, ref-cnt %d\n",
  24127. + __func__, unlock.res_handle, unlock.res_mem,
  24128. + resource->lock_count);
  24129. +
  24130. +error:
  24131. + if (resource)
  24132. + vmcs_sm_release_resource(resource, 0);
  24133. +
  24134. + return ret;
  24135. +}
  24136. +
  24137. +/* Handle control from host. */
  24138. +static long vc_sm_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  24139. +{
  24140. + int ret = 0;
  24141. + unsigned int cmdnr = _IOC_NR(cmd);
  24142. + struct SM_PRIV_DATA_T *file_data =
  24143. + (struct SM_PRIV_DATA_T *)file->private_data;
  24144. + struct SM_RESOURCE_T *resource = NULL;
  24145. +
  24146. + /* Validate we can work with this device. */
  24147. + if ((sm_state == NULL) || (file_data == NULL)) {
  24148. + pr_err("[%s]: invalid device\n", __func__);
  24149. + ret = -EPERM;
  24150. + goto out;
  24151. + }
  24152. +
  24153. + pr_debug("[%s]: cmd %x tgid %u, owner %u\n", __func__, cmdnr,
  24154. + current->tgid, file_data->pid);
  24155. +
  24156. + /* Action is a re-post of a previously interrupted action? */
  24157. + if (file_data->restart_sys == -EINTR) {
  24158. + VC_SM_ACTION_CLEAN_T action_clean;
  24159. +
  24160. + pr_debug("[%s]: clean up of action %u (trans_id: %u) following EINTR\n",
  24161. + __func__, file_data->int_action,
  24162. + file_data->int_trans_id);
  24163. +
  24164. + action_clean.res_action = file_data->int_action;
  24165. + action_clean.action_trans_id = file_data->int_trans_id;
  24166. +
  24167. + vc_vchi_sm_clean_up(sm_state->sm_handle, &action_clean);
  24168. +
  24169. + file_data->restart_sys = 0;
  24170. + }
  24171. +
  24172. + /* Now process the command.
  24173. + */
  24174. + switch (cmdnr) {
  24175. + /* New memory allocation.
  24176. + */
  24177. + case VMCS_SM_CMD_ALLOC:
  24178. + {
  24179. + struct vmcs_sm_ioctl_alloc ioparam;
  24180. +
  24181. + /* Get the parameter data.
  24182. + */
  24183. + if (copy_from_user
  24184. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24185. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24186. + __func__, cmdnr);
  24187. + ret = -EFAULT;
  24188. + goto out;
  24189. + }
  24190. +
  24191. + ret = vc_sm_ioctl_alloc(file_data, &ioparam);
  24192. + if (!ret &&
  24193. + (copy_to_user((void *)arg,
  24194. + &ioparam, sizeof(ioparam)) != 0)) {
  24195. + struct vmcs_sm_ioctl_free freeparam = {
  24196. + ioparam.handle
  24197. + };
  24198. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24199. + __func__, cmdnr);
  24200. + vc_sm_ioctl_free(file_data, &freeparam);
  24201. + ret = -EFAULT;
  24202. + }
  24203. +
  24204. + /* Done.
  24205. + */
  24206. + goto out;
  24207. + }
  24208. + break;
  24209. +
  24210. + /* Share existing memory allocation.
  24211. + */
  24212. + case VMCS_SM_CMD_ALLOC_SHARE:
  24213. + {
  24214. + struct vmcs_sm_ioctl_alloc_share ioparam;
  24215. +
  24216. + /* Get the parameter data.
  24217. + */
  24218. + if (copy_from_user
  24219. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24220. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24221. + __func__, cmdnr);
  24222. + ret = -EFAULT;
  24223. + goto out;
  24224. + }
  24225. +
  24226. + ret = vc_sm_ioctl_alloc_share(file_data, &ioparam);
  24227. +
  24228. + /* Copy result back to user.
  24229. + */
  24230. + if (!ret
  24231. + && copy_to_user((void *)arg, &ioparam,
  24232. + sizeof(ioparam)) != 0) {
  24233. + struct vmcs_sm_ioctl_free freeparam = {
  24234. + ioparam.handle
  24235. + };
  24236. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24237. + __func__, cmdnr);
  24238. + vc_sm_ioctl_free(file_data, &freeparam);
  24239. + ret = -EFAULT;
  24240. + }
  24241. +
  24242. + /* Done.
  24243. + */
  24244. + goto out;
  24245. + }
  24246. + break;
  24247. +
  24248. + /* Lock (attempt to) *and* register a cache behavior change.
  24249. + */
  24250. + case VMCS_SM_CMD_LOCK_CACHE:
  24251. + {
  24252. + struct vmcs_sm_ioctl_lock_cache ioparam;
  24253. + struct vmcs_sm_ioctl_lock_unlock lock;
  24254. +
  24255. + /* Get parameter data.
  24256. + */
  24257. + if (copy_from_user
  24258. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24259. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24260. + __func__, cmdnr);
  24261. + ret = -EFAULT;
  24262. + goto out;
  24263. + }
  24264. +
  24265. + lock.handle = ioparam.handle;
  24266. + ret =
  24267. + vc_sm_ioctl_lock(file_data, &lock, 1,
  24268. + ioparam.cached, 0);
  24269. +
  24270. + /* Done.
  24271. + */
  24272. + goto out;
  24273. + }
  24274. + break;
  24275. +
  24276. + /* Lock (attempt to) existing memory allocation.
  24277. + */
  24278. + case VMCS_SM_CMD_LOCK:
  24279. + {
  24280. + struct vmcs_sm_ioctl_lock_unlock ioparam;
  24281. +
  24282. + /* Get parameter data.
  24283. + */
  24284. + if (copy_from_user
  24285. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24286. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24287. + __func__, cmdnr);
  24288. + ret = -EFAULT;
  24289. + goto out;
  24290. + }
  24291. +
  24292. + ret = vc_sm_ioctl_lock(file_data, &ioparam, 0, 0, 0);
  24293. +
  24294. + /* Copy result back to user.
  24295. + */
  24296. + if (copy_to_user((void *)arg, &ioparam, sizeof(ioparam))
  24297. + != 0) {
  24298. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24299. + __func__, cmdnr);
  24300. + ret = -EFAULT;
  24301. + }
  24302. +
  24303. + /* Done.
  24304. + */
  24305. + goto out;
  24306. + }
  24307. + break;
  24308. +
  24309. + /* Unlock (attempt to) existing memory allocation.
  24310. + */
  24311. + case VMCS_SM_CMD_UNLOCK:
  24312. + {
  24313. + struct vmcs_sm_ioctl_lock_unlock ioparam;
  24314. +
  24315. + /* Get parameter data.
  24316. + */
  24317. + if (copy_from_user
  24318. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24319. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24320. + __func__, cmdnr);
  24321. + ret = -EFAULT;
  24322. + goto out;
  24323. + }
  24324. +
  24325. + ret = vc_sm_ioctl_unlock(file_data, &ioparam, 0, 1, 0);
  24326. +
  24327. + /* Done.
  24328. + */
  24329. + goto out;
  24330. + }
  24331. + break;
  24332. +
  24333. + /* Resize (attempt to) existing memory allocation.
  24334. + */
  24335. + case VMCS_SM_CMD_RESIZE:
  24336. + {
  24337. + struct vmcs_sm_ioctl_resize ioparam;
  24338. +
  24339. + /* Get parameter data.
  24340. + */
  24341. + if (copy_from_user
  24342. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24343. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24344. + __func__, cmdnr);
  24345. + ret = -EFAULT;
  24346. + goto out;
  24347. + }
  24348. +
  24349. + ret = vc_sm_ioctl_resize(file_data, &ioparam);
  24350. +
  24351. + /* Copy result back to user.
  24352. + */
  24353. + if (copy_to_user((void *)arg, &ioparam, sizeof(ioparam))
  24354. + != 0) {
  24355. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24356. + __func__, cmdnr);
  24357. + ret = -EFAULT;
  24358. + }
  24359. +
  24360. + /* Done.
  24361. + */
  24362. + goto out;
  24363. + }
  24364. + break;
  24365. +
  24366. + /* Terminate existing memory allocation.
  24367. + */
  24368. + case VMCS_SM_CMD_FREE:
  24369. + {
  24370. + struct vmcs_sm_ioctl_free ioparam;
  24371. +
  24372. + /* Get parameter data.
  24373. + */
  24374. + if (copy_from_user
  24375. + (&ioparam, (void *)arg, sizeof(ioparam)) != 0) {
  24376. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24377. + __func__, cmdnr);
  24378. + ret = -EFAULT;
  24379. + goto out;
  24380. + }
  24381. +
  24382. + ret = vc_sm_ioctl_free(file_data, &ioparam);
  24383. +
  24384. + /* Done.
  24385. + */
  24386. + goto out;
  24387. + }
  24388. + break;
  24389. +
  24390. + /* Walk allocation on videocore, information shows up in the
  24391. + ** videocore log.
  24392. + */
  24393. + case VMCS_SM_CMD_VC_WALK_ALLOC:
  24394. + {
  24395. + pr_debug("[%s]: invoking walk alloc\n", __func__);
  24396. +
  24397. + if (vc_vchi_sm_walk_alloc(sm_state->sm_handle) != 0)
  24398. + pr_err("[%s]: failed to walk-alloc on videocore\n",
  24399. + __func__);
  24400. +
  24401. + /* Done.
  24402. + */
  24403. + goto out;
  24404. + }
  24405. + break;
  24406. +/* Walk mapping table on host, information shows up in the
  24407. + ** kernel log.
  24408. + */
  24409. + case VMCS_SM_CMD_HOST_WALK_MAP:
  24410. + {
  24411. + /* Use pid of -1 to tell to walk the whole map. */
  24412. + vmcs_sm_host_walk_map_per_pid(-1);
  24413. +
  24414. + /* Done. */
  24415. + goto out;
  24416. + }
  24417. + break;
  24418. +
  24419. + /* Walk mapping table per process on host. */
  24420. + case VMCS_SM_CMD_HOST_WALK_PID_ALLOC:
  24421. + {
  24422. + struct vmcs_sm_ioctl_walk ioparam;
  24423. +
  24424. + /* Get parameter data. */
  24425. + if (copy_from_user(&ioparam,
  24426. + (void *)arg, sizeof(ioparam)) != 0) {
  24427. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24428. + __func__, cmdnr);
  24429. + ret = -EFAULT;
  24430. + goto out;
  24431. + }
  24432. +
  24433. + vmcs_sm_host_walk_alloc(file_data);
  24434. +
  24435. + /* Done. */
  24436. + goto out;
  24437. + }
  24438. + break;
  24439. +
  24440. + /* Walk allocation per process on host. */
  24441. + case VMCS_SM_CMD_HOST_WALK_PID_MAP:
  24442. + {
  24443. + struct vmcs_sm_ioctl_walk ioparam;
  24444. +
  24445. + /* Get parameter data. */
  24446. + if (copy_from_user(&ioparam,
  24447. + (void *)arg, sizeof(ioparam)) != 0) {
  24448. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24449. + __func__, cmdnr);
  24450. + ret = -EFAULT;
  24451. + goto out;
  24452. + }
  24453. +
  24454. + vmcs_sm_host_walk_map_per_pid(ioparam.pid);
  24455. +
  24456. + /* Done. */
  24457. + goto out;
  24458. + }
  24459. + break;
  24460. +
  24461. + /* Gets the size of the memory associated with a user handle. */
  24462. + case VMCS_SM_CMD_SIZE_USR_HANDLE:
  24463. + {
  24464. + struct vmcs_sm_ioctl_size ioparam;
  24465. +
  24466. + /* Get parameter data. */
  24467. + if (copy_from_user(&ioparam,
  24468. + (void *)arg, sizeof(ioparam)) != 0) {
  24469. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24470. + __func__, cmdnr);
  24471. + ret = -EFAULT;
  24472. + goto out;
  24473. + }
  24474. +
  24475. + /* Locate resource from GUID. */
  24476. + resource =
  24477. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24478. + if (resource != NULL) {
  24479. + ioparam.size = resource->res_size;
  24480. + vmcs_sm_release_resource(resource, 0);
  24481. + } else {
  24482. + ioparam.size = 0;
  24483. + }
  24484. +
  24485. + if (copy_to_user((void *)arg,
  24486. + &ioparam, sizeof(ioparam)) != 0) {
  24487. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24488. + __func__, cmdnr);
  24489. + ret = -EFAULT;
  24490. + }
  24491. +
  24492. + /* Done. */
  24493. + goto out;
  24494. + }
  24495. + break;
  24496. +
  24497. + /* Verify we are dealing with a valid resource. */
  24498. + case VMCS_SM_CMD_CHK_USR_HANDLE:
  24499. + {
  24500. + struct vmcs_sm_ioctl_chk ioparam;
  24501. +
  24502. + /* Get parameter data.
  24503. + */
  24504. + if (copy_from_user(&ioparam,
  24505. + (void *)arg, sizeof(ioparam)) != 0) {
  24506. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24507. + __func__, cmdnr);
  24508. +
  24509. + ret = -EFAULT;
  24510. + goto out;
  24511. + }
  24512. +
  24513. + /* Locate resource from GUID. */
  24514. + resource =
  24515. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24516. + if (resource == NULL)
  24517. + ret = -EINVAL;
  24518. + /* If the resource is cacheable, return additional
  24519. + * information that may be needed to flush the cache.
  24520. + */
  24521. + else if ((resource->res_cached == VMCS_SM_CACHE_HOST) ||
  24522. + (resource->res_cached == VMCS_SM_CACHE_BOTH)) {
  24523. + ioparam.addr =
  24524. + vmcs_sm_usr_address_from_pid_and_usr_handle
  24525. + (current->tgid, ioparam.handle);
  24526. + ioparam.size = resource->res_size;
  24527. + ioparam.cache = resource->res_cached;
  24528. + } else {
  24529. + ioparam.addr = 0;
  24530. + ioparam.size = 0;
  24531. + ioparam.cache = resource->res_cached;
  24532. + }
  24533. +
  24534. + if (resource)
  24535. + vmcs_sm_release_resource(resource, 0);
  24536. +
  24537. + if (copy_to_user((void *)arg,
  24538. + &ioparam, sizeof(ioparam)) != 0) {
  24539. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24540. + __func__, cmdnr);
  24541. + ret = -EFAULT;
  24542. + }
  24543. +
  24544. + /* Done.
  24545. + */
  24546. + goto out;
  24547. + }
  24548. + break;
  24549. +
  24550. + /*
  24551. + * Maps a user handle given the process and the virtual address.
  24552. + */
  24553. + case VMCS_SM_CMD_MAPPED_USR_HANDLE:
  24554. + {
  24555. + struct vmcs_sm_ioctl_map ioparam;
  24556. +
  24557. + /* Get parameter data. */
  24558. + if (copy_from_user(&ioparam,
  24559. + (void *)arg, sizeof(ioparam)) != 0) {
  24560. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24561. + __func__, cmdnr);
  24562. +
  24563. + ret = -EFAULT;
  24564. + goto out;
  24565. + }
  24566. +
  24567. + ioparam.handle =
  24568. + vmcs_sm_usr_handle_from_pid_and_address(
  24569. + ioparam.pid, ioparam.addr);
  24570. +
  24571. + resource =
  24572. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24573. + if ((resource != NULL)
  24574. + && ((resource->res_cached == VMCS_SM_CACHE_HOST)
  24575. + || (resource->res_cached ==
  24576. + VMCS_SM_CACHE_BOTH))) {
  24577. + ioparam.size = resource->res_size;
  24578. + } else {
  24579. + ioparam.size = 0;
  24580. + }
  24581. +
  24582. + if (resource)
  24583. + vmcs_sm_release_resource(resource, 0);
  24584. +
  24585. + if (copy_to_user((void *)arg,
  24586. + &ioparam, sizeof(ioparam)) != 0) {
  24587. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24588. + __func__, cmdnr);
  24589. + ret = -EFAULT;
  24590. + }
  24591. +
  24592. + /* Done. */
  24593. + goto out;
  24594. + }
  24595. + break;
  24596. +
  24597. + /*
  24598. + * Maps a videocore handle given process and virtual address.
  24599. + */
  24600. + case VMCS_SM_CMD_MAPPED_VC_HDL_FROM_ADDR:
  24601. + {
  24602. + struct vmcs_sm_ioctl_map ioparam;
  24603. +
  24604. + /* Get parameter data. */
  24605. + if (copy_from_user(&ioparam,
  24606. + (void *)arg, sizeof(ioparam)) != 0) {
  24607. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24608. + __func__, cmdnr);
  24609. + ret = -EFAULT;
  24610. + goto out;
  24611. + }
  24612. +
  24613. + ioparam.handle = vmcs_sm_vc_handle_from_pid_and_address(
  24614. + ioparam.pid, ioparam.addr);
  24615. +
  24616. + if (copy_to_user((void *)arg,
  24617. + &ioparam, sizeof(ioparam)) != 0) {
  24618. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24619. + __func__, cmdnr);
  24620. +
  24621. + ret = -EFAULT;
  24622. + }
  24623. +
  24624. + /* Done.
  24625. + */
  24626. + goto out;
  24627. + }
  24628. + break;
  24629. +
  24630. + /* Maps a videocore handle given process and user handle. */
  24631. + case VMCS_SM_CMD_MAPPED_VC_HDL_FROM_HDL:
  24632. + {
  24633. + struct vmcs_sm_ioctl_map ioparam;
  24634. +
  24635. + /* Get parameter data. */
  24636. + if (copy_from_user(&ioparam,
  24637. + (void *)arg, sizeof(ioparam)) != 0) {
  24638. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24639. + __func__, cmdnr);
  24640. + ret = -EFAULT;
  24641. + goto out;
  24642. + }
  24643. +
  24644. + /* Locate resource from GUID. */
  24645. + resource =
  24646. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24647. + if (resource != NULL) {
  24648. + ioparam.handle = resource->res_handle;
  24649. + vmcs_sm_release_resource(resource, 0);
  24650. + } else {
  24651. + ioparam.handle = 0;
  24652. + }
  24653. +
  24654. + if (copy_to_user((void *)arg,
  24655. + &ioparam, sizeof(ioparam)) != 0) {
  24656. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24657. + __func__, cmdnr);
  24658. +
  24659. + ret = -EFAULT;
  24660. + }
  24661. +
  24662. + /* Done. */
  24663. + goto out;
  24664. + }
  24665. + break;
  24666. +
  24667. + /*
  24668. + * Maps a videocore address given process and videocore handle.
  24669. + */
  24670. + case VMCS_SM_CMD_MAPPED_VC_ADDR_FROM_HDL:
  24671. + {
  24672. + struct vmcs_sm_ioctl_map ioparam;
  24673. +
  24674. + /* Get parameter data. */
  24675. + if (copy_from_user(&ioparam,
  24676. + (void *)arg, sizeof(ioparam)) != 0) {
  24677. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24678. + __func__, cmdnr);
  24679. +
  24680. + ret = -EFAULT;
  24681. + goto out;
  24682. + }
  24683. +
  24684. + /* Locate resource from GUID. */
  24685. + resource =
  24686. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24687. + if (resource != NULL) {
  24688. + ioparam.addr =
  24689. + (unsigned int)resource->res_base_mem;
  24690. + vmcs_sm_release_resource(resource, 0);
  24691. + } else {
  24692. + ioparam.addr = 0;
  24693. + }
  24694. +
  24695. + if (copy_to_user((void *)arg,
  24696. + &ioparam, sizeof(ioparam)) != 0) {
  24697. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24698. + __func__, cmdnr);
  24699. + ret = -EFAULT;
  24700. + }
  24701. +
  24702. + /* Done. */
  24703. + goto out;
  24704. + }
  24705. + break;
  24706. +
  24707. + /* Maps a user address given process and vc handle.
  24708. + */
  24709. + case VMCS_SM_CMD_MAPPED_USR_ADDRESS:
  24710. + {
  24711. + struct vmcs_sm_ioctl_map ioparam;
  24712. +
  24713. + /* Get parameter data. */
  24714. + if (copy_from_user(&ioparam,
  24715. + (void *)arg, sizeof(ioparam)) != 0) {
  24716. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24717. + __func__, cmdnr);
  24718. + ret = -EFAULT;
  24719. + goto out;
  24720. + }
  24721. +
  24722. + /*
  24723. + * Return the address information from the mapping,
  24724. + * 0 (ie NULL) if it cannot locate the actual mapping.
  24725. + */
  24726. + ioparam.addr =
  24727. + vmcs_sm_usr_address_from_pid_and_usr_handle
  24728. + (ioparam.pid, ioparam.handle);
  24729. +
  24730. + if (copy_to_user((void *)arg,
  24731. + &ioparam, sizeof(ioparam)) != 0) {
  24732. + pr_err("[%s]: failed to copy-to-user for cmd %x\n",
  24733. + __func__, cmdnr);
  24734. + ret = -EFAULT;
  24735. + }
  24736. +
  24737. + /* Done. */
  24738. + goto out;
  24739. + }
  24740. + break;
  24741. +
  24742. + /* Flush the cache for a given mapping. */
  24743. + case VMCS_SM_CMD_FLUSH:
  24744. + {
  24745. + struct vmcs_sm_ioctl_cache ioparam;
  24746. +
  24747. + /* Get parameter data. */
  24748. + if (copy_from_user(&ioparam,
  24749. + (void *)arg, sizeof(ioparam)) != 0) {
  24750. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24751. + __func__, cmdnr);
  24752. + ret = -EFAULT;
  24753. + goto out;
  24754. + }
  24755. +
  24756. + /* Locate resource from GUID. */
  24757. + resource =
  24758. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24759. +
  24760. + if ((resource != NULL) && resource->res_cached) {
  24761. + dma_addr_t phys_addr = 0;
  24762. +
  24763. + resource->res_stats[FLUSH]++;
  24764. +
  24765. + phys_addr =
  24766. + (dma_addr_t)((uint32_t)
  24767. + resource->res_base_mem &
  24768. + 0x3FFFFFFF);
  24769. + phys_addr += (dma_addr_t)mm_vc_mem_phys_addr;
  24770. +
  24771. + /* L1 cache flush */
  24772. + down_read(&current->mm->mmap_sem);
  24773. + vcsm_vma_cache_clean_page_range((unsigned long)
  24774. + ioparam.addr,
  24775. + (unsigned long)
  24776. + ioparam.addr +
  24777. + ioparam.size);
  24778. + up_read(&current->mm->mmap_sem);
  24779. +
  24780. + /* L2 cache flush */
  24781. + outer_clean_range(phys_addr,
  24782. + phys_addr +
  24783. + (size_t) ioparam.size);
  24784. + } else if (resource == NULL) {
  24785. + ret = -EINVAL;
  24786. + goto out;
  24787. + }
  24788. +
  24789. + if (resource)
  24790. + vmcs_sm_release_resource(resource, 0);
  24791. +
  24792. + /* Done. */
  24793. + goto out;
  24794. + }
  24795. + break;
  24796. +
  24797. + /* Invalidate the cache for a given mapping. */
  24798. + case VMCS_SM_CMD_INVALID:
  24799. + {
  24800. + struct vmcs_sm_ioctl_cache ioparam;
  24801. +
  24802. + /* Get parameter data. */
  24803. + if (copy_from_user(&ioparam,
  24804. + (void *)arg, sizeof(ioparam)) != 0) {
  24805. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24806. + __func__, cmdnr);
  24807. + ret = -EFAULT;
  24808. + goto out;
  24809. + }
  24810. +
  24811. + /* Locate resource from GUID.
  24812. + */
  24813. + resource =
  24814. + vmcs_sm_acquire_resource(file_data, ioparam.handle);
  24815. +
  24816. + if ((resource != NULL) && resource->res_cached) {
  24817. + dma_addr_t phys_addr = 0;
  24818. +
  24819. + resource->res_stats[INVALID]++;
  24820. +
  24821. + phys_addr =
  24822. + (dma_addr_t)((uint32_t)
  24823. + resource->res_base_mem &
  24824. + 0x3FFFFFFF);
  24825. + phys_addr += (dma_addr_t)mm_vc_mem_phys_addr;
  24826. +
  24827. + /* L2 cache invalidate */
  24828. + outer_inv_range(phys_addr,
  24829. + phys_addr +
  24830. + (size_t) ioparam.size);
  24831. +
  24832. + /* L1 cache invalidate */
  24833. + down_read(&current->mm->mmap_sem);
  24834. + vcsm_vma_cache_clean_page_range((unsigned long)
  24835. + ioparam.addr,
  24836. + (unsigned long)
  24837. + ioparam.addr +
  24838. + ioparam.size);
  24839. + up_read(&current->mm->mmap_sem);
  24840. + } else if (resource == NULL) {
  24841. + ret = -EINVAL;
  24842. + goto out;
  24843. + }
  24844. +
  24845. + if (resource)
  24846. + vmcs_sm_release_resource(resource, 0);
  24847. +
  24848. + /* Done.
  24849. + */
  24850. + goto out;
  24851. + }
  24852. + break;
  24853. +
  24854. + /* Flush/Invalidate the cache for a given mapping. */
  24855. + case VMCS_SM_CMD_CLEAN_INVALID:
  24856. + {
  24857. + int i;
  24858. + struct vmcs_sm_ioctl_clean_invalid ioparam;
  24859. +
  24860. + /* Get parameter data. */
  24861. + if (copy_from_user(&ioparam,
  24862. + (void *)arg, sizeof(ioparam)) != 0) {
  24863. + pr_err("[%s]: failed to copy-from-user for cmd %x\n",
  24864. + __func__, cmdnr);
  24865. + ret = -EFAULT;
  24866. + goto out;
  24867. + }
  24868. + for (i=0; i<sizeof ioparam.s/sizeof *ioparam.s; i++) {
  24869. + switch (ioparam.s[i].cmd) {
  24870. + default: case 0: break; /* NOOP */
  24871. + case 1: /* L1/L2 invalidate virtual range */
  24872. + case 2: /* L1/L2 clean physical range */
  24873. + case 3: /* L1/L2 clean+invalidate all */
  24874. + {
  24875. + /* Locate resource from GUID.
  24876. + */
  24877. + resource =
  24878. + vmcs_sm_acquire_resource(file_data, ioparam.s[i].handle);
  24879. +
  24880. + if ((resource != NULL) && resource->res_cached) {
  24881. + unsigned long base = ioparam.s[i].addr & ~(PAGE_SIZE-1);
  24882. + unsigned long end = (ioparam.s[i].addr + ioparam.s[i].size + PAGE_SIZE-1) & ~(PAGE_SIZE-1);
  24883. + resource->res_stats[ioparam.s[i].cmd == 1 ? INVALID:FLUSH]++;
  24884. +
  24885. + /* L1/L2 cache flush */
  24886. + down_read(&current->mm->mmap_sem);
  24887. + vcsm_vma_cache_clean_page_range(base, end);
  24888. + up_read(&current->mm->mmap_sem);
  24889. + } else if (resource == NULL) {
  24890. + ret = -EINVAL;
  24891. + goto out;
  24892. + }
  24893. +
  24894. + if (resource)
  24895. + vmcs_sm_release_resource(resource, 0);
  24896. + }
  24897. + break;
  24898. + }
  24899. + }
  24900. + }
  24901. + break;
  24902. +
  24903. + default:
  24904. + {
  24905. + ret = -EINVAL;
  24906. + goto out;
  24907. + }
  24908. + break;
  24909. + }
  24910. +
  24911. +out:
  24912. + return ret;
  24913. +}
  24914. +
  24915. +/* Device operations that we managed in this driver.
  24916. +*/
  24917. +static const struct file_operations vmcs_sm_ops = {
  24918. + .owner = THIS_MODULE,
  24919. + .unlocked_ioctl = vc_sm_ioctl,
  24920. + .open = vc_sm_open,
  24921. + .release = vc_sm_release,
  24922. + .mmap = vc_sm_mmap,
  24923. +};
  24924. +
  24925. +/* Creation of device.
  24926. +*/
  24927. +static int vc_sm_create_sharedmemory(void)
  24928. +{
  24929. + int ret;
  24930. +
  24931. + if (sm_state == NULL) {
  24932. + ret = -ENOMEM;
  24933. + goto out;
  24934. + }
  24935. +
  24936. + /* Create a device class for creating dev nodes.
  24937. + */
  24938. + sm_state->sm_class = class_create(THIS_MODULE, "vc-sm");
  24939. + if (IS_ERR(sm_state->sm_class)) {
  24940. + pr_err("[%s]: unable to create device class\n", __func__);
  24941. + ret = PTR_ERR(sm_state->sm_class);
  24942. + goto out;
  24943. + }
  24944. +
  24945. + /* Create a character driver.
  24946. + */
  24947. + ret = alloc_chrdev_region(&sm_state->sm_devid,
  24948. + DEVICE_MINOR, 1, DEVICE_NAME);
  24949. + if (ret != 0) {
  24950. + pr_err("[%s]: unable to allocate device number\n", __func__);
  24951. + goto out_dev_class_destroy;
  24952. + }
  24953. +
  24954. + cdev_init(&sm_state->sm_cdev, &vmcs_sm_ops);
  24955. + ret = cdev_add(&sm_state->sm_cdev, sm_state->sm_devid, 1);
  24956. + if (ret != 0) {
  24957. + pr_err("[%s]: unable to register device\n", __func__);
  24958. + goto out_chrdev_unreg;
  24959. + }
  24960. +
  24961. + /* Create a device node.
  24962. + */
  24963. + sm_state->sm_dev = device_create(sm_state->sm_class,
  24964. + NULL,
  24965. + MKDEV(MAJOR(sm_state->sm_devid),
  24966. + DEVICE_MINOR), NULL,
  24967. + DEVICE_NAME);
  24968. + if (IS_ERR(sm_state->sm_dev)) {
  24969. + pr_err("[%s]: unable to create device node\n", __func__);
  24970. + ret = PTR_ERR(sm_state->sm_dev);
  24971. + goto out_chrdev_del;
  24972. + }
  24973. +
  24974. + goto out;
  24975. +
  24976. +out_chrdev_del:
  24977. + cdev_del(&sm_state->sm_cdev);
  24978. +out_chrdev_unreg:
  24979. + unregister_chrdev_region(sm_state->sm_devid, 1);
  24980. +out_dev_class_destroy:
  24981. + class_destroy(sm_state->sm_class);
  24982. + sm_state->sm_class = NULL;
  24983. +out:
  24984. + return ret;
  24985. +}
  24986. +
  24987. +/* Termination of the device.
  24988. +*/
  24989. +static int vc_sm_remove_sharedmemory(void)
  24990. +{
  24991. + int ret;
  24992. +
  24993. + if (sm_state == NULL) {
  24994. + /* Nothing to do.
  24995. + */
  24996. + ret = 0;
  24997. + goto out;
  24998. + }
  24999. +
  25000. + /* Remove the sharedmemory character driver.
  25001. + */
  25002. + cdev_del(&sm_state->sm_cdev);
  25003. +
  25004. + /* Unregister region.
  25005. + */
  25006. + unregister_chrdev_region(sm_state->sm_devid, 1);
  25007. +
  25008. + ret = 0;
  25009. + goto out;
  25010. +
  25011. +out:
  25012. + return ret;
  25013. +}
  25014. +
  25015. +/* Videocore connected. */
  25016. +static void vc_sm_connected_init(void)
  25017. +{
  25018. + int ret;
  25019. + VCHI_INSTANCE_T vchi_instance;
  25020. + VCHI_CONNECTION_T *vchi_connection = NULL;
  25021. +
  25022. + pr_info("[%s]: start\n", __func__);
  25023. +
  25024. + /* Allocate memory for the state structure.
  25025. + */
  25026. + sm_state = kzalloc(sizeof(struct SM_STATE_T), GFP_KERNEL);
  25027. + if (sm_state == NULL) {
  25028. + pr_err("[%s]: failed to allocate memory\n", __func__);
  25029. + ret = -ENOMEM;
  25030. + goto out;
  25031. + }
  25032. +
  25033. + mutex_init(&sm_state->lock);
  25034. + mutex_init(&sm_state->map_lock);
  25035. +
  25036. + /* Initialize and create a VCHI connection for the shared memory service
  25037. + ** running on videocore.
  25038. + */
  25039. + ret = vchi_initialise(&vchi_instance);
  25040. + if (ret != 0) {
  25041. + pr_err("[%s]: failed to initialise VCHI instance (ret=%d)\n",
  25042. + __func__, ret);
  25043. +
  25044. + ret = -EIO;
  25045. + goto err_free_mem;
  25046. + }
  25047. +
  25048. + ret = vchi_connect(NULL, 0, vchi_instance);
  25049. + if (ret != 0) {
  25050. + pr_err("[%s]: failed to connect VCHI instance (ret=%d)\n",
  25051. + __func__, ret);
  25052. +
  25053. + ret = -EIO;
  25054. + goto err_free_mem;
  25055. + }
  25056. +
  25057. + /* Initialize an instance of the shared memory service. */
  25058. + sm_state->sm_handle =
  25059. + vc_vchi_sm_init(vchi_instance, &vchi_connection, 1);
  25060. + if (sm_state->sm_handle == NULL) {
  25061. + pr_err("[%s]: failed to initialize shared memory service\n",
  25062. + __func__);
  25063. +
  25064. + ret = -EPERM;
  25065. + goto err_free_mem;
  25066. + }
  25067. +
  25068. + /* Create a debug fs directory entry (root). */
  25069. + sm_state->dir_root = debugfs_create_dir(VC_SM_DIR_ROOT_NAME, NULL);
  25070. + if (!sm_state->dir_root) {
  25071. + pr_err("[%s]: failed to create \'%s\' directory entry\n",
  25072. + __func__, VC_SM_DIR_ROOT_NAME);
  25073. +
  25074. + ret = -EPERM;
  25075. + goto err_stop_sm_service;
  25076. + }
  25077. +
  25078. + sm_state->dir_state.show = &vc_sm_global_state_show;
  25079. + sm_state->dir_state.dir_entry = debugfs_create_file(VC_SM_STATE,
  25080. + S_IRUGO, sm_state->dir_root, &sm_state->dir_state,
  25081. + &vc_sm_debug_fs_fops);
  25082. +
  25083. + sm_state->dir_stats.show = &vc_sm_global_statistics_show;
  25084. + sm_state->dir_stats.dir_entry = debugfs_create_file(VC_SM_STATS,
  25085. + S_IRUGO, sm_state->dir_root, &sm_state->dir_stats,
  25086. + &vc_sm_debug_fs_fops);
  25087. +
  25088. + /* Create the proc entry children. */
  25089. + sm_state->dir_alloc = debugfs_create_dir(VC_SM_DIR_ALLOC_NAME,
  25090. + sm_state->dir_root);
  25091. +
  25092. + /* Create a shared memory device. */
  25093. + ret = vc_sm_create_sharedmemory();
  25094. + if (ret != 0) {
  25095. + pr_err("[%s]: failed to create shared memory device\n",
  25096. + __func__);
  25097. + goto err_remove_debugfs;
  25098. + }
  25099. +
  25100. + INIT_LIST_HEAD(&sm_state->map_list);
  25101. + INIT_LIST_HEAD(&sm_state->resource_list);
  25102. +
  25103. + sm_state->data_knl = vc_sm_create_priv_data(0);
  25104. + if (sm_state->data_knl == NULL) {
  25105. + pr_err("[%s]: failed to create kernel private data tracker\n",
  25106. + __func__);
  25107. + goto err_remove_shared_memory;
  25108. + }
  25109. +
  25110. + /* Done!
  25111. + */
  25112. + sm_inited = 1;
  25113. + goto out;
  25114. +
  25115. +err_remove_shared_memory:
  25116. + vc_sm_remove_sharedmemory();
  25117. +err_remove_debugfs:
  25118. + debugfs_remove_recursive(sm_state->dir_root);
  25119. +err_stop_sm_service:
  25120. + vc_vchi_sm_stop(&sm_state->sm_handle);
  25121. +err_free_mem:
  25122. + kfree(sm_state);
  25123. +out:
  25124. + pr_info("[%s]: end - returning %d\n", __func__, ret);
  25125. +}
  25126. +
  25127. +/* Driver loading. */
  25128. +static int __init vc_sm_init(void)
  25129. +{
  25130. + pr_info("vc-sm: Videocore shared memory driver\n");
  25131. + vchiq_add_connected_callback(vc_sm_connected_init);
  25132. + return 0;
  25133. +}
  25134. +
  25135. +/* Driver unloading. */
  25136. +static void __exit vc_sm_exit(void)
  25137. +{
  25138. + pr_debug("[%s]: start\n", __func__);
  25139. + if (sm_inited) {
  25140. + /* Remove shared memory device.
  25141. + */
  25142. + vc_sm_remove_sharedmemory();
  25143. +
  25144. + /* Remove all proc entries.
  25145. + */
  25146. + debugfs_remove_recursive(sm_state->dir_root);
  25147. +
  25148. + /* Stop the videocore shared memory service.
  25149. + */
  25150. + vc_vchi_sm_stop(&sm_state->sm_handle);
  25151. +
  25152. + /* Free the memory for the state structure.
  25153. + */
  25154. + mutex_destroy(&(sm_state->map_lock));
  25155. + kfree(sm_state);
  25156. + }
  25157. +
  25158. + pr_debug("[%s]: end\n", __func__);
  25159. +}
  25160. +
  25161. +#if defined(__KERNEL__)
  25162. +/* Allocate a shared memory handle and block. */
  25163. +int vc_sm_alloc(VC_SM_ALLOC_T *alloc, int *handle)
  25164. +{
  25165. + struct vmcs_sm_ioctl_alloc ioparam = { 0 };
  25166. + int ret;
  25167. + struct SM_RESOURCE_T *resource;
  25168. +
  25169. + /* Validate we can work with this device.
  25170. + */
  25171. + if (sm_state == NULL || alloc == NULL || handle == NULL) {
  25172. + pr_err("[%s]: invalid input\n", __func__);
  25173. + return -EPERM;
  25174. + }
  25175. +
  25176. + ioparam.size = alloc->base_unit;
  25177. + ioparam.num = alloc->num_unit;
  25178. + ioparam.cached =
  25179. + alloc->type == VC_SM_ALLOC_CACHED ? VMCS_SM_CACHE_VC : 0;
  25180. +
  25181. + ret = vc_sm_ioctl_alloc(sm_state->data_knl, &ioparam);
  25182. +
  25183. + if (ret == 0) {
  25184. + resource =
  25185. + vmcs_sm_acquire_resource(sm_state->data_knl,
  25186. + ioparam.handle);
  25187. + if (resource) {
  25188. + resource->pid = 0;
  25189. + vmcs_sm_release_resource(resource, 0);
  25190. +
  25191. + /* Assign valid handle at this time.
  25192. + */
  25193. + *handle = ioparam.handle;
  25194. + } else {
  25195. + ret = -ENOMEM;
  25196. + }
  25197. + }
  25198. +
  25199. + return ret;
  25200. +}
  25201. +EXPORT_SYMBOL_GPL(vc_sm_alloc);
  25202. +
  25203. +/* Get an internal resource handle mapped from the external one.
  25204. +*/
  25205. +int vc_sm_int_handle(int handle)
  25206. +{
  25207. + struct SM_RESOURCE_T *resource;
  25208. + int ret = 0;
  25209. +
  25210. + /* Validate we can work with this device.
  25211. + */
  25212. + if (sm_state == NULL || handle == 0) {
  25213. + pr_err("[%s]: invalid input\n", __func__);
  25214. + return 0;
  25215. + }
  25216. +
  25217. + /* Locate resource from GUID.
  25218. + */
  25219. + resource = vmcs_sm_acquire_resource(sm_state->data_knl, handle);
  25220. + if (resource) {
  25221. + ret = resource->res_handle;
  25222. + vmcs_sm_release_resource(resource, 0);
  25223. + }
  25224. +
  25225. + return ret;
  25226. +}
  25227. +EXPORT_SYMBOL_GPL(vc_sm_int_handle);
  25228. +
  25229. +/* Free a previously allocated shared memory handle and block.
  25230. +*/
  25231. +int vc_sm_free(int handle)
  25232. +{
  25233. + struct vmcs_sm_ioctl_free ioparam = { handle };
  25234. +
  25235. + /* Validate we can work with this device.
  25236. + */
  25237. + if (sm_state == NULL || handle == 0) {
  25238. + pr_err("[%s]: invalid input\n", __func__);
  25239. + return -EPERM;
  25240. + }
  25241. +
  25242. + return vc_sm_ioctl_free(sm_state->data_knl, &ioparam);
  25243. +}
  25244. +EXPORT_SYMBOL_GPL(vc_sm_free);
  25245. +
  25246. +/* Lock a memory handle for use by kernel.
  25247. +*/
  25248. +int vc_sm_lock(int handle, VC_SM_LOCK_CACHE_MODE_T mode,
  25249. + long unsigned int *data)
  25250. +{
  25251. + struct vmcs_sm_ioctl_lock_unlock ioparam;
  25252. + int ret;
  25253. +
  25254. + /* Validate we can work with this device.
  25255. + */
  25256. + if (sm_state == NULL || handle == 0 || data == NULL) {
  25257. + pr_err("[%s]: invalid input\n", __func__);
  25258. + return -EPERM;
  25259. + }
  25260. +
  25261. + *data = 0;
  25262. +
  25263. + ioparam.handle = handle;
  25264. + ret = vc_sm_ioctl_lock(sm_state->data_knl,
  25265. + &ioparam,
  25266. + 1,
  25267. + ((mode ==
  25268. + VC_SM_LOCK_CACHED) ? VMCS_SM_CACHE_HOST :
  25269. + VMCS_SM_CACHE_NONE), 0);
  25270. +
  25271. + *data = ioparam.addr;
  25272. + return ret;
  25273. +}
  25274. +EXPORT_SYMBOL_GPL(vc_sm_lock);
  25275. +
  25276. +/* Unlock a memory handle in use by kernel.
  25277. +*/
  25278. +int vc_sm_unlock(int handle, int flush, int no_vc_unlock)
  25279. +{
  25280. + struct vmcs_sm_ioctl_lock_unlock ioparam;
  25281. +
  25282. + /* Validate we can work with this device.
  25283. + */
  25284. + if (sm_state == NULL || handle == 0) {
  25285. + pr_err("[%s]: invalid input\n", __func__);
  25286. + return -EPERM;
  25287. + }
  25288. +
  25289. + ioparam.handle = handle;
  25290. + return vc_sm_ioctl_unlock(sm_state->data_knl,
  25291. + &ioparam, flush, 0, no_vc_unlock);
  25292. +}
  25293. +EXPORT_SYMBOL_GPL(vc_sm_unlock);
  25294. +
  25295. +/* Map a shared memory region for use by kernel.
  25296. +*/
  25297. +int vc_sm_map(int handle, unsigned int sm_addr, VC_SM_LOCK_CACHE_MODE_T mode,
  25298. + long unsigned int *data)
  25299. +{
  25300. + struct vmcs_sm_ioctl_lock_unlock ioparam;
  25301. + int ret;
  25302. +
  25303. + /* Validate we can work with this device.
  25304. + */
  25305. + if (sm_state == NULL || handle == 0 || data == NULL || sm_addr == 0) {
  25306. + pr_err("[%s]: invalid input\n", __func__);
  25307. + return -EPERM;
  25308. + }
  25309. +
  25310. + *data = 0;
  25311. +
  25312. + ioparam.handle = handle;
  25313. + ret = vc_sm_ioctl_lock(sm_state->data_knl,
  25314. + &ioparam,
  25315. + 1,
  25316. + ((mode ==
  25317. + VC_SM_LOCK_CACHED) ? VMCS_SM_CACHE_HOST :
  25318. + VMCS_SM_CACHE_NONE), sm_addr);
  25319. +
  25320. + *data = ioparam.addr;
  25321. + return ret;
  25322. +}
  25323. +EXPORT_SYMBOL_GPL(vc_sm_map);
  25324. +#endif
  25325. +
  25326. +late_initcall(vc_sm_init);
  25327. +module_exit(vc_sm_exit);
  25328. +
  25329. +MODULE_AUTHOR("Broadcom");
  25330. +MODULE_DESCRIPTION("VideoCore SharedMemory Driver");
  25331. +MODULE_LICENSE("GPL v2");
  25332. diff -Nur linux-4.1.13.orig/drivers/char/hw_random/bcm2708-rng.c linux-rpi/drivers/char/hw_random/bcm2708-rng.c
  25333. --- linux-4.1.13.orig/drivers/char/hw_random/bcm2708-rng.c 1970-01-01 01:00:00.000000000 +0100
  25334. +++ linux-rpi/drivers/char/hw_random/bcm2708-rng.c 2015-11-29 09:42:36.707312101 +0100
  25335. @@ -0,0 +1,118 @@
  25336. +/**
  25337. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  25338. + *
  25339. + * Redistribution and use in source and binary forms, with or without
  25340. + * modification, are permitted provided that the following conditions
  25341. + * are met:
  25342. + * 1. Redistributions of source code must retain the above copyright
  25343. + * notice, this list of conditions, and the following disclaimer,
  25344. + * without modification.
  25345. + * 2. Redistributions in binary form must reproduce the above copyright
  25346. + * notice, this list of conditions and the following disclaimer in the
  25347. + * documentation and/or other materials provided with the distribution.
  25348. + * 3. The names of the above-listed copyright holders may not be used
  25349. + * to endorse or promote products derived from this software without
  25350. + * specific prior written permission.
  25351. + *
  25352. + * ALTERNATIVELY, this software may be distributed under the terms of the
  25353. + * GNU General Public License ("GPL") version 2, as published by the Free
  25354. + * Software Foundation.
  25355. + *
  25356. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  25357. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  25358. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  25359. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  25360. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  25361. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  25362. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  25363. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  25364. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  25365. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  25366. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25367. + */
  25368. +
  25369. +#include <linux/kernel.h>
  25370. +#include <linux/module.h>
  25371. +#include <linux/init.h>
  25372. +#include <linux/hw_random.h>
  25373. +#include <linux/printk.h>
  25374. +
  25375. +#include <asm/io.h>
  25376. +#include <mach/hardware.h>
  25377. +#include <mach/platform.h>
  25378. +
  25379. +#define RNG_CTRL (0x0)
  25380. +#define RNG_STATUS (0x4)
  25381. +#define RNG_DATA (0x8)
  25382. +#define RNG_FF_THRESHOLD (0xc)
  25383. +
  25384. +/* enable rng */
  25385. +#define RNG_RBGEN 0x1
  25386. +/* double speed, less random mode */
  25387. +#define RNG_RBG2X 0x2
  25388. +
  25389. +/* the initial numbers generated are "less random" so will be discarded */
  25390. +#define RNG_WARMUP_COUNT 0x40000
  25391. +
  25392. +static int bcm2708_rng_data_read(struct hwrng *rng, u32 *buffer)
  25393. +{
  25394. + void __iomem *rng_base = (void __iomem *)rng->priv;
  25395. + unsigned words;
  25396. + /* wait for a random number to be in fifo */
  25397. + do {
  25398. + words = __raw_readl(rng_base + RNG_STATUS)>>24;
  25399. + }
  25400. + while (words == 0);
  25401. + /* read the random number */
  25402. + *buffer = __raw_readl(rng_base + RNG_DATA);
  25403. + return 4;
  25404. +}
  25405. +
  25406. +static struct hwrng bcm2708_rng_ops = {
  25407. + .name = "bcm2708",
  25408. + .data_read = bcm2708_rng_data_read,
  25409. +};
  25410. +
  25411. +static int __init bcm2708_rng_init(void)
  25412. +{
  25413. + void __iomem *rng_base;
  25414. + int err;
  25415. +
  25416. + /* map peripheral */
  25417. + rng_base = ioremap(RNG_BASE, 0x10);
  25418. + pr_info("bcm2708_rng_init=%p\n", rng_base);
  25419. + if (!rng_base) {
  25420. + pr_err("bcm2708_rng_init failed to ioremap\n");
  25421. + return -ENOMEM;
  25422. + }
  25423. + bcm2708_rng_ops.priv = (unsigned long)rng_base;
  25424. +
  25425. + /* set warm-up count & enable */
  25426. + __raw_writel(RNG_WARMUP_COUNT, rng_base + RNG_STATUS);
  25427. + __raw_writel(RNG_RBGEN, rng_base + RNG_CTRL);
  25428. +
  25429. + /* register driver */
  25430. + err = hwrng_register(&bcm2708_rng_ops);
  25431. + if (err) {
  25432. + pr_err("bcm2708_rng_init hwrng_register()=%d\n", err);
  25433. + iounmap(rng_base);
  25434. + }
  25435. + return err;
  25436. +}
  25437. +
  25438. +static void __exit bcm2708_rng_exit(void)
  25439. +{
  25440. + void __iomem *rng_base = (void __iomem *)bcm2708_rng_ops.priv;
  25441. + pr_info("bcm2708_rng_exit\n");
  25442. + /* disable rng hardware */
  25443. + __raw_writel(0, rng_base + RNG_CTRL);
  25444. + /* unregister driver */
  25445. + hwrng_unregister(&bcm2708_rng_ops);
  25446. + iounmap(rng_base);
  25447. +}
  25448. +
  25449. +module_init(bcm2708_rng_init);
  25450. +module_exit(bcm2708_rng_exit);
  25451. +
  25452. +MODULE_DESCRIPTION("BCM2708 H/W Random Number Generator (RNG) driver");
  25453. +MODULE_LICENSE("GPL and additional rights");
  25454. diff -Nur linux-4.1.13.orig/drivers/char/hw_random/Kconfig linux-rpi/drivers/char/hw_random/Kconfig
  25455. --- linux-4.1.13.orig/drivers/char/hw_random/Kconfig 2015-11-09 23:34:10.000000000 +0100
  25456. +++ linux-rpi/drivers/char/hw_random/Kconfig 2015-11-29 09:42:36.707312101 +0100
  25457. @@ -90,7 +90,7 @@
  25458. config HW_RANDOM_BCM2835
  25459. tristate "Broadcom BCM2835 Random Number Generator support"
  25460. - depends on ARCH_BCM2835
  25461. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709
  25462. default HW_RANDOM
  25463. ---help---
  25464. This driver provides kernel-side support for the Random Number
  25465. @@ -333,6 +333,17 @@
  25466. If unsure, say Y.
  25467. +config HW_RANDOM_BCM2708
  25468. + tristate "BCM2708 generic true random number generator support"
  25469. + depends on HW_RANDOM && (ARCH_BCM2708 || ARCH_BCM2709)
  25470. + ---help---
  25471. + This driver provides the kernel-side support for the BCM2708 hardware.
  25472. +
  25473. + To compile this driver as a module, choose M here: the
  25474. + module will be called bcm2708-rng.
  25475. +
  25476. + If unsure, say N.
  25477. +
  25478. config HW_RANDOM_MSM
  25479. tristate "Qualcomm SoCs Random Number Generator support"
  25480. depends on HW_RANDOM && ARCH_QCOM
  25481. diff -Nur linux-4.1.13.orig/drivers/char/hw_random/Makefile linux-rpi/drivers/char/hw_random/Makefile
  25482. --- linux-4.1.13.orig/drivers/char/hw_random/Makefile 2015-11-09 23:34:10.000000000 +0100
  25483. +++ linux-rpi/drivers/char/hw_random/Makefile 2015-11-29 09:42:36.707312101 +0100
  25484. @@ -4,6 +4,7 @@
  25485. obj-$(CONFIG_HW_RANDOM) += rng-core.o
  25486. rng-core-y := core.o
  25487. +obj-$(CONFIG_HW_RANDOM_BCM2708) += bcm2708-rng.o
  25488. obj-$(CONFIG_HW_RANDOM_TIMERIOMEM) += timeriomem-rng.o
  25489. obj-$(CONFIG_HW_RANDOM_INTEL) += intel-rng.o
  25490. obj-$(CONFIG_HW_RANDOM_AMD) += amd-rng.o
  25491. diff -Nur linux-4.1.13.orig/drivers/char/Kconfig linux-rpi/drivers/char/Kconfig
  25492. --- linux-4.1.13.orig/drivers/char/Kconfig 2015-11-09 23:34:10.000000000 +0100
  25493. +++ linux-rpi/drivers/char/Kconfig 2015-11-29 09:42:36.687313430 +0100
  25494. @@ -590,6 +590,8 @@
  25495. source "drivers/s390/char/Kconfig"
  25496. +source "drivers/char/broadcom/Kconfig"
  25497. +
  25498. config MSM_SMD_PKT
  25499. bool "Enable device interface for some SMD packet ports"
  25500. default n
  25501. diff -Nur linux-4.1.13.orig/drivers/char/Makefile linux-rpi/drivers/char/Makefile
  25502. --- linux-4.1.13.orig/drivers/char/Makefile 2015-11-09 23:34:10.000000000 +0100
  25503. +++ linux-rpi/drivers/char/Makefile 2015-11-29 09:42:36.687313430 +0100
  25504. @@ -62,3 +62,4 @@
  25505. obj-$(CONFIG_TILE_SROM) += tile-srom.o
  25506. obj-$(CONFIG_XILLYBUS) += xillybus/
  25507. +obj-$(CONFIG_BRCM_CHAR_DRIVERS) += broadcom/
  25508. diff -Nur linux-4.1.13.orig/drivers/clk/clk-hifiberry-dacpro.c linux-rpi/drivers/clk/clk-hifiberry-dacpro.c
  25509. --- linux-4.1.13.orig/drivers/clk/clk-hifiberry-dacpro.c 1970-01-01 01:00:00.000000000 +0100
  25510. +++ linux-rpi/drivers/clk/clk-hifiberry-dacpro.c 2015-11-29 09:42:36.751309177 +0100
  25511. @@ -0,0 +1,160 @@
  25512. +/*
  25513. + * Clock Driver for HiFiBerry DAC Pro
  25514. + *
  25515. + * Author: Stuart MacLean
  25516. + * Copyright 2015
  25517. + *
  25518. + * This program is free software; you can redistribute it and/or
  25519. + * modify it under the terms of the GNU General Public License
  25520. + * version 2 as published by the Free Software Foundation.
  25521. + *
  25522. + * This program is distributed in the hope that it will be useful, but
  25523. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  25524. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  25525. + * General Public License for more details.
  25526. + */
  25527. +
  25528. +#include <linux/clk-provider.h>
  25529. +#include <linux/clkdev.h>
  25530. +#include <linux/kernel.h>
  25531. +#include <linux/module.h>
  25532. +#include <linux/of.h>
  25533. +#include <linux/slab.h>
  25534. +#include <linux/platform_device.h>
  25535. +
  25536. +/* Clock rate of CLK44EN attached to GPIO6 pin */
  25537. +#define CLK_44EN_RATE 22579200UL
  25538. +/* Clock rate of CLK48EN attached to GPIO3 pin */
  25539. +#define CLK_48EN_RATE 24576000UL
  25540. +
  25541. +/**
  25542. + * struct hifiberry_dacpro_clk - Common struct to the HiFiBerry DAC Pro
  25543. + * @hw: clk_hw for the common clk framework
  25544. + * @mode: 0 => CLK44EN, 1 => CLK48EN
  25545. + */
  25546. +struct clk_hifiberry_hw {
  25547. + struct clk_hw hw;
  25548. + uint8_t mode;
  25549. +};
  25550. +
  25551. +#define to_hifiberry_clk(_hw) container_of(_hw, struct clk_hifiberry_hw, hw)
  25552. +
  25553. +static const struct of_device_id clk_hifiberry_dacpro_dt_ids[] = {
  25554. + { .compatible = "hifiberry,dacpro-clk",},
  25555. + { }
  25556. +};
  25557. +MODULE_DEVICE_TABLE(of, clk_hifiberry_dacpro_dt_ids);
  25558. +
  25559. +static unsigned long clk_hifiberry_dacpro_recalc_rate(struct clk_hw *hw,
  25560. + unsigned long parent_rate)
  25561. +{
  25562. + return (to_hifiberry_clk(hw)->mode == 0) ? CLK_44EN_RATE :
  25563. + CLK_48EN_RATE;
  25564. +}
  25565. +
  25566. +static long clk_hifiberry_dacpro_round_rate(struct clk_hw *hw,
  25567. + unsigned long rate, unsigned long *parent_rate)
  25568. +{
  25569. + long actual_rate;
  25570. +
  25571. + if (rate <= CLK_44EN_RATE) {
  25572. + actual_rate = (long)CLK_44EN_RATE;
  25573. + } else if (rate >= CLK_48EN_RATE) {
  25574. + actual_rate = (long)CLK_48EN_RATE;
  25575. + } else {
  25576. + long diff44Rate = (long)(rate - CLK_44EN_RATE);
  25577. + long diff48Rate = (long)(CLK_48EN_RATE - rate);
  25578. +
  25579. + if (diff44Rate < diff48Rate)
  25580. + actual_rate = (long)CLK_44EN_RATE;
  25581. + else
  25582. + actual_rate = (long)CLK_48EN_RATE;
  25583. + }
  25584. + return actual_rate;
  25585. +}
  25586. +
  25587. +
  25588. +static int clk_hifiberry_dacpro_set_rate(struct clk_hw *hw,
  25589. + unsigned long rate, unsigned long parent_rate)
  25590. +{
  25591. + unsigned long actual_rate;
  25592. + struct clk_hifiberry_hw *clk = to_hifiberry_clk(hw);
  25593. +
  25594. + actual_rate = (unsigned long)clk_hifiberry_dacpro_round_rate(hw, rate,
  25595. + &parent_rate);
  25596. + clk->mode = (actual_rate == CLK_44EN_RATE) ? 0 : 1;
  25597. + return 0;
  25598. +}
  25599. +
  25600. +
  25601. +const struct clk_ops clk_hifiberry_dacpro_rate_ops = {
  25602. + .recalc_rate = clk_hifiberry_dacpro_recalc_rate,
  25603. + .round_rate = clk_hifiberry_dacpro_round_rate,
  25604. + .set_rate = clk_hifiberry_dacpro_set_rate,
  25605. +};
  25606. +
  25607. +static int clk_hifiberry_dacpro_probe(struct platform_device *pdev)
  25608. +{
  25609. + int ret;
  25610. + struct clk_hifiberry_hw *proclk;
  25611. + struct clk *clk;
  25612. + struct device *dev;
  25613. + struct clk_init_data init;
  25614. +
  25615. + dev = &pdev->dev;
  25616. +
  25617. + proclk = kzalloc(sizeof(struct clk_hifiberry_hw), GFP_KERNEL);
  25618. + if (!proclk)
  25619. + return -ENOMEM;
  25620. +
  25621. + init.name = "clk-hifiberry-dacpro";
  25622. + init.ops = &clk_hifiberry_dacpro_rate_ops;
  25623. + init.flags = CLK_IS_ROOT | CLK_IS_BASIC;
  25624. + init.parent_names = NULL;
  25625. + init.num_parents = 0;
  25626. +
  25627. + proclk->mode = 0;
  25628. + proclk->hw.init = &init;
  25629. +
  25630. + clk = devm_clk_register(dev, &proclk->hw);
  25631. + if (!IS_ERR(clk)) {
  25632. + ret = of_clk_add_provider(dev->of_node, of_clk_src_simple_get,
  25633. + clk);
  25634. + } else {
  25635. + dev_err(dev, "Fail to register clock driver\n");
  25636. + kfree(proclk);
  25637. + ret = PTR_ERR(clk);
  25638. + }
  25639. + return ret;
  25640. +}
  25641. +
  25642. +static int clk_hifiberry_dacpro_remove(struct platform_device *pdev)
  25643. +{
  25644. + of_clk_del_provider(pdev->dev.of_node);
  25645. + return 0;
  25646. +}
  25647. +
  25648. +static struct platform_driver clk_hifiberry_dacpro_driver = {
  25649. + .probe = clk_hifiberry_dacpro_probe,
  25650. + .remove = clk_hifiberry_dacpro_remove,
  25651. + .driver = {
  25652. + .name = "clk-hifiberry-dacpro",
  25653. + .of_match_table = clk_hifiberry_dacpro_dt_ids,
  25654. + },
  25655. +};
  25656. +
  25657. +static int __init clk_hifiberry_dacpro_init(void)
  25658. +{
  25659. + return platform_driver_register(&clk_hifiberry_dacpro_driver);
  25660. +}
  25661. +core_initcall(clk_hifiberry_dacpro_init);
  25662. +
  25663. +static void __exit clk_hifiberry_dacpro_exit(void)
  25664. +{
  25665. + platform_driver_unregister(&clk_hifiberry_dacpro_driver);
  25666. +}
  25667. +module_exit(clk_hifiberry_dacpro_exit);
  25668. +
  25669. +MODULE_DESCRIPTION("HiFiBerry DAC Pro clock driver");
  25670. +MODULE_LICENSE("GPL v2");
  25671. +MODULE_ALIAS("platform:clk-hifiberry-dacpro");
  25672. diff -Nur linux-4.1.13.orig/drivers/clk/Makefile linux-rpi/drivers/clk/Makefile
  25673. --- linux-4.1.13.orig/drivers/clk/Makefile 2015-11-09 23:34:10.000000000 +0100
  25674. +++ linux-rpi/drivers/clk/Makefile 2015-11-29 09:42:36.747309443 +0100
  25675. @@ -24,6 +24,7 @@
  25676. obj-$(CONFIG_ARCH_CLPS711X) += clk-clps711x.o
  25677. obj-$(CONFIG_ARCH_EFM32) += clk-efm32gg.o
  25678. obj-$(CONFIG_ARCH_HIGHBANK) += clk-highbank.o
  25679. +obj-$(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) += clk-hifiberry-dacpro.o
  25680. obj-$(CONFIG_MACH_LOONGSON1) += clk-ls1x.o
  25681. obj-$(CONFIG_COMMON_CLK_MAX_GEN) += clk-max-gen.o
  25682. obj-$(CONFIG_COMMON_CLK_MAX77686) += clk-max77686.o
  25683. diff -Nur linux-4.1.13.orig/drivers/clocksource/arm_arch_timer.c linux-rpi/drivers/clocksource/arm_arch_timer.c
  25684. --- linux-4.1.13.orig/drivers/clocksource/arm_arch_timer.c 2015-11-09 23:34:10.000000000 +0100
  25685. +++ linux-rpi/drivers/clocksource/arm_arch_timer.c 2015-11-29 09:42:36.779307317 +0100
  25686. @@ -882,3 +882,39 @@
  25687. acpi_table_parse(ACPI_SIG_GTDT, arch_timer_acpi_init);
  25688. }
  25689. #endif
  25690. +
  25691. +int __init dc4_arch_timer_init(void)
  25692. +{
  25693. + if (arch_timers_present & ARCH_CP15_TIMER) {
  25694. + pr_warn("arch_timer: multiple nodes in dt, skipping\n");
  25695. + return -1;
  25696. + }
  25697. +
  25698. + arch_timers_present |= ARCH_CP15_TIMER;
  25699. +
  25700. + /* Try to determine the frequency from the device tree or CNTFRQ */
  25701. + arch_timer_rate = 19200000;
  25702. +
  25703. + arch_timer_ppi[PHYS_SECURE_PPI] = IRQ_ARM_LOCAL_CNTPSIRQ;
  25704. + arch_timer_ppi[PHYS_NONSECURE_PPI] = IRQ_ARM_LOCAL_CNTPNSIRQ;
  25705. + arch_timer_ppi[VIRT_PPI] = IRQ_ARM_LOCAL_CNTVIRQ;
  25706. + arch_timer_ppi[HYP_PPI] = IRQ_ARM_LOCAL_CNTHPIRQ;
  25707. +
  25708. + /*
  25709. + * If HYP mode is available, we know that the physical timer
  25710. + * has been configured to be accessible from PL1. Use it, so
  25711. + * that a guest can use the virtual timer instead.
  25712. + *
  25713. + * If no interrupt provided for virtual timer, we'll have to
  25714. + * stick to the physical timer. It'd better be accessible...
  25715. + */
  25716. + if (is_hyp_mode_available() || !arch_timer_ppi[VIRT_PPI]) {
  25717. + arch_timer_use_virtual = false;
  25718. + }
  25719. +
  25720. + arch_timer_c3stop = 0;
  25721. +
  25722. + arch_timer_register();
  25723. + arch_timer_common_init();
  25724. + return 0;
  25725. +}
  25726. diff -Nur linux-4.1.13.orig/drivers/cpufreq/bcm2835-cpufreq.c linux-rpi/drivers/cpufreq/bcm2835-cpufreq.c
  25727. --- linux-4.1.13.orig/drivers/cpufreq/bcm2835-cpufreq.c 1970-01-01 01:00:00.000000000 +0100
  25728. +++ linux-rpi/drivers/cpufreq/bcm2835-cpufreq.c 2015-11-29 09:42:36.783307051 +0100
  25729. @@ -0,0 +1,213 @@
  25730. +/*****************************************************************************
  25731. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  25732. +*
  25733. +* Unless you and Broadcom execute a separate written software license
  25734. +* agreement governing use of this software, this software is licensed to you
  25735. +* under the terms of the GNU General Public License version 2, available at
  25736. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  25737. +*
  25738. +* Notwithstanding the above, under no circumstances may you combine this
  25739. +* software in any way with any other Broadcom software provided under a
  25740. +* license other than the GPL, without Broadcom's express prior written
  25741. +* consent.
  25742. +*****************************************************************************/
  25743. +
  25744. +/*****************************************************************************
  25745. +* FILENAME: bcm2835-cpufreq.h
  25746. +* DESCRIPTION: This driver dynamically manages the CPU Frequency of the ARM
  25747. +* processor. Messages are sent to Videocore either setting or requesting the
  25748. +* frequency of the ARM in order to match an appropiate frequency to the current
  25749. +* usage of the processor. The policy which selects the frequency to use is
  25750. +* defined in the kernel .config file, but can be changed during runtime.
  25751. +*****************************************************************************/
  25752. +
  25753. +/* ---------- INCLUDES ---------- */
  25754. +#include <linux/kernel.h>
  25755. +#include <linux/init.h>
  25756. +#include <linux/module.h>
  25757. +#include <linux/cpufreq.h>
  25758. +#include <soc/bcm2835/raspberrypi-firmware.h>
  25759. +
  25760. +/* ---------- DEFINES ---------- */
  25761. +/*#define CPUFREQ_DEBUG_ENABLE*/ /* enable debugging */
  25762. +#define MODULE_NAME "bcm2835-cpufreq"
  25763. +
  25764. +#define VCMSG_ID_ARM_CLOCK 0x000000003 /* Clock/Voltage ID's */
  25765. +
  25766. +/* debug printk macros */
  25767. +#ifdef CPUFREQ_DEBUG_ENABLE
  25768. +#define print_debug(fmt,...) pr_debug("%s:%s:%d: "fmt, MODULE_NAME, __func__, __LINE__, ##__VA_ARGS__)
  25769. +#else
  25770. +#define print_debug(fmt,...)
  25771. +#endif
  25772. +#define print_err(fmt,...) pr_err("%s:%s:%d: "fmt, MODULE_NAME, __func__,__LINE__, ##__VA_ARGS__)
  25773. +#define print_info(fmt,...) pr_info("%s: "fmt, MODULE_NAME, ##__VA_ARGS__)
  25774. +
  25775. +/* ---------- GLOBALS ---------- */
  25776. +static struct cpufreq_driver bcm2835_cpufreq_driver; /* the cpufreq driver global */
  25777. +
  25778. +static struct cpufreq_frequency_table bcm2835_freq_table[] = {
  25779. + {0, 0, 0},
  25780. + {0, 0, 0},
  25781. + {0, 0, CPUFREQ_TABLE_END},
  25782. +};
  25783. +
  25784. +/*
  25785. + ===============================================
  25786. + clk_rate either gets or sets the clock rates.
  25787. + ===============================================
  25788. +*/
  25789. +
  25790. +static int bcm2835_cpufreq_clock_property(u32 tag, u32 id, u32 *val)
  25791. +{
  25792. + struct rpi_firmware *fw = rpi_firmware_get(NULL);
  25793. + struct {
  25794. + u32 id;
  25795. + u32 val;
  25796. + } packet;
  25797. + int ret;
  25798. +
  25799. + packet.id = id;
  25800. + packet.val = *val;
  25801. + ret = rpi_firmware_property(fw, tag, &packet, sizeof(packet));
  25802. + if (ret)
  25803. + return ret;
  25804. +
  25805. + *val = packet.val;
  25806. +
  25807. + return 0;
  25808. +}
  25809. +
  25810. +static uint32_t bcm2835_cpufreq_set_clock(int cur_rate, int arm_rate)
  25811. +{
  25812. + u32 rate = arm_rate * 1000;
  25813. + int ret;
  25814. +
  25815. + ret = bcm2835_cpufreq_clock_property(RPI_FIRMWARE_SET_CLOCK_RATE, VCMSG_ID_ARM_CLOCK, &rate);
  25816. + if (ret) {
  25817. + print_err("Failed to set clock: %d (%d)\n", arm_rate, ret);
  25818. + return 0;
  25819. + }
  25820. +
  25821. + rate /= 1000;
  25822. + print_debug("Setting new frequency = %d -> %d (actual %d)\n", cur_rate, arm_rate, rate);
  25823. +
  25824. + return rate;
  25825. +}
  25826. +
  25827. +static uint32_t bcm2835_cpufreq_get_clock(int tag)
  25828. +{
  25829. + u32 rate;
  25830. + int ret;
  25831. +
  25832. + ret = bcm2835_cpufreq_clock_property(tag, VCMSG_ID_ARM_CLOCK, &rate);
  25833. + if (ret) {
  25834. + print_err("Failed to get clock (%d)\n", ret);
  25835. + return 0;
  25836. + }
  25837. +
  25838. + rate /= 1000;
  25839. + print_debug("%s frequency = %u\n",
  25840. + tag == RPI_FIRMWARE_GET_CLOCK_RATE ? "Current":
  25841. + tag == RPI_FIRMWARE_GET_MIN_CLOCK_RATE ? "Min":
  25842. + tag == RPI_FIRMWARE_GET_MAX_CLOCK_RATE ? "Max":
  25843. + "Unexpected", rate);
  25844. +
  25845. + return rate;
  25846. +}
  25847. +
  25848. +/*
  25849. + ====================================================
  25850. + Module Initialisation registers the cpufreq driver
  25851. + ====================================================
  25852. +*/
  25853. +static int __init bcm2835_cpufreq_module_init(void)
  25854. +{
  25855. + print_debug("IN\n");
  25856. + return cpufreq_register_driver(&bcm2835_cpufreq_driver);
  25857. +}
  25858. +
  25859. +/*
  25860. + =============
  25861. + Module exit
  25862. + =============
  25863. +*/
  25864. +static void __exit bcm2835_cpufreq_module_exit(void)
  25865. +{
  25866. + print_debug("IN\n");
  25867. + cpufreq_unregister_driver(&bcm2835_cpufreq_driver);
  25868. + return;
  25869. +}
  25870. +
  25871. +/*
  25872. + ==============================================================
  25873. + Initialisation function sets up the CPU policy for first use
  25874. + ==============================================================
  25875. +*/
  25876. +static int bcm2835_cpufreq_driver_init(struct cpufreq_policy *policy)
  25877. +{
  25878. + /* measured value of how long it takes to change frequency */
  25879. + const unsigned int transition_latency = 355000; /* ns */
  25880. +
  25881. + if (!rpi_firmware_get(NULL)) {
  25882. + print_err("Firmware is not available\n");
  25883. + return -ENODEV;
  25884. + }
  25885. +
  25886. + /* now find out what the maximum and minimum frequencies are */
  25887. + bcm2835_freq_table[0].frequency = bcm2835_cpufreq_get_clock(RPI_FIRMWARE_GET_MIN_CLOCK_RATE);
  25888. + bcm2835_freq_table[1].frequency = bcm2835_cpufreq_get_clock(RPI_FIRMWARE_GET_MAX_CLOCK_RATE);
  25889. +
  25890. + print_info("min=%d max=%d\n", bcm2835_freq_table[0].frequency, bcm2835_freq_table[1].frequency);
  25891. + return cpufreq_generic_init(policy, bcm2835_freq_table, transition_latency);
  25892. +}
  25893. +
  25894. +/*
  25895. + =====================================================================
  25896. + Target index function chooses the requested frequency from the table
  25897. + =====================================================================
  25898. +*/
  25899. +
  25900. +static int bcm2835_cpufreq_driver_target_index(struct cpufreq_policy *policy, unsigned int state)
  25901. +{
  25902. + unsigned int target_freq = bcm2835_freq_table[state].frequency;
  25903. + unsigned int cur = bcm2835_cpufreq_set_clock(policy->cur, target_freq);
  25904. +
  25905. + if (!cur)
  25906. + {
  25907. + print_err("Error occurred setting a new frequency (%d)\n", target_freq);
  25908. + return -EINVAL;
  25909. + }
  25910. + print_debug("%s: %i: freq %d->%d\n", policy->governor->name, state, policy->cur, cur);
  25911. + return 0;
  25912. +}
  25913. +
  25914. +/*
  25915. + ======================================================
  25916. + Get function returns the current frequency from table
  25917. + ======================================================
  25918. +*/
  25919. +
  25920. +static unsigned int bcm2835_cpufreq_driver_get(unsigned int cpu)
  25921. +{
  25922. + unsigned int actual_rate = bcm2835_cpufreq_get_clock(RPI_FIRMWARE_GET_CLOCK_RATE);
  25923. + print_debug("cpu%d: freq=%d\n", cpu, actual_rate);
  25924. + return actual_rate <= bcm2835_freq_table[0].frequency ? bcm2835_freq_table[0].frequency : bcm2835_freq_table[1].frequency;
  25925. +}
  25926. +
  25927. +/* the CPUFreq driver */
  25928. +static struct cpufreq_driver bcm2835_cpufreq_driver = {
  25929. + .name = "BCM2835 CPUFreq",
  25930. + .init = bcm2835_cpufreq_driver_init,
  25931. + .verify = cpufreq_generic_frequency_table_verify,
  25932. + .target_index = bcm2835_cpufreq_driver_target_index,
  25933. + .get = bcm2835_cpufreq_driver_get,
  25934. + .attr = cpufreq_generic_attr,
  25935. +};
  25936. +
  25937. +MODULE_AUTHOR("Dorian Peake and Dom Cobley");
  25938. +MODULE_DESCRIPTION("CPU frequency driver for BCM2835 chip");
  25939. +MODULE_LICENSE("GPL");
  25940. +
  25941. +module_init(bcm2835_cpufreq_module_init);
  25942. +module_exit(bcm2835_cpufreq_module_exit);
  25943. diff -Nur linux-4.1.13.orig/drivers/cpufreq/Kconfig.arm linux-rpi/drivers/cpufreq/Kconfig.arm
  25944. --- linux-4.1.13.orig/drivers/cpufreq/Kconfig.arm 2015-11-09 23:34:10.000000000 +0100
  25945. +++ linux-rpi/drivers/cpufreq/Kconfig.arm 2015-11-29 09:42:36.783307051 +0100
  25946. @@ -258,6 +258,15 @@
  25947. help
  25948. This adds the CPUFreq driver support for SPEAr SOCs.
  25949. +config ARM_BCM2835_CPUFREQ
  25950. + depends on RASPBERRYPI_FIRMWARE
  25951. + bool "BCM2835 Driver"
  25952. + default y
  25953. + help
  25954. + This adds the CPUFreq driver for BCM2835
  25955. +
  25956. + If in doubt, say N.
  25957. +
  25958. config ARM_TEGRA_CPUFREQ
  25959. bool "TEGRA CPUFreq support"
  25960. depends on ARCH_TEGRA
  25961. diff -Nur linux-4.1.13.orig/drivers/cpufreq/Makefile linux-rpi/drivers/cpufreq/Makefile
  25962. --- linux-4.1.13.orig/drivers/cpufreq/Makefile 2015-11-09 23:34:10.000000000 +0100
  25963. +++ linux-rpi/drivers/cpufreq/Makefile 2015-11-29 09:42:36.783307051 +0100
  25964. @@ -77,6 +77,7 @@
  25965. obj-$(CONFIG_ARM_SA1100_CPUFREQ) += sa1100-cpufreq.o
  25966. obj-$(CONFIG_ARM_SA1110_CPUFREQ) += sa1110-cpufreq.o
  25967. obj-$(CONFIG_ARM_SPEAR_CPUFREQ) += spear-cpufreq.o
  25968. +obj-$(CONFIG_ARM_BCM2835_CPUFREQ) += bcm2835-cpufreq.o
  25969. obj-$(CONFIG_ARM_TEGRA_CPUFREQ) += tegra-cpufreq.o
  25970. obj-$(CONFIG_ARM_VEXPRESS_SPC_CPUFREQ) += vexpress-spc-cpufreq.o
  25971. diff -Nur linux-4.1.13.orig/drivers/dma/bcm2708-dmaengine.c linux-rpi/drivers/dma/bcm2708-dmaengine.c
  25972. --- linux-4.1.13.orig/drivers/dma/bcm2708-dmaengine.c 1970-01-01 01:00:00.000000000 +0100
  25973. +++ linux-rpi/drivers/dma/bcm2708-dmaengine.c 2015-11-29 09:42:36.815304925 +0100
  25974. @@ -0,0 +1,1314 @@
  25975. +/*
  25976. + * BCM2835 DMA engine support
  25977. + *
  25978. + * This driver supports cyclic and scatter/gather DMA transfers.
  25979. + *
  25980. + * Author: Florian Meier <florian.meier@koalo.de>
  25981. + * Gellert Weisz <gellert@raspberrypi.org>
  25982. + * Copyright 2013-2014
  25983. + *
  25984. + * Based on
  25985. + * OMAP DMAengine support by Russell King
  25986. + *
  25987. + * BCM2708 DMA Driver
  25988. + * Copyright (C) 2010 Broadcom
  25989. + *
  25990. + * Raspberry Pi PCM I2S ALSA Driver
  25991. + * Copyright (c) by Phil Poole 2013
  25992. + *
  25993. + * MARVELL MMP Peripheral DMA Driver
  25994. + * Copyright 2012 Marvell International Ltd.
  25995. + *
  25996. + * This program is free software; you can redistribute it and/or modify
  25997. + * it under the terms of the GNU General Public License as published by
  25998. + * the Free Software Foundation; either version 2 of the License, or
  25999. + * (at your option) any later version.
  26000. + *
  26001. + * This program is distributed in the hope that it will be useful,
  26002. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  26003. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  26004. + * GNU General Public License for more details.
  26005. + */
  26006. +
  26007. +#include <linux/dmaengine.h>
  26008. +#include <linux/dma-mapping.h>
  26009. +#include <linux/err.h>
  26010. +#include <linux/init.h>
  26011. +#include <linux/interrupt.h>
  26012. +#include <linux/list.h>
  26013. +#include <linux/module.h>
  26014. +#include <linux/platform_data/dma-bcm2708.h>
  26015. +#include <linux/platform_device.h>
  26016. +#include <linux/slab.h>
  26017. +#include <linux/io.h>
  26018. +#include <linux/spinlock.h>
  26019. +#include <linux/of.h>
  26020. +#include <linux/of_dma.h>
  26021. +
  26022. +#include "virt-dma.h"
  26023. +
  26024. +static unsigned dma_debug;
  26025. +
  26026. +/*
  26027. + * Legacy DMA API
  26028. + */
  26029. +
  26030. +#ifdef CONFIG_DMA_BCM2708_LEGACY
  26031. +
  26032. +#define CACHE_LINE_MASK 31
  26033. +#define DEFAULT_DMACHAN_BITMAP 0x10 /* channel 4 only */
  26034. +
  26035. +/* valid only for channels 0 - 14, 15 has its own base address */
  26036. +#define BCM2708_DMA_CHAN(n) ((n) << 8) /* base address */
  26037. +#define BCM2708_DMA_CHANIO(dma_base, n) \
  26038. + ((void __iomem *)((char *)(dma_base) + BCM2708_DMA_CHAN(n)))
  26039. +
  26040. +struct vc_dmaman {
  26041. + void __iomem *dma_base;
  26042. + u32 chan_available; /* bitmap of available channels */
  26043. + u32 has_feature[BCM_DMA_FEATURE_COUNT]; /* bitmap of feature presence */
  26044. + struct mutex lock;
  26045. +};
  26046. +
  26047. +static struct device *dmaman_dev; /* we assume there's only one! */
  26048. +static struct vc_dmaman *g_dmaman; /* DMA manager */
  26049. +static int dmachans = -1; /* module parameter */
  26050. +
  26051. +/* DMA Auxiliary Functions */
  26052. +
  26053. +/* A DMA buffer on an arbitrary boundary may separate a cache line into a
  26054. + section inside the DMA buffer and another section outside it.
  26055. + Even if we flush DMA buffers from the cache there is always the chance that
  26056. + during a DMA someone will access the part of a cache line that is outside
  26057. + the DMA buffer - which will then bring in unwelcome data.
  26058. + Without being able to dictate our own buffer pools we must insist that
  26059. + DMA buffers consist of a whole number of cache lines.
  26060. +*/
  26061. +extern int bcm_sg_suitable_for_dma(struct scatterlist *sg_ptr, int sg_len)
  26062. +{
  26063. + int i;
  26064. +
  26065. + for (i = 0; i < sg_len; i++) {
  26066. + if (sg_ptr[i].offset & CACHE_LINE_MASK ||
  26067. + sg_ptr[i].length & CACHE_LINE_MASK)
  26068. + return 0;
  26069. + }
  26070. +
  26071. + return 1;
  26072. +}
  26073. +EXPORT_SYMBOL_GPL(bcm_sg_suitable_for_dma);
  26074. +
  26075. +extern void bcm_dma_start(void __iomem *dma_chan_base,
  26076. + dma_addr_t control_block)
  26077. +{
  26078. + dsb(); /* ARM data synchronization (push) operation */
  26079. +
  26080. + writel(control_block, dma_chan_base + BCM2708_DMA_ADDR);
  26081. + writel(BCM2708_DMA_ACTIVE, dma_chan_base + BCM2708_DMA_CS);
  26082. +}
  26083. +EXPORT_SYMBOL_GPL(bcm_dma_start);
  26084. +
  26085. +extern void bcm_dma_wait_idle(void __iomem *dma_chan_base)
  26086. +{
  26087. + dsb();
  26088. +
  26089. + /* ugly busy wait only option for now */
  26090. + while (readl(dma_chan_base + BCM2708_DMA_CS) & BCM2708_DMA_ACTIVE)
  26091. + cpu_relax();
  26092. +}
  26093. +EXPORT_SYMBOL_GPL(bcm_dma_wait_idle);
  26094. +
  26095. +extern bool bcm_dma_is_busy(void __iomem *dma_chan_base)
  26096. +{
  26097. + dsb();
  26098. +
  26099. + return readl(dma_chan_base + BCM2708_DMA_CS) & BCM2708_DMA_ACTIVE;
  26100. +}
  26101. +EXPORT_SYMBOL_GPL(bcm_dma_is_busy);
  26102. +
  26103. +/* Complete an ongoing DMA (assuming its results are to be ignored)
  26104. + Does nothing if there is no DMA in progress.
  26105. + This routine waits for the current AXI transfer to complete before
  26106. + terminating the current DMA. If the current transfer is hung on a DREQ used
  26107. + by an uncooperative peripheral the AXI transfer may never complete. In this
  26108. + case the routine times out and return a non-zero error code.
  26109. + Use of this routine doesn't guarantee that the ongoing or aborted DMA
  26110. + does not produce an interrupt.
  26111. +*/
  26112. +extern int bcm_dma_abort(void __iomem *dma_chan_base)
  26113. +{
  26114. + unsigned long int cs;
  26115. + int rc = 0;
  26116. +
  26117. + cs = readl(dma_chan_base + BCM2708_DMA_CS);
  26118. +
  26119. + if (BCM2708_DMA_ACTIVE & cs) {
  26120. + long int timeout = 10000;
  26121. +
  26122. + /* write 0 to the active bit - pause the DMA */
  26123. + writel(0, dma_chan_base + BCM2708_DMA_CS);
  26124. +
  26125. + /* wait for any current AXI transfer to complete */
  26126. + while (0 != (cs & BCM2708_DMA_ISPAUSED) && --timeout >= 0)
  26127. + cs = readl(dma_chan_base + BCM2708_DMA_CS);
  26128. +
  26129. + if (0 != (cs & BCM2708_DMA_ISPAUSED)) {
  26130. + /* we'll un-pause when we set of our next DMA */
  26131. + rc = -ETIMEDOUT;
  26132. +
  26133. + } else if (BCM2708_DMA_ACTIVE & cs) {
  26134. + /* terminate the control block chain */
  26135. + writel(0, dma_chan_base + BCM2708_DMA_NEXTCB);
  26136. +
  26137. + /* abort the whole DMA */
  26138. + writel(BCM2708_DMA_ABORT | BCM2708_DMA_ACTIVE,
  26139. + dma_chan_base + BCM2708_DMA_CS);
  26140. + }
  26141. + }
  26142. +
  26143. + return rc;
  26144. +}
  26145. +EXPORT_SYMBOL_GPL(bcm_dma_abort);
  26146. +
  26147. + /* DMA Manager Device Methods */
  26148. +
  26149. +static void vc_dmaman_init(struct vc_dmaman *dmaman, void __iomem *dma_base,
  26150. + u32 chans_available)
  26151. +{
  26152. + dmaman->dma_base = dma_base;
  26153. + dmaman->chan_available = chans_available;
  26154. + dmaman->has_feature[BCM_DMA_FEATURE_FAST_ORD] = 0x0c; /* 2 & 3 */
  26155. + dmaman->has_feature[BCM_DMA_FEATURE_BULK_ORD] = 0x01; /* 0 */
  26156. + dmaman->has_feature[BCM_DMA_FEATURE_NORMAL_ORD] = 0xfe; /* 1 to 7 */
  26157. + dmaman->has_feature[BCM_DMA_FEATURE_LITE_ORD] = 0x7f00; /* 8 to 14 */
  26158. +}
  26159. +
  26160. +static int vc_dmaman_chan_alloc(struct vc_dmaman *dmaman,
  26161. + unsigned required_feature_set)
  26162. +{
  26163. + u32 chans;
  26164. + int chan = 0;
  26165. + int feature;
  26166. +
  26167. + chans = dmaman->chan_available;
  26168. + for (feature = 0; feature < BCM_DMA_FEATURE_COUNT; feature++)
  26169. + /* select the subset of available channels with the desired
  26170. + features */
  26171. + if (required_feature_set & (1 << feature))
  26172. + chans &= dmaman->has_feature[feature];
  26173. +
  26174. + if (!chans)
  26175. + return -ENOENT;
  26176. +
  26177. + /* return the ordinal of the first channel in the bitmap */
  26178. + while (chans != 0 && (chans & 1) == 0) {
  26179. + chans >>= 1;
  26180. + chan++;
  26181. + }
  26182. + /* claim the channel */
  26183. + dmaman->chan_available &= ~(1 << chan);
  26184. +
  26185. + return chan;
  26186. +}
  26187. +
  26188. +static int vc_dmaman_chan_free(struct vc_dmaman *dmaman, int chan)
  26189. +{
  26190. + if (chan < 0)
  26191. + return -EINVAL;
  26192. +
  26193. + if ((1 << chan) & dmaman->chan_available)
  26194. + return -EIDRM;
  26195. +
  26196. + dmaman->chan_available |= (1 << chan);
  26197. +
  26198. + return 0;
  26199. +}
  26200. +
  26201. +/* DMA Manager Monitor */
  26202. +
  26203. +extern int bcm_dma_chan_alloc(unsigned required_feature_set,
  26204. + void __iomem **out_dma_base, int *out_dma_irq)
  26205. +{
  26206. + struct vc_dmaman *dmaman = g_dmaman;
  26207. + struct platform_device *pdev = to_platform_device(dmaman_dev);
  26208. + struct resource *r;
  26209. + int chan;
  26210. +
  26211. + if (!dmaman_dev)
  26212. + return -ENODEV;
  26213. +
  26214. + mutex_lock(&dmaman->lock);
  26215. + chan = vc_dmaman_chan_alloc(dmaman, required_feature_set);
  26216. + if (chan < 0)
  26217. + goto out;
  26218. +
  26219. + r = platform_get_resource(pdev, IORESOURCE_IRQ, (unsigned int)chan);
  26220. + if (!r) {
  26221. + dev_err(dmaman_dev, "failed to get irq for DMA channel %d\n",
  26222. + chan);
  26223. + vc_dmaman_chan_free(dmaman, chan);
  26224. + chan = -ENOENT;
  26225. + goto out;
  26226. + }
  26227. +
  26228. + *out_dma_base = BCM2708_DMA_CHANIO(dmaman->dma_base, chan);
  26229. + *out_dma_irq = r->start;
  26230. + dev_dbg(dmaman_dev,
  26231. + "Legacy API allocated channel=%d, base=%p, irq=%i\n",
  26232. + chan, *out_dma_base, *out_dma_irq);
  26233. +
  26234. +out:
  26235. + mutex_unlock(&dmaman->lock);
  26236. +
  26237. + return chan;
  26238. +}
  26239. +EXPORT_SYMBOL_GPL(bcm_dma_chan_alloc);
  26240. +
  26241. +extern int bcm_dma_chan_free(int channel)
  26242. +{
  26243. + struct vc_dmaman *dmaman = g_dmaman;
  26244. + int rc;
  26245. +
  26246. + if (!dmaman_dev)
  26247. + return -ENODEV;
  26248. +
  26249. + mutex_lock(&dmaman->lock);
  26250. + rc = vc_dmaman_chan_free(dmaman, channel);
  26251. + mutex_unlock(&dmaman->lock);
  26252. +
  26253. + return rc;
  26254. +}
  26255. +EXPORT_SYMBOL_GPL(bcm_dma_chan_free);
  26256. +
  26257. +static int bcm_dmaman_probe(struct platform_device *pdev)
  26258. +{
  26259. + struct device *dev = &pdev->dev;
  26260. + struct vc_dmaman *dmaman;
  26261. + struct resource *r;
  26262. + void __iomem *dma_base;
  26263. + uint32_t val;
  26264. +
  26265. + if (!of_property_read_u32(dev->of_node,
  26266. + "brcm,dma-channel-mask", &val))
  26267. + dmachans = val;
  26268. + else if (dmachans == -1)
  26269. + dmachans = DEFAULT_DMACHAN_BITMAP;
  26270. +
  26271. + dmaman = devm_kzalloc(dev, sizeof(*dmaman), GFP_KERNEL);
  26272. + if (!dmaman)
  26273. + return -ENOMEM;
  26274. +
  26275. + mutex_init(&dmaman->lock);
  26276. + r = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  26277. + dma_base = devm_ioremap_resource(dev, r);
  26278. + if (IS_ERR(dma_base))
  26279. + return PTR_ERR(dma_base);
  26280. +
  26281. + vc_dmaman_init(dmaman, dma_base, dmachans);
  26282. + g_dmaman = dmaman;
  26283. + dmaman_dev = dev;
  26284. +
  26285. + dev_info(dev, "DMA legacy API manager at %p, dmachans=0x%x\n",
  26286. + dma_base, dmachans);
  26287. +
  26288. + return 0;
  26289. +}
  26290. +
  26291. +static int bcm_dmaman_remove(struct platform_device *pdev)
  26292. +{
  26293. + dmaman_dev = NULL;
  26294. +
  26295. + return 0;
  26296. +}
  26297. +
  26298. +#else /* CONFIG_DMA_BCM2708_LEGACY */
  26299. +
  26300. +static int bcm_dmaman_remove(struct platform_device *pdev)
  26301. +{
  26302. + return 0;
  26303. +}
  26304. +
  26305. +#endif /* CONFIG_DMA_BCM2708_LEGACY */
  26306. +
  26307. +/*
  26308. + * DMA engine
  26309. + */
  26310. +
  26311. +struct bcm2835_dmadev {
  26312. + struct dma_device ddev;
  26313. + spinlock_t lock;
  26314. + void __iomem *base;
  26315. + struct device_dma_parameters dma_parms;
  26316. +};
  26317. +
  26318. +struct bcm2835_dma_cb {
  26319. + uint32_t info;
  26320. + uint32_t src;
  26321. + uint32_t dst;
  26322. + uint32_t length;
  26323. + uint32_t stride;
  26324. + uint32_t next;
  26325. + uint32_t pad[2];
  26326. +};
  26327. +
  26328. +struct bcm2835_chan {
  26329. + struct virt_dma_chan vc;
  26330. + struct list_head node;
  26331. +
  26332. + struct dma_slave_config cfg;
  26333. + bool cyclic;
  26334. +
  26335. + int ch;
  26336. + struct bcm2835_desc *desc;
  26337. +
  26338. + void __iomem *chan_base;
  26339. + int irq_number;
  26340. +
  26341. + unsigned int dreq;
  26342. +};
  26343. +
  26344. +struct bcm2835_desc {
  26345. + struct virt_dma_desc vd;
  26346. + enum dma_transfer_direction dir;
  26347. +
  26348. + unsigned int control_block_size;
  26349. + struct bcm2835_dma_cb *control_block_base;
  26350. + dma_addr_t control_block_base_phys;
  26351. +
  26352. + unsigned int frames;
  26353. + size_t size;
  26354. +};
  26355. +
  26356. +#define BCM2835_DMA_CS 0x00
  26357. +#define BCM2835_DMA_ADDR 0x04
  26358. +#define BCM2835_DMA_SOURCE_AD 0x0c
  26359. +#define BCM2835_DMA_DEST_AD 0x10
  26360. +#define BCM2835_DMA_NEXTCB 0x1C
  26361. +
  26362. +/* DMA CS Control and Status bits */
  26363. +#define BCM2835_DMA_ACTIVE BIT(0)
  26364. +#define BCM2835_DMA_INT BIT(2)
  26365. +#define BCM2835_DMA_ISPAUSED BIT(4) /* Pause requested or not active */
  26366. +#define BCM2835_DMA_ISHELD BIT(5) /* Is held by DREQ flow control */
  26367. +#define BCM2835_DMA_ERR BIT(8)
  26368. +#define BCM2835_DMA_ABORT BIT(30) /* Stop current CB, go to next, WO */
  26369. +#define BCM2835_DMA_RESET BIT(31) /* WO, self clearing */
  26370. +
  26371. +#define BCM2835_DMA_INT_EN BIT(0)
  26372. +#define BCM2835_DMA_WAIT_RESP BIT(3)
  26373. +#define BCM2835_DMA_D_INC BIT(4)
  26374. +#define BCM2835_DMA_D_WIDTH BIT(5)
  26375. +#define BCM2835_DMA_D_DREQ BIT(6)
  26376. +#define BCM2835_DMA_S_INC BIT(8)
  26377. +#define BCM2835_DMA_S_WIDTH BIT(9)
  26378. +#define BCM2835_DMA_S_DREQ BIT(10)
  26379. +
  26380. +#define BCM2835_DMA_PER_MAP(x) ((x) << 16)
  26381. +#define BCM2835_DMA_WAITS(x) (((x)&0x1f) << 21)
  26382. +
  26383. +#define SDHCI_BCM_DMA_WAITS 0 /* delays slowing DMA transfers: 0-31 */
  26384. +
  26385. +#define BCM2835_DMA_DATA_TYPE_S8 1
  26386. +#define BCM2835_DMA_DATA_TYPE_S16 2
  26387. +#define BCM2835_DMA_DATA_TYPE_S32 4
  26388. +#define BCM2835_DMA_DATA_TYPE_S128 16
  26389. +
  26390. +#define BCM2835_DMA_BULK_MASK BIT(0)
  26391. +#define BCM2835_DMA_FIQ_MASK (BIT(2) | BIT(3))
  26392. +
  26393. +
  26394. +/* Valid only for channels 0 - 14, 15 has its own base address */
  26395. +#define BCM2835_DMA_CHAN(n) ((n) << 8) /* Base address */
  26396. +#define BCM2835_DMA_CHANIO(base, n) ((base) + BCM2835_DMA_CHAN(n))
  26397. +
  26398. +#define MAX_LITE_TRANSFER 32768
  26399. +#define MAX_NORMAL_TRANSFER 1073741824
  26400. +
  26401. +static inline struct bcm2835_dmadev *to_bcm2835_dma_dev(struct dma_device *d)
  26402. +{
  26403. + return container_of(d, struct bcm2835_dmadev, ddev);
  26404. +}
  26405. +
  26406. +static inline struct bcm2835_chan *to_bcm2835_dma_chan(struct dma_chan *c)
  26407. +{
  26408. + return container_of(c, struct bcm2835_chan, vc.chan);
  26409. +}
  26410. +
  26411. +static inline struct bcm2835_desc *to_bcm2835_dma_desc(
  26412. + struct dma_async_tx_descriptor *t)
  26413. +{
  26414. + return container_of(t, struct bcm2835_desc, vd.tx);
  26415. +}
  26416. +
  26417. +#if 0
  26418. +static void dma_dumpregs(struct bcm2835_chan *c)
  26419. +{
  26420. + pr_debug("-------------DMA DUMPREGS-------------\n");
  26421. + pr_debug("CS= %u\n",
  26422. + readl(c->chan_base + BCM2835_DMA_CS));
  26423. + pr_debug("ADDR= %u\n",
  26424. + readl(c->chan_base + BCM2835_DMA_ADDR));
  26425. + pr_debug("SOURCE_ADDR= %u\n",
  26426. + readl(c->chan_base + BCM2835_DMA_SOURCE_AD));
  26427. + pr_debug("DEST_AD= %u\n",
  26428. + readl(c->chan_base + BCM2835_DMA_DEST_AD));
  26429. + pr_debug("NEXTCB= %u\n",
  26430. + readl(c->chan_base + BCM2835_DMA_NEXTCB));
  26431. + pr_debug("--------------------------------------\n");
  26432. +}
  26433. +#endif
  26434. +
  26435. +static void bcm2835_dma_desc_free(struct virt_dma_desc *vd)
  26436. +{
  26437. + struct bcm2835_desc *desc = container_of(vd, struct bcm2835_desc, vd);
  26438. + dma_free_coherent(desc->vd.tx.chan->device->dev,
  26439. + desc->control_block_size,
  26440. + desc->control_block_base,
  26441. + desc->control_block_base_phys);
  26442. + kfree(desc);
  26443. +}
  26444. +
  26445. +static int bcm2835_dma_abort(void __iomem *chan_base)
  26446. +{
  26447. + unsigned long cs;
  26448. + long int timeout = 10000;
  26449. +
  26450. + cs = readl(chan_base + BCM2835_DMA_CS);
  26451. + if (!(cs & BCM2835_DMA_ACTIVE))
  26452. + return 0;
  26453. +
  26454. + /* Write 0 to the active bit - Pause the DMA */
  26455. + writel(0, chan_base + BCM2835_DMA_CS);
  26456. +
  26457. + /* Wait for any current AXI transfer to complete */
  26458. + while ((cs & BCM2835_DMA_ISPAUSED) && --timeout) {
  26459. + cpu_relax();
  26460. + cs = readl(chan_base + BCM2835_DMA_CS);
  26461. + }
  26462. +
  26463. + /* We'll un-pause when we set of our next DMA */
  26464. + if (!timeout)
  26465. + return -ETIMEDOUT;
  26466. +
  26467. + if (!(cs & BCM2835_DMA_ACTIVE))
  26468. + return 0;
  26469. +
  26470. + /* Terminate the control block chain */
  26471. + writel(0, chan_base + BCM2835_DMA_NEXTCB);
  26472. +
  26473. + /* Abort the whole DMA */
  26474. + writel(BCM2835_DMA_ABORT | BCM2835_DMA_ACTIVE,
  26475. + chan_base + BCM2835_DMA_CS);
  26476. +
  26477. + return 0;
  26478. +}
  26479. +
  26480. +
  26481. +static void bcm2835_dma_start_desc(struct bcm2835_chan *c)
  26482. +{
  26483. + struct virt_dma_desc *vd = vchan_next_desc(&c->vc);
  26484. + struct bcm2835_desc *d;
  26485. +
  26486. + if (!vd) {
  26487. + c->desc = NULL;
  26488. + return;
  26489. + }
  26490. +
  26491. + list_del(&vd->node);
  26492. +
  26493. + c->desc = d = to_bcm2835_dma_desc(&vd->tx);
  26494. +
  26495. + writel(d->control_block_base_phys, c->chan_base + BCM2835_DMA_ADDR);
  26496. + writel(BCM2835_DMA_ACTIVE, c->chan_base + BCM2835_DMA_CS);
  26497. +
  26498. +}
  26499. +
  26500. +static irqreturn_t bcm2835_dma_callback(int irq, void *data)
  26501. +{
  26502. + struct bcm2835_chan *c = data;
  26503. + struct bcm2835_desc *d;
  26504. + unsigned long flags;
  26505. +
  26506. + spin_lock_irqsave(&c->vc.lock, flags);
  26507. +
  26508. + /* Acknowledge interrupt */
  26509. + writel(BCM2835_DMA_INT, c->chan_base + BCM2835_DMA_CS);
  26510. +
  26511. + d = c->desc;
  26512. +
  26513. + if (d) {
  26514. + if (c->cyclic) {
  26515. + vchan_cyclic_callback(&d->vd);
  26516. +
  26517. + /* Keep the DMA engine running */
  26518. + writel(BCM2835_DMA_ACTIVE,
  26519. + c->chan_base + BCM2835_DMA_CS);
  26520. +
  26521. + } else {
  26522. + vchan_cookie_complete(&c->desc->vd);
  26523. + bcm2835_dma_start_desc(c);
  26524. + }
  26525. + }
  26526. +
  26527. + spin_unlock_irqrestore(&c->vc.lock, flags);
  26528. +
  26529. + return IRQ_HANDLED;
  26530. +}
  26531. +
  26532. +static int bcm2835_dma_alloc_chan_resources(struct dma_chan *chan)
  26533. +{
  26534. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26535. + int ret;
  26536. +
  26537. + dev_dbg(c->vc.chan.device->dev,
  26538. + "Allocating DMA channel %d\n", c->ch);
  26539. +
  26540. + ret = request_irq(c->irq_number,
  26541. + bcm2835_dma_callback, 0, "DMA IRQ", c);
  26542. +
  26543. + return ret;
  26544. +}
  26545. +
  26546. +static void bcm2835_dma_free_chan_resources(struct dma_chan *chan)
  26547. +{
  26548. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26549. +
  26550. + vchan_free_chan_resources(&c->vc);
  26551. + free_irq(c->irq_number, c);
  26552. +
  26553. + dev_dbg(c->vc.chan.device->dev, "Freeing DMA channel %u\n", c->ch);
  26554. +}
  26555. +
  26556. +static size_t bcm2835_dma_desc_size(struct bcm2835_desc *d)
  26557. +{
  26558. + return d->size;
  26559. +}
  26560. +
  26561. +static size_t bcm2835_dma_desc_size_pos(struct bcm2835_desc *d, dma_addr_t addr)
  26562. +{
  26563. + unsigned int i;
  26564. + size_t size;
  26565. +
  26566. + for (size = i = 0; i < d->frames; i++) {
  26567. + struct bcm2835_dma_cb *control_block =
  26568. + &d->control_block_base[i];
  26569. + size_t this_size = control_block->length;
  26570. + dma_addr_t dma;
  26571. +
  26572. + if (d->dir == DMA_DEV_TO_MEM)
  26573. + dma = control_block->dst;
  26574. + else
  26575. + dma = control_block->src;
  26576. +
  26577. + if (size)
  26578. + size += this_size;
  26579. + else if (addr >= dma && addr < dma + this_size)
  26580. + size += dma + this_size - addr;
  26581. + }
  26582. +
  26583. + return size;
  26584. +}
  26585. +
  26586. +static enum dma_status bcm2835_dma_tx_status(struct dma_chan *chan,
  26587. + dma_cookie_t cookie, struct dma_tx_state *txstate)
  26588. +{
  26589. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26590. + struct bcm2835_desc *d;
  26591. + struct virt_dma_desc *vd;
  26592. + enum dma_status ret;
  26593. + unsigned long flags;
  26594. + dma_addr_t pos;
  26595. +
  26596. + ret = dma_cookie_status(chan, cookie, txstate);
  26597. + if (ret == DMA_COMPLETE || !txstate)
  26598. + return ret;
  26599. +
  26600. + spin_lock_irqsave(&c->vc.lock, flags);
  26601. + vd = vchan_find_desc(&c->vc, cookie);
  26602. + if (vd) {
  26603. + txstate->residue =
  26604. + bcm2835_dma_desc_size(to_bcm2835_dma_desc(&vd->tx));
  26605. + } else if (c->desc && c->desc->vd.tx.cookie == cookie) {
  26606. + d = c->desc;
  26607. +
  26608. + if (d->dir == DMA_MEM_TO_DEV)
  26609. + pos = readl(c->chan_base + BCM2835_DMA_SOURCE_AD);
  26610. + else if (d->dir == DMA_DEV_TO_MEM)
  26611. + pos = readl(c->chan_base + BCM2835_DMA_DEST_AD);
  26612. + else
  26613. + pos = 0;
  26614. +
  26615. + txstate->residue = bcm2835_dma_desc_size_pos(d, pos);
  26616. + } else {
  26617. + txstate->residue = 0;
  26618. + }
  26619. +
  26620. + spin_unlock_irqrestore(&c->vc.lock, flags);
  26621. +
  26622. + return ret;
  26623. +}
  26624. +
  26625. +static void bcm2835_dma_issue_pending(struct dma_chan *chan)
  26626. +{
  26627. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26628. + unsigned long flags;
  26629. +
  26630. + spin_lock_irqsave(&c->vc.lock, flags);
  26631. + if (vchan_issue_pending(&c->vc) && !c->desc)
  26632. + bcm2835_dma_start_desc(c);
  26633. +
  26634. + spin_unlock_irqrestore(&c->vc.lock, flags);
  26635. +}
  26636. +
  26637. +static struct dma_async_tx_descriptor *bcm2835_dma_prep_dma_cyclic(
  26638. + struct dma_chan *chan, dma_addr_t buf_addr, size_t buf_len,
  26639. + size_t period_len, enum dma_transfer_direction direction,
  26640. + unsigned long flags)
  26641. +{
  26642. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26643. + enum dma_slave_buswidth dev_width;
  26644. + struct bcm2835_desc *d;
  26645. + dma_addr_t dev_addr;
  26646. + unsigned int es, sync_type;
  26647. + unsigned int frame, max_size;
  26648. +
  26649. + /* Grab configuration */
  26650. + if (!is_slave_direction(direction)) {
  26651. + dev_err(chan->device->dev, "%s: bad direction?\n", __func__);
  26652. + return NULL;
  26653. + }
  26654. +
  26655. + if (direction == DMA_DEV_TO_MEM) {
  26656. + dev_addr = c->cfg.src_addr;
  26657. + dev_width = c->cfg.src_addr_width;
  26658. + sync_type = BCM2835_DMA_S_DREQ;
  26659. + } else {
  26660. + dev_addr = c->cfg.dst_addr;
  26661. + dev_width = c->cfg.dst_addr_width;
  26662. + sync_type = BCM2835_DMA_D_DREQ;
  26663. + }
  26664. +
  26665. + /* Bus width translates to the element size (ES) */
  26666. + switch (dev_width) {
  26667. + case DMA_SLAVE_BUSWIDTH_4_BYTES:
  26668. + es = BCM2835_DMA_DATA_TYPE_S32;
  26669. + break;
  26670. + default:
  26671. + return NULL;
  26672. + }
  26673. +
  26674. + /* Now allocate and setup the descriptor. */
  26675. + d = kzalloc(sizeof(*d), GFP_NOWAIT);
  26676. + if (!d)
  26677. + return NULL;
  26678. +
  26679. + d->dir = direction;
  26680. +
  26681. + if (c->ch >= 8) /* we have a LITE channel */
  26682. + max_size = MAX_LITE_TRANSFER;
  26683. + else
  26684. + max_size = MAX_NORMAL_TRANSFER;
  26685. + period_len = min(period_len, max_size);
  26686. +
  26687. + d->frames = (buf_len-1) / period_len + 1;
  26688. +
  26689. + /* Allocate memory for control blocks */
  26690. + d->control_block_size = d->frames * sizeof(struct bcm2835_dma_cb);
  26691. + d->control_block_base = dma_zalloc_coherent(chan->device->dev,
  26692. + d->control_block_size, &d->control_block_base_phys,
  26693. + GFP_NOWAIT);
  26694. +
  26695. + if (!d->control_block_base) {
  26696. + kfree(d);
  26697. + return NULL;
  26698. + }
  26699. +
  26700. + /*
  26701. + * Iterate over all frames, create a control block
  26702. + * for each frame and link them together.
  26703. + */
  26704. + for (frame = 0; frame < d->frames; frame++) {
  26705. + struct bcm2835_dma_cb *control_block =
  26706. + &d->control_block_base[frame];
  26707. +
  26708. + /* Setup adresses */
  26709. + if (d->dir == DMA_DEV_TO_MEM) {
  26710. + control_block->info = BCM2835_DMA_D_INC;
  26711. + control_block->src = dev_addr;
  26712. + control_block->dst = buf_addr + frame * period_len;
  26713. + } else {
  26714. + control_block->info = BCM2835_DMA_S_INC;
  26715. + control_block->src = buf_addr + frame * period_len;
  26716. + control_block->dst = dev_addr;
  26717. + }
  26718. +
  26719. + /* Enable interrupt */
  26720. + control_block->info |= BCM2835_DMA_INT_EN;
  26721. +
  26722. + /* Setup synchronization */
  26723. + if (sync_type != 0)
  26724. + control_block->info |= sync_type;
  26725. +
  26726. + /* Setup DREQ channel */
  26727. + if (c->cfg.slave_id != 0)
  26728. + control_block->info |=
  26729. + BCM2835_DMA_PER_MAP(c->cfg.slave_id);
  26730. +
  26731. + /* Length of a frame */
  26732. + if (frame != d->frames-1)
  26733. + control_block->length = period_len;
  26734. + else
  26735. + control_block->length = buf_len - (d->frames - 1) * period_len;
  26736. +
  26737. + d->size += control_block->length;
  26738. +
  26739. + /*
  26740. + * Next block is the next frame.
  26741. + * This function is called on cyclic DMA transfers.
  26742. + * Therefore, wrap around at number of frames.
  26743. + */
  26744. + control_block->next = d->control_block_base_phys +
  26745. + sizeof(struct bcm2835_dma_cb)
  26746. + * ((frame + 1) % d->frames);
  26747. + }
  26748. +
  26749. + c->cyclic = true;
  26750. +
  26751. + return vchan_tx_prep(&c->vc, &d->vd, flags);
  26752. +}
  26753. +
  26754. +
  26755. +static struct dma_async_tx_descriptor *bcm2835_dma_prep_slave_sg(
  26756. + struct dma_chan *chan, struct scatterlist *sgl,
  26757. + unsigned int sg_len, enum dma_transfer_direction direction,
  26758. + unsigned long flags, void *context)
  26759. +{
  26760. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26761. + enum dma_slave_buswidth dev_width;
  26762. + struct bcm2835_desc *d;
  26763. + dma_addr_t dev_addr;
  26764. + struct scatterlist *sgent;
  26765. + unsigned int es, sync_type;
  26766. + unsigned int i, j, splitct, max_size;
  26767. +
  26768. + if (!is_slave_direction(direction)) {
  26769. + dev_err(chan->device->dev, "%s: bad direction?\n", __func__);
  26770. + return NULL;
  26771. + }
  26772. +
  26773. + if (direction == DMA_DEV_TO_MEM) {
  26774. + dev_addr = c->cfg.src_addr;
  26775. + dev_width = c->cfg.src_addr_width;
  26776. + sync_type = BCM2835_DMA_S_DREQ;
  26777. + } else {
  26778. + dev_addr = c->cfg.dst_addr;
  26779. + dev_width = c->cfg.dst_addr_width;
  26780. + sync_type = BCM2835_DMA_D_DREQ;
  26781. + }
  26782. +
  26783. + /* Bus width translates to the element size (ES) */
  26784. + switch (dev_width) {
  26785. + case DMA_SLAVE_BUSWIDTH_4_BYTES:
  26786. + es = BCM2835_DMA_DATA_TYPE_S32;
  26787. + break;
  26788. + default:
  26789. + return NULL;
  26790. + }
  26791. +
  26792. + /* Now allocate and setup the descriptor. */
  26793. + d = kzalloc(sizeof(*d), GFP_NOWAIT);
  26794. + if (!d)
  26795. + return NULL;
  26796. +
  26797. + d->dir = direction;
  26798. +
  26799. + if (c->ch >= 8) /* we have a LITE channel */
  26800. + max_size = MAX_LITE_TRANSFER;
  26801. + else
  26802. + max_size = MAX_NORMAL_TRANSFER;
  26803. +
  26804. + /* We store the length of the SG list in d->frames
  26805. + taking care to account for splitting up transfers
  26806. + too large for a LITE channel */
  26807. +
  26808. + d->frames = 0;
  26809. + for_each_sg(sgl, sgent, sg_len, i) {
  26810. + uint32_t len = sg_dma_len(sgent);
  26811. + d->frames += 1 + len / max_size;
  26812. + }
  26813. +
  26814. + /* Allocate memory for control blocks */
  26815. + d->control_block_size = d->frames * sizeof(struct bcm2835_dma_cb);
  26816. + d->control_block_base = dma_zalloc_coherent(chan->device->dev,
  26817. + d->control_block_size, &d->control_block_base_phys,
  26818. + GFP_NOWAIT);
  26819. +
  26820. + if (!d->control_block_base) {
  26821. + kfree(d);
  26822. + return NULL;
  26823. + }
  26824. +
  26825. + /*
  26826. + * Iterate over all SG entries, create a control block
  26827. + * for each frame and link them together.
  26828. + */
  26829. +
  26830. + /* we count the number of times an SG entry had to be splitct
  26831. + as a result of using a LITE channel */
  26832. + splitct = 0;
  26833. +
  26834. + for_each_sg(sgl, sgent, sg_len, i) {
  26835. + dma_addr_t addr = sg_dma_address(sgent);
  26836. + uint32_t len = sg_dma_len(sgent);
  26837. +
  26838. + for (j = 0; j < len; j += max_size) {
  26839. + u32 waits;
  26840. + struct bcm2835_dma_cb *control_block =
  26841. + &d->control_block_base[i+splitct];
  26842. +
  26843. + /* Setup adresses */
  26844. + if (d->dir == DMA_DEV_TO_MEM) {
  26845. + control_block->info = BCM2835_DMA_D_INC |
  26846. + BCM2835_DMA_D_WIDTH | BCM2835_DMA_S_DREQ;
  26847. + control_block->src = dev_addr;
  26848. + control_block->dst = addr + (dma_addr_t)j;
  26849. + } else {
  26850. + control_block->info = BCM2835_DMA_S_INC |
  26851. + BCM2835_DMA_S_WIDTH | BCM2835_DMA_D_DREQ;
  26852. + control_block->src = addr + (dma_addr_t)j;
  26853. + control_block->dst = dev_addr;
  26854. + }
  26855. +
  26856. + /* Common part */
  26857. + waits = SDHCI_BCM_DMA_WAITS;
  26858. + if ((dma_debug >> 0) & 0x1f)
  26859. + waits = (dma_debug >> 0) & 0x1f;
  26860. + control_block->info |= BCM2835_DMA_WAITS(waits);
  26861. + control_block->info |= BCM2835_DMA_WAIT_RESP;
  26862. +
  26863. + /* Enable */
  26864. + if (i == sg_len-1 && len-j <= max_size)
  26865. + control_block->info |= BCM2835_DMA_INT_EN;
  26866. +
  26867. + /* Setup synchronization */
  26868. + if (sync_type != 0)
  26869. + control_block->info |= sync_type;
  26870. +
  26871. + /* Setup DREQ channel */
  26872. + if (c->dreq != 0)
  26873. + control_block->info |=
  26874. + BCM2835_DMA_PER_MAP(c->dreq);
  26875. +
  26876. + /* Length of a frame */
  26877. + control_block->length = min(len-j, max_size);
  26878. + d->size += control_block->length;
  26879. +
  26880. + /*
  26881. + * Next block is the next frame.
  26882. + */
  26883. + if (i < sg_len-1 || len-j > max_size) {
  26884. + /* next block is the next frame. */
  26885. + control_block->next = d->control_block_base_phys +
  26886. + sizeof(struct bcm2835_dma_cb) * (i + splitct + 1);
  26887. + } else {
  26888. + /* next block is empty. */
  26889. + control_block->next = 0;
  26890. + }
  26891. +
  26892. + if (len-j > max_size)
  26893. + splitct++;
  26894. + }
  26895. + }
  26896. +
  26897. + c->cyclic = false;
  26898. +
  26899. + return vchan_tx_prep(&c->vc, &d->vd, flags);
  26900. +}
  26901. +
  26902. +static int bcm2835_dma_slave_config(struct dma_chan *chan,
  26903. + struct dma_slave_config *cfg)
  26904. +{
  26905. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26906. + if ((cfg->direction == DMA_DEV_TO_MEM &&
  26907. + cfg->src_addr_width != DMA_SLAVE_BUSWIDTH_4_BYTES) ||
  26908. + (cfg->direction == DMA_MEM_TO_DEV &&
  26909. + cfg->dst_addr_width != DMA_SLAVE_BUSWIDTH_4_BYTES) ||
  26910. + !is_slave_direction(cfg->direction)) {
  26911. + return -EINVAL;
  26912. + }
  26913. +
  26914. + c->cfg = *cfg;
  26915. + if (!c->dreq)
  26916. + c->dreq = cfg->slave_id;
  26917. +
  26918. + return 0;
  26919. +}
  26920. +
  26921. +static int bcm2835_dma_terminate_all(struct dma_chan *chan)
  26922. +{
  26923. + struct bcm2835_chan *c = to_bcm2835_dma_chan(chan);
  26924. + struct bcm2835_dmadev *d = to_bcm2835_dma_dev(c->vc.chan.device);
  26925. + unsigned long flags;
  26926. + int timeout = 10000;
  26927. + LIST_HEAD(head);
  26928. +
  26929. + spin_lock_irqsave(&c->vc.lock, flags);
  26930. +
  26931. + /* Prevent this channel being scheduled */
  26932. + spin_lock(&d->lock);
  26933. + list_del_init(&c->node);
  26934. + spin_unlock(&d->lock);
  26935. +
  26936. + /*
  26937. + * Stop DMA activity: we assume the callback will not be called
  26938. + * after bcm_dma_abort() returns (even if it does, it will see
  26939. + * c->desc is NULL and exit.)
  26940. + */
  26941. + if (c->desc) {
  26942. + bcm2835_dma_desc_free(&c->desc->vd);
  26943. + c->desc = NULL;
  26944. + bcm2835_dma_abort(c->chan_base);
  26945. +
  26946. + /* Wait for stopping */
  26947. + while (--timeout) {
  26948. + if (!(readl(c->chan_base + BCM2835_DMA_CS) &
  26949. + BCM2835_DMA_ACTIVE))
  26950. + break;
  26951. +
  26952. + cpu_relax();
  26953. + }
  26954. +
  26955. + if (!timeout)
  26956. + dev_err(d->ddev.dev, "DMA transfer could not be terminated\n");
  26957. + }
  26958. +
  26959. + vchan_get_all_descriptors(&c->vc, &head);
  26960. + spin_unlock_irqrestore(&c->vc.lock, flags);
  26961. + vchan_dma_desc_free_list(&c->vc, &head);
  26962. +
  26963. + return 0;
  26964. +}
  26965. +
  26966. +#ifndef CONFIG_DMA_BCM2708_LEGACY
  26967. +static int bcm2835_dma_chan_init(struct bcm2835_dmadev *d, int chan_id, int irq)
  26968. +{
  26969. + struct bcm2835_chan *c;
  26970. +
  26971. + c = devm_kzalloc(d->ddev.dev, sizeof(*c), GFP_KERNEL);
  26972. + if (!c)
  26973. + return -ENOMEM;
  26974. +
  26975. + c->vc.desc_free = bcm2835_dma_desc_free;
  26976. + vchan_init(&c->vc, &d->ddev);
  26977. + INIT_LIST_HEAD(&c->node);
  26978. +
  26979. + c->chan_base = BCM2835_DMA_CHANIO(d->base, chan_id);
  26980. + c->ch = chan_id;
  26981. + c->irq_number = irq;
  26982. +
  26983. + return 0;
  26984. +}
  26985. +#endif
  26986. +
  26987. +static int bcm2708_dma_chan_init(struct bcm2835_dmadev *d,
  26988. + void __iomem *chan_base, int chan_id, int irq)
  26989. +{
  26990. + struct bcm2835_chan *c;
  26991. +
  26992. + c = devm_kzalloc(d->ddev.dev, sizeof(*c), GFP_KERNEL);
  26993. + if (!c)
  26994. + return -ENOMEM;
  26995. +
  26996. + c->vc.desc_free = bcm2835_dma_desc_free;
  26997. + vchan_init(&c->vc, &d->ddev);
  26998. + INIT_LIST_HEAD(&c->node);
  26999. +
  27000. + c->chan_base = chan_base;
  27001. + c->ch = chan_id;
  27002. + c->irq_number = irq;
  27003. +
  27004. + return 0;
  27005. +}
  27006. +
  27007. +
  27008. +static void bcm2835_dma_free(struct bcm2835_dmadev *od)
  27009. +{
  27010. + struct bcm2835_chan *c, *next;
  27011. +
  27012. + list_for_each_entry_safe(c, next, &od->ddev.channels,
  27013. + vc.chan.device_node) {
  27014. + list_del(&c->vc.chan.device_node);
  27015. + tasklet_kill(&c->vc.task);
  27016. + }
  27017. +}
  27018. +
  27019. +static const struct of_device_id bcm2835_dma_of_match[] = {
  27020. + { .compatible = "brcm,bcm2835-dma", },
  27021. + {},
  27022. +};
  27023. +MODULE_DEVICE_TABLE(of, bcm2835_dma_of_match);
  27024. +
  27025. +static struct dma_chan *bcm2835_dma_xlate(struct of_phandle_args *spec,
  27026. + struct of_dma *ofdma)
  27027. +{
  27028. + struct bcm2835_dmadev *d = ofdma->of_dma_data;
  27029. + struct dma_chan *chan;
  27030. +
  27031. + chan = dma_get_any_slave_channel(&d->ddev);
  27032. + if (!chan)
  27033. + return NULL;
  27034. +
  27035. + /* Set DREQ from param */
  27036. + to_bcm2835_dma_chan(chan)->dreq = spec->args[0];
  27037. +
  27038. + return chan;
  27039. +}
  27040. +
  27041. +static int bcm2835_dma_probe(struct platform_device *pdev)
  27042. +{
  27043. + struct bcm2835_dmadev *od;
  27044. +#ifndef CONFIG_DMA_BCM2708_LEGACY
  27045. + struct resource *res;
  27046. + void __iomem *base;
  27047. + uint32_t chans_available;
  27048. +#endif
  27049. + int rc;
  27050. + int i;
  27051. + int irq;
  27052. +#ifdef CONFIG_DMA_BCM2708_LEGACY
  27053. + static const u32 wanted_features[] = {
  27054. + BCM_DMA_FEATURE_FAST,
  27055. + BCM_DMA_FEATURE_NORMAL,
  27056. + BCM_DMA_FEATURE_LITE
  27057. + };
  27058. + int j;
  27059. +#endif
  27060. +
  27061. +
  27062. + if (!pdev->dev.dma_mask)
  27063. + pdev->dev.dma_mask = &pdev->dev.coherent_dma_mask;
  27064. +
  27065. +#ifdef CONFIG_DMA_BCM2708_LEGACY
  27066. +
  27067. + rc = dma_set_mask(&pdev->dev, DMA_BIT_MASK(32));
  27068. + if (rc)
  27069. + return rc;
  27070. + dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(32));
  27071. +
  27072. +
  27073. + od = devm_kzalloc(&pdev->dev, sizeof(*od), GFP_KERNEL);
  27074. + if (!od)
  27075. + return -ENOMEM;
  27076. +
  27077. + rc = bcm_dmaman_probe(pdev);
  27078. + if (rc)
  27079. + return rc;
  27080. +
  27081. + pdev->dev.dma_parms = &od->dma_parms;
  27082. + dma_set_max_seg_size(&pdev->dev, 0x3FFFFFFF);
  27083. +
  27084. +
  27085. + dma_cap_set(DMA_SLAVE, od->ddev.cap_mask);
  27086. + dma_cap_set(DMA_PRIVATE, od->ddev.cap_mask);
  27087. + dma_cap_set(DMA_CYCLIC, od->ddev.cap_mask);
  27088. + od->ddev.device_alloc_chan_resources = bcm2835_dma_alloc_chan_resources;
  27089. + od->ddev.device_free_chan_resources = bcm2835_dma_free_chan_resources;
  27090. + od->ddev.device_tx_status = bcm2835_dma_tx_status;
  27091. + od->ddev.device_issue_pending = bcm2835_dma_issue_pending;
  27092. + od->ddev.device_prep_dma_cyclic = bcm2835_dma_prep_dma_cyclic;
  27093. + od->ddev.device_prep_slave_sg = bcm2835_dma_prep_slave_sg;
  27094. + od->ddev.device_terminate_all = bcm2835_dma_terminate_all;
  27095. + od->ddev.device_config = bcm2835_dma_slave_config;
  27096. + od->ddev.src_addr_widths = BIT(DMA_SLAVE_BUSWIDTH_4_BYTES);
  27097. + od->ddev.dst_addr_widths = BIT(DMA_SLAVE_BUSWIDTH_4_BYTES);
  27098. + od->ddev.directions = BIT(DMA_DEV_TO_MEM) | BIT(DMA_MEM_TO_DEV);
  27099. + od->ddev.residue_granularity = DMA_RESIDUE_GRANULARITY_BURST;
  27100. + od->ddev.dev = &pdev->dev;
  27101. + INIT_LIST_HEAD(&od->ddev.channels);
  27102. + spin_lock_init(&od->lock);
  27103. +
  27104. + platform_set_drvdata(pdev, od);
  27105. +
  27106. + for (i = 0, j = 0; j < ARRAY_SIZE(wanted_features);) {
  27107. +
  27108. + void __iomem *chan_base;
  27109. + int chan_id;
  27110. +
  27111. + chan_id = bcm_dma_chan_alloc(wanted_features[j],
  27112. + &chan_base,
  27113. + &irq);
  27114. +
  27115. + if (chan_id < 0) {
  27116. + j++;
  27117. + continue;
  27118. + }
  27119. +
  27120. + rc = bcm2708_dma_chan_init(od, chan_base, chan_id, irq);
  27121. + if (rc)
  27122. + goto err_no_dma;
  27123. + i++;
  27124. + }
  27125. +
  27126. + if (pdev->dev.of_node) {
  27127. + rc = of_dma_controller_register(pdev->dev.of_node,
  27128. + bcm2835_dma_xlate, od);
  27129. + if (rc) {
  27130. + dev_err(&pdev->dev,
  27131. + "Failed to register DMA controller\n");
  27132. + goto err_no_dma;
  27133. + }
  27134. + }
  27135. +
  27136. + dev_info(&pdev->dev, "Initialized %i DMA channels (+ 1 legacy)\n", i);
  27137. +
  27138. +#else
  27139. + rc = dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(32));
  27140. + if (rc)
  27141. + return rc;
  27142. +
  27143. +
  27144. + od = devm_kzalloc(&pdev->dev, sizeof(*od), GFP_KERNEL);
  27145. + if (!od)
  27146. + return -ENOMEM;
  27147. +
  27148. + pdev->dev.dma_parms = &od->dma_parms;
  27149. + dma_set_max_seg_size(&pdev->dev, 0x3FFFFFFF);
  27150. +
  27151. +
  27152. + res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  27153. + base = devm_ioremap_resource(&pdev->dev, res);
  27154. + if (IS_ERR(base))
  27155. + return PTR_ERR(base);
  27156. +
  27157. + od->base = base;
  27158. +
  27159. +
  27160. + dma_cap_set(DMA_SLAVE, od->ddev.cap_mask);
  27161. + dma_cap_set(DMA_PRIVATE, od->ddev.cap_mask);
  27162. + dma_cap_set(DMA_CYCLIC, od->ddev.cap_mask);
  27163. + od->ddev.device_alloc_chan_resources = bcm2835_dma_alloc_chan_resources;
  27164. + od->ddev.device_free_chan_resources = bcm2835_dma_free_chan_resources;
  27165. + od->ddev.device_tx_status = bcm2835_dma_tx_status;
  27166. + od->ddev.device_issue_pending = bcm2835_dma_issue_pending;
  27167. + od->ddev.device_prep_dma_cyclic = bcm2835_dma_prep_dma_cyclic;
  27168. + od->ddev.device_prep_slave_sg = bcm2835_dma_prep_slave_sg;
  27169. + od->ddev.device_terminate_all = bcm2835_dma_terminate_all;
  27170. + od->ddev.device_config = bcm2835_dma_slave_config;
  27171. + od->ddev.src_addr_widths = BIT(DMA_SLAVE_BUSWIDTH_4_BYTES);
  27172. + od->ddev.dst_addr_widths = BIT(DMA_SLAVE_BUSWIDTH_4_BYTES);
  27173. + od->ddev.directions = BIT(DMA_DEV_TO_MEM) | BIT(DMA_MEM_TO_DEV);
  27174. + od->ddev.residue_granularity = DMA_RESIDUE_GRANULARITY_BURST;
  27175. + od->ddev.dev = &pdev->dev;
  27176. + INIT_LIST_HEAD(&od->ddev.channels);
  27177. + spin_lock_init(&od->lock);
  27178. +
  27179. + platform_set_drvdata(pdev, od);
  27180. +
  27181. +
  27182. + /* Request DMA channel mask from device tree */
  27183. + if (of_property_read_u32(pdev->dev.of_node,
  27184. + "brcm,dma-channel-mask",
  27185. + &chans_available)) {
  27186. + dev_err(&pdev->dev, "Failed to get channel mask\n");
  27187. + rc = -EINVAL;
  27188. + goto err_no_dma;
  27189. + }
  27190. +
  27191. +
  27192. + /*
  27193. + * Do not use the FIQ and BULK channels,
  27194. + * because they are used by the GPU.
  27195. + */
  27196. + chans_available &= ~(BCM2835_DMA_FIQ_MASK | BCM2835_DMA_BULK_MASK);
  27197. +
  27198. +
  27199. + for (i = 0; i < pdev->num_resources; i++) {
  27200. + irq = platform_get_irq(pdev, i);
  27201. + if (irq < 0)
  27202. + break;
  27203. +
  27204. + if (chans_available & (1 << i)) {
  27205. + rc = bcm2835_dma_chan_init(od, i, irq);
  27206. + if (rc)
  27207. + goto err_no_dma;
  27208. + }
  27209. + }
  27210. +
  27211. + dev_dbg(&pdev->dev, "Initialized %i DMA channels\n", i);
  27212. +
  27213. + /* Device-tree DMA controller registration */
  27214. + rc = of_dma_controller_register(pdev->dev.of_node,
  27215. + bcm2835_dma_xlate, od);
  27216. + if (rc) {
  27217. + dev_err(&pdev->dev, "Failed to register DMA controller\n");
  27218. + goto err_no_dma;
  27219. + }
  27220. +#endif
  27221. +
  27222. + rc = dma_async_device_register(&od->ddev);
  27223. + if (rc) {
  27224. + dev_err(&pdev->dev,
  27225. + "Failed to register slave DMA engine device: %d\n", rc);
  27226. + goto err_no_dma;
  27227. + }
  27228. +
  27229. + dev_info(&pdev->dev, "Load BCM2835 DMA engine driver\n");
  27230. + dev_info(&pdev->dev, "dma_debug:%x\n", dma_debug);
  27231. +
  27232. + return 0;
  27233. +
  27234. +err_no_dma:
  27235. + bcm2835_dma_free(od);
  27236. + return rc;
  27237. +}
  27238. +
  27239. +static int bcm2835_dma_remove(struct platform_device *pdev)
  27240. +{
  27241. + struct bcm2835_dmadev *od = platform_get_drvdata(pdev);
  27242. +
  27243. + dma_async_device_unregister(&od->ddev);
  27244. + bcm2835_dma_free(od);
  27245. + bcm_dmaman_remove(pdev);
  27246. +
  27247. + return 0;
  27248. +}
  27249. +
  27250. +static struct platform_driver bcm2835_dma_driver = {
  27251. + .probe = bcm2835_dma_probe,
  27252. + .remove = bcm2835_dma_remove,
  27253. + .driver = {
  27254. + .name = "bcm2708-dmaengine",
  27255. + .owner = THIS_MODULE,
  27256. + .of_match_table = of_match_ptr(bcm2835_dma_of_match),
  27257. + },
  27258. +};
  27259. +
  27260. +static int bcm2835_init(void)
  27261. +{
  27262. + return platform_driver_register(&bcm2835_dma_driver);
  27263. +}
  27264. +
  27265. +static void bcm2835_exit(void)
  27266. +{
  27267. + platform_driver_unregister(&bcm2835_dma_driver);
  27268. +}
  27269. +
  27270. +/*
  27271. + * Load after serial driver (arch_initcall) so we see the messages if it fails,
  27272. + * but before drivers (module_init) that need a DMA channel.
  27273. + */
  27274. +subsys_initcall(bcm2835_init);
  27275. +module_exit(bcm2835_exit);
  27276. +
  27277. +module_param(dma_debug, uint, 0644);
  27278. +#ifdef CONFIG_DMA_BCM2708_LEGACY
  27279. +/* Keep backward compatibility: dma.dmachans= */
  27280. +#undef MODULE_PARAM_PREFIX
  27281. +#define MODULE_PARAM_PREFIX "dma."
  27282. +module_param(dmachans, int, 0644);
  27283. +#endif
  27284. +MODULE_ALIAS("platform:bcm2835-dma");
  27285. +MODULE_DESCRIPTION("BCM2835 DMA engine driver");
  27286. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  27287. +MODULE_AUTHOR("Gellert Weisz <gellert@raspberrypi.org>");
  27288. +MODULE_LICENSE("GPL v2");
  27289. diff -Nur linux-4.1.13.orig/drivers/dma/Kconfig linux-rpi/drivers/dma/Kconfig
  27290. --- linux-4.1.13.orig/drivers/dma/Kconfig 2015-11-09 23:34:10.000000000 +0100
  27291. +++ linux-rpi/drivers/dma/Kconfig 2015-11-29 09:42:36.815304925 +0100
  27292. @@ -337,6 +337,17 @@
  27293. select DMA_ENGINE
  27294. select DMA_VIRTUAL_CHANNELS
  27295. +config DMA_BCM2708
  27296. + tristate "BCM2708 DMA engine support"
  27297. + depends on MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835
  27298. + select DMA_ENGINE
  27299. + select DMA_VIRTUAL_CHANNELS
  27300. +
  27301. +config DMA_BCM2708_LEGACY
  27302. + bool "BCM2708 DMA legacy API support"
  27303. + depends on DMA_BCM2708
  27304. + default y
  27305. +
  27306. config TI_CPPI41
  27307. tristate "AM33xx CPPI41 DMA support"
  27308. depends on ARCH_OMAP
  27309. @@ -385,7 +396,7 @@
  27310. select DMA_VIRTUAL_CHANNELS
  27311. help
  27312. Enable support for the MOXA ART SoC DMA controller.
  27313. -
  27314. +
  27315. config FSL_EDMA
  27316. tristate "Freescale eDMA engine support"
  27317. depends on OF
  27318. diff -Nur linux-4.1.13.orig/drivers/dma/Makefile linux-rpi/drivers/dma/Makefile
  27319. --- linux-4.1.13.orig/drivers/dma/Makefile 2015-11-09 23:34:10.000000000 +0100
  27320. +++ linux-rpi/drivers/dma/Makefile 2015-11-29 09:42:36.815304925 +0100
  27321. @@ -39,6 +39,7 @@
  27322. obj-$(CONFIG_MMP_TDMA) += mmp_tdma.o
  27323. obj-$(CONFIG_DMA_OMAP) += omap-dma.o
  27324. obj-$(CONFIG_DMA_BCM2835) += bcm2835-dma.o
  27325. +obj-$(CONFIG_DMA_BCM2708) += bcm2708-dmaengine.o
  27326. obj-$(CONFIG_MMP_PDMA) += mmp_pdma.o
  27327. obj-$(CONFIG_DMA_JZ4740) += dma-jz4740.o
  27328. obj-$(CONFIG_DMA_JZ4780) += dma-jz4780.o
  27329. diff -Nur linux-4.1.13.orig/drivers/firmware/Kconfig linux-rpi/drivers/firmware/Kconfig
  27330. --- linux-4.1.13.orig/drivers/firmware/Kconfig 2015-11-09 23:34:10.000000000 +0100
  27331. +++ linux-rpi/drivers/firmware/Kconfig 2015-11-29 09:42:36.883300407 +0100
  27332. @@ -136,6 +136,13 @@
  27333. bool
  27334. depends on ARM || ARM64
  27335. +config RASPBERRYPI_FIRMWARE
  27336. + tristate "Raspberry Pi Firmware Driver"
  27337. + depends on BCM2835_MBOX
  27338. + help
  27339. + This option enables support for communicating with the firmware on the
  27340. + Raspberry Pi.
  27341. +
  27342. source "drivers/firmware/google/Kconfig"
  27343. source "drivers/firmware/efi/Kconfig"
  27344. diff -Nur linux-4.1.13.orig/drivers/firmware/Makefile linux-rpi/drivers/firmware/Makefile
  27345. --- linux-4.1.13.orig/drivers/firmware/Makefile 2015-11-09 23:34:10.000000000 +0100
  27346. +++ linux-rpi/drivers/firmware/Makefile 2015-11-29 09:42:36.883300407 +0100
  27347. @@ -13,6 +13,7 @@
  27348. obj-$(CONFIG_FIRMWARE_MEMMAP) += memmap.o
  27349. obj-$(CONFIG_QCOM_SCM) += qcom_scm.o
  27350. CFLAGS_qcom_scm.o :=$(call as-instr,.arch_extension sec,-DREQUIRES_SEC=1)
  27351. +obj-$(CONFIG_RASPBERRYPI_FIRMWARE) += raspberrypi.o
  27352. obj-$(CONFIG_GOOGLE_FIRMWARE) += google/
  27353. obj-$(CONFIG_EFI) += efi/
  27354. diff -Nur linux-4.1.13.orig/drivers/firmware/raspberrypi.c linux-rpi/drivers/firmware/raspberrypi.c
  27355. --- linux-4.1.13.orig/drivers/firmware/raspberrypi.c 1970-01-01 01:00:00.000000000 +0100
  27356. +++ linux-rpi/drivers/firmware/raspberrypi.c 2015-11-29 09:42:36.887300142 +0100
  27357. @@ -0,0 +1,297 @@
  27358. +/*
  27359. + * Defines interfaces for interacting wtih the Raspberry Pi firmware's
  27360. + * property channel.
  27361. + *
  27362. + * Copyright © 2015 Broadcom
  27363. + *
  27364. + * This program is free software; you can redistribute it and/or modify
  27365. + * it under the terms of the GNU General Public License version 2 as
  27366. + * published by the Free Software Foundation.
  27367. + */
  27368. +
  27369. +#include <linux/dma-mapping.h>
  27370. +#include <linux/mailbox_client.h>
  27371. +#include <linux/module.h>
  27372. +#include <linux/of_platform.h>
  27373. +#include <linux/platform_device.h>
  27374. +#include <soc/bcm2835/raspberrypi-firmware.h>
  27375. +
  27376. +#define MBOX_MSG(chan, data28) (((data28) & ~0xf) | ((chan) & 0xf))
  27377. +#define MBOX_CHAN(msg) ((msg) & 0xf)
  27378. +#define MBOX_DATA28(msg) ((msg) & ~0xf)
  27379. +#define MBOX_CHAN_PROPERTY 8
  27380. +
  27381. +struct rpi_firmware {
  27382. + struct mbox_client cl;
  27383. + struct mbox_chan *chan; /* The property channel. */
  27384. + struct completion c;
  27385. + u32 enabled;
  27386. +};
  27387. +
  27388. +static struct platform_device *g_pdev;
  27389. +
  27390. +static DEFINE_MUTEX(transaction_lock);
  27391. +
  27392. +static void response_callback(struct mbox_client *cl, void *msg)
  27393. +{
  27394. + struct rpi_firmware *fw = container_of(cl, struct rpi_firmware, cl);
  27395. + complete(&fw->c);
  27396. +}
  27397. +
  27398. +/*
  27399. + * Sends a request to the firmware through the BCM2835 mailbox driver,
  27400. + * and synchronously waits for the reply.
  27401. + */
  27402. +static int
  27403. +rpi_firmware_transaction(struct rpi_firmware *fw, u32 chan, u32 data)
  27404. +{
  27405. + u32 message = MBOX_MSG(chan, data);
  27406. + int ret;
  27407. +
  27408. + WARN_ON(data & 0xf);
  27409. +
  27410. + mutex_lock(&transaction_lock);
  27411. + reinit_completion(&fw->c);
  27412. + ret = mbox_send_message(fw->chan, &message);
  27413. + if (ret >= 0) {
  27414. + wait_for_completion(&fw->c);
  27415. + ret = 0;
  27416. + } else {
  27417. + dev_err(fw->cl.dev, "mbox_send_message returned %d\n", ret);
  27418. + }
  27419. + mutex_unlock(&transaction_lock);
  27420. +
  27421. + return ret;
  27422. +}
  27423. +
  27424. +/**
  27425. + * rpi_firmware_property_list - Submit firmware property list
  27426. + * @fw: Pointer to firmware structure from rpi_firmware_get().
  27427. + * @data: Buffer holding tags.
  27428. + * @tag_size: Size of tags buffer.
  27429. + *
  27430. + * Submits a set of concatenated tags to the VPU firmware through the
  27431. + * mailbox property interface.
  27432. + *
  27433. + * The buffer header and the ending tag are added by this function and
  27434. + * don't need to be supplied, just the actual tags for your operation.
  27435. + * See struct rpi_firmware_property_tag_header for the per-tag
  27436. + * structure.
  27437. + */
  27438. +int rpi_firmware_property_list(struct rpi_firmware *fw,
  27439. + void *data, size_t tag_size)
  27440. +{
  27441. + size_t size = tag_size + 12;
  27442. + u32 *buf;
  27443. + dma_addr_t bus_addr;
  27444. + int ret;
  27445. +
  27446. + /* Packets are processed a dword at a time. */
  27447. + if (size & 3)
  27448. + return -EINVAL;
  27449. +
  27450. + buf = dma_alloc_coherent(fw->cl.dev, PAGE_ALIGN(size), &bus_addr,
  27451. + GFP_ATOMIC);
  27452. + if (!buf)
  27453. + return -ENOMEM;
  27454. +
  27455. + /* The firmware will error out without parsing in this case. */
  27456. + WARN_ON(size >= 1024 * 1024);
  27457. +
  27458. + buf[0] = size;
  27459. + buf[1] = RPI_FIRMWARE_STATUS_REQUEST;
  27460. + memcpy(&buf[2], data, tag_size);
  27461. + buf[size / 4 - 1] = RPI_FIRMWARE_PROPERTY_END;
  27462. + wmb();
  27463. +
  27464. + ret = rpi_firmware_transaction(fw, MBOX_CHAN_PROPERTY, bus_addr);
  27465. +
  27466. + rmb();
  27467. + memcpy(data, &buf[2], tag_size);
  27468. + if (ret == 0 && buf[1] != RPI_FIRMWARE_STATUS_SUCCESS) {
  27469. + /*
  27470. + * The tag name here might not be the one causing the
  27471. + * error, if there were multiple tags in the request.
  27472. + * But single-tag is the most common, so go with it.
  27473. + */
  27474. + dev_err(fw->cl.dev, "Request 0x%08x returned status 0x%08x\n",
  27475. + buf[2], buf[1]);
  27476. + ret = -EINVAL;
  27477. + }
  27478. +
  27479. + dma_free_coherent(fw->cl.dev, PAGE_ALIGN(size), buf, bus_addr);
  27480. +
  27481. + return ret;
  27482. +}
  27483. +EXPORT_SYMBOL_GPL(rpi_firmware_property_list);
  27484. +
  27485. +/**
  27486. + * rpi_firmware_property - Submit single firmware property
  27487. + * @fw: Pointer to firmware structure from rpi_firmware_get().
  27488. + * @tag: One of enum_mbox_property_tag.
  27489. + * @tag_data: Tag data buffer.
  27490. + * @buf_size: Buffer size.
  27491. + *
  27492. + * Submits a single tag to the VPU firmware through the mailbox
  27493. + * property interface.
  27494. + *
  27495. + * This is a convenience wrapper around
  27496. + * rpi_firmware_property_list() to avoid some of the
  27497. + * boilerplate in property calls.
  27498. + */
  27499. +int rpi_firmware_property(struct rpi_firmware *fw,
  27500. + u32 tag, void *tag_data, size_t buf_size)
  27501. +{
  27502. + /* Single tags are very small (generally 8 bytes), so the
  27503. + * stack should be safe.
  27504. + */
  27505. + u8 data[buf_size + sizeof(struct rpi_firmware_property_tag_header)];
  27506. + struct rpi_firmware_property_tag_header *header =
  27507. + (struct rpi_firmware_property_tag_header *)data;
  27508. + int ret;
  27509. +
  27510. + header->tag = tag;
  27511. + header->buf_size = buf_size;
  27512. + header->req_resp_size = 0;
  27513. + memcpy(data + sizeof(struct rpi_firmware_property_tag_header),
  27514. + tag_data, buf_size);
  27515. +
  27516. + ret = rpi_firmware_property_list(fw, &data, sizeof(data));
  27517. + memcpy(tag_data,
  27518. + data + sizeof(struct rpi_firmware_property_tag_header),
  27519. + buf_size);
  27520. +
  27521. + return ret;
  27522. +}
  27523. +EXPORT_SYMBOL_GPL(rpi_firmware_property);
  27524. +
  27525. +static void
  27526. +rpi_firmware_print_firmware_revision(struct rpi_firmware *fw)
  27527. +{
  27528. + u32 packet;
  27529. + int ret = rpi_firmware_property(fw,
  27530. + RPI_FIRMWARE_GET_FIRMWARE_REVISION,
  27531. + &packet, sizeof(packet));
  27532. +
  27533. + if (ret == 0) {
  27534. + struct tm tm;
  27535. +
  27536. + time_to_tm(packet, 0, &tm);
  27537. +
  27538. + dev_info(fw->cl.dev,
  27539. + "Attached to firmware from %04ld-%02d-%02d %02d:%02d\n",
  27540. + tm.tm_year + 1900, tm.tm_mon + 1, tm.tm_mday,
  27541. + tm.tm_hour, tm.tm_min);
  27542. + }
  27543. +}
  27544. +
  27545. +static int raspberrypi_firmware_set_power(struct rpi_firmware *fw,
  27546. + u32 domain, bool on)
  27547. +{
  27548. + struct {
  27549. + u32 domain;
  27550. + u32 on;
  27551. + } packet;
  27552. + int ret;
  27553. +
  27554. + packet.domain = domain;
  27555. + packet.on = on;
  27556. + ret = rpi_firmware_property(fw, RPI_FIRMWARE_SET_POWER_STATE,
  27557. + &packet, sizeof(packet));
  27558. + if (!ret && packet.on != on)
  27559. + ret = -EINVAL;
  27560. +
  27561. + return ret;
  27562. +}
  27563. +
  27564. +static int rpi_firmware_probe(struct platform_device *pdev)
  27565. +{
  27566. + struct device *dev = &pdev->dev;
  27567. + struct rpi_firmware *fw;
  27568. +
  27569. + fw = devm_kzalloc(dev, sizeof(*fw), GFP_KERNEL);
  27570. + if (!fw)
  27571. + return -ENOMEM;
  27572. +
  27573. + fw->cl.dev = dev;
  27574. + fw->cl.rx_callback = response_callback;
  27575. + fw->cl.tx_block = true;
  27576. +
  27577. + fw->chan = mbox_request_channel(&fw->cl, 0);
  27578. + if (IS_ERR(fw->chan)) {
  27579. + int ret = PTR_ERR(fw->chan);
  27580. + if (ret != -EPROBE_DEFER)
  27581. + dev_err(dev, "Failed to get mbox channel: %d\n", ret);
  27582. + return ret;
  27583. + }
  27584. +
  27585. + init_completion(&fw->c);
  27586. +
  27587. + platform_set_drvdata(pdev, fw);
  27588. + g_pdev = pdev;
  27589. +
  27590. + rpi_firmware_print_firmware_revision(fw);
  27591. +
  27592. + if (raspberrypi_firmware_set_power(fw, 3, true))
  27593. + dev_err(dev, "failed to turn on USB power\n");
  27594. +
  27595. + return 0;
  27596. +}
  27597. +
  27598. +static int rpi_firmware_remove(struct platform_device *pdev)
  27599. +{
  27600. + struct rpi_firmware *fw = platform_get_drvdata(pdev);
  27601. +
  27602. + mbox_free_channel(fw->chan);
  27603. + g_pdev = NULL;
  27604. +
  27605. + return 0;
  27606. +}
  27607. +
  27608. +/**
  27609. + * rpi_firmware_get - Get pointer to rpi_firmware structure.
  27610. + * @firmware_node: Pointer to the firmware Device Tree node.
  27611. + *
  27612. + * Returns NULL is the firmware device is not ready.
  27613. + */
  27614. +struct rpi_firmware *rpi_firmware_get(struct device_node *firmware_node)
  27615. +{
  27616. + struct platform_device *pdev = g_pdev;
  27617. +
  27618. + if (!pdev)
  27619. + return NULL;
  27620. +
  27621. + return platform_get_drvdata(pdev);
  27622. +}
  27623. +EXPORT_SYMBOL_GPL(rpi_firmware_get);
  27624. +
  27625. +static const struct of_device_id rpi_firmware_of_match[] = {
  27626. + { .compatible = "raspberrypi,bcm2835-firmware", },
  27627. + {},
  27628. +};
  27629. +MODULE_DEVICE_TABLE(of, rpi_firmware_of_match);
  27630. +
  27631. +static struct platform_driver rpi_firmware_driver = {
  27632. + .driver = {
  27633. + .name = "raspberrypi-firmware",
  27634. + .of_match_table = rpi_firmware_of_match,
  27635. + },
  27636. + .probe = rpi_firmware_probe,
  27637. + .remove = rpi_firmware_remove,
  27638. +};
  27639. +
  27640. +static int __init rpi_firmware_init(void)
  27641. +{
  27642. + return platform_driver_register(&rpi_firmware_driver);
  27643. +}
  27644. +subsys_initcall(rpi_firmware_init);
  27645. +
  27646. +static void __init rpi_firmware_exit(void)
  27647. +{
  27648. + platform_driver_unregister(&rpi_firmware_driver);
  27649. +}
  27650. +module_exit(rpi_firmware_exit);
  27651. +
  27652. +MODULE_AUTHOR("Eric Anholt <eric@anholt.net>");
  27653. +MODULE_DESCRIPTION("Raspberry Pi firmware driver");
  27654. +MODULE_LICENSE("GPL v2");
  27655. diff -Nur linux-4.1.13.orig/drivers/hid/usbhid/hid-core.c linux-rpi/drivers/hid/usbhid/hid-core.c
  27656. --- linux-4.1.13.orig/drivers/hid/usbhid/hid-core.c 2015-11-09 23:34:10.000000000 +0100
  27657. +++ linux-rpi/drivers/hid/usbhid/hid-core.c 2015-11-29 09:42:37.327270908 +0100
  27658. @@ -49,7 +49,7 @@
  27659. * Module parameters.
  27660. */
  27661. -static unsigned int hid_mousepoll_interval;
  27662. +static unsigned int hid_mousepoll_interval = ~0;
  27663. module_param_named(mousepoll, hid_mousepoll_interval, uint, 0644);
  27664. MODULE_PARM_DESC(mousepoll, "Polling interval of mice");
  27665. @@ -1090,8 +1090,12 @@
  27666. }
  27667. /* Change the polling interval of mice. */
  27668. - if (hid->collection->usage == HID_GD_MOUSE && hid_mousepoll_interval > 0)
  27669. - interval = hid_mousepoll_interval;
  27670. + if (hid->collection->usage == HID_GD_MOUSE) {
  27671. + if (hid_mousepoll_interval == ~0 && interval < 16)
  27672. + interval = 16;
  27673. + else if (hid_mousepoll_interval != ~0 && hid_mousepoll_interval != 0)
  27674. + interval = hid_mousepoll_interval;
  27675. + }
  27676. ret = -ENOMEM;
  27677. if (usb_endpoint_dir_in(endpoint)) {
  27678. diff -Nur linux-4.1.13.orig/drivers/i2c/busses/i2c-bcm2708.c linux-rpi/drivers/i2c/busses/i2c-bcm2708.c
  27679. --- linux-4.1.13.orig/drivers/i2c/busses/i2c-bcm2708.c 1970-01-01 01:00:00.000000000 +0100
  27680. +++ linux-rpi/drivers/i2c/busses/i2c-bcm2708.c 2015-11-29 09:42:37.375267719 +0100
  27681. @@ -0,0 +1,524 @@
  27682. +/*
  27683. + * Driver for Broadcom BCM2708 BSC Controllers
  27684. + *
  27685. + * Copyright (C) 2012 Chris Boot & Frank Buss
  27686. + *
  27687. + * This driver is inspired by:
  27688. + * i2c-ocores.c, by Peter Korsgaard <jacmet@sunsite.dk>
  27689. + *
  27690. + * This program is free software; you can redistribute it and/or modify
  27691. + * it under the terms of the GNU General Public License as published by
  27692. + * the Free Software Foundation; either version 2 of the License, or
  27693. + * (at your option) any later version.
  27694. + *
  27695. + * This program is distributed in the hope that it will be useful,
  27696. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  27697. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  27698. + * GNU General Public License for more details.
  27699. + *
  27700. + * You should have received a copy of the GNU General Public License
  27701. + * along with this program; if not, write to the Free Software
  27702. + * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  27703. + */
  27704. +
  27705. +#include <linux/kernel.h>
  27706. +#include <linux/module.h>
  27707. +#include <linux/spinlock.h>
  27708. +#include <linux/clk.h>
  27709. +#include <linux/err.h>
  27710. +#include <linux/of.h>
  27711. +#include <linux/platform_device.h>
  27712. +#include <linux/io.h>
  27713. +#include <linux/slab.h>
  27714. +#include <linux/i2c.h>
  27715. +#include <linux/interrupt.h>
  27716. +#include <linux/sched.h>
  27717. +#include <linux/wait.h>
  27718. +
  27719. +/* BSC register offsets */
  27720. +#define BSC_C 0x00
  27721. +#define BSC_S 0x04
  27722. +#define BSC_DLEN 0x08
  27723. +#define BSC_A 0x0c
  27724. +#define BSC_FIFO 0x10
  27725. +#define BSC_DIV 0x14
  27726. +#define BSC_DEL 0x18
  27727. +#define BSC_CLKT 0x1c
  27728. +
  27729. +/* Bitfields in BSC_C */
  27730. +#define BSC_C_I2CEN 0x00008000
  27731. +#define BSC_C_INTR 0x00000400
  27732. +#define BSC_C_INTT 0x00000200
  27733. +#define BSC_C_INTD 0x00000100
  27734. +#define BSC_C_ST 0x00000080
  27735. +#define BSC_C_CLEAR_1 0x00000020
  27736. +#define BSC_C_CLEAR_2 0x00000010
  27737. +#define BSC_C_READ 0x00000001
  27738. +
  27739. +/* Bitfields in BSC_S */
  27740. +#define BSC_S_CLKT 0x00000200
  27741. +#define BSC_S_ERR 0x00000100
  27742. +#define BSC_S_RXF 0x00000080
  27743. +#define BSC_S_TXE 0x00000040
  27744. +#define BSC_S_RXD 0x00000020
  27745. +#define BSC_S_TXD 0x00000010
  27746. +#define BSC_S_RXR 0x00000008
  27747. +#define BSC_S_TXW 0x00000004
  27748. +#define BSC_S_DONE 0x00000002
  27749. +#define BSC_S_TA 0x00000001
  27750. +
  27751. +#define I2C_WAIT_LOOP_COUNT 200
  27752. +
  27753. +#define DRV_NAME "bcm2708_i2c"
  27754. +
  27755. +static unsigned int baudrate = CONFIG_I2C_BCM2708_BAUDRATE;
  27756. +module_param(baudrate, uint, S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP);
  27757. +MODULE_PARM_DESC(baudrate, "The I2C baudrate");
  27758. +
  27759. +static bool combined = false;
  27760. +module_param(combined, bool, 0644);
  27761. +MODULE_PARM_DESC(combined, "Use combined transactions");
  27762. +
  27763. +struct bcm2708_i2c {
  27764. + struct i2c_adapter adapter;
  27765. +
  27766. + spinlock_t lock;
  27767. + void __iomem *base;
  27768. + int irq;
  27769. + struct clk *clk;
  27770. + u32 cdiv;
  27771. +
  27772. + struct completion done;
  27773. +
  27774. + struct i2c_msg *msg;
  27775. + int pos;
  27776. + int nmsgs;
  27777. + bool error;
  27778. +};
  27779. +
  27780. +/*
  27781. + * This function sets the ALT mode on the I2C pins so that we can use them with
  27782. + * the BSC hardware.
  27783. + *
  27784. + * FIXME: This is a hack. Use pinmux / pinctrl.
  27785. + */
  27786. +static void bcm2708_i2c_init_pinmode(int id)
  27787. +{
  27788. +#define INP_GPIO(g) *(gpio+((g)/10)) &= ~(7<<(((g)%10)*3))
  27789. +#define SET_GPIO_ALT(g,a) *(gpio+(((g)/10))) |= (((a)<=3?(a)+4:(a)==4?3:2)<<(((g)%10)*3))
  27790. +
  27791. + int pin;
  27792. + u32 *gpio = ioremap(GPIO_BASE, SZ_16K);
  27793. +
  27794. + BUG_ON(id != 0 && id != 1);
  27795. + /* BSC0 is on GPIO 0 & 1, BSC1 is on GPIO 2 & 3 */
  27796. + for (pin = id*2+0; pin <= id*2+1; pin++) {
  27797. + printk("bcm2708_i2c_init_pinmode(%d,%d)\n", id, pin);
  27798. + INP_GPIO(pin); /* set mode to GPIO input first */
  27799. + SET_GPIO_ALT(pin, 0); /* set mode to ALT 0 */
  27800. + }
  27801. +
  27802. + iounmap(gpio);
  27803. +
  27804. +#undef INP_GPIO
  27805. +#undef SET_GPIO_ALT
  27806. +}
  27807. +
  27808. +static inline u32 bcm2708_rd(struct bcm2708_i2c *bi, unsigned reg)
  27809. +{
  27810. + return readl(bi->base + reg);
  27811. +}
  27812. +
  27813. +static inline void bcm2708_wr(struct bcm2708_i2c *bi, unsigned reg, u32 val)
  27814. +{
  27815. + writel(val, bi->base + reg);
  27816. +}
  27817. +
  27818. +static inline void bcm2708_bsc_reset(struct bcm2708_i2c *bi)
  27819. +{
  27820. + bcm2708_wr(bi, BSC_C, 0);
  27821. + bcm2708_wr(bi, BSC_S, BSC_S_CLKT | BSC_S_ERR | BSC_S_DONE);
  27822. +}
  27823. +
  27824. +static inline void bcm2708_bsc_fifo_drain(struct bcm2708_i2c *bi)
  27825. +{
  27826. + while ((bcm2708_rd(bi, BSC_S) & BSC_S_RXD) && (bi->pos < bi->msg->len))
  27827. + bi->msg->buf[bi->pos++] = bcm2708_rd(bi, BSC_FIFO);
  27828. +}
  27829. +
  27830. +static inline void bcm2708_bsc_fifo_fill(struct bcm2708_i2c *bi)
  27831. +{
  27832. + while ((bcm2708_rd(bi, BSC_S) & BSC_S_TXD) && (bi->pos < bi->msg->len))
  27833. + bcm2708_wr(bi, BSC_FIFO, bi->msg->buf[bi->pos++]);
  27834. +}
  27835. +
  27836. +static inline int bcm2708_bsc_setup(struct bcm2708_i2c *bi)
  27837. +{
  27838. + u32 cdiv, s;
  27839. + u32 c = BSC_C_I2CEN | BSC_C_INTD | BSC_C_ST | BSC_C_CLEAR_1;
  27840. + int wait_loops = I2C_WAIT_LOOP_COUNT;
  27841. +
  27842. + /* Can't call clk_get_rate as it locks a mutex and here we are spinlocked.
  27843. + * Use the value that we cached in the probe.
  27844. + */
  27845. + cdiv = bi->cdiv;
  27846. +
  27847. + if (bi->msg->flags & I2C_M_RD)
  27848. + c |= BSC_C_INTR | BSC_C_READ;
  27849. + else
  27850. + c |= BSC_C_INTT;
  27851. +
  27852. + bcm2708_wr(bi, BSC_DIV, cdiv);
  27853. + bcm2708_wr(bi, BSC_A, bi->msg->addr);
  27854. + bcm2708_wr(bi, BSC_DLEN, bi->msg->len);
  27855. + if (combined)
  27856. + {
  27857. + /* Do the next two messages meet combined transaction criteria?
  27858. + - Current message is a write, next message is a read
  27859. + - Both messages to same slave address
  27860. + - Write message can fit inside FIFO (16 bytes or less) */
  27861. + if ( (bi->nmsgs > 1) &&
  27862. + !(bi->msg[0].flags & I2C_M_RD) && (bi->msg[1].flags & I2C_M_RD) &&
  27863. + (bi->msg[0].addr == bi->msg[1].addr) && (bi->msg[0].len <= 16)) {
  27864. + /* Fill FIFO with entire write message (16 byte FIFO) */
  27865. + while (bi->pos < bi->msg->len) {
  27866. + bcm2708_wr(bi, BSC_FIFO, bi->msg->buf[bi->pos++]);
  27867. + }
  27868. + /* Start write transfer (no interrupts, don't clear FIFO) */
  27869. + bcm2708_wr(bi, BSC_C, BSC_C_I2CEN | BSC_C_ST);
  27870. +
  27871. + /* poll for transfer start bit (should only take 1-20 polls) */
  27872. + do {
  27873. + s = bcm2708_rd(bi, BSC_S);
  27874. + } while (!(s & (BSC_S_TA | BSC_S_ERR | BSC_S_CLKT | BSC_S_DONE)) && --wait_loops >= 0);
  27875. +
  27876. + /* did we time out or some error occured? */
  27877. + if (wait_loops < 0 || (s & (BSC_S_ERR | BSC_S_CLKT))) {
  27878. + return -1;
  27879. + }
  27880. +
  27881. + /* Send next read message before the write transfer finishes. */
  27882. + bi->nmsgs--;
  27883. + bi->msg++;
  27884. + bi->pos = 0;
  27885. + bcm2708_wr(bi, BSC_DLEN, bi->msg->len);
  27886. + c = BSC_C_I2CEN | BSC_C_INTD | BSC_C_INTR | BSC_C_ST | BSC_C_READ;
  27887. + }
  27888. + }
  27889. + bcm2708_wr(bi, BSC_C, c);
  27890. +
  27891. + return 0;
  27892. +}
  27893. +
  27894. +static irqreturn_t bcm2708_i2c_interrupt(int irq, void *dev_id)
  27895. +{
  27896. + struct bcm2708_i2c *bi = dev_id;
  27897. + bool handled = true;
  27898. + u32 s;
  27899. + int ret;
  27900. +
  27901. + spin_lock(&bi->lock);
  27902. +
  27903. + /* we may see camera interrupts on the "other" I2C channel
  27904. + Just return if we've not sent anything */
  27905. + if (!bi->nmsgs || !bi->msg) {
  27906. + goto early_exit;
  27907. + }
  27908. +
  27909. + s = bcm2708_rd(bi, BSC_S);
  27910. +
  27911. + if (s & (BSC_S_CLKT | BSC_S_ERR)) {
  27912. + bcm2708_bsc_reset(bi);
  27913. + bi->error = true;
  27914. +
  27915. + bi->msg = 0; /* to inform the that all work is done */
  27916. + bi->nmsgs = 0;
  27917. + /* wake up our bh */
  27918. + complete(&bi->done);
  27919. + } else if (s & BSC_S_DONE) {
  27920. + bi->nmsgs--;
  27921. +
  27922. + if (bi->msg->flags & I2C_M_RD) {
  27923. + bcm2708_bsc_fifo_drain(bi);
  27924. + }
  27925. +
  27926. + bcm2708_bsc_reset(bi);
  27927. +
  27928. + if (bi->nmsgs) {
  27929. + /* advance to next message */
  27930. + bi->msg++;
  27931. + bi->pos = 0;
  27932. + ret = bcm2708_bsc_setup(bi);
  27933. + if (ret < 0) {
  27934. + bcm2708_bsc_reset(bi);
  27935. + bi->error = true;
  27936. + bi->msg = 0; /* to inform the that all work is done */
  27937. + bi->nmsgs = 0;
  27938. + /* wake up our bh */
  27939. + complete(&bi->done);
  27940. + goto early_exit;
  27941. + }
  27942. + } else {
  27943. + bi->msg = 0; /* to inform the that all work is done */
  27944. + bi->nmsgs = 0;
  27945. + /* wake up our bh */
  27946. + complete(&bi->done);
  27947. + }
  27948. + } else if (s & BSC_S_TXW) {
  27949. + bcm2708_bsc_fifo_fill(bi);
  27950. + } else if (s & BSC_S_RXR) {
  27951. + bcm2708_bsc_fifo_drain(bi);
  27952. + } else {
  27953. + handled = false;
  27954. + }
  27955. +
  27956. +early_exit:
  27957. + spin_unlock(&bi->lock);
  27958. +
  27959. + return handled ? IRQ_HANDLED : IRQ_NONE;
  27960. +}
  27961. +
  27962. +static int bcm2708_i2c_master_xfer(struct i2c_adapter *adap,
  27963. + struct i2c_msg *msgs, int num)
  27964. +{
  27965. + struct bcm2708_i2c *bi = adap->algo_data;
  27966. + unsigned long flags;
  27967. + int ret;
  27968. +
  27969. + spin_lock_irqsave(&bi->lock, flags);
  27970. +
  27971. + reinit_completion(&bi->done);
  27972. + bi->msg = msgs;
  27973. + bi->pos = 0;
  27974. + bi->nmsgs = num;
  27975. + bi->error = false;
  27976. +
  27977. + ret = bcm2708_bsc_setup(bi);
  27978. +
  27979. + spin_unlock_irqrestore(&bi->lock, flags);
  27980. +
  27981. + /* check the result of the setup */
  27982. + if (ret < 0)
  27983. + {
  27984. + dev_err(&adap->dev, "transfer setup timed out\n");
  27985. + goto error_timeout;
  27986. + }
  27987. +
  27988. + ret = wait_for_completion_timeout(&bi->done, adap->timeout);
  27989. + if (ret == 0) {
  27990. + dev_err(&adap->dev, "transfer timed out\n");
  27991. + goto error_timeout;
  27992. + }
  27993. +
  27994. + ret = bi->error ? -EIO : num;
  27995. + return ret;
  27996. +
  27997. +error_timeout:
  27998. + spin_lock_irqsave(&bi->lock, flags);
  27999. + bcm2708_bsc_reset(bi);
  28000. + bi->msg = 0; /* to inform the interrupt handler that there's nothing else to be done */
  28001. + bi->nmsgs = 0;
  28002. + spin_unlock_irqrestore(&bi->lock, flags);
  28003. + return -ETIMEDOUT;
  28004. +}
  28005. +
  28006. +static u32 bcm2708_i2c_functionality(struct i2c_adapter *adap)
  28007. +{
  28008. + return I2C_FUNC_I2C | /*I2C_FUNC_10BIT_ADDR |*/ I2C_FUNC_SMBUS_EMUL;
  28009. +}
  28010. +
  28011. +static struct i2c_algorithm bcm2708_i2c_algorithm = {
  28012. + .master_xfer = bcm2708_i2c_master_xfer,
  28013. + .functionality = bcm2708_i2c_functionality,
  28014. +};
  28015. +
  28016. +static int bcm2708_i2c_probe(struct platform_device *pdev)
  28017. +{
  28018. + struct resource *regs;
  28019. + int irq, err = -ENOMEM;
  28020. + struct clk *clk;
  28021. + struct bcm2708_i2c *bi;
  28022. + struct i2c_adapter *adap;
  28023. + unsigned long bus_hz;
  28024. + u32 cdiv;
  28025. +
  28026. + if (pdev->dev.of_node) {
  28027. + u32 bus_clk_rate;
  28028. + pdev->id = of_alias_get_id(pdev->dev.of_node, "i2c");
  28029. + if (pdev->id < 0) {
  28030. + dev_err(&pdev->dev, "alias is missing\n");
  28031. + return -EINVAL;
  28032. + }
  28033. + if (!of_property_read_u32(pdev->dev.of_node,
  28034. + "clock-frequency", &bus_clk_rate))
  28035. + baudrate = bus_clk_rate;
  28036. + else
  28037. + dev_warn(&pdev->dev,
  28038. + "Could not read clock-frequency property\n");
  28039. + }
  28040. +
  28041. + regs = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  28042. + if (!regs) {
  28043. + dev_err(&pdev->dev, "could not get IO memory\n");
  28044. + return -ENXIO;
  28045. + }
  28046. +
  28047. + irq = platform_get_irq(pdev, 0);
  28048. + if (irq < 0) {
  28049. + dev_err(&pdev->dev, "could not get IRQ\n");
  28050. + return irq;
  28051. + }
  28052. +
  28053. + clk = clk_get(&pdev->dev, NULL);
  28054. + if (IS_ERR(clk)) {
  28055. + dev_err(&pdev->dev, "could not find clk: %ld\n", PTR_ERR(clk));
  28056. + return PTR_ERR(clk);
  28057. + }
  28058. +
  28059. + err = clk_prepare_enable(clk);
  28060. + if (err) {
  28061. + dev_err(&pdev->dev, "could not enable clk: %d\n", err);
  28062. + goto out_clk_put;
  28063. + }
  28064. +
  28065. + if (!pdev->dev.of_node)
  28066. + bcm2708_i2c_init_pinmode(pdev->id);
  28067. +
  28068. + bi = kzalloc(sizeof(*bi), GFP_KERNEL);
  28069. + if (!bi)
  28070. + goto out_clk_disable;
  28071. +
  28072. + platform_set_drvdata(pdev, bi);
  28073. +
  28074. + adap = &bi->adapter;
  28075. + adap->class = I2C_CLASS_HWMON | I2C_CLASS_DDC;
  28076. + adap->algo = &bcm2708_i2c_algorithm;
  28077. + adap->algo_data = bi;
  28078. + adap->dev.parent = &pdev->dev;
  28079. + adap->nr = pdev->id;
  28080. + strlcpy(adap->name, dev_name(&pdev->dev), sizeof(adap->name));
  28081. + adap->dev.of_node = pdev->dev.of_node;
  28082. +
  28083. + switch (pdev->id) {
  28084. + case 0:
  28085. + adap->class = I2C_CLASS_HWMON;
  28086. + break;
  28087. + case 1:
  28088. + adap->class = I2C_CLASS_DDC;
  28089. + break;
  28090. + case 2:
  28091. + adap->class = I2C_CLASS_DDC;
  28092. + break;
  28093. + default:
  28094. + dev_err(&pdev->dev, "can only bind to BSC 0, 1 or 2\n");
  28095. + err = -ENXIO;
  28096. + goto out_free_bi;
  28097. + }
  28098. +
  28099. + spin_lock_init(&bi->lock);
  28100. + init_completion(&bi->done);
  28101. +
  28102. + bi->base = ioremap(regs->start, resource_size(regs));
  28103. + if (!bi->base) {
  28104. + dev_err(&pdev->dev, "could not remap memory\n");
  28105. + goto out_free_bi;
  28106. + }
  28107. +
  28108. + bi->irq = irq;
  28109. + bi->clk = clk;
  28110. +
  28111. + err = request_irq(irq, bcm2708_i2c_interrupt, IRQF_SHARED,
  28112. + dev_name(&pdev->dev), bi);
  28113. + if (err) {
  28114. + dev_err(&pdev->dev, "could not request IRQ: %d\n", err);
  28115. + goto out_iounmap;
  28116. + }
  28117. +
  28118. + bcm2708_bsc_reset(bi);
  28119. +
  28120. + err = i2c_add_numbered_adapter(adap);
  28121. + if (err < 0) {
  28122. + dev_err(&pdev->dev, "could not add I2C adapter: %d\n", err);
  28123. + goto out_free_irq;
  28124. + }
  28125. +
  28126. + bus_hz = clk_get_rate(bi->clk);
  28127. + cdiv = bus_hz / baudrate;
  28128. + if (cdiv > 0xffff) {
  28129. + cdiv = 0xffff;
  28130. + baudrate = bus_hz / cdiv;
  28131. + }
  28132. + bi->cdiv = cdiv;
  28133. +
  28134. + dev_info(&pdev->dev, "BSC%d Controller at 0x%08lx (irq %d) (baudrate %d)\n",
  28135. + pdev->id, (unsigned long)regs->start, irq, baudrate);
  28136. +
  28137. + return 0;
  28138. +
  28139. +out_free_irq:
  28140. + free_irq(bi->irq, bi);
  28141. +out_iounmap:
  28142. + iounmap(bi->base);
  28143. +out_free_bi:
  28144. + kfree(bi);
  28145. +out_clk_disable:
  28146. + clk_disable_unprepare(clk);
  28147. +out_clk_put:
  28148. + clk_put(clk);
  28149. + return err;
  28150. +}
  28151. +
  28152. +static int bcm2708_i2c_remove(struct platform_device *pdev)
  28153. +{
  28154. + struct bcm2708_i2c *bi = platform_get_drvdata(pdev);
  28155. +
  28156. + platform_set_drvdata(pdev, NULL);
  28157. +
  28158. + i2c_del_adapter(&bi->adapter);
  28159. + free_irq(bi->irq, bi);
  28160. + iounmap(bi->base);
  28161. + clk_disable_unprepare(bi->clk);
  28162. + clk_put(bi->clk);
  28163. + kfree(bi);
  28164. +
  28165. + return 0;
  28166. +}
  28167. +
  28168. +static const struct of_device_id bcm2708_i2c_of_match[] = {
  28169. + { .compatible = "brcm,bcm2708-i2c" },
  28170. + {},
  28171. +};
  28172. +MODULE_DEVICE_TABLE(of, bcm2708_i2c_of_match);
  28173. +
  28174. +static struct platform_driver bcm2708_i2c_driver = {
  28175. + .driver = {
  28176. + .name = DRV_NAME,
  28177. + .owner = THIS_MODULE,
  28178. + .of_match_table = bcm2708_i2c_of_match,
  28179. + },
  28180. + .probe = bcm2708_i2c_probe,
  28181. + .remove = bcm2708_i2c_remove,
  28182. +};
  28183. +
  28184. +// module_platform_driver(bcm2708_i2c_driver);
  28185. +
  28186. +
  28187. +static int __init bcm2708_i2c_init(void)
  28188. +{
  28189. + return platform_driver_register(&bcm2708_i2c_driver);
  28190. +}
  28191. +
  28192. +static void __exit bcm2708_i2c_exit(void)
  28193. +{
  28194. + platform_driver_unregister(&bcm2708_i2c_driver);
  28195. +}
  28196. +
  28197. +module_init(bcm2708_i2c_init);
  28198. +module_exit(bcm2708_i2c_exit);
  28199. +
  28200. +
  28201. +
  28202. +MODULE_DESCRIPTION("BSC controller driver for Broadcom BCM2708");
  28203. +MODULE_AUTHOR("Chris Boot <bootc@bootc.net>");
  28204. +MODULE_LICENSE("GPL v2");
  28205. +MODULE_ALIAS("platform:" DRV_NAME);
  28206. diff -Nur linux-4.1.13.orig/drivers/i2c/busses/Kconfig linux-rpi/drivers/i2c/busses/Kconfig
  28207. --- linux-4.1.13.orig/drivers/i2c/busses/Kconfig 2015-11-09 23:34:10.000000000 +0100
  28208. +++ linux-rpi/drivers/i2c/busses/Kconfig 2015-11-29 09:42:37.371267984 +0100
  28209. @@ -8,6 +8,25 @@
  28210. comment "PC SMBus host controller drivers"
  28211. depends on PCI
  28212. +config I2C_BCM2708
  28213. + tristate "BCM2708 BSC"
  28214. + depends on MACH_BCM2708 || MACH_BCM2709
  28215. + help
  28216. + Enabling this option will add BSC (Broadcom Serial Controller)
  28217. + support for the BCM2708. BSC is a Broadcom proprietary bus compatible
  28218. + with I2C/TWI/SMBus.
  28219. +
  28220. +config I2C_BCM2708_BAUDRATE
  28221. + prompt "BCM2708 I2C baudrate"
  28222. + depends on I2C_BCM2708
  28223. + int
  28224. + default 100000
  28225. + help
  28226. + Set the I2C baudrate. This will alter the default value. A
  28227. + different baudrate can be set by using a module parameter as well. If
  28228. + no parameter is provided when loading, this is the value that will be
  28229. + used.
  28230. +
  28231. config I2C_ALI1535
  28232. tristate "ALI 1535"
  28233. depends on PCI
  28234. @@ -362,7 +381,7 @@
  28235. config I2C_BCM2835
  28236. tristate "Broadcom BCM2835 I2C controller"
  28237. - depends on ARCH_BCM2835
  28238. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709
  28239. help
  28240. If you say yes to this option, support will be included for the
  28241. BCM2835 I2C controller.
  28242. diff -Nur linux-4.1.13.orig/drivers/i2c/busses/Makefile linux-rpi/drivers/i2c/busses/Makefile
  28243. --- linux-4.1.13.orig/drivers/i2c/busses/Makefile 2015-11-09 23:34:10.000000000 +0100
  28244. +++ linux-rpi/drivers/i2c/busses/Makefile 2015-11-29 09:42:37.371267984 +0100
  28245. @@ -2,6 +2,8 @@
  28246. # Makefile for the i2c bus drivers.
  28247. #
  28248. +obj-$(CONFIG_I2C_BCM2708) += i2c-bcm2708.o
  28249. +
  28250. # ACPI drivers
  28251. obj-$(CONFIG_I2C_SCMI) += i2c-scmi.o
  28252. diff -Nur linux-4.1.13.orig/drivers/input/joystick/Kconfig linux-rpi/drivers/input/joystick/Kconfig
  28253. --- linux-4.1.13.orig/drivers/input/joystick/Kconfig 2015-11-09 23:34:10.000000000 +0100
  28254. +++ linux-rpi/drivers/input/joystick/Kconfig 2015-11-29 09:42:37.515258417 +0100
  28255. @@ -329,4 +329,12 @@
  28256. To compile this as a module choose M here: the module will be called
  28257. maplecontrol.
  28258. +config JOYSTICK_RPISENSE
  28259. + tristate "Raspberry Pi Sense HAT joystick"
  28260. + depends on GPIOLIB && INPUT
  28261. + select MFD_RPISENSE_CORE
  28262. +
  28263. + help
  28264. + This is the joystick driver for the Raspberry Pi Sense HAT
  28265. +
  28266. endif
  28267. diff -Nur linux-4.1.13.orig/drivers/input/joystick/Makefile linux-rpi/drivers/input/joystick/Makefile
  28268. --- linux-4.1.13.orig/drivers/input/joystick/Makefile 2015-11-09 23:34:10.000000000 +0100
  28269. +++ linux-rpi/drivers/input/joystick/Makefile 2015-11-29 09:42:37.515258417 +0100
  28270. @@ -32,4 +32,5 @@
  28271. obj-$(CONFIG_JOYSTICK_XPAD) += xpad.o
  28272. obj-$(CONFIG_JOYSTICK_ZHENHUA) += zhenhua.o
  28273. obj-$(CONFIG_JOYSTICK_WALKERA0701) += walkera0701.o
  28274. +obj-$(CONFIG_JOYSTICK_RPISENSE) += rpisense-js.o
  28275. diff -Nur linux-4.1.13.orig/drivers/input/joystick/rpisense-js.c linux-rpi/drivers/input/joystick/rpisense-js.c
  28276. --- linux-4.1.13.orig/drivers/input/joystick/rpisense-js.c 1970-01-01 01:00:00.000000000 +0100
  28277. +++ linux-rpi/drivers/input/joystick/rpisense-js.c 2015-11-29 09:42:37.515258417 +0100
  28278. @@ -0,0 +1,153 @@
  28279. +/*
  28280. + * Raspberry Pi Sense HAT joystick driver
  28281. + * http://raspberrypi.org
  28282. + *
  28283. + * Copyright (C) 2015 Raspberry Pi
  28284. + *
  28285. + * Author: Serge Schneider
  28286. + *
  28287. + * This program is free software; you can redistribute it and/or modify it
  28288. + * under the terms of the GNU General Public License as published by the
  28289. + * Free Software Foundation; either version 2 of the License, or (at your
  28290. + * option) any later version.
  28291. + *
  28292. + */
  28293. +
  28294. +#include <linux/module.h>
  28295. +
  28296. +#include <linux/mfd/rpisense/joystick.h>
  28297. +#include <linux/mfd/rpisense/core.h>
  28298. +
  28299. +struct rpisense *rpisense;
  28300. +unsigned char keymap[5] = {KEY_DOWN, KEY_RIGHT, KEY_UP, KEY_ENTER, KEY_LEFT,};
  28301. +
  28302. +static void keys_work_fn(struct work_struct *work)
  28303. +{
  28304. + int i;
  28305. + static s32 prev_keys;
  28306. + struct rpisense_js *rpisense_js = &rpisense->joystick;
  28307. + s32 keys = rpisense_reg_read(rpisense, RPISENSE_KEYS);
  28308. + s32 changes = keys ^ prev_keys;
  28309. +
  28310. + prev_keys = keys;
  28311. + for (i = 0; i < 5; i++) {
  28312. + if (changes & 1) {
  28313. + input_report_key(rpisense_js->keys_dev,
  28314. + keymap[i], keys & 1);
  28315. + }
  28316. + changes >>= 1;
  28317. + keys >>= 1;
  28318. + }
  28319. + input_sync(rpisense_js->keys_dev);
  28320. +}
  28321. +
  28322. +static irqreturn_t keys_irq_handler(int irq, void *pdev)
  28323. +{
  28324. + struct rpisense_js *rpisense_js = &rpisense->joystick;
  28325. +
  28326. + schedule_work(&rpisense_js->keys_work_s);
  28327. + return IRQ_HANDLED;
  28328. +}
  28329. +
  28330. +static int rpisense_js_probe(struct platform_device *pdev)
  28331. +{
  28332. + int ret;
  28333. + int i;
  28334. + struct rpisense_js *rpisense_js;
  28335. +
  28336. + rpisense = rpisense_get_dev();
  28337. + rpisense_js = &rpisense->joystick;
  28338. +
  28339. + INIT_WORK(&rpisense_js->keys_work_s, keys_work_fn);
  28340. +
  28341. + rpisense_js->keys_dev = input_allocate_device();
  28342. + if (!rpisense_js->keys_dev) {
  28343. + dev_err(&pdev->dev, "Could not allocate input device.\n");
  28344. + return -ENOMEM;
  28345. + }
  28346. +
  28347. + rpisense_js->keys_dev->evbit[0] = BIT_MASK(EV_KEY);
  28348. + for (i = 0; i < ARRAY_SIZE(keymap); i++) {
  28349. + set_bit(keymap[i],
  28350. + rpisense_js->keys_dev->keybit);
  28351. + }
  28352. +
  28353. + rpisense_js->keys_dev->name = "Raspberry Pi Sense HAT Joystick";
  28354. + rpisense_js->keys_dev->phys = "rpi-sense-joy/input0";
  28355. + rpisense_js->keys_dev->id.bustype = BUS_I2C;
  28356. + rpisense_js->keys_dev->evbit[0] = BIT_MASK(EV_KEY) | BIT_MASK(EV_REP);
  28357. + rpisense_js->keys_dev->keycode = keymap;
  28358. + rpisense_js->keys_dev->keycodesize = sizeof(unsigned char);
  28359. + rpisense_js->keys_dev->keycodemax = ARRAY_SIZE(keymap);
  28360. +
  28361. + ret = input_register_device(rpisense_js->keys_dev);
  28362. + if (ret) {
  28363. + dev_err(&pdev->dev, "Could not register input device.\n");
  28364. + goto err_keys_alloc;
  28365. + }
  28366. +
  28367. + ret = gpiod_direction_input(rpisense_js->keys_desc);
  28368. + if (ret) {
  28369. + dev_err(&pdev->dev, "Could not set keys-int direction.\n");
  28370. + goto err_keys_reg;
  28371. + }
  28372. +
  28373. + rpisense_js->keys_irq = gpiod_to_irq(rpisense_js->keys_desc);
  28374. + if (rpisense_js->keys_irq < 0) {
  28375. + dev_err(&pdev->dev, "Could not determine keys-int IRQ.\n");
  28376. + ret = rpisense_js->keys_irq;
  28377. + goto err_keys_reg;
  28378. + }
  28379. +
  28380. + ret = devm_request_irq(&pdev->dev, rpisense_js->keys_irq,
  28381. + keys_irq_handler, IRQF_TRIGGER_RISING,
  28382. + "keys", &pdev->dev);
  28383. + if (ret) {
  28384. + dev_err(&pdev->dev, "IRQ request failed.\n");
  28385. + goto err_keys_reg;
  28386. + }
  28387. + return 0;
  28388. +err_keys_reg:
  28389. + input_unregister_device(rpisense_js->keys_dev);
  28390. +err_keys_alloc:
  28391. + input_free_device(rpisense_js->keys_dev);
  28392. + return ret;
  28393. +}
  28394. +
  28395. +static int rpisense_js_remove(struct platform_device *pdev)
  28396. +{
  28397. + struct rpisense_js *rpisense_js = &rpisense->joystick;
  28398. +
  28399. + input_unregister_device(rpisense_js->keys_dev);
  28400. + input_free_device(rpisense_js->keys_dev);
  28401. + return 0;
  28402. +}
  28403. +
  28404. +#ifdef CONFIG_OF
  28405. +static const struct of_device_id rpisense_js_id[] = {
  28406. + { .compatible = "rpi,rpi-sense-js" },
  28407. + { },
  28408. +};
  28409. +MODULE_DEVICE_TABLE(of, rpisense_js_id);
  28410. +#endif
  28411. +
  28412. +static struct platform_device_id rpisense_js_device_id[] = {
  28413. + { .name = "rpi-sense-js" },
  28414. + { },
  28415. +};
  28416. +MODULE_DEVICE_TABLE(platform, rpisense_js_device_id);
  28417. +
  28418. +static struct platform_driver rpisense_js_driver = {
  28419. + .probe = rpisense_js_probe,
  28420. + .remove = rpisense_js_remove,
  28421. + .driver = {
  28422. + .name = "rpi-sense-js",
  28423. + .owner = THIS_MODULE,
  28424. + },
  28425. +};
  28426. +
  28427. +module_platform_driver(rpisense_js_driver);
  28428. +
  28429. +MODULE_DESCRIPTION("Raspberry Pi Sense HAT joystick driver");
  28430. +MODULE_AUTHOR("Serge Schneider <serge@raspberrypi.org>");
  28431. +MODULE_LICENSE("GPL");
  28432. diff -Nur linux-4.1.13.orig/drivers/input/touchscreen/ft6236.c linux-rpi/drivers/input/touchscreen/ft6236.c
  28433. --- linux-4.1.13.orig/drivers/input/touchscreen/ft6236.c 1970-01-01 01:00:00.000000000 +0100
  28434. +++ linux-rpi/drivers/input/touchscreen/ft6236.c 2015-11-29 09:42:37.567254962 +0100
  28435. @@ -0,0 +1,326 @@
  28436. +/*
  28437. + * FocalTech FT6236 TouchScreen driver.
  28438. + *
  28439. + * Copyright (c) 2010 Focal tech Ltd.
  28440. + *
  28441. + * This software is licensed under the terms of the GNU General Public
  28442. + * License version 2, as published by the Free Software Foundation, and
  28443. + * may be copied, distributed, and modified under those terms.
  28444. + *
  28445. + * This program is distributed in the hope that it will be useful,
  28446. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  28447. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  28448. + * GNU General Public License for more details.
  28449. + */
  28450. +
  28451. +#include <linux/delay.h>
  28452. +#include <linux/gpio/consumer.h>
  28453. +#include <linux/i2c.h>
  28454. +#include <linux/input.h>
  28455. +#include <linux/input/mt.h>
  28456. +#include <linux/interrupt.h>
  28457. +#include <linux/module.h>
  28458. +#include <linux/property.h>
  28459. +
  28460. +#define FT6236_MAX_TOUCH_POINTS 2
  28461. +
  28462. +#define FT6236_REG_TH_GROUP 0x80
  28463. +#define FT6236_REG_PERIODACTIVE 0x88
  28464. +#define FT6236_REG_LIB_VER_H 0xa1
  28465. +#define FT6236_REG_LIB_VER_L 0xa2
  28466. +#define FT6236_REG_CIPHER 0xa3
  28467. +#define FT6236_REG_FIRMID 0xa6
  28468. +#define FT6236_REG_FOCALTECH_ID 0xa8
  28469. +#define FT6236_REG_RELEASE_CODE_ID 0xaf
  28470. +
  28471. +#define FT6236_EVENT_PRESS_DOWN 0
  28472. +#define FT6236_EVENT_LIFT_UP 1
  28473. +#define FT6236_EVENT_CONTACT 2
  28474. +#define FT6236_EVENT_NO_EVENT 3
  28475. +
  28476. +struct ft6236_data {
  28477. + struct i2c_client *client;
  28478. + struct input_dev *input;
  28479. + struct gpio_desc *reset_gpio;
  28480. + u32 max_x;
  28481. + u32 max_y;
  28482. + bool invert_x;
  28483. + bool invert_y;
  28484. + bool swap_xy;
  28485. +};
  28486. +
  28487. +/*
  28488. + * This struct is a touchpoint as stored in hardware. Note that the id,
  28489. + * as well as the event, are stored in the upper nybble of the hi byte.
  28490. + */
  28491. +struct ft6236_touchpoint {
  28492. + union {
  28493. + u8 xhi;
  28494. + u8 event;
  28495. + };
  28496. + u8 xlo;
  28497. + union {
  28498. + u8 yhi;
  28499. + u8 id;
  28500. + };
  28501. + u8 ylo;
  28502. + u8 weight;
  28503. + u8 misc;
  28504. +} __packed;
  28505. +
  28506. +/* This packet represents the register map as read from offset 0 */
  28507. +struct ft6236_packet {
  28508. + u8 dev_mode;
  28509. + u8 gest_id;
  28510. + u8 touches;
  28511. + struct ft6236_touchpoint points[FT6236_MAX_TOUCH_POINTS];
  28512. +} __packed;
  28513. +
  28514. +static int ft6236_read(struct i2c_client *client, u8 reg, u8 len, void *data)
  28515. +{
  28516. + int error;
  28517. +
  28518. + error = i2c_smbus_read_i2c_block_data(client, reg, len, data);
  28519. + if (error < 0)
  28520. + return error;
  28521. +
  28522. + if (error != len)
  28523. + return -EIO;
  28524. +
  28525. + return 0;
  28526. +}
  28527. +
  28528. +static irqreturn_t ft6236_interrupt(int irq, void *dev_id)
  28529. +{
  28530. + struct ft6236_data *ft6236 = dev_id;
  28531. + struct device *dev = &ft6236->client->dev;
  28532. + struct input_dev *input = ft6236->input;
  28533. + struct ft6236_packet buf;
  28534. + u8 touches;
  28535. + int i, error;
  28536. +
  28537. + error = ft6236_read(ft6236->client, 0, sizeof(buf), &buf);
  28538. + if (error) {
  28539. + dev_err(dev, "read touchdata failed %d\n", error);
  28540. + return IRQ_HANDLED;
  28541. + }
  28542. +
  28543. + touches = buf.touches & 0xf;
  28544. + if (touches > FT6236_MAX_TOUCH_POINTS) {
  28545. + dev_dbg(dev,
  28546. + "%d touch points reported, only %d are supported\n",
  28547. + touches, FT6236_MAX_TOUCH_POINTS);
  28548. + touches = FT6236_MAX_TOUCH_POINTS;
  28549. + }
  28550. +
  28551. + for (i = 0; i < touches; i++) {
  28552. + struct ft6236_touchpoint *point = &buf.points[i];
  28553. + u16 x = ((point->xhi & 0xf) << 8) | buf.points[i].xlo;
  28554. + u16 y = ((point->yhi & 0xf) << 8) | buf.points[i].ylo;
  28555. + u8 event = point->event >> 6;
  28556. + u8 id = point->id >> 4;
  28557. + bool act = (event == FT6236_EVENT_PRESS_DOWN ||
  28558. + event == FT6236_EVENT_CONTACT);
  28559. +
  28560. + input_mt_slot(input, id);
  28561. + input_mt_report_slot_state(input, MT_TOOL_FINGER, act);
  28562. + if (!act)
  28563. + continue;
  28564. +
  28565. + if (ft6236->invert_x)
  28566. + x = ft6236->max_x - x;
  28567. +
  28568. + if (ft6236->invert_y)
  28569. + y = ft6236->max_y - y;
  28570. +
  28571. + if (ft6236->swap_xy) {
  28572. + input_report_abs(input, ABS_MT_POSITION_X, y);
  28573. + input_report_abs(input, ABS_MT_POSITION_Y, x);
  28574. + } else {
  28575. + input_report_abs(input, ABS_MT_POSITION_X, x);
  28576. + input_report_abs(input, ABS_MT_POSITION_Y, y);
  28577. + }
  28578. + }
  28579. +
  28580. + input_mt_sync_frame(input);
  28581. + input_sync(input);
  28582. +
  28583. + return IRQ_HANDLED;
  28584. +}
  28585. +
  28586. +static u8 ft6236_debug_read_byte(struct ft6236_data *ft6236, u8 reg)
  28587. +{
  28588. + struct i2c_client *client = ft6236->client;
  28589. + u8 val = 0;
  28590. + int error;
  28591. +
  28592. + error = ft6236_read(client, reg, 1, &val);
  28593. + if (error)
  28594. + dev_dbg(&client->dev,
  28595. + "error reading register 0x%02x: %d\n", reg, error);
  28596. +
  28597. + return val;
  28598. +}
  28599. +
  28600. +static void ft6236_debug_info(struct ft6236_data *ft6236)
  28601. +{
  28602. + struct device *dev = &ft6236->client->dev;
  28603. +
  28604. + dev_dbg(dev, "Touch threshold is %d\n",
  28605. + ft6236_debug_read_byte(ft6236, FT6236_REG_TH_GROUP) * 4);
  28606. + dev_dbg(dev, "Report rate is %dHz\n",
  28607. + ft6236_debug_read_byte(ft6236, FT6236_REG_PERIODACTIVE) * 10);
  28608. + dev_dbg(dev, "Firmware library version 0x%02x%02x\n",
  28609. + ft6236_debug_read_byte(ft6236, FT6236_REG_LIB_VER_H),
  28610. + ft6236_debug_read_byte(ft6236, FT6236_REG_LIB_VER_L));
  28611. + dev_dbg(dev, "Firmware version 0x%02x\n",
  28612. + ft6236_debug_read_byte(ft6236, FT6236_REG_FIRMID));
  28613. + dev_dbg(dev, "Chip vendor ID 0x%02x\n",
  28614. + ft6236_debug_read_byte(ft6236, FT6236_REG_CIPHER));
  28615. + dev_dbg(dev, "CTPM vendor ID 0x%02x\n",
  28616. + ft6236_debug_read_byte(ft6236, FT6236_REG_FOCALTECH_ID));
  28617. + dev_dbg(dev, "Release code version 0x%02x\n",
  28618. + ft6236_debug_read_byte(ft6236, FT6236_REG_RELEASE_CODE_ID));
  28619. +}
  28620. +
  28621. +static void ft6236_reset(struct ft6236_data *ft6236)
  28622. +{
  28623. + if (!ft6236->reset_gpio)
  28624. + return;
  28625. +
  28626. + gpiod_set_value_cansleep(ft6236->reset_gpio, 1);
  28627. + usleep_range(5000, 20000);
  28628. + gpiod_set_value_cansleep(ft6236->reset_gpio, 0);
  28629. + msleep(300);
  28630. +}
  28631. +
  28632. +static int ft6236_probe(struct i2c_client *client,
  28633. + const struct i2c_device_id *id)
  28634. +{
  28635. + struct device *dev = &client->dev;
  28636. + struct ft6236_data *ft6236;
  28637. + struct input_dev *input;
  28638. + u32 fuzz_x = 0, fuzz_y = 0;
  28639. + u8 val;
  28640. + int error;
  28641. +
  28642. + if (!i2c_check_functionality(client->adapter, I2C_FUNC_I2C))
  28643. + return -ENXIO;
  28644. +
  28645. + if (!client->irq) {
  28646. + dev_err(dev, "irq is missing\n");
  28647. + return -EINVAL;
  28648. + }
  28649. +
  28650. + ft6236 = devm_kzalloc(dev, sizeof(*ft6236), GFP_KERNEL);
  28651. + if (!ft6236)
  28652. + return -ENOMEM;
  28653. +
  28654. + ft6236->client = client;
  28655. + ft6236->reset_gpio = devm_gpiod_get_optional(dev, "reset",
  28656. + GPIOD_OUT_LOW);
  28657. + if (IS_ERR(ft6236->reset_gpio)) {
  28658. + error = PTR_ERR(ft6236->reset_gpio);
  28659. + if (error != -EPROBE_DEFER)
  28660. + dev_err(dev, "error getting reset gpio: %d\n", error);
  28661. + return error;
  28662. + }
  28663. +
  28664. + ft6236_reset(ft6236);
  28665. +
  28666. + /* verify that the controller is present */
  28667. + error = ft6236_read(client, 0x00, 1, &val);
  28668. + if (error) {
  28669. + dev_err(dev, "failed to read from controller: %d\n", error);
  28670. + return error;
  28671. + }
  28672. +
  28673. + ft6236_debug_info(ft6236);
  28674. +
  28675. + input = devm_input_allocate_device(dev);
  28676. + if (!input)
  28677. + return -ENOMEM;
  28678. +
  28679. + ft6236->input = input;
  28680. + input->name = client->name;
  28681. + input->id.bustype = BUS_I2C;
  28682. +
  28683. + if (device_property_read_u32(dev, "touchscreen-size-x",
  28684. + &ft6236->max_x) ||
  28685. + device_property_read_u32(dev, "touchscreen-size-y",
  28686. + &ft6236->max_y)) {
  28687. + dev_err(dev, "touchscreen-size-x and/or -y missing\n");
  28688. + return -EINVAL;
  28689. + }
  28690. +
  28691. + device_property_read_u32(dev, "touchscreen-fuzz-x", &fuzz_x);
  28692. + device_property_read_u32(dev, "touchscreen-fuzz-y", &fuzz_y);
  28693. + ft6236->invert_x = device_property_read_bool(dev,
  28694. + "touchscreen-inverted-x");
  28695. + ft6236->invert_y = device_property_read_bool(dev,
  28696. + "touchscreen-inverted-y");
  28697. + ft6236->swap_xy = device_property_read_bool(dev,
  28698. + "touchscreen-swapped-x-y");
  28699. +
  28700. + if (ft6236->swap_xy) {
  28701. + input_set_abs_params(input, ABS_MT_POSITION_X, 0,
  28702. + ft6236->max_y, fuzz_y, 0);
  28703. + input_set_abs_params(input, ABS_MT_POSITION_Y, 0,
  28704. + ft6236->max_x, fuzz_x, 0);
  28705. + } else {
  28706. + input_set_abs_params(input, ABS_MT_POSITION_X, 0,
  28707. + ft6236->max_x, fuzz_x, 0);
  28708. + input_set_abs_params(input, ABS_MT_POSITION_Y, 0,
  28709. + ft6236->max_y, fuzz_y, 0);
  28710. + }
  28711. +
  28712. + error = input_mt_init_slots(input, FT6236_MAX_TOUCH_POINTS,
  28713. + INPUT_MT_DIRECT | INPUT_MT_DROP_UNUSED);
  28714. + if (error)
  28715. + return error;
  28716. +
  28717. + error = devm_request_threaded_irq(dev, client->irq, NULL,
  28718. + ft6236_interrupt, IRQF_ONESHOT,
  28719. + client->name, ft6236);
  28720. + if (error) {
  28721. + dev_err(dev, "request irq %d failed: %d\n", client->irq, error);
  28722. + return error;
  28723. + }
  28724. +
  28725. + error = input_register_device(input);
  28726. + if (error) {
  28727. + dev_err(dev, "failed to register input device: %d\n", error);
  28728. + return error;
  28729. + }
  28730. +
  28731. + return 0;
  28732. +}
  28733. +
  28734. +#ifdef CONFIG_OF
  28735. +static const struct of_device_id ft6236_of_match[] = {
  28736. + { .compatible = "focaltech,ft6236", },
  28737. + { }
  28738. +};
  28739. +MODULE_DEVICE_TABLE(of, ft6236_of_match);
  28740. +#endif
  28741. +
  28742. +static const struct i2c_device_id ft6236_id[] = {
  28743. + { "ft6236", },
  28744. + { }
  28745. +};
  28746. +MODULE_DEVICE_TABLE(i2c, ft6236_id);
  28747. +
  28748. +static struct i2c_driver ft6236_driver = {
  28749. + .driver = {
  28750. + .name = "ft6236",
  28751. + .of_match_table = of_match_ptr(ft6236_of_match),
  28752. + },
  28753. + .probe = ft6236_probe,
  28754. + .id_table = ft6236_id,
  28755. +};
  28756. +module_i2c_driver(ft6236_driver);
  28757. +
  28758. +MODULE_AUTHOR("Sean Cross <xobs@kosagi.com>");
  28759. +MODULE_AUTHOR("Noralf Trønnes <noralf@tronnes.org>");
  28760. +MODULE_DESCRIPTION("FocalTech FT6236 TouchScreen driver");
  28761. +MODULE_LICENSE("GPL v2");
  28762. diff -Nur linux-4.1.13.orig/drivers/input/touchscreen/Kconfig linux-rpi/drivers/input/touchscreen/Kconfig
  28763. --- linux-4.1.13.orig/drivers/input/touchscreen/Kconfig 2015-11-09 23:34:10.000000000 +0100
  28764. +++ linux-rpi/drivers/input/touchscreen/Kconfig 2015-11-29 09:42:37.563255228 +0100
  28765. @@ -295,6 +295,19 @@
  28766. To compile this driver as a module, choose M here: the
  28767. module will be called egalax_ts.
  28768. +config TOUCHSCREEN_FT6236
  28769. + tristate "FT6236 I2C touchscreen"
  28770. + depends on I2C
  28771. + depends on GPIOLIB || COMPILE_TEST
  28772. + help
  28773. + Say Y here to enable support for the I2C connected FT6x06 and
  28774. + FT6x36 family of capacitive touchscreen drivers.
  28775. +
  28776. + If unsure, say N.
  28777. +
  28778. + To compile this driver as a module, choose M here: the
  28779. + module will be called ft6236.
  28780. +
  28781. config TOUCHSCREEN_FUJITSU
  28782. tristate "Fujitsu serial touchscreen"
  28783. select SERIO
  28784. @@ -583,6 +596,13 @@
  28785. To compile this driver as a module, choose M here: the
  28786. module will be called edt-ft5x06.
  28787. +config TOUCHSCREEN_RPI_FT5406
  28788. + tristate "Raspberry Pi FT5406 driver"
  28789. + depends on RASPBERRYPI_FIRMWARE
  28790. + help
  28791. + Say Y here to enable the Raspberry Pi memory based FT5406 device
  28792. +
  28793. +
  28794. config TOUCHSCREEN_MIGOR
  28795. tristate "Renesas MIGO-R touchscreen"
  28796. depends on SH_MIGOR && I2C
  28797. diff -Nur linux-4.1.13.orig/drivers/input/touchscreen/Makefile linux-rpi/drivers/input/touchscreen/Makefile
  28798. --- linux-4.1.13.orig/drivers/input/touchscreen/Makefile 2015-11-09 23:34:10.000000000 +0100
  28799. +++ linux-rpi/drivers/input/touchscreen/Makefile 2015-11-29 09:42:37.563255228 +0100
  28800. @@ -29,12 +29,14 @@
  28801. obj-$(CONFIG_TOUCHSCREEN_DA9052) += da9052_tsi.o
  28802. obj-$(CONFIG_TOUCHSCREEN_DYNAPRO) += dynapro.o
  28803. obj-$(CONFIG_TOUCHSCREEN_EDT_FT5X06) += edt-ft5x06.o
  28804. +obj-$(CONFIG_TOUCHSCREEN_RPI_FT5406) += rpi-ft5406.o
  28805. obj-$(CONFIG_TOUCHSCREEN_HAMPSHIRE) += hampshire.o
  28806. obj-$(CONFIG_TOUCHSCREEN_GUNZE) += gunze.o
  28807. obj-$(CONFIG_TOUCHSCREEN_EETI) += eeti_ts.o
  28808. obj-$(CONFIG_TOUCHSCREEN_ELAN) += elants_i2c.o
  28809. obj-$(CONFIG_TOUCHSCREEN_ELO) += elo.o
  28810. obj-$(CONFIG_TOUCHSCREEN_EGALAX) += egalax_ts.o
  28811. +obj-$(CONFIG_TOUCHSCREEN_FT6236) += ft6236.o
  28812. obj-$(CONFIG_TOUCHSCREEN_FUJITSU) += fujitsu_ts.o
  28813. obj-$(CONFIG_TOUCHSCREEN_GOODIX) += goodix.o
  28814. obj-$(CONFIG_TOUCHSCREEN_ILI210X) += ili210x.o
  28815. diff -Nur linux-4.1.13.orig/drivers/input/touchscreen/rpi-ft5406.c linux-rpi/drivers/input/touchscreen/rpi-ft5406.c
  28816. --- linux-4.1.13.orig/drivers/input/touchscreen/rpi-ft5406.c 1970-01-01 01:00:00.000000000 +0100
  28817. +++ linux-rpi/drivers/input/touchscreen/rpi-ft5406.c 2015-11-29 09:42:37.571254696 +0100
  28818. @@ -0,0 +1,246 @@
  28819. +/*
  28820. + * Driver for memory based ft5406 touchscreen
  28821. + *
  28822. + * Copyright (C) 2015 Raspberry Pi
  28823. + *
  28824. + *
  28825. + * This program is free software; you can redistribute it and/or modify
  28826. + * it under the terms of the GNU General Public License version 2 as
  28827. + * published by the Free Software Foundation.
  28828. + */
  28829. +
  28830. +
  28831. +#include <linux/module.h>
  28832. +#include <linux/interrupt.h>
  28833. +#include <linux/input.h>
  28834. +#include <linux/irq.h>
  28835. +#include <linux/delay.h>
  28836. +#include <linux/slab.h>
  28837. +#include <linux/bitops.h>
  28838. +#include <linux/input/mt.h>
  28839. +#include <linux/kthread.h>
  28840. +#include <linux/platform_device.h>
  28841. +#include <asm/io.h>
  28842. +#include <soc/bcm2835/raspberrypi-firmware.h>
  28843. +
  28844. +#define MAXIMUM_SUPPORTED_POINTS 10
  28845. +struct ft5406_regs {
  28846. + uint8_t device_mode;
  28847. + uint8_t gesture_id;
  28848. + uint8_t num_points;
  28849. + struct ft5406_touch {
  28850. + uint8_t xh;
  28851. + uint8_t xl;
  28852. + uint8_t yh;
  28853. + uint8_t yl;
  28854. + uint8_t res1;
  28855. + uint8_t res2;
  28856. + } point[MAXIMUM_SUPPORTED_POINTS];
  28857. +};
  28858. +
  28859. +#define SCREEN_WIDTH 800
  28860. +#define SCREEN_HEIGHT 480
  28861. +
  28862. +struct ft5406 {
  28863. + struct platform_device * pdev;
  28864. + struct input_dev * input_dev;
  28865. + void __iomem * ts_base;
  28866. + struct ft5406_regs * regs;
  28867. + struct task_struct * thread;
  28868. +};
  28869. +
  28870. +/* Thread to poll for touchscreen events
  28871. + *
  28872. + * This thread polls the memory based register copy of the ft5406 registers
  28873. + * using the number of points register to know whether the copy has been
  28874. + * updated (we write 99 to the memory copy, the GPU will write between
  28875. + * 0 - 10 points)
  28876. + */
  28877. +static int ft5406_thread(void *arg)
  28878. +{
  28879. + struct ft5406 *ts = (struct ft5406 *) arg;
  28880. + struct ft5406_regs regs;
  28881. + int known_ids = 0;
  28882. +
  28883. + while(!kthread_should_stop())
  28884. + {
  28885. + // 60fps polling
  28886. + msleep_interruptible(17);
  28887. + memcpy_fromio(&regs, ts->regs, sizeof(*ts->regs));
  28888. + writel(99, &ts->regs->num_points);
  28889. + // Do not output if theres no new information (num_points is 99)
  28890. + // or we have no touch points and don't need to release any
  28891. + if(!(regs.num_points == 99 || (regs.num_points == 0 && known_ids == 0)))
  28892. + {
  28893. + int i;
  28894. + int modified_ids = 0, released_ids;
  28895. + for(i = 0; i < regs.num_points; i++)
  28896. + {
  28897. + int x = (((int) regs.point[i].xh & 0xf) << 8) + regs.point[i].xl;
  28898. + int y = (((int) regs.point[i].yh & 0xf) << 8) + regs.point[i].yl;
  28899. + int touchid = (regs.point[i].yh >> 4) & 0xf;
  28900. +
  28901. + modified_ids |= 1 << touchid;
  28902. +
  28903. + if(!((1 << touchid) & known_ids))
  28904. + dev_dbg(&ts->pdev->dev, "x = %d, y = %d, touchid = %d\n", x, y, touchid);
  28905. +
  28906. + input_mt_slot(ts->input_dev, touchid);
  28907. + input_mt_report_slot_state(ts->input_dev, MT_TOOL_FINGER, 1);
  28908. +
  28909. + input_report_abs(ts->input_dev, ABS_MT_POSITION_X, x);
  28910. + input_report_abs(ts->input_dev, ABS_MT_POSITION_Y, y);
  28911. +
  28912. + }
  28913. +
  28914. + released_ids = known_ids & ~modified_ids;
  28915. + for(i = 0; released_ids && i < MAXIMUM_SUPPORTED_POINTS; i++)
  28916. + {
  28917. + if(released_ids & (1<<i))
  28918. + {
  28919. + dev_dbg(&ts->pdev->dev, "Released %d, known = %x modified = %x\n", i, known_ids, modified_ids);
  28920. + input_mt_slot(ts->input_dev, i);
  28921. + input_mt_report_slot_state(ts->input_dev, MT_TOOL_FINGER, 0);
  28922. + modified_ids &= ~(1 << i);
  28923. + }
  28924. + }
  28925. + known_ids = modified_ids;
  28926. +
  28927. + input_mt_report_pointer_emulation(ts->input_dev, true);
  28928. + input_sync(ts->input_dev);
  28929. + }
  28930. +
  28931. + }
  28932. +
  28933. + return 0;
  28934. +}
  28935. +
  28936. +static int ft5406_probe(struct platform_device *pdev)
  28937. +{
  28938. + int ret;
  28939. + struct input_dev * input_dev = input_allocate_device();
  28940. + struct ft5406 * ts;
  28941. + struct device_node *fw_node;
  28942. + struct rpi_firmware *fw;
  28943. + u32 touchbuf;
  28944. +
  28945. + dev_info(&pdev->dev, "Probing device\n");
  28946. +
  28947. + fw_node = of_parse_phandle(pdev->dev.of_node, "firmware", 0);
  28948. + if (!fw_node) {
  28949. + dev_err(&pdev->dev, "Missing firmware node\n");
  28950. + return -ENOENT;
  28951. + }
  28952. +
  28953. + fw = rpi_firmware_get(fw_node);
  28954. + if (!fw)
  28955. + return -EPROBE_DEFER;
  28956. +
  28957. + ret = rpi_firmware_property(fw, RPI_FIRMWARE_FRAMEBUFFER_GET_TOUCHBUF,
  28958. + &touchbuf, sizeof(touchbuf));
  28959. + if (ret) {
  28960. + dev_err(&pdev->dev, "Failed to get touch buffer\n");
  28961. + return ret;
  28962. + }
  28963. +
  28964. + if (!touchbuf) {
  28965. + dev_err(&pdev->dev, "Touchscreen not detected\n");
  28966. + return -ENODEV;
  28967. + }
  28968. +
  28969. + dev_dbg(&pdev->dev, "Got TS buffer 0x%x\n", touchbuf);
  28970. +
  28971. + ts = kzalloc(sizeof(struct ft5406), GFP_KERNEL);
  28972. +
  28973. + if (!ts || !input_dev) {
  28974. + ret = -ENOMEM;
  28975. + dev_err(&pdev->dev, "Failed to allocate memory\n");
  28976. + return ret;
  28977. + }
  28978. + ts->input_dev = input_dev;
  28979. + platform_set_drvdata(pdev, ts);
  28980. + ts->pdev = pdev;
  28981. +
  28982. + input_dev->name = "FT5406 memory based driver";
  28983. +
  28984. + __set_bit(EV_KEY, input_dev->evbit);
  28985. + __set_bit(EV_SYN, input_dev->evbit);
  28986. + __set_bit(EV_ABS, input_dev->evbit);
  28987. +
  28988. + input_set_abs_params(input_dev, ABS_MT_POSITION_X, 0,
  28989. + SCREEN_WIDTH, 0, 0);
  28990. + input_set_abs_params(input_dev, ABS_MT_POSITION_Y, 0,
  28991. + SCREEN_HEIGHT, 0, 0);
  28992. +
  28993. + input_mt_init_slots(input_dev, MAXIMUM_SUPPORTED_POINTS, INPUT_MT_DIRECT);
  28994. +
  28995. + input_set_drvdata(input_dev, ts);
  28996. +
  28997. + ret = input_register_device(input_dev);
  28998. + if (ret) {
  28999. + dev_err(&pdev->dev, "could not register input device, %d\n",
  29000. + ret);
  29001. + return ret;
  29002. + }
  29003. +
  29004. + // mmap the physical memory
  29005. + touchbuf &= ~0xc0000000;
  29006. + ts->ts_base = ioremap(touchbuf, sizeof(*ts->regs));
  29007. + if(ts->ts_base == NULL)
  29008. + {
  29009. + dev_err(&pdev->dev, "Failed to map physical address\n");
  29010. + input_unregister_device(input_dev);
  29011. + kzfree(ts);
  29012. + return -ENOMEM;
  29013. + }
  29014. +
  29015. + ts->regs = (struct ft5406_regs *) ts->ts_base;
  29016. +
  29017. + // create thread to poll the touch events
  29018. + ts->thread = kthread_run(ft5406_thread, ts, "ft5406");
  29019. + if(ts->thread == NULL)
  29020. + {
  29021. + dev_err(&pdev->dev, "Failed to create kernel thread");
  29022. + iounmap(ts->ts_base);
  29023. + input_unregister_device(input_dev);
  29024. + kzfree(ts);
  29025. + }
  29026. +
  29027. + return 0;
  29028. +}
  29029. +
  29030. +static int ft5406_remove(struct platform_device *pdev)
  29031. +{
  29032. + struct ft5406 *ts = (struct ft5406 *) platform_get_drvdata(pdev);
  29033. +
  29034. + dev_info(&pdev->dev, "Removing rpi-ft5406\n");
  29035. +
  29036. + kthread_stop(ts->thread);
  29037. + iounmap(ts->ts_base);
  29038. + input_unregister_device(ts->input_dev);
  29039. + kzfree(ts);
  29040. +
  29041. + return 0;
  29042. +}
  29043. +
  29044. +static const struct of_device_id ft5406_match[] = {
  29045. + { .compatible = "rpi,rpi-ft5406", },
  29046. + {},
  29047. +};
  29048. +MODULE_DEVICE_TABLE(of, ft5406_match);
  29049. +
  29050. +static struct platform_driver ft5406_driver = {
  29051. + .driver = {
  29052. + .name = "rpi-ft5406",
  29053. + .owner = THIS_MODULE,
  29054. + .of_match_table = ft5406_match,
  29055. + },
  29056. + .probe = ft5406_probe,
  29057. + .remove = ft5406_remove,
  29058. +};
  29059. +
  29060. +module_platform_driver(ft5406_driver);
  29061. +
  29062. +MODULE_AUTHOR("Gordon Hollingworth");
  29063. +MODULE_DESCRIPTION("Touchscreen driver for memory based FT5406");
  29064. +MODULE_LICENSE("GPL");
  29065. diff -Nur linux-4.1.13.orig/drivers/irqchip/irq-bcm2835.c linux-rpi/drivers/irqchip/irq-bcm2835.c
  29066. --- linux-4.1.13.orig/drivers/irqchip/irq-bcm2835.c 2015-11-09 23:34:10.000000000 +0100
  29067. +++ linux-rpi/drivers/irqchip/irq-bcm2835.c 2015-11-29 09:42:37.583253899 +0100
  29068. @@ -56,7 +56,7 @@
  29069. #include "irqchip.h"
  29070. /* Put the bank and irq (32 bits) into the hwirq */
  29071. -#define MAKE_HWIRQ(b, n) ((b << 5) | (n))
  29072. +#define MAKE_HWIRQ(b, n) (((b) << 5) | (n))
  29073. #define HWIRQ_BANK(i) (i >> 5)
  29074. #define HWIRQ_BIT(i) BIT(i & 0x1f)
  29075. @@ -72,9 +72,13 @@
  29076. | SHORTCUT1_MASK | SHORTCUT2_MASK)
  29077. #define REG_FIQ_CONTROL 0x0c
  29078. +#define REG_FIQ_ENABLE 0x80
  29079. +#define REG_FIQ_DISABLE 0
  29080. #define NR_BANKS 3
  29081. #define IRQS_PER_BANK 32
  29082. +#define NUMBER_IRQS MAKE_HWIRQ(NR_BANKS, 0)
  29083. +#define FIQ_START (NR_IRQS_BANK0 + MAKE_HWIRQ(NR_BANKS - 1, 0))
  29084. static int reg_pending[] __initconst = { 0x00, 0x04, 0x08 };
  29085. static int reg_enable[] __initconst = { 0x18, 0x10, 0x14 };
  29086. @@ -98,14 +102,38 @@
  29087. static void __exception_irq_entry bcm2835_handle_irq(
  29088. struct pt_regs *regs);
  29089. +static inline unsigned int hwirq_to_fiq(unsigned long hwirq)
  29090. +{
  29091. + hwirq -= NUMBER_IRQS;
  29092. + /*
  29093. + * The hwirq numbering used in this driver is:
  29094. + * BASE (0-7) GPU1 (32-63) GPU2 (64-95).
  29095. + * This differ from the one used in the FIQ register:
  29096. + * GPU1 (0-31) GPU2 (32-63) BASE (64-71)
  29097. + */
  29098. + if (hwirq >= 32)
  29099. + return hwirq - 32;
  29100. +
  29101. + return hwirq + 64;
  29102. +}
  29103. +
  29104. static void armctrl_mask_irq(struct irq_data *d)
  29105. {
  29106. - writel_relaxed(HWIRQ_BIT(d->hwirq), intc.disable[HWIRQ_BANK(d->hwirq)]);
  29107. + if (d->hwirq >= NUMBER_IRQS)
  29108. + writel_relaxed(REG_FIQ_DISABLE, intc.base + REG_FIQ_CONTROL);
  29109. + else
  29110. + writel_relaxed(HWIRQ_BIT(d->hwirq),
  29111. + intc.disable[HWIRQ_BANK(d->hwirq)]);
  29112. }
  29113. static void armctrl_unmask_irq(struct irq_data *d)
  29114. {
  29115. - writel_relaxed(HWIRQ_BIT(d->hwirq), intc.enable[HWIRQ_BANK(d->hwirq)]);
  29116. + if (d->hwirq >= NUMBER_IRQS)
  29117. + writel_relaxed(REG_FIQ_ENABLE | hwirq_to_fiq(d->hwirq),
  29118. + intc.base + REG_FIQ_CONTROL);
  29119. + else
  29120. + writel_relaxed(HWIRQ_BIT(d->hwirq),
  29121. + intc.enable[HWIRQ_BANK(d->hwirq)]);
  29122. }
  29123. static struct irq_chip armctrl_chip = {
  29124. @@ -150,8 +178,9 @@
  29125. panic("%s: unable to map IC registers\n",
  29126. node->full_name);
  29127. - intc.domain = irq_domain_add_linear(node, MAKE_HWIRQ(NR_BANKS, 0),
  29128. - &armctrl_ops, NULL);
  29129. + intc.base = base;
  29130. + intc.domain = irq_domain_add_linear(node, NUMBER_IRQS * 2,
  29131. + &armctrl_ops, NULL);
  29132. if (!intc.domain)
  29133. panic("%s: unable to create IRQ domain\n", node->full_name);
  29134. @@ -168,8 +197,20 @@
  29135. set_irq_flags(irq, IRQF_VALID | IRQF_PROBE);
  29136. }
  29137. }
  29138. -
  29139. set_handle_irq(bcm2835_handle_irq);
  29140. +
  29141. + /* Make a duplicate irq range which is used to enable FIQ */
  29142. + for (b = 0; b < NR_BANKS; b++) {
  29143. + for (i = 0; i < bank_irqs[b]; i++) {
  29144. + irq = irq_create_mapping(intc.domain,
  29145. + MAKE_HWIRQ(b, i) + NUMBER_IRQS);
  29146. + BUG_ON(irq <= 0);
  29147. + irq_set_chip(irq, &armctrl_chip);
  29148. + set_irq_flags(irq, IRQF_VALID | IRQF_PROBE);
  29149. + }
  29150. + }
  29151. + init_FIQ(FIQ_START);
  29152. +
  29153. return 0;
  29154. }
  29155. diff -Nur linux-4.1.13.orig/drivers/leds/leds-gpio.c linux-rpi/drivers/leds/leds-gpio.c
  29156. --- linux-4.1.13.orig/drivers/leds/leds-gpio.c 2015-11-09 23:34:10.000000000 +0100
  29157. +++ linux-rpi/drivers/leds/leds-gpio.c 2015-11-29 09:42:37.639250178 +0100
  29158. @@ -41,6 +41,13 @@
  29159. led_dat->platform_gpio_blink_set(led_dat->gpiod,
  29160. led_dat->new_level, NULL, NULL);
  29161. led_dat->blinking = 0;
  29162. + } else if (led_dat->cdev.flags & SET_GPIO_INPUT) {
  29163. + gpiod_direction_input(led_dat->gpiod);
  29164. + led_dat->cdev.flags &= ~SET_GPIO_INPUT;
  29165. + }
  29166. + else if (led_dat->cdev.flags & SET_GPIO_OUTPUT) {
  29167. + gpiod_direction_output(led_dat->gpiod, led_dat->new_level);
  29168. + led_dat->cdev.flags &= ~SET_GPIO_OUTPUT;
  29169. } else
  29170. gpiod_set_value_cansleep(led_dat->gpiod, led_dat->new_level);
  29171. }
  29172. @@ -61,7 +68,8 @@
  29173. * seem to have a reliable way to know if we're already in one; so
  29174. * let's just assume the worst.
  29175. */
  29176. - if (led_dat->can_sleep) {
  29177. + if (led_dat->can_sleep ||
  29178. + (led_dat->cdev.flags & (SET_GPIO_INPUT | SET_GPIO_OUTPUT) )) {
  29179. led_dat->new_level = level;
  29180. schedule_work(&led_dat->work);
  29181. } else {
  29182. @@ -74,6 +82,13 @@
  29183. }
  29184. }
  29185. +static enum led_brightness gpio_led_get(struct led_classdev *led_cdev)
  29186. +{
  29187. + struct gpio_led_data *led_dat =
  29188. + container_of(led_cdev, struct gpio_led_data, cdev);
  29189. + return gpiod_get_value_cansleep(led_dat->gpiod) ? LED_FULL : LED_OFF;
  29190. +}
  29191. +
  29192. static int gpio_blink_set(struct led_classdev *led_cdev,
  29193. unsigned long *delay_on, unsigned long *delay_off)
  29194. {
  29195. @@ -130,6 +145,7 @@
  29196. led_dat->cdev.blink_set = gpio_blink_set;
  29197. }
  29198. led_dat->cdev.brightness_set = gpio_led_set;
  29199. + led_dat->cdev.brightness_get = gpio_led_get;
  29200. if (template->default_state == LEDS_GPIO_DEFSTATE_KEEP)
  29201. state = !!gpiod_get_value_cansleep(led_dat->gpiod);
  29202. else
  29203. diff -Nur linux-4.1.13.orig/drivers/leds/trigger/Kconfig linux-rpi/drivers/leds/trigger/Kconfig
  29204. --- linux-4.1.13.orig/drivers/leds/trigger/Kconfig 2015-11-09 23:34:10.000000000 +0100
  29205. +++ linux-rpi/drivers/leds/trigger/Kconfig 2015-11-29 09:42:37.643249912 +0100
  29206. @@ -108,4 +108,11 @@
  29207. This enables direct flash/torch on/off by the driver, kernel space.
  29208. If unsure, say Y.
  29209. +config LEDS_TRIGGER_INPUT
  29210. + tristate "LED Input Trigger"
  29211. + depends on LEDS_TRIGGERS
  29212. + help
  29213. + This allows the GPIOs assigned to be LEDs to be initialised to inputs.
  29214. + If unsure, say Y.
  29215. +
  29216. endif # LEDS_TRIGGERS
  29217. diff -Nur linux-4.1.13.orig/drivers/leds/trigger/ledtrig-input.c linux-rpi/drivers/leds/trigger/ledtrig-input.c
  29218. --- linux-4.1.13.orig/drivers/leds/trigger/ledtrig-input.c 1970-01-01 01:00:00.000000000 +0100
  29219. +++ linux-rpi/drivers/leds/trigger/ledtrig-input.c 2015-11-29 09:42:37.643249912 +0100
  29220. @@ -0,0 +1,54 @@
  29221. +/*
  29222. + * Set LED GPIO to Input "Trigger"
  29223. + *
  29224. + * Copyright 2015 Phil Elwell <phil@raspberrypi.org>
  29225. + *
  29226. + * Based on Nick Forbes's ledtrig-default-on.c.
  29227. + *
  29228. + * This program is free software; you can redistribute it and/or modify
  29229. + * it under the terms of the GNU General Public License version 2 as
  29230. + * published by the Free Software Foundation.
  29231. + *
  29232. + */
  29233. +
  29234. +#include <linux/module.h>
  29235. +#include <linux/kernel.h>
  29236. +#include <linux/init.h>
  29237. +#include <linux/leds.h>
  29238. +#include <linux/gpio.h>
  29239. +#include "../leds.h"
  29240. +
  29241. +static void input_trig_activate(struct led_classdev *led_cdev)
  29242. +{
  29243. + led_cdev->flags |= SET_GPIO_INPUT;
  29244. + led_set_brightness_async(led_cdev, 0);
  29245. +}
  29246. +
  29247. +static void input_trig_deactivate(struct led_classdev *led_cdev)
  29248. +{
  29249. + led_cdev->flags |= SET_GPIO_OUTPUT;
  29250. + led_set_brightness_async(led_cdev, 0);
  29251. +}
  29252. +
  29253. +static struct led_trigger input_led_trigger = {
  29254. + .name = "input",
  29255. + .activate = input_trig_activate,
  29256. + .deactivate = input_trig_deactivate,
  29257. +};
  29258. +
  29259. +static int __init input_trig_init(void)
  29260. +{
  29261. + return led_trigger_register(&input_led_trigger);
  29262. +}
  29263. +
  29264. +static void __exit input_trig_exit(void)
  29265. +{
  29266. + led_trigger_unregister(&input_led_trigger);
  29267. +}
  29268. +
  29269. +module_init(input_trig_init);
  29270. +module_exit(input_trig_exit);
  29271. +
  29272. +MODULE_AUTHOR("Phil Elwell <phil@raspberrypi.org>");
  29273. +MODULE_DESCRIPTION("Set LED GPIO to Input \"trigger\"");
  29274. +MODULE_LICENSE("GPL");
  29275. diff -Nur linux-4.1.13.orig/drivers/leds/trigger/Makefile linux-rpi/drivers/leds/trigger/Makefile
  29276. --- linux-4.1.13.orig/drivers/leds/trigger/Makefile 2015-11-09 23:34:10.000000000 +0100
  29277. +++ linux-rpi/drivers/leds/trigger/Makefile 2015-11-29 09:42:37.643249912 +0100
  29278. @@ -8,3 +8,4 @@
  29279. obj-$(CONFIG_LEDS_TRIGGER_DEFAULT_ON) += ledtrig-default-on.o
  29280. obj-$(CONFIG_LEDS_TRIGGER_TRANSIENT) += ledtrig-transient.o
  29281. obj-$(CONFIG_LEDS_TRIGGER_CAMERA) += ledtrig-camera.o
  29282. +obj-$(CONFIG_LEDS_TRIGGER_INPUT) += ledtrig-input.o
  29283. diff -Nur linux-4.1.13.orig/drivers/mailbox/bcm2835-mailbox.c linux-rpi/drivers/mailbox/bcm2835-mailbox.c
  29284. --- linux-4.1.13.orig/drivers/mailbox/bcm2835-mailbox.c 1970-01-01 01:00:00.000000000 +0100
  29285. +++ linux-rpi/drivers/mailbox/bcm2835-mailbox.c 2015-11-29 09:42:37.651249381 +0100
  29286. @@ -0,0 +1,231 @@
  29287. +/*
  29288. + * Copyright (C) 2010,2015 Broadcom
  29289. + * Copyright (C) 2013-2014 Lubomir Rintel
  29290. + * Copyright (C) 2013 Craig McGeachie
  29291. + *
  29292. + * This program is free software; you can redistribute it and/or modify
  29293. + * it under the terms of the GNU General Public License version 2 as
  29294. + * published by the Free Software Foundation.
  29295. + *
  29296. + * This device provides a mechanism for writing to the mailboxes,
  29297. + * that are shared between the ARM and the VideoCore processor
  29298. + *
  29299. + * Parts of the driver are based on:
  29300. + * - arch/arm/mach-bcm2708/vcio.c file written by Gray Girling that was
  29301. + * obtained from branch "rpi-3.6.y" of git://github.com/raspberrypi/
  29302. + * linux.git
  29303. + * - drivers/mailbox/bcm2835-ipc.c by Lubomir Rintel at
  29304. + * https://github.com/hackerspace/rpi-linux/blob/lr-raspberry-pi/drivers/
  29305. + * mailbox/bcm2835-ipc.c
  29306. + * - documentation available on the following web site:
  29307. + * https://github.com/raspberrypi/firmware/wiki/Mailbox-property-interface
  29308. + */
  29309. +
  29310. +#include <linux/device.h>
  29311. +#include <linux/dma-mapping.h>
  29312. +#include <linux/err.h>
  29313. +#include <linux/interrupt.h>
  29314. +#include <linux/irq.h>
  29315. +#include <linux/kernel.h>
  29316. +#include <linux/mailbox_controller.h>
  29317. +#include <linux/module.h>
  29318. +#include <linux/of_address.h>
  29319. +#include <linux/of_irq.h>
  29320. +#include <linux/platform_device.h>
  29321. +#include <linux/spinlock.h>
  29322. +
  29323. +/* Mailboxes */
  29324. +#define ARM_0_MAIL0 0x00
  29325. +#define ARM_0_MAIL1 0x20
  29326. +
  29327. +/*
  29328. + * Mailbox registers. We basically only support mailbox 0 & 1. We
  29329. + * deliver to the VC in mailbox 1, it delivers to us in mailbox 0. See
  29330. + * BCM2835-ARM-Peripherals.pdf section 1.3 for an explanation about
  29331. + * the placement of memory barriers.
  29332. + */
  29333. +#define MAIL0_RD (ARM_0_MAIL0 + 0x00)
  29334. +#define MAIL0_POL (ARM_0_MAIL0 + 0x10)
  29335. +#define MAIL0_STA (ARM_0_MAIL0 + 0x18)
  29336. +#define MAIL0_CNF (ARM_0_MAIL0 + 0x1C)
  29337. +#define MAIL1_WRT (ARM_0_MAIL1 + 0x00)
  29338. +#define MAIL1_STA (ARM_0_MAIL1 + 0x18)
  29339. +
  29340. +/* On ARCH_BCM270x these come through <linux/interrupt.h> (arm_control.h ) */
  29341. +#ifndef ARM_MS_FULL
  29342. +/* Status register: FIFO state. */
  29343. +#define ARM_MS_FULL BIT(31)
  29344. +#define ARM_MS_EMPTY BIT(30)
  29345. +
  29346. +/* Configuration register: Enable interrupts. */
  29347. +#define ARM_MC_IHAVEDATAIRQEN BIT(0)
  29348. +#endif
  29349. +
  29350. +struct bcm2835_mbox {
  29351. + void __iomem *regs;
  29352. + spinlock_t lock;
  29353. + struct mbox_controller controller;
  29354. +};
  29355. +
  29356. +static struct bcm2835_mbox *bcm2835_link_mbox(struct mbox_chan *link)
  29357. +{
  29358. + return container_of(link->mbox, struct bcm2835_mbox, controller);
  29359. +}
  29360. +
  29361. +static irqreturn_t bcm2835_mbox_irq(int irq, void *dev_id)
  29362. +{
  29363. + struct bcm2835_mbox *mbox = dev_id;
  29364. + struct device *dev = mbox->controller.dev;
  29365. + struct mbox_chan *link = &mbox->controller.chans[0];
  29366. +
  29367. + while (!(readl(mbox->regs + MAIL0_STA) & ARM_MS_EMPTY)) {
  29368. + u32 msg = readl(mbox->regs + MAIL0_RD);
  29369. + dev_dbg(dev, "Reply 0x%08X\n", msg);
  29370. + mbox_chan_received_data(link, &msg);
  29371. + }
  29372. + return IRQ_HANDLED;
  29373. +}
  29374. +
  29375. +static int bcm2835_send_data(struct mbox_chan *link, void *data)
  29376. +{
  29377. + struct bcm2835_mbox *mbox = bcm2835_link_mbox(link);
  29378. + u32 msg = *(u32 *)data;
  29379. +
  29380. + spin_lock(&mbox->lock);
  29381. + writel(msg, mbox->regs + MAIL1_WRT);
  29382. + dev_dbg(mbox->controller.dev, "Request 0x%08X\n", msg);
  29383. + spin_unlock(&mbox->lock);
  29384. + return 0;
  29385. +}
  29386. +
  29387. +static int bcm2835_startup(struct mbox_chan *link)
  29388. +{
  29389. + struct bcm2835_mbox *mbox = bcm2835_link_mbox(link);
  29390. +
  29391. + /* Enable the interrupt on data reception */
  29392. + writel(ARM_MC_IHAVEDATAIRQEN, mbox->regs + MAIL0_CNF);
  29393. +
  29394. + return 0;
  29395. +}
  29396. +
  29397. +static void bcm2835_shutdown(struct mbox_chan *link)
  29398. +{
  29399. + struct bcm2835_mbox *mbox = bcm2835_link_mbox(link);
  29400. +
  29401. + writel(0, mbox->regs + MAIL0_CNF);
  29402. +}
  29403. +
  29404. +static bool bcm2835_last_tx_done(struct mbox_chan *link)
  29405. +{
  29406. + struct bcm2835_mbox *mbox = bcm2835_link_mbox(link);
  29407. + bool ret;
  29408. +
  29409. + spin_lock(&mbox->lock);
  29410. + ret = !(readl(mbox->regs + MAIL1_STA) & ARM_MS_FULL);
  29411. + spin_unlock(&mbox->lock);
  29412. + return ret;
  29413. +}
  29414. +
  29415. +static const struct mbox_chan_ops bcm2835_mbox_chan_ops = {
  29416. + .send_data = bcm2835_send_data,
  29417. + .startup = bcm2835_startup,
  29418. + .shutdown = bcm2835_shutdown,
  29419. + .last_tx_done = bcm2835_last_tx_done
  29420. +};
  29421. +
  29422. +static struct mbox_chan *bcm2835_mbox_index_xlate(struct mbox_controller *mbox,
  29423. + const struct of_phandle_args *sp)
  29424. +{
  29425. + if (sp->args_count != 0)
  29426. + return NULL;
  29427. +
  29428. + return &mbox->chans[0];
  29429. +}
  29430. +
  29431. +static int bcm2835_mbox_probe(struct platform_device *pdev)
  29432. +{
  29433. + struct device *dev = &pdev->dev;
  29434. + int ret = 0;
  29435. + struct resource *iomem;
  29436. + struct bcm2835_mbox *mbox;
  29437. +
  29438. + mbox = devm_kzalloc(dev, sizeof(*mbox), GFP_KERNEL);
  29439. + if (mbox == NULL)
  29440. + return -ENOMEM;
  29441. + spin_lock_init(&mbox->lock);
  29442. +
  29443. + ret = devm_request_irq(dev, platform_get_irq(pdev, 0),
  29444. + bcm2835_mbox_irq, 0, dev_name(dev), mbox);
  29445. + if (ret) {
  29446. + dev_err(dev, "Failed to register a mailbox IRQ handler: %d\n",
  29447. + ret);
  29448. + return -ENODEV;
  29449. + }
  29450. +
  29451. + iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  29452. + mbox->regs = devm_ioremap_resource(&pdev->dev, iomem);
  29453. + if (IS_ERR(mbox->regs)) {
  29454. + ret = PTR_ERR(mbox->regs);
  29455. + dev_err(&pdev->dev, "Failed to remap mailbox regs: %d\n", ret);
  29456. + return ret;
  29457. + }
  29458. +
  29459. + mbox->controller.txdone_poll = true;
  29460. + mbox->controller.txpoll_period = 5;
  29461. + mbox->controller.ops = &bcm2835_mbox_chan_ops;
  29462. + mbox->controller.of_xlate = &bcm2835_mbox_index_xlate;
  29463. + mbox->controller.dev = dev;
  29464. + mbox->controller.num_chans = 1;
  29465. + mbox->controller.chans = devm_kzalloc(dev,
  29466. + sizeof(*mbox->controller.chans), GFP_KERNEL);
  29467. + if (!mbox->controller.chans)
  29468. + return -ENOMEM;
  29469. +
  29470. + ret = mbox_controller_register(&mbox->controller);
  29471. + if (ret)
  29472. + return ret;
  29473. +
  29474. + platform_set_drvdata(pdev, mbox);
  29475. + dev_info(dev, "mailbox enabled\n");
  29476. +
  29477. + return ret;
  29478. +}
  29479. +
  29480. +static int bcm2835_mbox_remove(struct platform_device *pdev)
  29481. +{
  29482. + struct bcm2835_mbox *mbox = platform_get_drvdata(pdev);
  29483. + mbox_controller_unregister(&mbox->controller);
  29484. + return 0;
  29485. +}
  29486. +
  29487. +static const struct of_device_id bcm2835_mbox_of_match[] = {
  29488. + { .compatible = "brcm,bcm2835-mbox", },
  29489. + {},
  29490. +};
  29491. +MODULE_DEVICE_TABLE(of, bcm2835_mbox_of_match);
  29492. +
  29493. +static struct platform_driver bcm2835_mbox_driver = {
  29494. + .driver = {
  29495. + .name = "bcm2835-mbox",
  29496. + .owner = THIS_MODULE,
  29497. + .of_match_table = bcm2835_mbox_of_match,
  29498. + },
  29499. + .probe = bcm2835_mbox_probe,
  29500. + .remove = bcm2835_mbox_remove,
  29501. +};
  29502. +
  29503. +static int __init bcm2835_mbox_init(void)
  29504. +{
  29505. + return platform_driver_register(&bcm2835_mbox_driver);
  29506. +}
  29507. +arch_initcall(bcm2835_mbox_init);
  29508. +
  29509. +static void __init bcm2835_mbox_exit(void)
  29510. +{
  29511. + platform_driver_unregister(&bcm2835_mbox_driver);
  29512. +}
  29513. +module_exit(bcm2835_mbox_exit);
  29514. +
  29515. +MODULE_AUTHOR("Lubomir Rintel <lkundrak@v3.sk>");
  29516. +MODULE_DESCRIPTION("BCM2835 mailbox IPC driver");
  29517. +MODULE_LICENSE("GPL v2");
  29518. diff -Nur linux-4.1.13.orig/drivers/mailbox/Kconfig linux-rpi/drivers/mailbox/Kconfig
  29519. --- linux-4.1.13.orig/drivers/mailbox/Kconfig 2015-11-09 23:34:10.000000000 +0100
  29520. +++ linux-rpi/drivers/mailbox/Kconfig 2015-11-29 09:42:37.651249381 +0100
  29521. @@ -60,4 +60,13 @@
  29522. An implementation of the Altera Mailbox soft core. It is used
  29523. to send message between processors. Say Y here if you want to use the
  29524. Altera mailbox support.
  29525. +
  29526. +config BCM2835_MBOX
  29527. + tristate "BCM2835 Mailbox"
  29528. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709
  29529. + help
  29530. + An implementation of the BCM2385 Mailbox. It is used to invoke
  29531. + the services of the Videocore. Say Y here if you want to use the
  29532. + BCM2835 Mailbox.
  29533. +
  29534. endif
  29535. diff -Nur linux-4.1.13.orig/drivers/mailbox/mailbox.c linux-rpi/drivers/mailbox/mailbox.c
  29536. --- linux-4.1.13.orig/drivers/mailbox/mailbox.c 2015-11-09 23:34:10.000000000 +0100
  29537. +++ linux-rpi/drivers/mailbox/mailbox.c 2015-11-29 09:42:37.651249381 +0100
  29538. @@ -304,13 +304,23 @@
  29539. unsigned long flags;
  29540. int ret;
  29541. - if (!dev || !dev->of_node) {
  29542. + if (!dev) {
  29543. pr_debug("%s: No owner device node\n", __func__);
  29544. return ERR_PTR(-ENODEV);
  29545. }
  29546. mutex_lock(&con_mutex);
  29547. + if (!dev->of_node) {
  29548. + chan = NULL;
  29549. + /* pick the first controller in the list */
  29550. + list_for_each_entry(mbox, &mbox_cons, node) {
  29551. + chan = &mbox->chans[0];
  29552. + break;
  29553. + }
  29554. + goto skip_dt;
  29555. + }
  29556. +
  29557. if (of_parse_phandle_with_args(dev->of_node, "mboxes",
  29558. "#mbox-cells", index, &spec)) {
  29559. dev_dbg(dev, "%s: can't parse \"mboxes\" property\n", __func__);
  29560. @@ -327,6 +337,7 @@
  29561. of_node_put(spec.np);
  29562. +skip_dt:
  29563. if (!chan || chan->cl || !try_module_get(mbox->dev->driver->owner)) {
  29564. dev_dbg(dev, "%s: mailbox not free\n", __func__);
  29565. mutex_unlock(&con_mutex);
  29566. diff -Nur linux-4.1.13.orig/drivers/mailbox/Makefile linux-rpi/drivers/mailbox/Makefile
  29567. --- linux-4.1.13.orig/drivers/mailbox/Makefile 2015-11-09 23:34:10.000000000 +0100
  29568. +++ linux-rpi/drivers/mailbox/Makefile 2015-11-29 09:42:37.651249381 +0100
  29569. @@ -11,3 +11,5 @@
  29570. obj-$(CONFIG_PCC) += pcc.o
  29571. obj-$(CONFIG_ALTERA_MBOX) += mailbox-altera.o
  29572. +
  29573. +obj-$(CONFIG_BCM2835_MBOX) += bcm2835-mailbox.o
  29574. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/bcm2835-camera.c linux-rpi/drivers/media/platform/bcm2835/bcm2835-camera.c
  29575. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/bcm2835-camera.c 1970-01-01 01:00:00.000000000 +0100
  29576. +++ linux-rpi/drivers/media/platform/bcm2835/bcm2835-camera.c 2015-11-29 09:42:37.835237156 +0100
  29577. @@ -0,0 +1,1843 @@
  29578. +/*
  29579. + * Broadcom BM2835 V4L2 driver
  29580. + *
  29581. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  29582. + *
  29583. + * This file is subject to the terms and conditions of the GNU General Public
  29584. + * License. See the file COPYING in the main directory of this archive
  29585. + * for more details.
  29586. + *
  29587. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  29588. + * Dave Stevenson <dsteve@broadcom.com>
  29589. + * Simon Mellor <simellor@broadcom.com>
  29590. + * Luke Diamand <luked@broadcom.com>
  29591. + */
  29592. +
  29593. +#include <linux/errno.h>
  29594. +#include <linux/kernel.h>
  29595. +#include <linux/module.h>
  29596. +#include <linux/slab.h>
  29597. +#include <media/videobuf2-vmalloc.h>
  29598. +#include <media/videobuf2-dma-contig.h>
  29599. +#include <media/v4l2-device.h>
  29600. +#include <media/v4l2-ioctl.h>
  29601. +#include <media/v4l2-ctrls.h>
  29602. +#include <media/v4l2-fh.h>
  29603. +#include <media/v4l2-event.h>
  29604. +#include <media/v4l2-common.h>
  29605. +#include <linux/delay.h>
  29606. +
  29607. +#include "mmal-common.h"
  29608. +#include "mmal-encodings.h"
  29609. +#include "mmal-vchiq.h"
  29610. +#include "mmal-msg.h"
  29611. +#include "mmal-parameters.h"
  29612. +#include "bcm2835-camera.h"
  29613. +
  29614. +#define BM2835_MMAL_VERSION "0.0.2"
  29615. +#define BM2835_MMAL_MODULE_NAME "bcm2835-v4l2"
  29616. +#define MIN_WIDTH 16
  29617. +#define MIN_HEIGHT 16
  29618. +#define MAX_WIDTH 2592
  29619. +#define MAX_HEIGHT 1944
  29620. +#define MIN_BUFFER_SIZE (80*1024)
  29621. +
  29622. +#define MAX_VIDEO_MODE_WIDTH 1280
  29623. +#define MAX_VIDEO_MODE_HEIGHT 720
  29624. +
  29625. +MODULE_DESCRIPTION("Broadcom 2835 MMAL video capture");
  29626. +MODULE_AUTHOR("Vincent Sanders");
  29627. +MODULE_LICENSE("GPL");
  29628. +MODULE_VERSION(BM2835_MMAL_VERSION);
  29629. +
  29630. +int bcm2835_v4l2_debug;
  29631. +module_param_named(debug, bcm2835_v4l2_debug, int, 0644);
  29632. +MODULE_PARM_DESC(bcm2835_v4l2_debug, "Debug level 0-2");
  29633. +
  29634. +int max_video_width = MAX_VIDEO_MODE_WIDTH;
  29635. +int max_video_height = MAX_VIDEO_MODE_HEIGHT;
  29636. +module_param(max_video_width, int, S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH);
  29637. +MODULE_PARM_DESC(max_video_width, "Threshold for video mode");
  29638. +module_param(max_video_height, int, S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH);
  29639. +MODULE_PARM_DESC(max_video_height, "Threshold for video mode");
  29640. +
  29641. +/* Gstreamer bug https://bugzilla.gnome.org/show_bug.cgi?id=726521
  29642. + * v4l2src does bad (and actually wrong) things when the vidioc_enum_framesizes
  29643. + * function says type V4L2_FRMSIZE_TYPE_STEPWISE, which we do by default.
  29644. + * It's happier if we just don't say anything at all, when it then
  29645. + * sets up a load of defaults that it thinks might work.
  29646. + * If gst_v4l2src_is_broken is non-zero, then we remove the function from
  29647. + * our function table list (actually switch to an alternate set, but same
  29648. + * result).
  29649. + */
  29650. +int gst_v4l2src_is_broken = 0;
  29651. +module_param(gst_v4l2src_is_broken, int, S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH);
  29652. +MODULE_PARM_DESC(gst_v4l2src_is_broken, "If non-zero, enable workaround for Gstreamer");
  29653. +
  29654. +static struct bm2835_mmal_dev *gdev; /* global device data */
  29655. +
  29656. +#define FPS_MIN 1
  29657. +#define FPS_MAX 90
  29658. +
  29659. +/* timeperframe: min/max and default */
  29660. +static const struct v4l2_fract
  29661. + tpf_min = {.numerator = 1, .denominator = FPS_MAX},
  29662. + tpf_max = {.numerator = 1, .denominator = FPS_MIN},
  29663. + tpf_default = {.numerator = 1000, .denominator = 30000};
  29664. +
  29665. +/* video formats */
  29666. +static struct mmal_fmt formats[] = {
  29667. + {
  29668. + .name = "4:2:0, planar, YUV",
  29669. + .fourcc = V4L2_PIX_FMT_YUV420,
  29670. + .flags = 0,
  29671. + .mmal = MMAL_ENCODING_I420,
  29672. + .depth = 12,
  29673. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29674. + .ybbp = 1,
  29675. + },
  29676. + {
  29677. + .name = "4:2:2, packed, YUYV",
  29678. + .fourcc = V4L2_PIX_FMT_YUYV,
  29679. + .flags = 0,
  29680. + .mmal = MMAL_ENCODING_YUYV,
  29681. + .depth = 16,
  29682. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29683. + .ybbp = 2,
  29684. + },
  29685. + {
  29686. + .name = "RGB24 (LE)",
  29687. + .fourcc = V4L2_PIX_FMT_RGB24,
  29688. + .flags = 0,
  29689. + .mmal = MMAL_ENCODING_BGR24,
  29690. + .depth = 24,
  29691. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29692. + .ybbp = 3,
  29693. + },
  29694. + {
  29695. + .name = "JPEG",
  29696. + .fourcc = V4L2_PIX_FMT_JPEG,
  29697. + .flags = V4L2_FMT_FLAG_COMPRESSED,
  29698. + .mmal = MMAL_ENCODING_JPEG,
  29699. + .depth = 8,
  29700. + .mmal_component = MMAL_COMPONENT_IMAGE_ENCODE,
  29701. + .ybbp = 0,
  29702. + },
  29703. + {
  29704. + .name = "H264",
  29705. + .fourcc = V4L2_PIX_FMT_H264,
  29706. + .flags = V4L2_FMT_FLAG_COMPRESSED,
  29707. + .mmal = MMAL_ENCODING_H264,
  29708. + .depth = 8,
  29709. + .mmal_component = MMAL_COMPONENT_VIDEO_ENCODE,
  29710. + .ybbp = 0,
  29711. + },
  29712. + {
  29713. + .name = "MJPEG",
  29714. + .fourcc = V4L2_PIX_FMT_MJPEG,
  29715. + .flags = V4L2_FMT_FLAG_COMPRESSED,
  29716. + .mmal = MMAL_ENCODING_MJPEG,
  29717. + .depth = 8,
  29718. + .mmal_component = MMAL_COMPONENT_VIDEO_ENCODE,
  29719. + .ybbp = 0,
  29720. + },
  29721. + {
  29722. + .name = "4:2:2, packed, YVYU",
  29723. + .fourcc = V4L2_PIX_FMT_YVYU,
  29724. + .flags = 0,
  29725. + .mmal = MMAL_ENCODING_YVYU,
  29726. + .depth = 16,
  29727. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29728. + .ybbp = 2,
  29729. + },
  29730. + {
  29731. + .name = "4:2:2, packed, VYUY",
  29732. + .fourcc = V4L2_PIX_FMT_VYUY,
  29733. + .flags = 0,
  29734. + .mmal = MMAL_ENCODING_VYUY,
  29735. + .depth = 16,
  29736. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29737. + .ybbp = 2,
  29738. + },
  29739. + {
  29740. + .name = "4:2:2, packed, UYVY",
  29741. + .fourcc = V4L2_PIX_FMT_UYVY,
  29742. + .flags = 0,
  29743. + .mmal = MMAL_ENCODING_UYVY,
  29744. + .depth = 16,
  29745. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29746. + .ybbp = 2,
  29747. + },
  29748. + {
  29749. + .name = "4:2:0, planar, NV12",
  29750. + .fourcc = V4L2_PIX_FMT_NV12,
  29751. + .flags = 0,
  29752. + .mmal = MMAL_ENCODING_NV12,
  29753. + .depth = 12,
  29754. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29755. + .ybbp = 1,
  29756. + },
  29757. + {
  29758. + .name = "RGB24 (BE)",
  29759. + .fourcc = V4L2_PIX_FMT_BGR24,
  29760. + .flags = 0,
  29761. + .mmal = MMAL_ENCODING_RGB24,
  29762. + .depth = 24,
  29763. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29764. + .ybbp = 3,
  29765. + },
  29766. + {
  29767. + .name = "4:2:0, planar, YVU",
  29768. + .fourcc = V4L2_PIX_FMT_YVU420,
  29769. + .flags = 0,
  29770. + .mmal = MMAL_ENCODING_YV12,
  29771. + .depth = 12,
  29772. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29773. + .ybbp = 1,
  29774. + },
  29775. + {
  29776. + .name = "4:2:0, planar, NV21",
  29777. + .fourcc = V4L2_PIX_FMT_NV21,
  29778. + .flags = 0,
  29779. + .mmal = MMAL_ENCODING_NV21,
  29780. + .depth = 12,
  29781. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29782. + .ybbp = 1,
  29783. + },
  29784. + {
  29785. + .name = "RGB32 (BE)",
  29786. + .fourcc = V4L2_PIX_FMT_BGR32,
  29787. + .flags = 0,
  29788. + .mmal = MMAL_ENCODING_BGRA,
  29789. + .depth = 32,
  29790. + .mmal_component = MMAL_COMPONENT_CAMERA,
  29791. + .ybbp = 4,
  29792. + },
  29793. +};
  29794. +
  29795. +static struct mmal_fmt *get_format(struct v4l2_format *f)
  29796. +{
  29797. + struct mmal_fmt *fmt;
  29798. + unsigned int k;
  29799. +
  29800. + for (k = 0; k < ARRAY_SIZE(formats); k++) {
  29801. + fmt = &formats[k];
  29802. + if (fmt->fourcc == f->fmt.pix.pixelformat)
  29803. + break;
  29804. + }
  29805. +
  29806. + if (k == ARRAY_SIZE(formats))
  29807. + return NULL;
  29808. +
  29809. + return &formats[k];
  29810. +}
  29811. +
  29812. +/* ------------------------------------------------------------------
  29813. + Videobuf queue operations
  29814. + ------------------------------------------------------------------*/
  29815. +
  29816. +static int queue_setup(struct vb2_queue *vq, const struct v4l2_format *fmt,
  29817. + unsigned int *nbuffers, unsigned int *nplanes,
  29818. + unsigned int sizes[], void *alloc_ctxs[])
  29819. +{
  29820. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vq);
  29821. + unsigned long size;
  29822. +
  29823. + /* refuse queue setup if port is not configured */
  29824. + if (dev->capture.port == NULL) {
  29825. + v4l2_err(&dev->v4l2_dev,
  29826. + "%s: capture port not configured\n", __func__);
  29827. + return -EINVAL;
  29828. + }
  29829. +
  29830. + size = dev->capture.port->current_buffer.size;
  29831. + if (size == 0) {
  29832. + v4l2_err(&dev->v4l2_dev,
  29833. + "%s: capture port buffer size is zero\n", __func__);
  29834. + return -EINVAL;
  29835. + }
  29836. +
  29837. + if (*nbuffers < (dev->capture.port->current_buffer.num + 2))
  29838. + *nbuffers = (dev->capture.port->current_buffer.num + 2);
  29839. +
  29840. + *nplanes = 1;
  29841. +
  29842. + sizes[0] = size;
  29843. +
  29844. + /*
  29845. + * videobuf2-vmalloc allocator is context-less so no need to set
  29846. + * alloc_ctxs array.
  29847. + */
  29848. +
  29849. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "%s: dev:%p\n",
  29850. + __func__, dev);
  29851. +
  29852. + return 0;
  29853. +}
  29854. +
  29855. +static int buffer_prepare(struct vb2_buffer *vb)
  29856. +{
  29857. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vb->vb2_queue);
  29858. + unsigned long size;
  29859. +
  29860. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "%s: dev:%p\n",
  29861. + __func__, dev);
  29862. +
  29863. + BUG_ON(dev->capture.port == NULL);
  29864. + BUG_ON(dev->capture.fmt == NULL);
  29865. +
  29866. + size = dev->capture.stride * dev->capture.height;
  29867. + if (vb2_plane_size(vb, 0) < size) {
  29868. + v4l2_err(&dev->v4l2_dev,
  29869. + "%s data will not fit into plane (%lu < %lu)\n",
  29870. + __func__, vb2_plane_size(vb, 0), size);
  29871. + return -EINVAL;
  29872. + }
  29873. +
  29874. + return 0;
  29875. +}
  29876. +
  29877. +static inline bool is_capturing(struct bm2835_mmal_dev *dev)
  29878. +{
  29879. + return dev->capture.camera_port ==
  29880. + &dev->
  29881. + component[MMAL_COMPONENT_CAMERA]->output[MMAL_CAMERA_PORT_CAPTURE];
  29882. +}
  29883. +
  29884. +static void buffer_cb(struct vchiq_mmal_instance *instance,
  29885. + struct vchiq_mmal_port *port,
  29886. + int status,
  29887. + struct mmal_buffer *buf,
  29888. + unsigned long length, u32 mmal_flags, s64 dts, s64 pts)
  29889. +{
  29890. + struct bm2835_mmal_dev *dev = port->cb_ctx;
  29891. +
  29892. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  29893. + "%s: status:%d, buf:%p, length:%lu, flags %u, pts %lld\n",
  29894. + __func__, status, buf, length, mmal_flags, pts);
  29895. +
  29896. + if (status != 0) {
  29897. + /* error in transfer */
  29898. + if (buf != NULL) {
  29899. + /* there was a buffer with the error so return it */
  29900. + vb2_buffer_done(&buf->vb, VB2_BUF_STATE_ERROR);
  29901. + }
  29902. + return;
  29903. + } else if (length == 0) {
  29904. + /* stream ended */
  29905. + if (buf != NULL) {
  29906. + /* this should only ever happen if the port is
  29907. + * disabled and there are buffers still queued
  29908. + */
  29909. + vb2_buffer_done(&buf->vb, VB2_BUF_STATE_ERROR);
  29910. + pr_debug("Empty buffer");
  29911. + } else if (dev->capture.frame_count) {
  29912. + /* grab another frame */
  29913. + if (is_capturing(dev)) {
  29914. + pr_debug("Grab another frame");
  29915. + vchiq_mmal_port_parameter_set(
  29916. + instance,
  29917. + dev->capture.
  29918. + camera_port,
  29919. + MMAL_PARAMETER_CAPTURE,
  29920. + &dev->capture.
  29921. + frame_count,
  29922. + sizeof(dev->capture.frame_count));
  29923. + }
  29924. + } else {
  29925. + /* signal frame completion */
  29926. + complete(&dev->capture.frame_cmplt);
  29927. + }
  29928. + } else {
  29929. + if (dev->capture.frame_count) {
  29930. + if (dev->capture.vc_start_timestamp != -1 &&
  29931. + pts != 0) {
  29932. + s64 runtime_us = pts -
  29933. + dev->capture.vc_start_timestamp;
  29934. + u32 div = 0;
  29935. + u32 rem = 0;
  29936. +
  29937. + div =
  29938. + div_u64_rem(runtime_us, USEC_PER_SEC, &rem);
  29939. + buf->vb.v4l2_buf.timestamp.tv_sec =
  29940. + dev->capture.kernel_start_ts.tv_sec - 1 +
  29941. + div;
  29942. + buf->vb.v4l2_buf.timestamp.tv_usec =
  29943. + dev->capture.kernel_start_ts.tv_usec + rem;
  29944. +
  29945. + if (buf->vb.v4l2_buf.timestamp.tv_usec >=
  29946. + USEC_PER_SEC) {
  29947. + buf->vb.v4l2_buf.timestamp.tv_sec++;
  29948. + buf->vb.v4l2_buf.timestamp.tv_usec -=
  29949. + USEC_PER_SEC;
  29950. + }
  29951. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  29952. + "Convert start time %d.%06d and %llu "
  29953. + "with offset %llu to %d.%06d\n",
  29954. + (int)dev->capture.kernel_start_ts.
  29955. + tv_sec,
  29956. + (int)dev->capture.kernel_start_ts.
  29957. + tv_usec,
  29958. + dev->capture.vc_start_timestamp, pts,
  29959. + (int)buf->vb.v4l2_buf.timestamp.tv_sec,
  29960. + (int)buf->vb.v4l2_buf.timestamp.
  29961. + tv_usec);
  29962. + } else {
  29963. + v4l2_get_timestamp(&buf->vb.v4l2_buf.timestamp);
  29964. + }
  29965. +
  29966. + vb2_set_plane_payload(&buf->vb, 0, length);
  29967. + vb2_buffer_done(&buf->vb, VB2_BUF_STATE_DONE);
  29968. +
  29969. + if (mmal_flags & MMAL_BUFFER_HEADER_FLAG_EOS &&
  29970. + is_capturing(dev)) {
  29971. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  29972. + "Grab another frame as buffer has EOS");
  29973. + vchiq_mmal_port_parameter_set(
  29974. + instance,
  29975. + dev->capture.
  29976. + camera_port,
  29977. + MMAL_PARAMETER_CAPTURE,
  29978. + &dev->capture.
  29979. + frame_count,
  29980. + sizeof(dev->capture.frame_count));
  29981. + }
  29982. + } else {
  29983. + /* signal frame completion */
  29984. + vb2_buffer_done(&buf->vb, VB2_BUF_STATE_ERROR);
  29985. + complete(&dev->capture.frame_cmplt);
  29986. + }
  29987. + }
  29988. +}
  29989. +
  29990. +static int enable_camera(struct bm2835_mmal_dev *dev)
  29991. +{
  29992. + int ret;
  29993. + if (!dev->camera_use_count) {
  29994. + ret = vchiq_mmal_component_enable(
  29995. + dev->instance,
  29996. + dev->component[MMAL_COMPONENT_CAMERA]);
  29997. + if (ret < 0) {
  29998. + v4l2_err(&dev->v4l2_dev,
  29999. + "Failed enabling camera, ret %d\n", ret);
  30000. + return -EINVAL;
  30001. + }
  30002. + }
  30003. + dev->camera_use_count++;
  30004. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30005. + &dev->v4l2_dev, "enabled camera (refcount %d)\n",
  30006. + dev->camera_use_count);
  30007. + return 0;
  30008. +}
  30009. +
  30010. +static int disable_camera(struct bm2835_mmal_dev *dev)
  30011. +{
  30012. + int ret;
  30013. + if (!dev->camera_use_count) {
  30014. + v4l2_err(&dev->v4l2_dev,
  30015. + "Disabled the camera when already disabled\n");
  30016. + return -EINVAL;
  30017. + }
  30018. + dev->camera_use_count--;
  30019. + if (!dev->camera_use_count) {
  30020. + unsigned int i = 0xFFFFFFFF;
  30021. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30022. + "Disabling camera\n");
  30023. + ret =
  30024. + vchiq_mmal_component_disable(
  30025. + dev->instance,
  30026. + dev->component[MMAL_COMPONENT_CAMERA]);
  30027. + if (ret < 0) {
  30028. + v4l2_err(&dev->v4l2_dev,
  30029. + "Failed disabling camera, ret %d\n", ret);
  30030. + return -EINVAL;
  30031. + }
  30032. + vchiq_mmal_port_parameter_set(
  30033. + dev->instance,
  30034. + &dev->component[MMAL_COMPONENT_CAMERA]->control,
  30035. + MMAL_PARAMETER_CAMERA_NUM, &i,
  30036. + sizeof(i));
  30037. + }
  30038. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30039. + "Camera refcount now %d\n", dev->camera_use_count);
  30040. + return 0;
  30041. +}
  30042. +
  30043. +static void buffer_queue(struct vb2_buffer *vb)
  30044. +{
  30045. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vb->vb2_queue);
  30046. + struct mmal_buffer *buf = container_of(vb, struct mmal_buffer, vb);
  30047. + int ret;
  30048. +
  30049. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30050. + "%s: dev:%p buf:%p\n", __func__, dev, buf);
  30051. +
  30052. + buf->buffer = vb2_plane_vaddr(&buf->vb, 0);
  30053. + buf->buffer_size = vb2_plane_size(&buf->vb, 0);
  30054. +
  30055. + ret = vchiq_mmal_submit_buffer(dev->instance, dev->capture.port, buf);
  30056. + if (ret < 0)
  30057. + v4l2_err(&dev->v4l2_dev, "%s: error submitting buffer\n",
  30058. + __func__);
  30059. +}
  30060. +
  30061. +static int start_streaming(struct vb2_queue *vq, unsigned int count)
  30062. +{
  30063. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vq);
  30064. + int ret;
  30065. + int parameter_size;
  30066. +
  30067. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "%s: dev:%p\n",
  30068. + __func__, dev);
  30069. +
  30070. + /* ensure a format has actually been set */
  30071. + if (dev->capture.port == NULL)
  30072. + return -EINVAL;
  30073. +
  30074. + if (enable_camera(dev) < 0) {
  30075. + v4l2_err(&dev->v4l2_dev, "Failed to enable camera\n");
  30076. + return -EINVAL;
  30077. + }
  30078. +
  30079. + /*init_completion(&dev->capture.frame_cmplt); */
  30080. +
  30081. + /* enable frame capture */
  30082. + dev->capture.frame_count = 1;
  30083. +
  30084. + /* if the preview is not already running, wait for a few frames for AGC
  30085. + * to settle down.
  30086. + */
  30087. + if (!dev->component[MMAL_COMPONENT_PREVIEW]->enabled)
  30088. + msleep(300);
  30089. +
  30090. + /* enable the connection from camera to encoder (if applicable) */
  30091. + if (dev->capture.camera_port != dev->capture.port
  30092. + && dev->capture.camera_port) {
  30093. + ret = vchiq_mmal_port_enable(dev->instance,
  30094. + dev->capture.camera_port, NULL);
  30095. + if (ret) {
  30096. + v4l2_err(&dev->v4l2_dev,
  30097. + "Failed to enable encode tunnel - error %d\n",
  30098. + ret);
  30099. + return -1;
  30100. + }
  30101. + }
  30102. +
  30103. + /* Get VC timestamp at this point in time */
  30104. + parameter_size = sizeof(dev->capture.vc_start_timestamp);
  30105. + if (vchiq_mmal_port_parameter_get(dev->instance,
  30106. + dev->capture.camera_port,
  30107. + MMAL_PARAMETER_SYSTEM_TIME,
  30108. + &dev->capture.vc_start_timestamp,
  30109. + &parameter_size)) {
  30110. + v4l2_err(&dev->v4l2_dev,
  30111. + "Failed to get VC start time - update your VC f/w\n");
  30112. +
  30113. + /* Flag to indicate just to rely on kernel timestamps */
  30114. + dev->capture.vc_start_timestamp = -1;
  30115. + } else
  30116. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30117. + "Start time %lld size %d\n",
  30118. + dev->capture.vc_start_timestamp, parameter_size);
  30119. +
  30120. + v4l2_get_timestamp(&dev->capture.kernel_start_ts);
  30121. +
  30122. + /* enable the camera port */
  30123. + dev->capture.port->cb_ctx = dev;
  30124. + ret =
  30125. + vchiq_mmal_port_enable(dev->instance, dev->capture.port, buffer_cb);
  30126. + if (ret) {
  30127. + v4l2_err(&dev->v4l2_dev,
  30128. + "Failed to enable capture port - error %d. "
  30129. + "Disabling camera port again\n", ret);
  30130. +
  30131. + vchiq_mmal_port_disable(dev->instance,
  30132. + dev->capture.camera_port);
  30133. + if (disable_camera(dev) < 0) {
  30134. + v4l2_err(&dev->v4l2_dev, "Failed to disable camera\n");
  30135. + return -EINVAL;
  30136. + }
  30137. + return -1;
  30138. + }
  30139. +
  30140. + /* capture the first frame */
  30141. + vchiq_mmal_port_parameter_set(dev->instance,
  30142. + dev->capture.camera_port,
  30143. + MMAL_PARAMETER_CAPTURE,
  30144. + &dev->capture.frame_count,
  30145. + sizeof(dev->capture.frame_count));
  30146. + return 0;
  30147. +}
  30148. +
  30149. +/* abort streaming and wait for last buffer */
  30150. +static void stop_streaming(struct vb2_queue *vq)
  30151. +{
  30152. + int ret;
  30153. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vq);
  30154. +
  30155. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "%s: dev:%p\n",
  30156. + __func__, dev);
  30157. +
  30158. + init_completion(&dev->capture.frame_cmplt);
  30159. + dev->capture.frame_count = 0;
  30160. +
  30161. + /* ensure a format has actually been set */
  30162. + if (dev->capture.port == NULL) {
  30163. + v4l2_err(&dev->v4l2_dev,
  30164. + "no capture port - stream not started?\n");
  30165. + return;
  30166. + }
  30167. +
  30168. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "stopping capturing\n");
  30169. +
  30170. + /* stop capturing frames */
  30171. + vchiq_mmal_port_parameter_set(dev->instance,
  30172. + dev->capture.camera_port,
  30173. + MMAL_PARAMETER_CAPTURE,
  30174. + &dev->capture.frame_count,
  30175. + sizeof(dev->capture.frame_count));
  30176. +
  30177. + /* wait for last frame to complete */
  30178. + ret = wait_for_completion_timeout(&dev->capture.frame_cmplt, HZ);
  30179. + if (ret <= 0)
  30180. + v4l2_err(&dev->v4l2_dev,
  30181. + "error %d waiting for frame completion\n", ret);
  30182. +
  30183. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30184. + "disabling connection\n");
  30185. +
  30186. + /* disable the connection from camera to encoder */
  30187. + ret = vchiq_mmal_port_disable(dev->instance, dev->capture.camera_port);
  30188. + if (!ret && dev->capture.camera_port != dev->capture.port) {
  30189. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30190. + "disabling port\n");
  30191. + ret = vchiq_mmal_port_disable(dev->instance, dev->capture.port);
  30192. + } else if (dev->capture.camera_port != dev->capture.port) {
  30193. + v4l2_err(&dev->v4l2_dev, "port_disable failed, error %d\n",
  30194. + ret);
  30195. + }
  30196. +
  30197. + if (disable_camera(dev) < 0)
  30198. + v4l2_err(&dev->v4l2_dev, "Failed to disable camera\n");
  30199. +}
  30200. +
  30201. +static void bm2835_mmal_lock(struct vb2_queue *vq)
  30202. +{
  30203. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vq);
  30204. + mutex_lock(&dev->mutex);
  30205. +}
  30206. +
  30207. +static void bm2835_mmal_unlock(struct vb2_queue *vq)
  30208. +{
  30209. + struct bm2835_mmal_dev *dev = vb2_get_drv_priv(vq);
  30210. + mutex_unlock(&dev->mutex);
  30211. +}
  30212. +
  30213. +static struct vb2_ops bm2835_mmal_video_qops = {
  30214. + .queue_setup = queue_setup,
  30215. + .buf_prepare = buffer_prepare,
  30216. + .buf_queue = buffer_queue,
  30217. + .start_streaming = start_streaming,
  30218. + .stop_streaming = stop_streaming,
  30219. + .wait_prepare = bm2835_mmal_unlock,
  30220. + .wait_finish = bm2835_mmal_lock,
  30221. +};
  30222. +
  30223. +/* ------------------------------------------------------------------
  30224. + IOCTL operations
  30225. + ------------------------------------------------------------------*/
  30226. +
  30227. +/* overlay ioctl */
  30228. +static int vidioc_enum_fmt_vid_overlay(struct file *file, void *priv,
  30229. + struct v4l2_fmtdesc *f)
  30230. +{
  30231. + struct mmal_fmt *fmt;
  30232. +
  30233. + if (f->index >= ARRAY_SIZE(formats))
  30234. + return -EINVAL;
  30235. +
  30236. + fmt = &formats[f->index];
  30237. +
  30238. + strlcpy(f->description, fmt->name, sizeof(f->description));
  30239. + f->pixelformat = fmt->fourcc;
  30240. + f->flags = fmt->flags;
  30241. +
  30242. + return 0;
  30243. +}
  30244. +
  30245. +static int vidioc_g_fmt_vid_overlay(struct file *file, void *priv,
  30246. + struct v4l2_format *f)
  30247. +{
  30248. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30249. +
  30250. + f->fmt.win = dev->overlay;
  30251. +
  30252. + return 0;
  30253. +}
  30254. +
  30255. +static int vidioc_try_fmt_vid_overlay(struct file *file, void *priv,
  30256. + struct v4l2_format *f)
  30257. +{
  30258. + /* Only support one format so get the current one. */
  30259. + vidioc_g_fmt_vid_overlay(file, priv, f);
  30260. +
  30261. + /* todo: allow the size and/or offset to be changed. */
  30262. + return 0;
  30263. +}
  30264. +
  30265. +static int vidioc_s_fmt_vid_overlay(struct file *file, void *priv,
  30266. + struct v4l2_format *f)
  30267. +{
  30268. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30269. +
  30270. + vidioc_try_fmt_vid_overlay(file, priv, f);
  30271. +
  30272. + dev->overlay = f->fmt.win;
  30273. +
  30274. + /* todo: program the preview port parameters */
  30275. + return 0;
  30276. +}
  30277. +
  30278. +static int vidioc_overlay(struct file *file, void *f, unsigned int on)
  30279. +{
  30280. + int ret;
  30281. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30282. + struct vchiq_mmal_port *src;
  30283. + struct vchiq_mmal_port *dst;
  30284. + struct mmal_parameter_displayregion prev_config = {
  30285. + .set = MMAL_DISPLAY_SET_LAYER | MMAL_DISPLAY_SET_ALPHA |
  30286. + MMAL_DISPLAY_SET_DEST_RECT | MMAL_DISPLAY_SET_FULLSCREEN,
  30287. + .layer = PREVIEW_LAYER,
  30288. + .alpha = 255,
  30289. + .fullscreen = 0,
  30290. + .dest_rect = {
  30291. + .x = dev->overlay.w.left,
  30292. + .y = dev->overlay.w.top,
  30293. + .width = dev->overlay.w.width,
  30294. + .height = dev->overlay.w.height,
  30295. + },
  30296. + };
  30297. +
  30298. + if ((on && dev->component[MMAL_COMPONENT_PREVIEW]->enabled) ||
  30299. + (!on && !dev->component[MMAL_COMPONENT_PREVIEW]->enabled))
  30300. + return 0; /* already in requested state */
  30301. +
  30302. + src =
  30303. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30304. + output[MMAL_CAMERA_PORT_PREVIEW];
  30305. +
  30306. + if (!on) {
  30307. + /* disconnect preview ports and disable component */
  30308. + ret = vchiq_mmal_port_disable(dev->instance, src);
  30309. + if (!ret)
  30310. + ret =
  30311. + vchiq_mmal_port_connect_tunnel(dev->instance, src,
  30312. + NULL);
  30313. + if (ret >= 0)
  30314. + ret = vchiq_mmal_component_disable(
  30315. + dev->instance,
  30316. + dev->component[MMAL_COMPONENT_PREVIEW]);
  30317. +
  30318. + disable_camera(dev);
  30319. + return ret;
  30320. + }
  30321. +
  30322. + /* set preview port format and connect it to output */
  30323. + dst = &dev->component[MMAL_COMPONENT_PREVIEW]->input[0];
  30324. +
  30325. + ret = vchiq_mmal_port_set_format(dev->instance, src);
  30326. + if (ret < 0)
  30327. + goto error;
  30328. +
  30329. + ret = vchiq_mmal_port_parameter_set(dev->instance, dst,
  30330. + MMAL_PARAMETER_DISPLAYREGION,
  30331. + &prev_config, sizeof(prev_config));
  30332. + if (ret < 0)
  30333. + goto error;
  30334. +
  30335. + if (enable_camera(dev) < 0)
  30336. + goto error;
  30337. +
  30338. + ret = vchiq_mmal_component_enable(
  30339. + dev->instance,
  30340. + dev->component[MMAL_COMPONENT_PREVIEW]);
  30341. + if (ret < 0)
  30342. + goto error;
  30343. +
  30344. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev, "connecting %p to %p\n",
  30345. + src, dst);
  30346. + ret = vchiq_mmal_port_connect_tunnel(dev->instance, src, dst);
  30347. + if (!ret)
  30348. + ret = vchiq_mmal_port_enable(dev->instance, src, NULL);
  30349. +error:
  30350. + return ret;
  30351. +}
  30352. +
  30353. +static int vidioc_g_fbuf(struct file *file, void *fh,
  30354. + struct v4l2_framebuffer *a)
  30355. +{
  30356. + /* The video overlay must stay within the framebuffer and can't be
  30357. + positioned independently. */
  30358. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30359. + struct vchiq_mmal_port *preview_port =
  30360. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30361. + output[MMAL_CAMERA_PORT_PREVIEW];
  30362. + a->flags = V4L2_FBUF_FLAG_OVERLAY;
  30363. + a->fmt.width = preview_port->es.video.width;
  30364. + a->fmt.height = preview_port->es.video.height;
  30365. + a->fmt.pixelformat = V4L2_PIX_FMT_YUV420;
  30366. + a->fmt.bytesperline = preview_port->es.video.width;
  30367. + a->fmt.sizeimage = (preview_port->es.video.width *
  30368. + preview_port->es.video.height * 3)>>1;
  30369. + a->fmt.colorspace = V4L2_COLORSPACE_SMPTE170M;
  30370. +
  30371. + return 0;
  30372. +}
  30373. +
  30374. +/* input ioctls */
  30375. +static int vidioc_enum_input(struct file *file, void *priv,
  30376. + struct v4l2_input *inp)
  30377. +{
  30378. + /* only a single camera input */
  30379. + if (inp->index != 0)
  30380. + return -EINVAL;
  30381. +
  30382. + inp->type = V4L2_INPUT_TYPE_CAMERA;
  30383. + sprintf(inp->name, "Camera %u", inp->index);
  30384. + return 0;
  30385. +}
  30386. +
  30387. +static int vidioc_g_input(struct file *file, void *priv, unsigned int *i)
  30388. +{
  30389. + *i = 0;
  30390. + return 0;
  30391. +}
  30392. +
  30393. +static int vidioc_s_input(struct file *file, void *priv, unsigned int i)
  30394. +{
  30395. + if (i != 0)
  30396. + return -EINVAL;
  30397. +
  30398. + return 0;
  30399. +}
  30400. +
  30401. +/* capture ioctls */
  30402. +static int vidioc_querycap(struct file *file, void *priv,
  30403. + struct v4l2_capability *cap)
  30404. +{
  30405. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30406. + u32 major;
  30407. + u32 minor;
  30408. +
  30409. + vchiq_mmal_version(dev->instance, &major, &minor);
  30410. +
  30411. + strcpy(cap->driver, "bm2835 mmal");
  30412. + snprintf(cap->card, sizeof(cap->card), "mmal service %d.%d",
  30413. + major, minor);
  30414. +
  30415. + snprintf(cap->bus_info, sizeof(cap->bus_info),
  30416. + "platform:%s", dev->v4l2_dev.name);
  30417. + cap->device_caps = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_VIDEO_OVERLAY |
  30418. + V4L2_CAP_STREAMING | V4L2_CAP_READWRITE;
  30419. + cap->capabilities = cap->device_caps | V4L2_CAP_DEVICE_CAPS;
  30420. +
  30421. + return 0;
  30422. +}
  30423. +
  30424. +static int vidioc_enum_fmt_vid_cap(struct file *file, void *priv,
  30425. + struct v4l2_fmtdesc *f)
  30426. +{
  30427. + struct mmal_fmt *fmt;
  30428. +
  30429. + if (f->index >= ARRAY_SIZE(formats))
  30430. + return -EINVAL;
  30431. +
  30432. + fmt = &formats[f->index];
  30433. +
  30434. + strlcpy(f->description, fmt->name, sizeof(f->description));
  30435. + f->pixelformat = fmt->fourcc;
  30436. + f->flags = fmt->flags;
  30437. +
  30438. + return 0;
  30439. +}
  30440. +
  30441. +static int vidioc_g_fmt_vid_cap(struct file *file, void *priv,
  30442. + struct v4l2_format *f)
  30443. +{
  30444. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30445. +
  30446. + f->fmt.pix.width = dev->capture.width;
  30447. + f->fmt.pix.height = dev->capture.height;
  30448. + f->fmt.pix.field = V4L2_FIELD_NONE;
  30449. + f->fmt.pix.pixelformat = dev->capture.fmt->fourcc;
  30450. + f->fmt.pix.bytesperline = dev->capture.stride;
  30451. + f->fmt.pix.sizeimage = dev->capture.buffersize;
  30452. +
  30453. + if (dev->capture.fmt->fourcc == V4L2_PIX_FMT_RGB24)
  30454. + f->fmt.pix.colorspace = V4L2_COLORSPACE_SRGB;
  30455. + else if (dev->capture.fmt->fourcc == V4L2_PIX_FMT_JPEG)
  30456. + f->fmt.pix.colorspace = V4L2_COLORSPACE_JPEG;
  30457. + else
  30458. + f->fmt.pix.colorspace = V4L2_COLORSPACE_SMPTE170M;
  30459. + f->fmt.pix.priv = 0;
  30460. +
  30461. + v4l2_dump_pix_format(1, bcm2835_v4l2_debug, &dev->v4l2_dev, &f->fmt.pix,
  30462. + __func__);
  30463. + return 0;
  30464. +}
  30465. +
  30466. +static int vidioc_try_fmt_vid_cap(struct file *file, void *priv,
  30467. + struct v4l2_format *f)
  30468. +{
  30469. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30470. + struct mmal_fmt *mfmt;
  30471. +
  30472. + mfmt = get_format(f);
  30473. + if (!mfmt) {
  30474. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30475. + "Fourcc format (0x%08x) unknown.\n",
  30476. + f->fmt.pix.pixelformat);
  30477. + f->fmt.pix.pixelformat = formats[0].fourcc;
  30478. + mfmt = get_format(f);
  30479. + }
  30480. +
  30481. + f->fmt.pix.field = V4L2_FIELD_NONE;
  30482. +
  30483. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30484. + "Clipping/aligning %dx%d format %08X\n",
  30485. + f->fmt.pix.width, f->fmt.pix.height, f->fmt.pix.pixelformat);
  30486. +
  30487. + v4l_bound_align_image(&f->fmt.pix.width, MIN_WIDTH, MAX_WIDTH, 1,
  30488. + &f->fmt.pix.height, MIN_HEIGHT, MAX_HEIGHT, 1, 0);
  30489. + f->fmt.pix.bytesperline = f->fmt.pix.width * mfmt->ybbp;
  30490. +
  30491. + /* Image buffer has to be padded to allow for alignment, even though
  30492. + * we then remove that padding before delivering the buffer.
  30493. + */
  30494. + f->fmt.pix.sizeimage = ((f->fmt.pix.height+15)&~15) *
  30495. + (((f->fmt.pix.width+31)&~31) * mfmt->depth) >> 3;
  30496. +
  30497. + if ((mfmt->flags & V4L2_FMT_FLAG_COMPRESSED) &&
  30498. + f->fmt.pix.sizeimage < MIN_BUFFER_SIZE)
  30499. + f->fmt.pix.sizeimage = MIN_BUFFER_SIZE;
  30500. +
  30501. + if (f->fmt.pix.pixelformat == V4L2_PIX_FMT_RGB24)
  30502. + f->fmt.pix.colorspace = V4L2_COLORSPACE_SRGB;
  30503. + else if (f->fmt.pix.pixelformat == V4L2_PIX_FMT_JPEG)
  30504. + f->fmt.pix.colorspace = V4L2_COLORSPACE_JPEG;
  30505. + else
  30506. + f->fmt.pix.colorspace = V4L2_COLORSPACE_SMPTE170M;
  30507. + f->fmt.pix.priv = 0;
  30508. +
  30509. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30510. + "Now %dx%d format %08X\n",
  30511. + f->fmt.pix.width, f->fmt.pix.height, f->fmt.pix.pixelformat);
  30512. +
  30513. + v4l2_dump_pix_format(1, bcm2835_v4l2_debug, &dev->v4l2_dev, &f->fmt.pix,
  30514. + __func__);
  30515. + return 0;
  30516. +}
  30517. +
  30518. +static int mmal_setup_components(struct bm2835_mmal_dev *dev,
  30519. + struct v4l2_format *f)
  30520. +{
  30521. + int ret;
  30522. + struct vchiq_mmal_port *port = NULL, *camera_port = NULL;
  30523. + struct vchiq_mmal_component *encode_component = NULL;
  30524. + struct mmal_fmt *mfmt = get_format(f);
  30525. +
  30526. + BUG_ON(!mfmt);
  30527. +
  30528. + if (dev->capture.encode_component) {
  30529. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30530. + "vid_cap - disconnect previous tunnel\n");
  30531. +
  30532. + /* Disconnect any previous connection */
  30533. + vchiq_mmal_port_connect_tunnel(dev->instance,
  30534. + dev->capture.camera_port, NULL);
  30535. + dev->capture.camera_port = NULL;
  30536. + ret = vchiq_mmal_component_disable(dev->instance,
  30537. + dev->capture.
  30538. + encode_component);
  30539. + if (ret)
  30540. + v4l2_err(&dev->v4l2_dev,
  30541. + "Failed to disable encode component %d\n",
  30542. + ret);
  30543. +
  30544. + dev->capture.encode_component = NULL;
  30545. + }
  30546. + /* format dependant port setup */
  30547. + switch (mfmt->mmal_component) {
  30548. + case MMAL_COMPONENT_CAMERA:
  30549. + /* Make a further decision on port based on resolution */
  30550. + if (f->fmt.pix.width <= max_video_width
  30551. + && f->fmt.pix.height <= max_video_height)
  30552. + camera_port = port =
  30553. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30554. + output[MMAL_CAMERA_PORT_VIDEO];
  30555. + else
  30556. + camera_port = port =
  30557. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30558. + output[MMAL_CAMERA_PORT_CAPTURE];
  30559. + break;
  30560. + case MMAL_COMPONENT_IMAGE_ENCODE:
  30561. + encode_component = dev->component[MMAL_COMPONENT_IMAGE_ENCODE];
  30562. + port = &dev->component[MMAL_COMPONENT_IMAGE_ENCODE]->output[0];
  30563. + camera_port =
  30564. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30565. + output[MMAL_CAMERA_PORT_CAPTURE];
  30566. + break;
  30567. + case MMAL_COMPONENT_VIDEO_ENCODE:
  30568. + encode_component = dev->component[MMAL_COMPONENT_VIDEO_ENCODE];
  30569. + port = &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0];
  30570. + camera_port =
  30571. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30572. + output[MMAL_CAMERA_PORT_VIDEO];
  30573. + break;
  30574. + default:
  30575. + break;
  30576. + }
  30577. +
  30578. + if (!port)
  30579. + return -EINVAL;
  30580. +
  30581. + if (encode_component)
  30582. + camera_port->format.encoding = MMAL_ENCODING_OPAQUE;
  30583. + else
  30584. + camera_port->format.encoding = mfmt->mmal;
  30585. +
  30586. + camera_port->format.encoding_variant = 0;
  30587. + camera_port->es.video.width = f->fmt.pix.width;
  30588. + camera_port->es.video.height = f->fmt.pix.height;
  30589. + camera_port->es.video.crop.x = 0;
  30590. + camera_port->es.video.crop.y = 0;
  30591. + camera_port->es.video.crop.width = f->fmt.pix.width;
  30592. + camera_port->es.video.crop.height = f->fmt.pix.height;
  30593. + camera_port->es.video.frame_rate.num = 0;
  30594. + camera_port->es.video.frame_rate.den = 1;
  30595. + camera_port->es.video.color_space = MMAL_COLOR_SPACE_JPEG_JFIF;
  30596. +
  30597. + ret = vchiq_mmal_port_set_format(dev->instance, camera_port);
  30598. +
  30599. + if (!ret
  30600. + && camera_port ==
  30601. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30602. + output[MMAL_CAMERA_PORT_VIDEO]) {
  30603. + bool overlay_enabled =
  30604. + !!dev->component[MMAL_COMPONENT_PREVIEW]->enabled;
  30605. + struct vchiq_mmal_port *preview_port =
  30606. + &dev->component[MMAL_COMPONENT_CAMERA]->
  30607. + output[MMAL_CAMERA_PORT_PREVIEW];
  30608. + /* Preview and encode ports need to match on resolution */
  30609. + if (overlay_enabled) {
  30610. + /* Need to disable the overlay before we can update
  30611. + * the resolution
  30612. + */
  30613. + ret =
  30614. + vchiq_mmal_port_disable(dev->instance,
  30615. + preview_port);
  30616. + if (!ret)
  30617. + ret =
  30618. + vchiq_mmal_port_connect_tunnel(
  30619. + dev->instance,
  30620. + preview_port,
  30621. + NULL);
  30622. + }
  30623. + preview_port->es.video.width = f->fmt.pix.width;
  30624. + preview_port->es.video.height = f->fmt.pix.height;
  30625. + preview_port->es.video.crop.x = 0;
  30626. + preview_port->es.video.crop.y = 0;
  30627. + preview_port->es.video.crop.width = f->fmt.pix.width;
  30628. + preview_port->es.video.crop.height = f->fmt.pix.height;
  30629. + preview_port->es.video.frame_rate.num =
  30630. + dev->capture.timeperframe.denominator;
  30631. + preview_port->es.video.frame_rate.den =
  30632. + dev->capture.timeperframe.numerator;
  30633. + ret = vchiq_mmal_port_set_format(dev->instance, preview_port);
  30634. + if (overlay_enabled) {
  30635. + ret = vchiq_mmal_port_connect_tunnel(
  30636. + dev->instance,
  30637. + preview_port,
  30638. + &dev->component[MMAL_COMPONENT_PREVIEW]->input[0]);
  30639. + if (!ret)
  30640. + ret = vchiq_mmal_port_enable(dev->instance,
  30641. + preview_port,
  30642. + NULL);
  30643. + }
  30644. + }
  30645. +
  30646. + if (ret) {
  30647. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30648. + "%s failed to set format %dx%d %08X\n", __func__,
  30649. + f->fmt.pix.width, f->fmt.pix.height,
  30650. + f->fmt.pix.pixelformat);
  30651. + /* ensure capture is not going to be tried */
  30652. + dev->capture.port = NULL;
  30653. + } else {
  30654. + if (encode_component) {
  30655. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30656. + "vid_cap - set up encode comp\n");
  30657. +
  30658. + /* configure buffering */
  30659. + camera_port->current_buffer.size =
  30660. + camera_port->recommended_buffer.size;
  30661. + camera_port->current_buffer.num =
  30662. + camera_port->recommended_buffer.num;
  30663. +
  30664. + ret =
  30665. + vchiq_mmal_port_connect_tunnel(
  30666. + dev->instance,
  30667. + camera_port,
  30668. + &encode_component->input[0]);
  30669. + if (ret) {
  30670. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30671. + &dev->v4l2_dev,
  30672. + "%s failed to create connection\n",
  30673. + __func__);
  30674. + /* ensure capture is not going to be tried */
  30675. + dev->capture.port = NULL;
  30676. + } else {
  30677. + port->es.video.width = f->fmt.pix.width;
  30678. + port->es.video.height = f->fmt.pix.height;
  30679. + port->es.video.crop.x = 0;
  30680. + port->es.video.crop.y = 0;
  30681. + port->es.video.crop.width = f->fmt.pix.width;
  30682. + port->es.video.crop.height = f->fmt.pix.height;
  30683. + port->es.video.frame_rate.num =
  30684. + dev->capture.timeperframe.denominator;
  30685. + port->es.video.frame_rate.den =
  30686. + dev->capture.timeperframe.numerator;
  30687. +
  30688. + port->format.encoding = mfmt->mmal;
  30689. + port->format.encoding_variant = 0;
  30690. + /* Set any encoding specific parameters */
  30691. + switch (mfmt->mmal_component) {
  30692. + case MMAL_COMPONENT_VIDEO_ENCODE:
  30693. + port->format.bitrate =
  30694. + dev->capture.encode_bitrate;
  30695. + break;
  30696. + case MMAL_COMPONENT_IMAGE_ENCODE:
  30697. + /* Could set EXIF parameters here */
  30698. + break;
  30699. + default:
  30700. + break;
  30701. + }
  30702. + ret = vchiq_mmal_port_set_format(dev->instance,
  30703. + port);
  30704. + if (ret)
  30705. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30706. + &dev->v4l2_dev,
  30707. + "%s failed to set format %dx%d fmt %08X\n",
  30708. + __func__,
  30709. + f->fmt.pix.width,
  30710. + f->fmt.pix.height,
  30711. + f->fmt.pix.pixelformat
  30712. + );
  30713. + }
  30714. +
  30715. + if (!ret) {
  30716. + ret = vchiq_mmal_component_enable(
  30717. + dev->instance,
  30718. + encode_component);
  30719. + if (ret) {
  30720. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30721. + &dev->v4l2_dev,
  30722. + "%s Failed to enable encode components\n",
  30723. + __func__);
  30724. + }
  30725. + }
  30726. + if (!ret) {
  30727. + /* configure buffering */
  30728. + port->current_buffer.num = 1;
  30729. + port->current_buffer.size =
  30730. + f->fmt.pix.sizeimage;
  30731. + if (port->format.encoding ==
  30732. + MMAL_ENCODING_JPEG) {
  30733. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30734. + &dev->v4l2_dev,
  30735. + "JPG - buf size now %d was %d\n",
  30736. + f->fmt.pix.sizeimage,
  30737. + port->current_buffer.size);
  30738. + port->current_buffer.size =
  30739. + (f->fmt.pix.sizeimage <
  30740. + (100 << 10))
  30741. + ? (100 << 10) : f->fmt.pix.
  30742. + sizeimage;
  30743. + }
  30744. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30745. + &dev->v4l2_dev,
  30746. + "vid_cap - cur_buf.size set to %d\n",
  30747. + f->fmt.pix.sizeimage);
  30748. + port->current_buffer.alignment = 0;
  30749. + }
  30750. + } else {
  30751. + /* configure buffering */
  30752. + camera_port->current_buffer.num = 1;
  30753. + camera_port->current_buffer.size = f->fmt.pix.sizeimage;
  30754. + camera_port->current_buffer.alignment = 0;
  30755. + }
  30756. +
  30757. + if (!ret) {
  30758. + dev->capture.fmt = mfmt;
  30759. + dev->capture.stride = f->fmt.pix.bytesperline;
  30760. + dev->capture.width = camera_port->es.video.crop.width;
  30761. + dev->capture.height = camera_port->es.video.crop.height;
  30762. + dev->capture.buffersize = port->current_buffer.size;
  30763. +
  30764. + /* select port for capture */
  30765. + dev->capture.port = port;
  30766. + dev->capture.camera_port = camera_port;
  30767. + dev->capture.encode_component = encode_component;
  30768. + v4l2_dbg(1, bcm2835_v4l2_debug,
  30769. + &dev->v4l2_dev,
  30770. + "Set dev->capture.fmt %08X, %dx%d, stride %d, size %d",
  30771. + port->format.encoding,
  30772. + dev->capture.width, dev->capture.height,
  30773. + dev->capture.stride, dev->capture.buffersize);
  30774. + }
  30775. + }
  30776. +
  30777. + /* todo: Need to convert the vchiq/mmal error into a v4l2 error. */
  30778. + return ret;
  30779. +}
  30780. +
  30781. +static int vidioc_s_fmt_vid_cap(struct file *file, void *priv,
  30782. + struct v4l2_format *f)
  30783. +{
  30784. + int ret;
  30785. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30786. + struct mmal_fmt *mfmt;
  30787. +
  30788. + /* try the format to set valid parameters */
  30789. + ret = vidioc_try_fmt_vid_cap(file, priv, f);
  30790. + if (ret) {
  30791. + v4l2_err(&dev->v4l2_dev,
  30792. + "vid_cap - vidioc_try_fmt_vid_cap failed\n");
  30793. + return ret;
  30794. + }
  30795. +
  30796. + /* if a capture is running refuse to set format */
  30797. + if (vb2_is_busy(&dev->capture.vb_vidq)) {
  30798. + v4l2_info(&dev->v4l2_dev, "%s device busy\n", __func__);
  30799. + return -EBUSY;
  30800. + }
  30801. +
  30802. + /* If the format is unsupported v4l2 says we should switch to
  30803. + * a supported one and not return an error. */
  30804. + mfmt = get_format(f);
  30805. + if (!mfmt) {
  30806. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  30807. + "Fourcc format (0x%08x) unknown.\n",
  30808. + f->fmt.pix.pixelformat);
  30809. + f->fmt.pix.pixelformat = formats[0].fourcc;
  30810. + mfmt = get_format(f);
  30811. + }
  30812. +
  30813. + ret = mmal_setup_components(dev, f);
  30814. + if (ret != 0) {
  30815. + v4l2_err(&dev->v4l2_dev,
  30816. + "%s: failed to setup mmal components: %d\n",
  30817. + __func__, ret);
  30818. + ret = -EINVAL;
  30819. + }
  30820. +
  30821. + return ret;
  30822. +}
  30823. +
  30824. +int vidioc_enum_framesizes(struct file *file, void *fh,
  30825. + struct v4l2_frmsizeenum *fsize)
  30826. +{
  30827. + static const struct v4l2_frmsize_stepwise sizes = {
  30828. + MIN_WIDTH, MAX_WIDTH, 2,
  30829. + MIN_HEIGHT, MAX_HEIGHT, 2
  30830. + };
  30831. + int i;
  30832. +
  30833. + if (fsize->index)
  30834. + return -EINVAL;
  30835. + for (i = 0; i < ARRAY_SIZE(formats); i++)
  30836. + if (formats[i].fourcc == fsize->pixel_format)
  30837. + break;
  30838. + if (i == ARRAY_SIZE(formats))
  30839. + return -EINVAL;
  30840. + fsize->type = V4L2_FRMSIZE_TYPE_STEPWISE;
  30841. + fsize->stepwise = sizes;
  30842. + return 0;
  30843. +}
  30844. +
  30845. +/* timeperframe is arbitrary and continous */
  30846. +static int vidioc_enum_frameintervals(struct file *file, void *priv,
  30847. + struct v4l2_frmivalenum *fival)
  30848. +{
  30849. + int i;
  30850. +
  30851. + if (fival->index)
  30852. + return -EINVAL;
  30853. +
  30854. + for (i = 0; i < ARRAY_SIZE(formats); i++)
  30855. + if (formats[i].fourcc == fival->pixel_format)
  30856. + break;
  30857. + if (i == ARRAY_SIZE(formats))
  30858. + return -EINVAL;
  30859. +
  30860. + /* regarding width & height - we support any within range */
  30861. + if (fival->width < MIN_WIDTH || fival->width > MAX_WIDTH ||
  30862. + fival->height < MIN_HEIGHT || fival->height > MAX_HEIGHT)
  30863. + return -EINVAL;
  30864. +
  30865. + fival->type = V4L2_FRMIVAL_TYPE_CONTINUOUS;
  30866. +
  30867. + /* fill in stepwise (step=1.0 is requred by V4L2 spec) */
  30868. + fival->stepwise.min = tpf_min;
  30869. + fival->stepwise.max = tpf_max;
  30870. + fival->stepwise.step = (struct v4l2_fract) {1, 1};
  30871. +
  30872. + return 0;
  30873. +}
  30874. +
  30875. +static int vidioc_g_parm(struct file *file, void *priv,
  30876. + struct v4l2_streamparm *parm)
  30877. +{
  30878. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30879. +
  30880. + if (parm->type != V4L2_BUF_TYPE_VIDEO_CAPTURE)
  30881. + return -EINVAL;
  30882. +
  30883. + parm->parm.capture.capability = V4L2_CAP_TIMEPERFRAME;
  30884. + parm->parm.capture.timeperframe = dev->capture.timeperframe;
  30885. + parm->parm.capture.readbuffers = 1;
  30886. + return 0;
  30887. +}
  30888. +
  30889. +#define FRACT_CMP(a, OP, b) \
  30890. + ((u64)(a).numerator * (b).denominator OP \
  30891. + (u64)(b).numerator * (a).denominator)
  30892. +
  30893. +static int vidioc_s_parm(struct file *file, void *priv,
  30894. + struct v4l2_streamparm *parm)
  30895. +{
  30896. + struct bm2835_mmal_dev *dev = video_drvdata(file);
  30897. + struct v4l2_fract tpf;
  30898. + struct mmal_parameter_rational fps_param;
  30899. +
  30900. + if (parm->type != V4L2_BUF_TYPE_VIDEO_CAPTURE)
  30901. + return -EINVAL;
  30902. +
  30903. + tpf = parm->parm.capture.timeperframe;
  30904. +
  30905. + /* tpf: {*, 0} resets timing; clip to [min, max]*/
  30906. + tpf = tpf.denominator ? tpf : tpf_default;
  30907. + tpf = FRACT_CMP(tpf, <, tpf_min) ? tpf_min : tpf;
  30908. + tpf = FRACT_CMP(tpf, >, tpf_max) ? tpf_max : tpf;
  30909. +
  30910. + dev->capture.timeperframe = tpf;
  30911. + parm->parm.capture.timeperframe = tpf;
  30912. + parm->parm.capture.readbuffers = 1;
  30913. +
  30914. + fps_param.num = 0; /* Select variable fps, and then use
  30915. + * FPS_RANGE to select the actual limits.
  30916. + */
  30917. + fps_param.den = 1;
  30918. + set_framerate_params(dev);
  30919. +
  30920. + return 0;
  30921. +}
  30922. +
  30923. +static const struct v4l2_ioctl_ops camera0_ioctl_ops = {
  30924. + /* overlay */
  30925. + .vidioc_enum_fmt_vid_overlay = vidioc_enum_fmt_vid_overlay,
  30926. + .vidioc_g_fmt_vid_overlay = vidioc_g_fmt_vid_overlay,
  30927. + .vidioc_try_fmt_vid_overlay = vidioc_try_fmt_vid_overlay,
  30928. + .vidioc_s_fmt_vid_overlay = vidioc_s_fmt_vid_overlay,
  30929. + .vidioc_overlay = vidioc_overlay,
  30930. + .vidioc_g_fbuf = vidioc_g_fbuf,
  30931. +
  30932. + /* inputs */
  30933. + .vidioc_enum_input = vidioc_enum_input,
  30934. + .vidioc_g_input = vidioc_g_input,
  30935. + .vidioc_s_input = vidioc_s_input,
  30936. +
  30937. + /* capture */
  30938. + .vidioc_querycap = vidioc_querycap,
  30939. + .vidioc_enum_fmt_vid_cap = vidioc_enum_fmt_vid_cap,
  30940. + .vidioc_g_fmt_vid_cap = vidioc_g_fmt_vid_cap,
  30941. + .vidioc_try_fmt_vid_cap = vidioc_try_fmt_vid_cap,
  30942. + .vidioc_s_fmt_vid_cap = vidioc_s_fmt_vid_cap,
  30943. +
  30944. + /* buffer management */
  30945. + .vidioc_reqbufs = vb2_ioctl_reqbufs,
  30946. + .vidioc_create_bufs = vb2_ioctl_create_bufs,
  30947. + .vidioc_prepare_buf = vb2_ioctl_prepare_buf,
  30948. + .vidioc_querybuf = vb2_ioctl_querybuf,
  30949. + .vidioc_qbuf = vb2_ioctl_qbuf,
  30950. + .vidioc_dqbuf = vb2_ioctl_dqbuf,
  30951. + .vidioc_enum_framesizes = vidioc_enum_framesizes,
  30952. + .vidioc_enum_frameintervals = vidioc_enum_frameintervals,
  30953. + .vidioc_g_parm = vidioc_g_parm,
  30954. + .vidioc_s_parm = vidioc_s_parm,
  30955. + .vidioc_streamon = vb2_ioctl_streamon,
  30956. + .vidioc_streamoff = vb2_ioctl_streamoff,
  30957. +
  30958. + .vidioc_log_status = v4l2_ctrl_log_status,
  30959. + .vidioc_subscribe_event = v4l2_ctrl_subscribe_event,
  30960. + .vidioc_unsubscribe_event = v4l2_event_unsubscribe,
  30961. +};
  30962. +
  30963. +static const struct v4l2_ioctl_ops camera0_ioctl_ops_gstreamer = {
  30964. + /* overlay */
  30965. + .vidioc_enum_fmt_vid_overlay = vidioc_enum_fmt_vid_overlay,
  30966. + .vidioc_g_fmt_vid_overlay = vidioc_g_fmt_vid_overlay,
  30967. + .vidioc_try_fmt_vid_overlay = vidioc_try_fmt_vid_overlay,
  30968. + .vidioc_s_fmt_vid_overlay = vidioc_s_fmt_vid_overlay,
  30969. + .vidioc_overlay = vidioc_overlay,
  30970. + .vidioc_g_fbuf = vidioc_g_fbuf,
  30971. +
  30972. + /* inputs */
  30973. + .vidioc_enum_input = vidioc_enum_input,
  30974. + .vidioc_g_input = vidioc_g_input,
  30975. + .vidioc_s_input = vidioc_s_input,
  30976. +
  30977. + /* capture */
  30978. + .vidioc_querycap = vidioc_querycap,
  30979. + .vidioc_enum_fmt_vid_cap = vidioc_enum_fmt_vid_cap,
  30980. + .vidioc_g_fmt_vid_cap = vidioc_g_fmt_vid_cap,
  30981. + .vidioc_try_fmt_vid_cap = vidioc_try_fmt_vid_cap,
  30982. + .vidioc_s_fmt_vid_cap = vidioc_s_fmt_vid_cap,
  30983. +
  30984. + /* buffer management */
  30985. + .vidioc_reqbufs = vb2_ioctl_reqbufs,
  30986. + .vidioc_create_bufs = vb2_ioctl_create_bufs,
  30987. + .vidioc_prepare_buf = vb2_ioctl_prepare_buf,
  30988. + .vidioc_querybuf = vb2_ioctl_querybuf,
  30989. + .vidioc_qbuf = vb2_ioctl_qbuf,
  30990. + .vidioc_dqbuf = vb2_ioctl_dqbuf,
  30991. + /* Remove this function ptr to fix gstreamer bug
  30992. + .vidioc_enum_framesizes = vidioc_enum_framesizes, */
  30993. + .vidioc_enum_frameintervals = vidioc_enum_frameintervals,
  30994. + .vidioc_g_parm = vidioc_g_parm,
  30995. + .vidioc_s_parm = vidioc_s_parm,
  30996. + .vidioc_streamon = vb2_ioctl_streamon,
  30997. + .vidioc_streamoff = vb2_ioctl_streamoff,
  30998. +
  30999. + .vidioc_log_status = v4l2_ctrl_log_status,
  31000. + .vidioc_subscribe_event = v4l2_ctrl_subscribe_event,
  31001. + .vidioc_unsubscribe_event = v4l2_event_unsubscribe,
  31002. +};
  31003. +
  31004. +/* ------------------------------------------------------------------
  31005. + Driver init/finalise
  31006. + ------------------------------------------------------------------*/
  31007. +
  31008. +static const struct v4l2_file_operations camera0_fops = {
  31009. + .owner = THIS_MODULE,
  31010. + .open = v4l2_fh_open,
  31011. + .release = vb2_fop_release,
  31012. + .read = vb2_fop_read,
  31013. + .poll = vb2_fop_poll,
  31014. + .unlocked_ioctl = video_ioctl2, /* V4L2 ioctl handler */
  31015. + .mmap = vb2_fop_mmap,
  31016. +};
  31017. +
  31018. +static struct video_device vdev_template = {
  31019. + .name = "camera0",
  31020. + .fops = &camera0_fops,
  31021. + .ioctl_ops = &camera0_ioctl_ops,
  31022. + .release = video_device_release_empty,
  31023. +};
  31024. +
  31025. +static int set_camera_parameters(struct vchiq_mmal_instance *instance,
  31026. + struct vchiq_mmal_component *camera)
  31027. +{
  31028. + int ret;
  31029. + struct mmal_parameter_camera_config cam_config = {
  31030. + .max_stills_w = MAX_WIDTH,
  31031. + .max_stills_h = MAX_HEIGHT,
  31032. + .stills_yuv422 = 1,
  31033. + .one_shot_stills = 1,
  31034. + .max_preview_video_w = (max_video_width > 1920) ?
  31035. + max_video_width : 1920,
  31036. + .max_preview_video_h = (max_video_height > 1088) ?
  31037. + max_video_height : 1088,
  31038. + .num_preview_video_frames = 3,
  31039. + .stills_capture_circular_buffer_height = 0,
  31040. + .fast_preview_resume = 0,
  31041. + .use_stc_timestamp = MMAL_PARAM_TIMESTAMP_MODE_RAW_STC
  31042. + };
  31043. +
  31044. + ret = vchiq_mmal_port_parameter_set(instance, &camera->control,
  31045. + MMAL_PARAMETER_CAMERA_CONFIG,
  31046. + &cam_config, sizeof(cam_config));
  31047. + return ret;
  31048. +}
  31049. +
  31050. +/* MMAL instance and component init */
  31051. +static int __init mmal_init(struct bm2835_mmal_dev *dev)
  31052. +{
  31053. + int ret;
  31054. + struct mmal_es_format *format;
  31055. + u32 bool_true = 1;
  31056. +
  31057. + ret = vchiq_mmal_init(&dev->instance);
  31058. + if (ret < 0)
  31059. + return ret;
  31060. +
  31061. + /* get the camera component ready */
  31062. + ret = vchiq_mmal_component_init(dev->instance, "ril.camera",
  31063. + &dev->component[MMAL_COMPONENT_CAMERA]);
  31064. + if (ret < 0)
  31065. + goto unreg_mmal;
  31066. +
  31067. + if (dev->component[MMAL_COMPONENT_CAMERA]->outputs <
  31068. + MMAL_CAMERA_PORT_COUNT) {
  31069. + ret = -EINVAL;
  31070. + goto unreg_camera;
  31071. + }
  31072. +
  31073. + ret = set_camera_parameters(dev->instance,
  31074. + dev->component[MMAL_COMPONENT_CAMERA]);
  31075. + if (ret < 0)
  31076. + goto unreg_camera;
  31077. +
  31078. + format =
  31079. + &dev->component[MMAL_COMPONENT_CAMERA]->
  31080. + output[MMAL_CAMERA_PORT_PREVIEW].format;
  31081. +
  31082. + format->encoding = MMAL_ENCODING_OPAQUE;
  31083. + format->encoding_variant = MMAL_ENCODING_I420;
  31084. +
  31085. + format->es->video.width = 1024;
  31086. + format->es->video.height = 768;
  31087. + format->es->video.crop.x = 0;
  31088. + format->es->video.crop.y = 0;
  31089. + format->es->video.crop.width = 1024;
  31090. + format->es->video.crop.height = 768;
  31091. + format->es->video.frame_rate.num = 0; /* Rely on fps_range */
  31092. + format->es->video.frame_rate.den = 1;
  31093. +
  31094. + format =
  31095. + &dev->component[MMAL_COMPONENT_CAMERA]->
  31096. + output[MMAL_CAMERA_PORT_VIDEO].format;
  31097. +
  31098. + format->encoding = MMAL_ENCODING_OPAQUE;
  31099. + format->encoding_variant = MMAL_ENCODING_I420;
  31100. +
  31101. + format->es->video.width = 1024;
  31102. + format->es->video.height = 768;
  31103. + format->es->video.crop.x = 0;
  31104. + format->es->video.crop.y = 0;
  31105. + format->es->video.crop.width = 1024;
  31106. + format->es->video.crop.height = 768;
  31107. + format->es->video.frame_rate.num = 0; /* Rely on fps_range */
  31108. + format->es->video.frame_rate.den = 1;
  31109. +
  31110. + vchiq_mmal_port_parameter_set(dev->instance,
  31111. + &dev->component[MMAL_COMPONENT_CAMERA]->
  31112. + output[MMAL_CAMERA_PORT_VIDEO],
  31113. + MMAL_PARAMETER_NO_IMAGE_PADDING,
  31114. + &bool_true, sizeof(bool_true));
  31115. +
  31116. + format =
  31117. + &dev->component[MMAL_COMPONENT_CAMERA]->
  31118. + output[MMAL_CAMERA_PORT_CAPTURE].format;
  31119. +
  31120. + format->encoding = MMAL_ENCODING_OPAQUE;
  31121. +
  31122. + format->es->video.width = 2592;
  31123. + format->es->video.height = 1944;
  31124. + format->es->video.crop.x = 0;
  31125. + format->es->video.crop.y = 0;
  31126. + format->es->video.crop.width = 2592;
  31127. + format->es->video.crop.height = 1944;
  31128. + format->es->video.frame_rate.num = 0; /* Rely on fps_range */
  31129. + format->es->video.frame_rate.den = 1;
  31130. +
  31131. + dev->capture.width = format->es->video.width;
  31132. + dev->capture.height = format->es->video.height;
  31133. + dev->capture.fmt = &formats[0];
  31134. + dev->capture.encode_component = NULL;
  31135. + dev->capture.timeperframe = tpf_default;
  31136. + dev->capture.enc_profile = V4L2_MPEG_VIDEO_H264_PROFILE_HIGH;
  31137. + dev->capture.enc_level = V4L2_MPEG_VIDEO_H264_LEVEL_4_0;
  31138. +
  31139. + vchiq_mmal_port_parameter_set(dev->instance,
  31140. + &dev->component[MMAL_COMPONENT_CAMERA]->
  31141. + output[MMAL_CAMERA_PORT_CAPTURE],
  31142. + MMAL_PARAMETER_NO_IMAGE_PADDING,
  31143. + &bool_true, sizeof(bool_true));
  31144. +
  31145. + /* get the preview component ready */
  31146. + ret = vchiq_mmal_component_init(
  31147. + dev->instance, "ril.video_render",
  31148. + &dev->component[MMAL_COMPONENT_PREVIEW]);
  31149. + if (ret < 0)
  31150. + goto unreg_camera;
  31151. +
  31152. + if (dev->component[MMAL_COMPONENT_PREVIEW]->inputs < 1) {
  31153. + ret = -EINVAL;
  31154. + pr_debug("too few input ports %d needed %d\n",
  31155. + dev->component[MMAL_COMPONENT_PREVIEW]->inputs, 1);
  31156. + goto unreg_preview;
  31157. + }
  31158. +
  31159. + /* get the image encoder component ready */
  31160. + ret = vchiq_mmal_component_init(
  31161. + dev->instance, "ril.image_encode",
  31162. + &dev->component[MMAL_COMPONENT_IMAGE_ENCODE]);
  31163. + if (ret < 0)
  31164. + goto unreg_preview;
  31165. +
  31166. + if (dev->component[MMAL_COMPONENT_IMAGE_ENCODE]->inputs < 1) {
  31167. + ret = -EINVAL;
  31168. + v4l2_err(&dev->v4l2_dev, "too few input ports %d needed %d\n",
  31169. + dev->component[MMAL_COMPONENT_IMAGE_ENCODE]->inputs,
  31170. + 1);
  31171. + goto unreg_image_encoder;
  31172. + }
  31173. +
  31174. + /* get the video encoder component ready */
  31175. + ret = vchiq_mmal_component_init(dev->instance, "ril.video_encode",
  31176. + &dev->
  31177. + component[MMAL_COMPONENT_VIDEO_ENCODE]);
  31178. + if (ret < 0)
  31179. + goto unreg_image_encoder;
  31180. +
  31181. + if (dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->inputs < 1) {
  31182. + ret = -EINVAL;
  31183. + v4l2_err(&dev->v4l2_dev, "too few input ports %d needed %d\n",
  31184. + dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->inputs,
  31185. + 1);
  31186. + goto unreg_vid_encoder;
  31187. + }
  31188. +
  31189. + {
  31190. + struct vchiq_mmal_port *encoder_port =
  31191. + &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0];
  31192. + encoder_port->format.encoding = MMAL_ENCODING_H264;
  31193. + ret = vchiq_mmal_port_set_format(dev->instance,
  31194. + encoder_port);
  31195. + }
  31196. +
  31197. + {
  31198. + unsigned int enable = 1;
  31199. + vchiq_mmal_port_parameter_set(
  31200. + dev->instance,
  31201. + &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->control,
  31202. + MMAL_PARAMETER_VIDEO_IMMUTABLE_INPUT,
  31203. + &enable, sizeof(enable));
  31204. +
  31205. + vchiq_mmal_port_parameter_set(dev->instance,
  31206. + &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->control,
  31207. + MMAL_PARAMETER_MINIMISE_FRAGMENTATION,
  31208. + &enable,
  31209. + sizeof(enable));
  31210. + }
  31211. + ret = bm2835_mmal_set_all_camera_controls(dev);
  31212. + if (ret < 0)
  31213. + goto unreg_vid_encoder;
  31214. +
  31215. + return 0;
  31216. +
  31217. +unreg_vid_encoder:
  31218. + pr_err("Cleanup: Destroy video encoder\n");
  31219. + vchiq_mmal_component_finalise(
  31220. + dev->instance,
  31221. + dev->component[MMAL_COMPONENT_VIDEO_ENCODE]);
  31222. +
  31223. +unreg_image_encoder:
  31224. + pr_err("Cleanup: Destroy image encoder\n");
  31225. + vchiq_mmal_component_finalise(
  31226. + dev->instance,
  31227. + dev->component[MMAL_COMPONENT_IMAGE_ENCODE]);
  31228. +
  31229. +unreg_preview:
  31230. + pr_err("Cleanup: Destroy video render\n");
  31231. + vchiq_mmal_component_finalise(dev->instance,
  31232. + dev->component[MMAL_COMPONENT_PREVIEW]);
  31233. +
  31234. +unreg_camera:
  31235. + pr_err("Cleanup: Destroy camera\n");
  31236. + vchiq_mmal_component_finalise(dev->instance,
  31237. + dev->component[MMAL_COMPONENT_CAMERA]);
  31238. +
  31239. +unreg_mmal:
  31240. + vchiq_mmal_finalise(dev->instance);
  31241. + return ret;
  31242. +}
  31243. +
  31244. +static int __init bm2835_mmal_init_device(struct bm2835_mmal_dev *dev,
  31245. + struct video_device *vfd)
  31246. +{
  31247. + int ret;
  31248. +
  31249. + *vfd = vdev_template;
  31250. + if (gst_v4l2src_is_broken) {
  31251. + v4l2_info(&dev->v4l2_dev,
  31252. + "Work-around for gstreamer issue is active.\n");
  31253. + vfd->ioctl_ops = &camera0_ioctl_ops_gstreamer;
  31254. + }
  31255. +
  31256. + vfd->v4l2_dev = &dev->v4l2_dev;
  31257. +
  31258. + vfd->lock = &dev->mutex;
  31259. +
  31260. + vfd->queue = &dev->capture.vb_vidq;
  31261. +
  31262. + /* video device needs to be able to access instance data */
  31263. + video_set_drvdata(vfd, dev);
  31264. +
  31265. + ret = video_register_device(vfd, VFL_TYPE_GRABBER, -1);
  31266. + if (ret < 0)
  31267. + return ret;
  31268. +
  31269. + v4l2_info(vfd->v4l2_dev,
  31270. + "V4L2 device registered as %s - stills mode > %dx%d\n",
  31271. + video_device_node_name(vfd), max_video_width, max_video_height);
  31272. +
  31273. + return 0;
  31274. +}
  31275. +
  31276. +static struct v4l2_format default_v4l2_format = {
  31277. + .fmt.pix.pixelformat = V4L2_PIX_FMT_JPEG,
  31278. + .fmt.pix.width = 1024,
  31279. + .fmt.pix.bytesperline = 1024,
  31280. + .fmt.pix.height = 768,
  31281. + .fmt.pix.sizeimage = 1024*768,
  31282. +};
  31283. +
  31284. +static int __init bm2835_mmal_init(void)
  31285. +{
  31286. + int ret;
  31287. + struct bm2835_mmal_dev *dev;
  31288. + struct vb2_queue *q;
  31289. +
  31290. + dev = kzalloc(sizeof(*gdev), GFP_KERNEL);
  31291. + if (!dev)
  31292. + return -ENOMEM;
  31293. +
  31294. + /* setup device defaults */
  31295. + dev->overlay.w.left = 150;
  31296. + dev->overlay.w.top = 50;
  31297. + dev->overlay.w.width = 1024;
  31298. + dev->overlay.w.height = 768;
  31299. + dev->overlay.clipcount = 0;
  31300. + dev->overlay.field = V4L2_FIELD_NONE;
  31301. +
  31302. + dev->capture.fmt = &formats[3]; /* JPEG */
  31303. +
  31304. + /* v4l device registration */
  31305. + snprintf(dev->v4l2_dev.name, sizeof(dev->v4l2_dev.name),
  31306. + "%s", BM2835_MMAL_MODULE_NAME);
  31307. + ret = v4l2_device_register(NULL, &dev->v4l2_dev);
  31308. + if (ret)
  31309. + goto free_dev;
  31310. +
  31311. + /* setup v4l controls */
  31312. + ret = bm2835_mmal_init_controls(dev, &dev->ctrl_handler);
  31313. + if (ret < 0)
  31314. + goto unreg_dev;
  31315. + dev->v4l2_dev.ctrl_handler = &dev->ctrl_handler;
  31316. +
  31317. + /* mmal init */
  31318. + ret = mmal_init(dev);
  31319. + if (ret < 0)
  31320. + goto unreg_dev;
  31321. +
  31322. + /* initialize queue */
  31323. + q = &dev->capture.vb_vidq;
  31324. + memset(q, 0, sizeof(*q));
  31325. + q->type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
  31326. + q->io_modes = VB2_MMAP | VB2_USERPTR | VB2_READ;
  31327. + q->drv_priv = dev;
  31328. + q->buf_struct_size = sizeof(struct mmal_buffer);
  31329. + q->ops = &bm2835_mmal_video_qops;
  31330. + q->mem_ops = &vb2_vmalloc_memops;
  31331. + q->timestamp_flags = V4L2_BUF_FLAG_TIMESTAMP_MONOTONIC;
  31332. + ret = vb2_queue_init(q);
  31333. + if (ret < 0)
  31334. + goto unreg_dev;
  31335. +
  31336. + /* v4l2 core mutex used to protect all fops and v4l2 ioctls. */
  31337. + mutex_init(&dev->mutex);
  31338. +
  31339. + /* initialise video devices */
  31340. + ret = bm2835_mmal_init_device(dev, &dev->vdev);
  31341. + if (ret < 0)
  31342. + goto unreg_dev;
  31343. +
  31344. + /* Really want to call vidioc_s_fmt_vid_cap with the default
  31345. + * format, but currently the APIs don't join up.
  31346. + */
  31347. + ret = mmal_setup_components(dev, &default_v4l2_format);
  31348. + if (ret < 0) {
  31349. + v4l2_err(&dev->v4l2_dev,
  31350. + "%s: could not setup components\n", __func__);
  31351. + goto unreg_dev;
  31352. + }
  31353. +
  31354. + v4l2_info(&dev->v4l2_dev,
  31355. + "Broadcom 2835 MMAL video capture ver %s loaded.\n",
  31356. + BM2835_MMAL_VERSION);
  31357. +
  31358. + gdev = dev;
  31359. + return 0;
  31360. +
  31361. +unreg_dev:
  31362. + v4l2_ctrl_handler_free(&dev->ctrl_handler);
  31363. + v4l2_device_unregister(&dev->v4l2_dev);
  31364. +
  31365. +free_dev:
  31366. + kfree(dev);
  31367. +
  31368. + v4l2_err(&dev->v4l2_dev,
  31369. + "%s: error %d while loading driver\n",
  31370. + BM2835_MMAL_MODULE_NAME, ret);
  31371. +
  31372. + return ret;
  31373. +}
  31374. +
  31375. +static void __exit bm2835_mmal_exit(void)
  31376. +{
  31377. + if (!gdev)
  31378. + return;
  31379. +
  31380. + v4l2_info(&gdev->v4l2_dev, "unregistering %s\n",
  31381. + video_device_node_name(&gdev->vdev));
  31382. +
  31383. + video_unregister_device(&gdev->vdev);
  31384. +
  31385. + if (gdev->capture.encode_component) {
  31386. + v4l2_dbg(1, bcm2835_v4l2_debug, &gdev->v4l2_dev,
  31387. + "mmal_exit - disconnect tunnel\n");
  31388. + vchiq_mmal_port_connect_tunnel(gdev->instance,
  31389. + gdev->capture.camera_port, NULL);
  31390. + vchiq_mmal_component_disable(gdev->instance,
  31391. + gdev->capture.encode_component);
  31392. + }
  31393. + vchiq_mmal_component_disable(gdev->instance,
  31394. + gdev->component[MMAL_COMPONENT_CAMERA]);
  31395. +
  31396. + vchiq_mmal_component_finalise(gdev->instance,
  31397. + gdev->
  31398. + component[MMAL_COMPONENT_VIDEO_ENCODE]);
  31399. +
  31400. + vchiq_mmal_component_finalise(gdev->instance,
  31401. + gdev->
  31402. + component[MMAL_COMPONENT_IMAGE_ENCODE]);
  31403. +
  31404. + vchiq_mmal_component_finalise(gdev->instance,
  31405. + gdev->component[MMAL_COMPONENT_PREVIEW]);
  31406. +
  31407. + vchiq_mmal_component_finalise(gdev->instance,
  31408. + gdev->component[MMAL_COMPONENT_CAMERA]);
  31409. +
  31410. + vchiq_mmal_finalise(gdev->instance);
  31411. +
  31412. + v4l2_ctrl_handler_free(&gdev->ctrl_handler);
  31413. +
  31414. + v4l2_device_unregister(&gdev->v4l2_dev);
  31415. +
  31416. + kfree(gdev);
  31417. +}
  31418. +
  31419. +module_init(bm2835_mmal_init);
  31420. +module_exit(bm2835_mmal_exit);
  31421. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/bcm2835-camera.h linux-rpi/drivers/media/platform/bcm2835/bcm2835-camera.h
  31422. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/bcm2835-camera.h 1970-01-01 01:00:00.000000000 +0100
  31423. +++ linux-rpi/drivers/media/platform/bcm2835/bcm2835-camera.h 2015-11-29 09:42:37.835237156 +0100
  31424. @@ -0,0 +1,126 @@
  31425. +/*
  31426. + * Broadcom BM2835 V4L2 driver
  31427. + *
  31428. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  31429. + *
  31430. + * This file is subject to the terms and conditions of the GNU General Public
  31431. + * License. See the file COPYING in the main directory of this archive
  31432. + * for more details.
  31433. + *
  31434. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  31435. + * Dave Stevenson <dsteve@broadcom.com>
  31436. + * Simon Mellor <simellor@broadcom.com>
  31437. + * Luke Diamand <luked@broadcom.com>
  31438. + *
  31439. + * core driver device
  31440. + */
  31441. +
  31442. +#define V4L2_CTRL_COUNT 28 /* number of v4l controls */
  31443. +
  31444. +enum {
  31445. + MMAL_COMPONENT_CAMERA = 0,
  31446. + MMAL_COMPONENT_PREVIEW,
  31447. + MMAL_COMPONENT_IMAGE_ENCODE,
  31448. + MMAL_COMPONENT_VIDEO_ENCODE,
  31449. + MMAL_COMPONENT_COUNT
  31450. +};
  31451. +
  31452. +enum {
  31453. + MMAL_CAMERA_PORT_PREVIEW = 0,
  31454. + MMAL_CAMERA_PORT_VIDEO,
  31455. + MMAL_CAMERA_PORT_CAPTURE,
  31456. + MMAL_CAMERA_PORT_COUNT
  31457. +};
  31458. +
  31459. +#define PREVIEW_LAYER 2
  31460. +
  31461. +extern int bcm2835_v4l2_debug;
  31462. +
  31463. +struct bm2835_mmal_dev {
  31464. + /* v4l2 devices */
  31465. + struct v4l2_device v4l2_dev;
  31466. + struct video_device vdev;
  31467. + struct mutex mutex;
  31468. +
  31469. + /* controls */
  31470. + struct v4l2_ctrl_handler ctrl_handler;
  31471. + struct v4l2_ctrl *ctrls[V4L2_CTRL_COUNT];
  31472. + enum v4l2_scene_mode scene_mode;
  31473. + struct mmal_colourfx colourfx;
  31474. + int hflip;
  31475. + int vflip;
  31476. + int red_gain;
  31477. + int blue_gain;
  31478. + enum mmal_parameter_exposuremode exposure_mode_user;
  31479. + enum v4l2_exposure_auto_type exposure_mode_v4l2_user;
  31480. + /* active exposure mode may differ if selected via a scene mode */
  31481. + enum mmal_parameter_exposuremode exposure_mode_active;
  31482. + enum mmal_parameter_exposuremeteringmode metering_mode;
  31483. + unsigned int manual_shutter_speed;
  31484. + bool exp_auto_priority;
  31485. +
  31486. + /* allocated mmal instance and components */
  31487. + struct vchiq_mmal_instance *instance;
  31488. + struct vchiq_mmal_component *component[MMAL_COMPONENT_COUNT];
  31489. + int camera_use_count;
  31490. +
  31491. + struct v4l2_window overlay;
  31492. +
  31493. + struct {
  31494. + unsigned int width; /* width */
  31495. + unsigned int height; /* height */
  31496. + unsigned int stride; /* stride */
  31497. + unsigned int buffersize; /* buffer size with padding */
  31498. + struct mmal_fmt *fmt;
  31499. + struct v4l2_fract timeperframe;
  31500. +
  31501. + /* H264 encode bitrate */
  31502. + int encode_bitrate;
  31503. + /* H264 bitrate mode. CBR/VBR */
  31504. + int encode_bitrate_mode;
  31505. + /* H264 profile */
  31506. + enum v4l2_mpeg_video_h264_profile enc_profile;
  31507. + /* H264 level */
  31508. + enum v4l2_mpeg_video_h264_level enc_level;
  31509. + /* JPEG Q-factor */
  31510. + int q_factor;
  31511. +
  31512. + struct vb2_queue vb_vidq;
  31513. +
  31514. + /* VC start timestamp for streaming */
  31515. + s64 vc_start_timestamp;
  31516. + /* Kernel start timestamp for streaming */
  31517. + struct timeval kernel_start_ts;
  31518. +
  31519. + struct vchiq_mmal_port *port; /* port being used for capture */
  31520. + /* camera port being used for capture */
  31521. + struct vchiq_mmal_port *camera_port;
  31522. + /* component being used for encode */
  31523. + struct vchiq_mmal_component *encode_component;
  31524. + /* number of frames remaining which driver should capture */
  31525. + unsigned int frame_count;
  31526. + /* last frame completion */
  31527. + struct completion frame_cmplt;
  31528. +
  31529. + } capture;
  31530. +
  31531. +};
  31532. +
  31533. +int bm2835_mmal_init_controls(
  31534. + struct bm2835_mmal_dev *dev,
  31535. + struct v4l2_ctrl_handler *hdl);
  31536. +
  31537. +int bm2835_mmal_set_all_camera_controls(struct bm2835_mmal_dev *dev);
  31538. +int set_framerate_params(struct bm2835_mmal_dev *dev);
  31539. +
  31540. +/* Debug helpers */
  31541. +
  31542. +#define v4l2_dump_pix_format(level, debug, dev, pix_fmt, desc) \
  31543. +{ \
  31544. + v4l2_dbg(level, debug, dev, \
  31545. +"%s: w %u h %u field %u pfmt 0x%x bpl %u sz_img %u colorspace 0x%x priv %u\n", \
  31546. + desc == NULL ? "" : desc, \
  31547. + (pix_fmt)->width, (pix_fmt)->height, (pix_fmt)->field, \
  31548. + (pix_fmt)->pixelformat, (pix_fmt)->bytesperline, \
  31549. + (pix_fmt)->sizeimage, (pix_fmt)->colorspace, (pix_fmt)->priv); \
  31550. +}
  31551. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/controls.c linux-rpi/drivers/media/platform/bcm2835/controls.c
  31552. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/controls.c 1970-01-01 01:00:00.000000000 +0100
  31553. +++ linux-rpi/drivers/media/platform/bcm2835/controls.c 2015-11-29 09:42:37.835237156 +0100
  31554. @@ -0,0 +1,1324 @@
  31555. +/*
  31556. + * Broadcom BM2835 V4L2 driver
  31557. + *
  31558. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  31559. + *
  31560. + * This file is subject to the terms and conditions of the GNU General Public
  31561. + * License. See the file COPYING in the main directory of this archive
  31562. + * for more details.
  31563. + *
  31564. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  31565. + * Dave Stevenson <dsteve@broadcom.com>
  31566. + * Simon Mellor <simellor@broadcom.com>
  31567. + * Luke Diamand <luked@broadcom.com>
  31568. + */
  31569. +
  31570. +#include <linux/errno.h>
  31571. +#include <linux/kernel.h>
  31572. +#include <linux/module.h>
  31573. +#include <linux/slab.h>
  31574. +#include <media/videobuf2-vmalloc.h>
  31575. +#include <media/v4l2-device.h>
  31576. +#include <media/v4l2-ioctl.h>
  31577. +#include <media/v4l2-ctrls.h>
  31578. +#include <media/v4l2-fh.h>
  31579. +#include <media/v4l2-event.h>
  31580. +#include <media/v4l2-common.h>
  31581. +
  31582. +#include "mmal-common.h"
  31583. +#include "mmal-vchiq.h"
  31584. +#include "mmal-parameters.h"
  31585. +#include "bcm2835-camera.h"
  31586. +
  31587. +/* The supported V4L2_CID_AUTO_EXPOSURE_BIAS values are from -4.0 to +4.0.
  31588. + * MMAL values are in 1/6th increments so the MMAL range is -24 to +24.
  31589. + * V4L2 docs say value "is expressed in terms of EV, drivers should interpret
  31590. + * the values as 0.001 EV units, where the value 1000 stands for +1 EV."
  31591. + * V4L2 is limited to a max of 32 values in a menu, so count in 1/3rds from
  31592. + * -4 to +4
  31593. + */
  31594. +static const s64 ev_bias_qmenu[] = {
  31595. + -4000, -3667, -3333,
  31596. + -3000, -2667, -2333,
  31597. + -2000, -1667, -1333,
  31598. + -1000, -667, -333,
  31599. + 0, 333, 667,
  31600. + 1000, 1333, 1667,
  31601. + 2000, 2333, 2667,
  31602. + 3000, 3333, 3667,
  31603. + 4000
  31604. +};
  31605. +
  31606. +/* Supported ISO values
  31607. + * ISOO = auto ISO
  31608. + */
  31609. +static const s64 iso_qmenu[] = {
  31610. + 0, 100, 200, 400, 800,
  31611. +};
  31612. +
  31613. +static const s64 mains_freq_qmenu[] = {
  31614. + V4L2_CID_POWER_LINE_FREQUENCY_DISABLED,
  31615. + V4L2_CID_POWER_LINE_FREQUENCY_50HZ,
  31616. + V4L2_CID_POWER_LINE_FREQUENCY_60HZ,
  31617. + V4L2_CID_POWER_LINE_FREQUENCY_AUTO
  31618. +};
  31619. +
  31620. +/* Supported video encode modes */
  31621. +static const s64 bitrate_mode_qmenu[] = {
  31622. + (s64)V4L2_MPEG_VIDEO_BITRATE_MODE_VBR,
  31623. + (s64)V4L2_MPEG_VIDEO_BITRATE_MODE_CBR,
  31624. +};
  31625. +
  31626. +enum bm2835_mmal_ctrl_type {
  31627. + MMAL_CONTROL_TYPE_STD,
  31628. + MMAL_CONTROL_TYPE_STD_MENU,
  31629. + MMAL_CONTROL_TYPE_INT_MENU,
  31630. + MMAL_CONTROL_TYPE_CLUSTER, /* special cluster entry */
  31631. +};
  31632. +
  31633. +struct bm2835_mmal_v4l2_ctrl;
  31634. +
  31635. +typedef int(bm2835_mmal_v4l2_ctrl_cb)(
  31636. + struct bm2835_mmal_dev *dev,
  31637. + struct v4l2_ctrl *ctrl,
  31638. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl);
  31639. +
  31640. +struct bm2835_mmal_v4l2_ctrl {
  31641. + u32 id; /* v4l2 control identifier */
  31642. + enum bm2835_mmal_ctrl_type type;
  31643. + /* control minimum value or
  31644. + * mask for MMAL_CONTROL_TYPE_STD_MENU */
  31645. + s32 min;
  31646. + s32 max; /* maximum value of control */
  31647. + s32 def; /* default value of control */
  31648. + s32 step; /* step size of the control */
  31649. + const s64 *imenu; /* integer menu array */
  31650. + u32 mmal_id; /* mmal parameter id */
  31651. + bm2835_mmal_v4l2_ctrl_cb *setter;
  31652. + bool ignore_errors;
  31653. +};
  31654. +
  31655. +struct v4l2_to_mmal_effects_setting {
  31656. + u32 v4l2_effect;
  31657. + u32 mmal_effect;
  31658. + s32 col_fx_enable;
  31659. + s32 col_fx_fixed_cbcr;
  31660. + u32 u;
  31661. + u32 v;
  31662. + u32 num_effect_params;
  31663. + u32 effect_params[MMAL_MAX_IMAGEFX_PARAMETERS];
  31664. +};
  31665. +
  31666. +static const struct v4l2_to_mmal_effects_setting
  31667. + v4l2_to_mmal_effects_values[] = {
  31668. + { V4L2_COLORFX_NONE, MMAL_PARAM_IMAGEFX_NONE,
  31669. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31670. + { V4L2_COLORFX_BW, MMAL_PARAM_IMAGEFX_NONE,
  31671. + 1, 0, 128, 128, 0, {0, 0, 0, 0, 0} },
  31672. + { V4L2_COLORFX_SEPIA, MMAL_PARAM_IMAGEFX_NONE,
  31673. + 1, 0, 87, 151, 0, {0, 0, 0, 0, 0} },
  31674. + { V4L2_COLORFX_NEGATIVE, MMAL_PARAM_IMAGEFX_NEGATIVE,
  31675. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31676. + { V4L2_COLORFX_EMBOSS, MMAL_PARAM_IMAGEFX_EMBOSS,
  31677. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31678. + { V4L2_COLORFX_SKETCH, MMAL_PARAM_IMAGEFX_SKETCH,
  31679. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31680. + { V4L2_COLORFX_SKY_BLUE, MMAL_PARAM_IMAGEFX_PASTEL,
  31681. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31682. + { V4L2_COLORFX_GRASS_GREEN, MMAL_PARAM_IMAGEFX_WATERCOLOUR,
  31683. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31684. + { V4L2_COLORFX_SKIN_WHITEN, MMAL_PARAM_IMAGEFX_WASHEDOUT,
  31685. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31686. + { V4L2_COLORFX_VIVID, MMAL_PARAM_IMAGEFX_SATURATION,
  31687. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31688. + { V4L2_COLORFX_AQUA, MMAL_PARAM_IMAGEFX_NONE,
  31689. + 1, 0, 171, 121, 0, {0, 0, 0, 0, 0} },
  31690. + { V4L2_COLORFX_ART_FREEZE, MMAL_PARAM_IMAGEFX_HATCH,
  31691. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31692. + { V4L2_COLORFX_SILHOUETTE, MMAL_PARAM_IMAGEFX_FILM,
  31693. + 0, 0, 0, 0, 0, {0, 0, 0, 0, 0} },
  31694. + { V4L2_COLORFX_SOLARIZATION, MMAL_PARAM_IMAGEFX_SOLARIZE,
  31695. + 0, 0, 0, 0, 5, {1, 128, 160, 160, 48} },
  31696. + { V4L2_COLORFX_ANTIQUE, MMAL_PARAM_IMAGEFX_COLOURBALANCE,
  31697. + 0, 0, 0, 0, 3, {108, 274, 238, 0, 0} },
  31698. + { V4L2_COLORFX_SET_CBCR, MMAL_PARAM_IMAGEFX_NONE,
  31699. + 1, 1, 0, 0, 0, {0, 0, 0, 0, 0} }
  31700. +};
  31701. +
  31702. +struct v4l2_mmal_scene_config {
  31703. + enum v4l2_scene_mode v4l2_scene;
  31704. + enum mmal_parameter_exposuremode exposure_mode;
  31705. + enum mmal_parameter_exposuremeteringmode metering_mode;
  31706. +};
  31707. +
  31708. +static const struct v4l2_mmal_scene_config scene_configs[] = {
  31709. + /* V4L2_SCENE_MODE_NONE automatically added */
  31710. + {
  31711. + V4L2_SCENE_MODE_NIGHT,
  31712. + MMAL_PARAM_EXPOSUREMODE_NIGHT,
  31713. + MMAL_PARAM_EXPOSUREMETERINGMODE_AVERAGE
  31714. + },
  31715. + {
  31716. + V4L2_SCENE_MODE_SPORTS,
  31717. + MMAL_PARAM_EXPOSUREMODE_SPORTS,
  31718. + MMAL_PARAM_EXPOSUREMETERINGMODE_AVERAGE
  31719. + },
  31720. +};
  31721. +
  31722. +/* control handlers*/
  31723. +
  31724. +static int ctrl_set_rational(struct bm2835_mmal_dev *dev,
  31725. + struct v4l2_ctrl *ctrl,
  31726. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31727. +{
  31728. + struct mmal_parameter_rational rational_value;
  31729. + struct vchiq_mmal_port *control;
  31730. +
  31731. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31732. +
  31733. + rational_value.num = ctrl->val;
  31734. + rational_value.den = 100;
  31735. +
  31736. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31737. + mmal_ctrl->mmal_id,
  31738. + &rational_value,
  31739. + sizeof(rational_value));
  31740. +}
  31741. +
  31742. +static int ctrl_set_value(struct bm2835_mmal_dev *dev,
  31743. + struct v4l2_ctrl *ctrl,
  31744. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31745. +{
  31746. + u32 u32_value;
  31747. + struct vchiq_mmal_port *control;
  31748. +
  31749. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31750. +
  31751. + u32_value = ctrl->val;
  31752. +
  31753. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31754. + mmal_ctrl->mmal_id,
  31755. + &u32_value, sizeof(u32_value));
  31756. +}
  31757. +
  31758. +static int ctrl_set_value_menu(struct bm2835_mmal_dev *dev,
  31759. + struct v4l2_ctrl *ctrl,
  31760. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31761. +{
  31762. + u32 u32_value;
  31763. + struct vchiq_mmal_port *control;
  31764. +
  31765. + if (ctrl->val > mmal_ctrl->max || ctrl->val < mmal_ctrl->min)
  31766. + return 1;
  31767. +
  31768. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31769. +
  31770. + u32_value = mmal_ctrl->imenu[ctrl->val];
  31771. +
  31772. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31773. + mmal_ctrl->mmal_id,
  31774. + &u32_value, sizeof(u32_value));
  31775. +}
  31776. +
  31777. +static int ctrl_set_value_ev(struct bm2835_mmal_dev *dev,
  31778. + struct v4l2_ctrl *ctrl,
  31779. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31780. +{
  31781. + s32 s32_value;
  31782. + struct vchiq_mmal_port *control;
  31783. +
  31784. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31785. +
  31786. + s32_value = (ctrl->val-12)*2; /* Convert from index to 1/6ths */
  31787. +
  31788. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31789. + mmal_ctrl->mmal_id,
  31790. + &s32_value, sizeof(s32_value));
  31791. +}
  31792. +
  31793. +static int ctrl_set_rotate(struct bm2835_mmal_dev *dev,
  31794. + struct v4l2_ctrl *ctrl,
  31795. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31796. +{
  31797. + int ret;
  31798. + u32 u32_value;
  31799. + struct vchiq_mmal_component *camera;
  31800. +
  31801. + camera = dev->component[MMAL_COMPONENT_CAMERA];
  31802. +
  31803. + u32_value = ((ctrl->val % 360) / 90) * 90;
  31804. +
  31805. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[0],
  31806. + mmal_ctrl->mmal_id,
  31807. + &u32_value, sizeof(u32_value));
  31808. + if (ret < 0)
  31809. + return ret;
  31810. +
  31811. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[1],
  31812. + mmal_ctrl->mmal_id,
  31813. + &u32_value, sizeof(u32_value));
  31814. + if (ret < 0)
  31815. + return ret;
  31816. +
  31817. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[2],
  31818. + mmal_ctrl->mmal_id,
  31819. + &u32_value, sizeof(u32_value));
  31820. +
  31821. + return ret;
  31822. +}
  31823. +
  31824. +static int ctrl_set_flip(struct bm2835_mmal_dev *dev,
  31825. + struct v4l2_ctrl *ctrl,
  31826. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31827. +{
  31828. + int ret;
  31829. + u32 u32_value;
  31830. + struct vchiq_mmal_component *camera;
  31831. +
  31832. + if (ctrl->id == V4L2_CID_HFLIP)
  31833. + dev->hflip = ctrl->val;
  31834. + else
  31835. + dev->vflip = ctrl->val;
  31836. +
  31837. + camera = dev->component[MMAL_COMPONENT_CAMERA];
  31838. +
  31839. + if (dev->hflip && dev->vflip)
  31840. + u32_value = MMAL_PARAM_MIRROR_BOTH;
  31841. + else if (dev->hflip)
  31842. + u32_value = MMAL_PARAM_MIRROR_HORIZONTAL;
  31843. + else if (dev->vflip)
  31844. + u32_value = MMAL_PARAM_MIRROR_VERTICAL;
  31845. + else
  31846. + u32_value = MMAL_PARAM_MIRROR_NONE;
  31847. +
  31848. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[0],
  31849. + mmal_ctrl->mmal_id,
  31850. + &u32_value, sizeof(u32_value));
  31851. + if (ret < 0)
  31852. + return ret;
  31853. +
  31854. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[1],
  31855. + mmal_ctrl->mmal_id,
  31856. + &u32_value, sizeof(u32_value));
  31857. + if (ret < 0)
  31858. + return ret;
  31859. +
  31860. + ret = vchiq_mmal_port_parameter_set(dev->instance, &camera->output[2],
  31861. + mmal_ctrl->mmal_id,
  31862. + &u32_value, sizeof(u32_value));
  31863. +
  31864. + return ret;
  31865. +
  31866. +}
  31867. +
  31868. +static int ctrl_set_exposure(struct bm2835_mmal_dev *dev,
  31869. + struct v4l2_ctrl *ctrl,
  31870. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31871. +{
  31872. + enum mmal_parameter_exposuremode exp_mode = dev->exposure_mode_user;
  31873. + u32 shutter_speed = 0;
  31874. + struct vchiq_mmal_port *control;
  31875. + int ret = 0;
  31876. +
  31877. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31878. +
  31879. + if (mmal_ctrl->mmal_id == MMAL_PARAMETER_SHUTTER_SPEED) {
  31880. + /* V4L2 is in 100usec increments.
  31881. + * MMAL is 1usec.
  31882. + */
  31883. + dev->manual_shutter_speed = ctrl->val * 100;
  31884. + } else if (mmal_ctrl->mmal_id == MMAL_PARAMETER_EXPOSURE_MODE) {
  31885. + switch (ctrl->val) {
  31886. + case V4L2_EXPOSURE_AUTO:
  31887. + exp_mode = MMAL_PARAM_EXPOSUREMODE_AUTO;
  31888. + break;
  31889. +
  31890. + case V4L2_EXPOSURE_MANUAL:
  31891. + exp_mode = MMAL_PARAM_EXPOSUREMODE_OFF;
  31892. + break;
  31893. + }
  31894. + dev->exposure_mode_user = exp_mode;
  31895. + dev->exposure_mode_v4l2_user = ctrl->val;
  31896. + } else if (mmal_ctrl->id == V4L2_CID_EXPOSURE_AUTO_PRIORITY) {
  31897. + dev->exp_auto_priority = ctrl->val;
  31898. + }
  31899. +
  31900. + if (dev->scene_mode == V4L2_SCENE_MODE_NONE) {
  31901. + if (exp_mode == MMAL_PARAM_EXPOSUREMODE_OFF)
  31902. + shutter_speed = dev->manual_shutter_speed;
  31903. +
  31904. + ret = vchiq_mmal_port_parameter_set(dev->instance,
  31905. + control,
  31906. + MMAL_PARAMETER_SHUTTER_SPEED,
  31907. + &shutter_speed,
  31908. + sizeof(shutter_speed));
  31909. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  31910. + control,
  31911. + MMAL_PARAMETER_EXPOSURE_MODE,
  31912. + &exp_mode,
  31913. + sizeof(u32));
  31914. + dev->exposure_mode_active = exp_mode;
  31915. + }
  31916. + /* exposure_dynamic_framerate (V4L2_CID_EXPOSURE_AUTO_PRIORITY) should
  31917. + * always apply irrespective of scene mode.
  31918. + */
  31919. + ret += set_framerate_params(dev);
  31920. +
  31921. + return ret;
  31922. +}
  31923. +
  31924. +static int ctrl_set_metering_mode(struct bm2835_mmal_dev *dev,
  31925. + struct v4l2_ctrl *ctrl,
  31926. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31927. +{
  31928. + switch (ctrl->val) {
  31929. + case V4L2_EXPOSURE_METERING_AVERAGE:
  31930. + dev->metering_mode = MMAL_PARAM_EXPOSUREMETERINGMODE_AVERAGE;
  31931. + break;
  31932. +
  31933. + case V4L2_EXPOSURE_METERING_CENTER_WEIGHTED:
  31934. + dev->metering_mode = MMAL_PARAM_EXPOSUREMETERINGMODE_BACKLIT;
  31935. + break;
  31936. +
  31937. + case V4L2_EXPOSURE_METERING_SPOT:
  31938. + dev->metering_mode = MMAL_PARAM_EXPOSUREMETERINGMODE_SPOT;
  31939. + break;
  31940. +
  31941. + /* todo matrix weighting not added to Linux API till 3.9
  31942. + case V4L2_EXPOSURE_METERING_MATRIX:
  31943. + dev->metering_mode = MMAL_PARAM_EXPOSUREMETERINGMODE_MATRIX;
  31944. + break;
  31945. + */
  31946. +
  31947. + }
  31948. +
  31949. + if (dev->scene_mode == V4L2_SCENE_MODE_NONE) {
  31950. + struct vchiq_mmal_port *control;
  31951. + u32 u32_value = dev->metering_mode;
  31952. +
  31953. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31954. +
  31955. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31956. + mmal_ctrl->mmal_id,
  31957. + &u32_value, sizeof(u32_value));
  31958. + } else
  31959. + return 0;
  31960. +}
  31961. +
  31962. +static int ctrl_set_flicker_avoidance(struct bm2835_mmal_dev *dev,
  31963. + struct v4l2_ctrl *ctrl,
  31964. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31965. +{
  31966. + u32 u32_value;
  31967. + struct vchiq_mmal_port *control;
  31968. +
  31969. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31970. +
  31971. + switch (ctrl->val) {
  31972. + case V4L2_CID_POWER_LINE_FREQUENCY_DISABLED:
  31973. + u32_value = MMAL_PARAM_FLICKERAVOID_OFF;
  31974. + break;
  31975. + case V4L2_CID_POWER_LINE_FREQUENCY_50HZ:
  31976. + u32_value = MMAL_PARAM_FLICKERAVOID_50HZ;
  31977. + break;
  31978. + case V4L2_CID_POWER_LINE_FREQUENCY_60HZ:
  31979. + u32_value = MMAL_PARAM_FLICKERAVOID_60HZ;
  31980. + break;
  31981. + case V4L2_CID_POWER_LINE_FREQUENCY_AUTO:
  31982. + u32_value = MMAL_PARAM_FLICKERAVOID_AUTO;
  31983. + break;
  31984. + }
  31985. +
  31986. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  31987. + mmal_ctrl->mmal_id,
  31988. + &u32_value, sizeof(u32_value));
  31989. +}
  31990. +
  31991. +static int ctrl_set_awb_mode(struct bm2835_mmal_dev *dev,
  31992. + struct v4l2_ctrl *ctrl,
  31993. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  31994. +{
  31995. + u32 u32_value;
  31996. + struct vchiq_mmal_port *control;
  31997. +
  31998. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  31999. +
  32000. + switch (ctrl->val) {
  32001. + case V4L2_WHITE_BALANCE_MANUAL:
  32002. + u32_value = MMAL_PARAM_AWBMODE_OFF;
  32003. + break;
  32004. +
  32005. + case V4L2_WHITE_BALANCE_AUTO:
  32006. + u32_value = MMAL_PARAM_AWBMODE_AUTO;
  32007. + break;
  32008. +
  32009. + case V4L2_WHITE_BALANCE_INCANDESCENT:
  32010. + u32_value = MMAL_PARAM_AWBMODE_INCANDESCENT;
  32011. + break;
  32012. +
  32013. + case V4L2_WHITE_BALANCE_FLUORESCENT:
  32014. + u32_value = MMAL_PARAM_AWBMODE_FLUORESCENT;
  32015. + break;
  32016. +
  32017. + case V4L2_WHITE_BALANCE_FLUORESCENT_H:
  32018. + u32_value = MMAL_PARAM_AWBMODE_TUNGSTEN;
  32019. + break;
  32020. +
  32021. + case V4L2_WHITE_BALANCE_HORIZON:
  32022. + u32_value = MMAL_PARAM_AWBMODE_HORIZON;
  32023. + break;
  32024. +
  32025. + case V4L2_WHITE_BALANCE_DAYLIGHT:
  32026. + u32_value = MMAL_PARAM_AWBMODE_SUNLIGHT;
  32027. + break;
  32028. +
  32029. + case V4L2_WHITE_BALANCE_FLASH:
  32030. + u32_value = MMAL_PARAM_AWBMODE_FLASH;
  32031. + break;
  32032. +
  32033. + case V4L2_WHITE_BALANCE_CLOUDY:
  32034. + u32_value = MMAL_PARAM_AWBMODE_CLOUDY;
  32035. + break;
  32036. +
  32037. + case V4L2_WHITE_BALANCE_SHADE:
  32038. + u32_value = MMAL_PARAM_AWBMODE_SHADE;
  32039. + break;
  32040. +
  32041. + }
  32042. +
  32043. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  32044. + mmal_ctrl->mmal_id,
  32045. + &u32_value, sizeof(u32_value));
  32046. +}
  32047. +
  32048. +static int ctrl_set_awb_gains(struct bm2835_mmal_dev *dev,
  32049. + struct v4l2_ctrl *ctrl,
  32050. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32051. +{
  32052. + struct vchiq_mmal_port *control;
  32053. + struct mmal_parameter_awbgains gains;
  32054. +
  32055. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  32056. +
  32057. + if (ctrl->id == V4L2_CID_RED_BALANCE)
  32058. + dev->red_gain = ctrl->val;
  32059. + else if (ctrl->id == V4L2_CID_BLUE_BALANCE)
  32060. + dev->blue_gain = ctrl->val;
  32061. +
  32062. + gains.r_gain.num = dev->red_gain;
  32063. + gains.b_gain.num = dev->blue_gain;
  32064. + gains.r_gain.den = gains.b_gain.den = 1000;
  32065. +
  32066. + return vchiq_mmal_port_parameter_set(dev->instance, control,
  32067. + mmal_ctrl->mmal_id,
  32068. + &gains, sizeof(gains));
  32069. +}
  32070. +
  32071. +static int ctrl_set_image_effect(struct bm2835_mmal_dev *dev,
  32072. + struct v4l2_ctrl *ctrl,
  32073. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32074. +{
  32075. + int ret = -EINVAL;
  32076. + int i, j;
  32077. + struct vchiq_mmal_port *control;
  32078. + struct mmal_parameter_imagefx_parameters imagefx;
  32079. +
  32080. + for (i = 0; i < ARRAY_SIZE(v4l2_to_mmal_effects_values); i++) {
  32081. + if (ctrl->val == v4l2_to_mmal_effects_values[i].v4l2_effect) {
  32082. +
  32083. + imagefx.effect =
  32084. + v4l2_to_mmal_effects_values[i].mmal_effect;
  32085. + imagefx.num_effect_params =
  32086. + v4l2_to_mmal_effects_values[i].num_effect_params;
  32087. +
  32088. + if (imagefx.num_effect_params > MMAL_MAX_IMAGEFX_PARAMETERS)
  32089. + imagefx.num_effect_params = MMAL_MAX_IMAGEFX_PARAMETERS;
  32090. +
  32091. + for (j = 0; j < imagefx.num_effect_params; j++)
  32092. + imagefx.effect_parameter[j] =
  32093. + v4l2_to_mmal_effects_values[i].effect_params[j];
  32094. +
  32095. + dev->colourfx.enable =
  32096. + v4l2_to_mmal_effects_values[i].col_fx_enable;
  32097. + if (!v4l2_to_mmal_effects_values[i].col_fx_fixed_cbcr) {
  32098. + dev->colourfx.u =
  32099. + v4l2_to_mmal_effects_values[i].u;
  32100. + dev->colourfx.v =
  32101. + v4l2_to_mmal_effects_values[i].v;
  32102. + }
  32103. +
  32104. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  32105. +
  32106. + ret = vchiq_mmal_port_parameter_set(
  32107. + dev->instance, control,
  32108. + MMAL_PARAMETER_IMAGE_EFFECT_PARAMETERS,
  32109. + &imagefx, sizeof(imagefx));
  32110. + if (ret)
  32111. + goto exit;
  32112. +
  32113. + ret = vchiq_mmal_port_parameter_set(
  32114. + dev->instance, control,
  32115. + MMAL_PARAMETER_COLOUR_EFFECT,
  32116. + &dev->colourfx, sizeof(dev->colourfx));
  32117. + }
  32118. + }
  32119. +
  32120. +exit:
  32121. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32122. + "mmal_ctrl:%p ctrl id:0x%x ctrl val:%d imagefx:0x%x color_effect:%s u:%d v:%d ret %d(%d)\n",
  32123. + mmal_ctrl, ctrl->id, ctrl->val, imagefx.effect,
  32124. + dev->colourfx.enable ? "true" : "false",
  32125. + dev->colourfx.u, dev->colourfx.v,
  32126. + ret, (ret == 0 ? 0 : -EINVAL));
  32127. + return (ret == 0 ? 0 : EINVAL);
  32128. +}
  32129. +
  32130. +static int ctrl_set_colfx(struct bm2835_mmal_dev *dev,
  32131. + struct v4l2_ctrl *ctrl,
  32132. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32133. +{
  32134. + int ret = -EINVAL;
  32135. + struct vchiq_mmal_port *control;
  32136. +
  32137. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  32138. +
  32139. + dev->colourfx.enable = (ctrl->val & 0xff00) >> 8;
  32140. + dev->colourfx.enable = ctrl->val & 0xff;
  32141. +
  32142. + ret = vchiq_mmal_port_parameter_set(dev->instance, control,
  32143. + MMAL_PARAMETER_COLOUR_EFFECT,
  32144. + &dev->colourfx, sizeof(dev->colourfx));
  32145. +
  32146. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32147. + "%s: After: mmal_ctrl:%p ctrl id:0x%x ctrl val:%d ret %d(%d)\n",
  32148. + __func__, mmal_ctrl, ctrl->id, ctrl->val, ret,
  32149. + (ret == 0 ? 0 : -EINVAL));
  32150. + return (ret == 0 ? 0 : EINVAL);
  32151. +}
  32152. +
  32153. +static int ctrl_set_bitrate(struct bm2835_mmal_dev *dev,
  32154. + struct v4l2_ctrl *ctrl,
  32155. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32156. +{
  32157. + int ret;
  32158. + struct vchiq_mmal_port *encoder_out;
  32159. +
  32160. + dev->capture.encode_bitrate = ctrl->val;
  32161. +
  32162. + encoder_out = &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0];
  32163. +
  32164. + ret = vchiq_mmal_port_parameter_set(dev->instance, encoder_out,
  32165. + mmal_ctrl->mmal_id,
  32166. + &ctrl->val, sizeof(ctrl->val));
  32167. + ret = 0;
  32168. + return ret;
  32169. +}
  32170. +
  32171. +static int ctrl_set_bitrate_mode(struct bm2835_mmal_dev *dev,
  32172. + struct v4l2_ctrl *ctrl,
  32173. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32174. +{
  32175. + u32 bitrate_mode;
  32176. + struct vchiq_mmal_port *encoder_out;
  32177. +
  32178. + encoder_out = &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0];
  32179. +
  32180. + dev->capture.encode_bitrate_mode = ctrl->val;
  32181. + switch (ctrl->val) {
  32182. + default:
  32183. + case V4L2_MPEG_VIDEO_BITRATE_MODE_VBR:
  32184. + bitrate_mode = MMAL_VIDEO_RATECONTROL_VARIABLE;
  32185. + break;
  32186. + case V4L2_MPEG_VIDEO_BITRATE_MODE_CBR:
  32187. + bitrate_mode = MMAL_VIDEO_RATECONTROL_CONSTANT;
  32188. + break;
  32189. + }
  32190. +
  32191. + vchiq_mmal_port_parameter_set(dev->instance, encoder_out,
  32192. + mmal_ctrl->mmal_id,
  32193. + &bitrate_mode,
  32194. + sizeof(bitrate_mode));
  32195. + return 0;
  32196. +}
  32197. +
  32198. +static int ctrl_set_image_encode_output(struct bm2835_mmal_dev *dev,
  32199. + struct v4l2_ctrl *ctrl,
  32200. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32201. +{
  32202. + u32 u32_value;
  32203. + struct vchiq_mmal_port *jpeg_out;
  32204. +
  32205. + jpeg_out = &dev->component[MMAL_COMPONENT_IMAGE_ENCODE]->output[0];
  32206. +
  32207. + u32_value = ctrl->val;
  32208. +
  32209. + return vchiq_mmal_port_parameter_set(dev->instance, jpeg_out,
  32210. + mmal_ctrl->mmal_id,
  32211. + &u32_value, sizeof(u32_value));
  32212. +}
  32213. +
  32214. +static int ctrl_set_video_encode_param_output(struct bm2835_mmal_dev *dev,
  32215. + struct v4l2_ctrl *ctrl,
  32216. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32217. +{
  32218. + u32 u32_value;
  32219. + struct vchiq_mmal_port *vid_enc_ctl;
  32220. +
  32221. + vid_enc_ctl = &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0];
  32222. +
  32223. + u32_value = ctrl->val;
  32224. +
  32225. + return vchiq_mmal_port_parameter_set(dev->instance, vid_enc_ctl,
  32226. + mmal_ctrl->mmal_id,
  32227. + &u32_value, sizeof(u32_value));
  32228. +}
  32229. +
  32230. +static int ctrl_set_video_encode_profile_level(struct bm2835_mmal_dev *dev,
  32231. + struct v4l2_ctrl *ctrl,
  32232. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32233. +{
  32234. + struct mmal_parameter_video_profile param;
  32235. + int ret = 0;
  32236. +
  32237. + if (ctrl->id == V4L2_CID_MPEG_VIDEO_H264_PROFILE) {
  32238. + switch (ctrl->val) {
  32239. + case V4L2_MPEG_VIDEO_H264_PROFILE_BASELINE:
  32240. + case V4L2_MPEG_VIDEO_H264_PROFILE_CONSTRAINED_BASELINE:
  32241. + case V4L2_MPEG_VIDEO_H264_PROFILE_MAIN:
  32242. + case V4L2_MPEG_VIDEO_H264_PROFILE_HIGH:
  32243. + dev->capture.enc_profile = ctrl->val;
  32244. + break;
  32245. + default:
  32246. + ret = -EINVAL;
  32247. + break;
  32248. + }
  32249. + } else if (ctrl->id == V4L2_CID_MPEG_VIDEO_H264_LEVEL) {
  32250. + switch (ctrl->val) {
  32251. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_0:
  32252. + case V4L2_MPEG_VIDEO_H264_LEVEL_1B:
  32253. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_1:
  32254. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_2:
  32255. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_3:
  32256. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_0:
  32257. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_1:
  32258. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_2:
  32259. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_0:
  32260. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_1:
  32261. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_2:
  32262. + case V4L2_MPEG_VIDEO_H264_LEVEL_4_0:
  32263. + dev->capture.enc_level = ctrl->val;
  32264. + break;
  32265. + default:
  32266. + ret = -EINVAL;
  32267. + break;
  32268. + }
  32269. + }
  32270. +
  32271. + if (!ret) {
  32272. + switch (dev->capture.enc_profile) {
  32273. + case V4L2_MPEG_VIDEO_H264_PROFILE_BASELINE:
  32274. + param.profile = MMAL_VIDEO_PROFILE_H264_BASELINE;
  32275. + break;
  32276. + case V4L2_MPEG_VIDEO_H264_PROFILE_CONSTRAINED_BASELINE:
  32277. + param.profile =
  32278. + MMAL_VIDEO_PROFILE_H264_CONSTRAINED_BASELINE;
  32279. + break;
  32280. + case V4L2_MPEG_VIDEO_H264_PROFILE_MAIN:
  32281. + param.profile = MMAL_VIDEO_PROFILE_H264_MAIN;
  32282. + break;
  32283. + case V4L2_MPEG_VIDEO_H264_PROFILE_HIGH:
  32284. + param.profile = MMAL_VIDEO_PROFILE_H264_HIGH;
  32285. + break;
  32286. + default:
  32287. + /* Should never get here */
  32288. + break;
  32289. + }
  32290. +
  32291. + switch (dev->capture.enc_level) {
  32292. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_0:
  32293. + param.level = MMAL_VIDEO_LEVEL_H264_1;
  32294. + break;
  32295. + case V4L2_MPEG_VIDEO_H264_LEVEL_1B:
  32296. + param.level = MMAL_VIDEO_LEVEL_H264_1b;
  32297. + break;
  32298. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_1:
  32299. + param.level = MMAL_VIDEO_LEVEL_H264_11;
  32300. + break;
  32301. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_2:
  32302. + param.level = MMAL_VIDEO_LEVEL_H264_12;
  32303. + break;
  32304. + case V4L2_MPEG_VIDEO_H264_LEVEL_1_3:
  32305. + param.level = MMAL_VIDEO_LEVEL_H264_13;
  32306. + break;
  32307. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_0:
  32308. + param.level = MMAL_VIDEO_LEVEL_H264_2;
  32309. + break;
  32310. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_1:
  32311. + param.level = MMAL_VIDEO_LEVEL_H264_21;
  32312. + break;
  32313. + case V4L2_MPEG_VIDEO_H264_LEVEL_2_2:
  32314. + param.level = MMAL_VIDEO_LEVEL_H264_22;
  32315. + break;
  32316. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_0:
  32317. + param.level = MMAL_VIDEO_LEVEL_H264_3;
  32318. + break;
  32319. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_1:
  32320. + param.level = MMAL_VIDEO_LEVEL_H264_31;
  32321. + break;
  32322. + case V4L2_MPEG_VIDEO_H264_LEVEL_3_2:
  32323. + param.level = MMAL_VIDEO_LEVEL_H264_32;
  32324. + break;
  32325. + case V4L2_MPEG_VIDEO_H264_LEVEL_4_0:
  32326. + param.level = MMAL_VIDEO_LEVEL_H264_4;
  32327. + break;
  32328. + default:
  32329. + /* Should never get here */
  32330. + break;
  32331. + }
  32332. +
  32333. + ret = vchiq_mmal_port_parameter_set(dev->instance,
  32334. + &dev->component[MMAL_COMPONENT_VIDEO_ENCODE]->output[0],
  32335. + mmal_ctrl->mmal_id,
  32336. + &param, sizeof(param));
  32337. + }
  32338. + return ret;
  32339. +}
  32340. +
  32341. +static int ctrl_set_scene_mode(struct bm2835_mmal_dev *dev,
  32342. + struct v4l2_ctrl *ctrl,
  32343. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl)
  32344. +{
  32345. + int ret = 0;
  32346. + int shutter_speed;
  32347. + struct vchiq_mmal_port *control;
  32348. +
  32349. + v4l2_dbg(0, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32350. + "scene mode selected %d, was %d\n", ctrl->val,
  32351. + dev->scene_mode);
  32352. + control = &dev->component[MMAL_COMPONENT_CAMERA]->control;
  32353. +
  32354. + if (ctrl->val == dev->scene_mode)
  32355. + return 0;
  32356. +
  32357. + if (ctrl->val == V4L2_SCENE_MODE_NONE) {
  32358. + /* Restore all user selections */
  32359. + dev->scene_mode = V4L2_SCENE_MODE_NONE;
  32360. +
  32361. + if (dev->exposure_mode_user == MMAL_PARAM_EXPOSUREMODE_OFF)
  32362. + shutter_speed = dev->manual_shutter_speed;
  32363. + else
  32364. + shutter_speed = 0;
  32365. +
  32366. + v4l2_dbg(0, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32367. + "%s: scene mode none: shut_speed %d, exp_mode %d, metering %d\n",
  32368. + __func__, shutter_speed, dev->exposure_mode_user,
  32369. + dev->metering_mode);
  32370. + ret = vchiq_mmal_port_parameter_set(dev->instance,
  32371. + control,
  32372. + MMAL_PARAMETER_SHUTTER_SPEED,
  32373. + &shutter_speed,
  32374. + sizeof(shutter_speed));
  32375. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  32376. + control,
  32377. + MMAL_PARAMETER_EXPOSURE_MODE,
  32378. + &dev->exposure_mode_user,
  32379. + sizeof(u32));
  32380. + dev->exposure_mode_active = dev->exposure_mode_user;
  32381. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  32382. + control,
  32383. + MMAL_PARAMETER_EXP_METERING_MODE,
  32384. + &dev->metering_mode,
  32385. + sizeof(u32));
  32386. + ret += set_framerate_params(dev);
  32387. + } else {
  32388. + /* Set up scene mode */
  32389. + int i;
  32390. + const struct v4l2_mmal_scene_config *scene = NULL;
  32391. + int shutter_speed;
  32392. + enum mmal_parameter_exposuremode exposure_mode;
  32393. + enum mmal_parameter_exposuremeteringmode metering_mode;
  32394. +
  32395. + for (i = 0; i < ARRAY_SIZE(scene_configs); i++) {
  32396. + if (scene_configs[i].v4l2_scene ==
  32397. + ctrl->val) {
  32398. + scene = &scene_configs[i];
  32399. + break;
  32400. + }
  32401. + }
  32402. + if (!scene)
  32403. + return -EINVAL;
  32404. + if (i >= ARRAY_SIZE(scene_configs))
  32405. + return -EINVAL;
  32406. +
  32407. + /* Set all the values */
  32408. + dev->scene_mode = ctrl->val;
  32409. +
  32410. + if (scene->exposure_mode == MMAL_PARAM_EXPOSUREMODE_OFF)
  32411. + shutter_speed = dev->manual_shutter_speed;
  32412. + else
  32413. + shutter_speed = 0;
  32414. + exposure_mode = scene->exposure_mode;
  32415. + metering_mode = scene->metering_mode;
  32416. +
  32417. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32418. + "%s: scene mode none: shut_speed %d, exp_mode %d, metering %d\n",
  32419. + __func__, shutter_speed, exposure_mode, metering_mode);
  32420. +
  32421. + ret = vchiq_mmal_port_parameter_set(dev->instance, control,
  32422. + MMAL_PARAMETER_SHUTTER_SPEED,
  32423. + &shutter_speed,
  32424. + sizeof(shutter_speed));
  32425. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  32426. + control,
  32427. + MMAL_PARAMETER_EXPOSURE_MODE,
  32428. + &exposure_mode,
  32429. + sizeof(u32));
  32430. + dev->exposure_mode_active = exposure_mode;
  32431. + ret += vchiq_mmal_port_parameter_set(dev->instance, control,
  32432. + MMAL_PARAMETER_EXPOSURE_MODE,
  32433. + &exposure_mode,
  32434. + sizeof(u32));
  32435. + ret += vchiq_mmal_port_parameter_set(dev->instance, control,
  32436. + MMAL_PARAMETER_EXP_METERING_MODE,
  32437. + &metering_mode,
  32438. + sizeof(u32));
  32439. + ret += set_framerate_params(dev);
  32440. + }
  32441. + if (ret) {
  32442. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32443. + "%s: Setting scene to %d, ret=%d\n",
  32444. + __func__, ctrl->val, ret);
  32445. + ret = -EINVAL;
  32446. + }
  32447. + return 0;
  32448. +}
  32449. +
  32450. +static int bm2835_mmal_s_ctrl(struct v4l2_ctrl *ctrl)
  32451. +{
  32452. + struct bm2835_mmal_dev *dev =
  32453. + container_of(ctrl->handler, struct bm2835_mmal_dev,
  32454. + ctrl_handler);
  32455. + const struct bm2835_mmal_v4l2_ctrl *mmal_ctrl = ctrl->priv;
  32456. + int ret;
  32457. +
  32458. + if ((mmal_ctrl == NULL) ||
  32459. + (mmal_ctrl->id != ctrl->id) ||
  32460. + (mmal_ctrl->setter == NULL)) {
  32461. + pr_warn("mmal_ctrl:%p ctrl id:%d\n", mmal_ctrl, ctrl->id);
  32462. + return -EINVAL;
  32463. + }
  32464. +
  32465. + ret = mmal_ctrl->setter(dev, ctrl, mmal_ctrl);
  32466. + if (ret)
  32467. + pr_warn("ctrl id:%d/MMAL param %08X- returned ret %d\n",
  32468. + ctrl->id, mmal_ctrl->mmal_id, ret);
  32469. + if (mmal_ctrl->ignore_errors)
  32470. + ret = 0;
  32471. + return ret;
  32472. +}
  32473. +
  32474. +static const struct v4l2_ctrl_ops bm2835_mmal_ctrl_ops = {
  32475. + .s_ctrl = bm2835_mmal_s_ctrl,
  32476. +};
  32477. +
  32478. +
  32479. +
  32480. +static const struct bm2835_mmal_v4l2_ctrl v4l2_ctrls[V4L2_CTRL_COUNT] = {
  32481. + {
  32482. + V4L2_CID_SATURATION, MMAL_CONTROL_TYPE_STD,
  32483. + -100, 100, 0, 1, NULL,
  32484. + MMAL_PARAMETER_SATURATION,
  32485. + &ctrl_set_rational,
  32486. + false
  32487. + },
  32488. + {
  32489. + V4L2_CID_SHARPNESS, MMAL_CONTROL_TYPE_STD,
  32490. + -100, 100, 0, 1, NULL,
  32491. + MMAL_PARAMETER_SHARPNESS,
  32492. + &ctrl_set_rational,
  32493. + false
  32494. + },
  32495. + {
  32496. + V4L2_CID_CONTRAST, MMAL_CONTROL_TYPE_STD,
  32497. + -100, 100, 0, 1, NULL,
  32498. + MMAL_PARAMETER_CONTRAST,
  32499. + &ctrl_set_rational,
  32500. + false
  32501. + },
  32502. + {
  32503. + V4L2_CID_BRIGHTNESS, MMAL_CONTROL_TYPE_STD,
  32504. + 0, 100, 50, 1, NULL,
  32505. + MMAL_PARAMETER_BRIGHTNESS,
  32506. + &ctrl_set_rational,
  32507. + false
  32508. + },
  32509. + {
  32510. + V4L2_CID_ISO_SENSITIVITY, MMAL_CONTROL_TYPE_INT_MENU,
  32511. + 0, ARRAY_SIZE(iso_qmenu) - 1, 0, 1, iso_qmenu,
  32512. + MMAL_PARAMETER_ISO,
  32513. + &ctrl_set_value_menu,
  32514. + false
  32515. + },
  32516. + {
  32517. + V4L2_CID_IMAGE_STABILIZATION, MMAL_CONTROL_TYPE_STD,
  32518. + 0, 1, 0, 1, NULL,
  32519. + MMAL_PARAMETER_VIDEO_STABILISATION,
  32520. + &ctrl_set_value,
  32521. + false
  32522. + },
  32523. +/* {
  32524. + 0, MMAL_CONTROL_TYPE_CLUSTER, 3, 1, 0, NULL, 0, NULL
  32525. + }, */
  32526. + {
  32527. + V4L2_CID_EXPOSURE_AUTO, MMAL_CONTROL_TYPE_STD_MENU,
  32528. + ~0x03, 3, V4L2_EXPOSURE_AUTO, 0, NULL,
  32529. + MMAL_PARAMETER_EXPOSURE_MODE,
  32530. + &ctrl_set_exposure,
  32531. + false
  32532. + },
  32533. +/* todo this needs mixing in with set exposure
  32534. + {
  32535. + V4L2_CID_SCENE_MODE, MMAL_CONTROL_TYPE_STD_MENU,
  32536. + },
  32537. + */
  32538. + {
  32539. + V4L2_CID_EXPOSURE_ABSOLUTE, MMAL_CONTROL_TYPE_STD,
  32540. + /* Units of 100usecs */
  32541. + 1, 1*1000*10, 100*10, 1, NULL,
  32542. + MMAL_PARAMETER_SHUTTER_SPEED,
  32543. + &ctrl_set_exposure,
  32544. + false
  32545. + },
  32546. + {
  32547. + V4L2_CID_AUTO_EXPOSURE_BIAS, MMAL_CONTROL_TYPE_INT_MENU,
  32548. + 0, ARRAY_SIZE(ev_bias_qmenu) - 1,
  32549. + (ARRAY_SIZE(ev_bias_qmenu)+1)/2 - 1, 0, ev_bias_qmenu,
  32550. + MMAL_PARAMETER_EXPOSURE_COMP,
  32551. + &ctrl_set_value_ev,
  32552. + false
  32553. + },
  32554. + {
  32555. + V4L2_CID_EXPOSURE_AUTO_PRIORITY, MMAL_CONTROL_TYPE_STD,
  32556. + 0, 1,
  32557. + 0, 1, NULL,
  32558. + 0, /* Dummy MMAL ID as it gets mapped into FPS range*/
  32559. + &ctrl_set_exposure,
  32560. + false
  32561. + },
  32562. + {
  32563. + V4L2_CID_EXPOSURE_METERING,
  32564. + MMAL_CONTROL_TYPE_STD_MENU,
  32565. + ~0x7, 2, V4L2_EXPOSURE_METERING_AVERAGE, 0, NULL,
  32566. + MMAL_PARAMETER_EXP_METERING_MODE,
  32567. + &ctrl_set_metering_mode,
  32568. + false
  32569. + },
  32570. + {
  32571. + V4L2_CID_AUTO_N_PRESET_WHITE_BALANCE,
  32572. + MMAL_CONTROL_TYPE_STD_MENU,
  32573. + ~0x3ff, 9, V4L2_WHITE_BALANCE_AUTO, 0, NULL,
  32574. + MMAL_PARAMETER_AWB_MODE,
  32575. + &ctrl_set_awb_mode,
  32576. + false
  32577. + },
  32578. + {
  32579. + V4L2_CID_RED_BALANCE, MMAL_CONTROL_TYPE_STD,
  32580. + 1, 7999, 1000, 1, NULL,
  32581. + MMAL_PARAMETER_CUSTOM_AWB_GAINS,
  32582. + &ctrl_set_awb_gains,
  32583. + false
  32584. + },
  32585. + {
  32586. + V4L2_CID_BLUE_BALANCE, MMAL_CONTROL_TYPE_STD,
  32587. + 1, 7999, 1000, 1, NULL,
  32588. + MMAL_PARAMETER_CUSTOM_AWB_GAINS,
  32589. + &ctrl_set_awb_gains,
  32590. + false
  32591. + },
  32592. + {
  32593. + V4L2_CID_COLORFX, MMAL_CONTROL_TYPE_STD_MENU,
  32594. + 0, 15, V4L2_COLORFX_NONE, 0, NULL,
  32595. + MMAL_PARAMETER_IMAGE_EFFECT,
  32596. + &ctrl_set_image_effect,
  32597. + false
  32598. + },
  32599. + {
  32600. + V4L2_CID_COLORFX_CBCR, MMAL_CONTROL_TYPE_STD,
  32601. + 0, 0xffff, 0x8080, 1, NULL,
  32602. + MMAL_PARAMETER_COLOUR_EFFECT,
  32603. + &ctrl_set_colfx,
  32604. + false
  32605. + },
  32606. + {
  32607. + V4L2_CID_ROTATE, MMAL_CONTROL_TYPE_STD,
  32608. + 0, 360, 0, 90, NULL,
  32609. + MMAL_PARAMETER_ROTATION,
  32610. + &ctrl_set_rotate,
  32611. + false
  32612. + },
  32613. + {
  32614. + V4L2_CID_HFLIP, MMAL_CONTROL_TYPE_STD,
  32615. + 0, 1, 0, 1, NULL,
  32616. + MMAL_PARAMETER_MIRROR,
  32617. + &ctrl_set_flip,
  32618. + false
  32619. + },
  32620. + {
  32621. + V4L2_CID_VFLIP, MMAL_CONTROL_TYPE_STD,
  32622. + 0, 1, 0, 1, NULL,
  32623. + MMAL_PARAMETER_MIRROR,
  32624. + &ctrl_set_flip,
  32625. + false
  32626. + },
  32627. + {
  32628. + V4L2_CID_MPEG_VIDEO_BITRATE_MODE, MMAL_CONTROL_TYPE_STD_MENU,
  32629. + 0, ARRAY_SIZE(bitrate_mode_qmenu) - 1,
  32630. + 0, 0, bitrate_mode_qmenu,
  32631. + MMAL_PARAMETER_RATECONTROL,
  32632. + &ctrl_set_bitrate_mode,
  32633. + false
  32634. + },
  32635. + {
  32636. + V4L2_CID_MPEG_VIDEO_BITRATE, MMAL_CONTROL_TYPE_STD,
  32637. + 25*1000, 25*1000*1000, 10*1000*1000, 25*1000, NULL,
  32638. + MMAL_PARAMETER_VIDEO_BIT_RATE,
  32639. + &ctrl_set_bitrate,
  32640. + false
  32641. + },
  32642. + {
  32643. + V4L2_CID_JPEG_COMPRESSION_QUALITY, MMAL_CONTROL_TYPE_STD,
  32644. + 1, 100,
  32645. + 30, 1, NULL,
  32646. + MMAL_PARAMETER_JPEG_Q_FACTOR,
  32647. + &ctrl_set_image_encode_output,
  32648. + false
  32649. + },
  32650. + {
  32651. + V4L2_CID_POWER_LINE_FREQUENCY, MMAL_CONTROL_TYPE_STD_MENU,
  32652. + 0, ARRAY_SIZE(mains_freq_qmenu) - 1,
  32653. + 1, 1, NULL,
  32654. + MMAL_PARAMETER_FLICKER_AVOID,
  32655. + &ctrl_set_flicker_avoidance,
  32656. + false
  32657. + },
  32658. + {
  32659. + V4L2_CID_MPEG_VIDEO_REPEAT_SEQ_HEADER, MMAL_CONTROL_TYPE_STD,
  32660. + 0, 1,
  32661. + 0, 1, NULL,
  32662. + MMAL_PARAMETER_VIDEO_ENCODE_INLINE_HEADER,
  32663. + &ctrl_set_video_encode_param_output,
  32664. + true /* Errors ignored as requires latest firmware to work */
  32665. + },
  32666. + {
  32667. + V4L2_CID_MPEG_VIDEO_H264_PROFILE,
  32668. + MMAL_CONTROL_TYPE_STD_MENU,
  32669. + ~((1<<V4L2_MPEG_VIDEO_H264_PROFILE_BASELINE) |
  32670. + (1<<V4L2_MPEG_VIDEO_H264_PROFILE_CONSTRAINED_BASELINE) |
  32671. + (1<<V4L2_MPEG_VIDEO_H264_PROFILE_MAIN) |
  32672. + (1<<V4L2_MPEG_VIDEO_H264_PROFILE_HIGH)),
  32673. + V4L2_MPEG_VIDEO_H264_PROFILE_HIGH,
  32674. + V4L2_MPEG_VIDEO_H264_PROFILE_HIGH, 1, NULL,
  32675. + MMAL_PARAMETER_PROFILE,
  32676. + &ctrl_set_video_encode_profile_level,
  32677. + false
  32678. + },
  32679. + {
  32680. + V4L2_CID_MPEG_VIDEO_H264_LEVEL, MMAL_CONTROL_TYPE_STD_MENU,
  32681. + ~((1<<V4L2_MPEG_VIDEO_H264_LEVEL_1_0) |
  32682. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_1B) |
  32683. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_1_1) |
  32684. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_1_2) |
  32685. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_1_3) |
  32686. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_2_0) |
  32687. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_2_1) |
  32688. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_2_2) |
  32689. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_3_0) |
  32690. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_3_1) |
  32691. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_3_2) |
  32692. + (1<<V4L2_MPEG_VIDEO_H264_LEVEL_4_0)),
  32693. + V4L2_MPEG_VIDEO_H264_LEVEL_4_0,
  32694. + V4L2_MPEG_VIDEO_H264_LEVEL_4_0, 1, NULL,
  32695. + MMAL_PARAMETER_PROFILE,
  32696. + &ctrl_set_video_encode_profile_level,
  32697. + false
  32698. + },
  32699. + {
  32700. + V4L2_CID_SCENE_MODE, MMAL_CONTROL_TYPE_STD_MENU,
  32701. + -1, /* Min is computed at runtime */
  32702. + V4L2_SCENE_MODE_TEXT,
  32703. + V4L2_SCENE_MODE_NONE, 1, NULL,
  32704. + MMAL_PARAMETER_PROFILE,
  32705. + &ctrl_set_scene_mode,
  32706. + false
  32707. + },
  32708. + {
  32709. + V4L2_CID_MPEG_VIDEO_H264_I_PERIOD, MMAL_CONTROL_TYPE_STD,
  32710. + 0, 0x7FFFFFFF, 60, 1, NULL,
  32711. + MMAL_PARAMETER_INTRAPERIOD,
  32712. + &ctrl_set_video_encode_param_output,
  32713. + false
  32714. + },
  32715. +};
  32716. +
  32717. +int bm2835_mmal_set_all_camera_controls(struct bm2835_mmal_dev *dev)
  32718. +{
  32719. + int c;
  32720. + int ret = 0;
  32721. +
  32722. + for (c = 0; c < V4L2_CTRL_COUNT; c++) {
  32723. + if ((dev->ctrls[c]) && (v4l2_ctrls[c].setter)) {
  32724. + ret = v4l2_ctrls[c].setter(dev, dev->ctrls[c],
  32725. + &v4l2_ctrls[c]);
  32726. + if (!v4l2_ctrls[c].ignore_errors && ret) {
  32727. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32728. + "Failed when setting default values for ctrl %d\n",
  32729. + c);
  32730. + break;
  32731. + }
  32732. + }
  32733. + }
  32734. + return ret;
  32735. +}
  32736. +
  32737. +int set_framerate_params(struct bm2835_mmal_dev *dev)
  32738. +{
  32739. + struct mmal_parameter_fps_range fps_range;
  32740. + int ret;
  32741. +
  32742. + if ((dev->exposure_mode_active != MMAL_PARAM_EXPOSUREMODE_OFF) &&
  32743. + (dev->exp_auto_priority)) {
  32744. + /* Variable FPS. Define min FPS as 1fps.
  32745. + * Max as max defined FPS.
  32746. + */
  32747. + fps_range.fps_low.num = 1;
  32748. + fps_range.fps_low.den = 1;
  32749. + fps_range.fps_high.num = dev->capture.timeperframe.denominator;
  32750. + fps_range.fps_high.den = dev->capture.timeperframe.numerator;
  32751. + } else {
  32752. + /* Fixed FPS - set min and max to be the same */
  32753. + fps_range.fps_low.num = fps_range.fps_high.num =
  32754. + dev->capture.timeperframe.denominator;
  32755. + fps_range.fps_low.den = fps_range.fps_high.den =
  32756. + dev->capture.timeperframe.numerator;
  32757. + }
  32758. +
  32759. + v4l2_dbg(1, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32760. + "Set fps range to %d/%d to %d/%d\n",
  32761. + fps_range.fps_low.num,
  32762. + fps_range.fps_low.den,
  32763. + fps_range.fps_high.num,
  32764. + fps_range.fps_high.den
  32765. + );
  32766. +
  32767. + ret = vchiq_mmal_port_parameter_set(dev->instance,
  32768. + &dev->component[MMAL_COMPONENT_CAMERA]->
  32769. + output[MMAL_CAMERA_PORT_PREVIEW],
  32770. + MMAL_PARAMETER_FPS_RANGE,
  32771. + &fps_range, sizeof(fps_range));
  32772. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  32773. + &dev->component[MMAL_COMPONENT_CAMERA]->
  32774. + output[MMAL_CAMERA_PORT_VIDEO],
  32775. + MMAL_PARAMETER_FPS_RANGE,
  32776. + &fps_range, sizeof(fps_range));
  32777. + ret += vchiq_mmal_port_parameter_set(dev->instance,
  32778. + &dev->component[MMAL_COMPONENT_CAMERA]->
  32779. + output[MMAL_CAMERA_PORT_CAPTURE],
  32780. + MMAL_PARAMETER_FPS_RANGE,
  32781. + &fps_range, sizeof(fps_range));
  32782. + if (ret)
  32783. + v4l2_dbg(0, bcm2835_v4l2_debug, &dev->v4l2_dev,
  32784. + "Failed to set fps ret %d\n",
  32785. + ret);
  32786. +
  32787. + return ret;
  32788. +
  32789. +}
  32790. +
  32791. +int bm2835_mmal_init_controls(struct bm2835_mmal_dev *dev,
  32792. + struct v4l2_ctrl_handler *hdl)
  32793. +{
  32794. + int c;
  32795. + const struct bm2835_mmal_v4l2_ctrl *ctrl;
  32796. +
  32797. + v4l2_ctrl_handler_init(hdl, V4L2_CTRL_COUNT);
  32798. +
  32799. + for (c = 0; c < V4L2_CTRL_COUNT; c++) {
  32800. + ctrl = &v4l2_ctrls[c];
  32801. +
  32802. + switch (ctrl->type) {
  32803. + case MMAL_CONTROL_TYPE_STD:
  32804. + dev->ctrls[c] = v4l2_ctrl_new_std(hdl,
  32805. + &bm2835_mmal_ctrl_ops, ctrl->id,
  32806. + ctrl->min, ctrl->max, ctrl->step, ctrl->def);
  32807. + break;
  32808. +
  32809. + case MMAL_CONTROL_TYPE_STD_MENU:
  32810. + {
  32811. + int mask = ctrl->min;
  32812. +
  32813. + if (ctrl->id == V4L2_CID_SCENE_MODE) {
  32814. + /* Special handling to work out the mask
  32815. + * value based on the scene_configs array
  32816. + * at runtime. Reduces the chance of
  32817. + * mismatches.
  32818. + */
  32819. + int i;
  32820. + mask = 1<<V4L2_SCENE_MODE_NONE;
  32821. + for (i = 0;
  32822. + i < ARRAY_SIZE(scene_configs);
  32823. + i++) {
  32824. + mask |= 1<<scene_configs[i].v4l2_scene;
  32825. + }
  32826. + mask = ~mask;
  32827. + }
  32828. +
  32829. + dev->ctrls[c] = v4l2_ctrl_new_std_menu(hdl,
  32830. + &bm2835_mmal_ctrl_ops, ctrl->id,
  32831. + ctrl->max, mask, ctrl->def);
  32832. + break;
  32833. + }
  32834. +
  32835. + case MMAL_CONTROL_TYPE_INT_MENU:
  32836. + dev->ctrls[c] = v4l2_ctrl_new_int_menu(hdl,
  32837. + &bm2835_mmal_ctrl_ops, ctrl->id,
  32838. + ctrl->max, ctrl->def, ctrl->imenu);
  32839. + break;
  32840. +
  32841. + case MMAL_CONTROL_TYPE_CLUSTER:
  32842. + /* skip this entry when constructing controls */
  32843. + continue;
  32844. + }
  32845. +
  32846. + if (hdl->error)
  32847. + break;
  32848. +
  32849. + dev->ctrls[c]->priv = (void *)ctrl;
  32850. + }
  32851. +
  32852. + if (hdl->error) {
  32853. + pr_err("error adding control %d/%d id 0x%x\n", c,
  32854. + V4L2_CTRL_COUNT, ctrl->id);
  32855. + return hdl->error;
  32856. + }
  32857. +
  32858. + for (c = 0; c < V4L2_CTRL_COUNT; c++) {
  32859. + ctrl = &v4l2_ctrls[c];
  32860. +
  32861. + switch (ctrl->type) {
  32862. + case MMAL_CONTROL_TYPE_CLUSTER:
  32863. + v4l2_ctrl_auto_cluster(ctrl->min,
  32864. + &dev->ctrls[c+1],
  32865. + ctrl->max,
  32866. + ctrl->def);
  32867. + break;
  32868. +
  32869. + case MMAL_CONTROL_TYPE_STD:
  32870. + case MMAL_CONTROL_TYPE_STD_MENU:
  32871. + case MMAL_CONTROL_TYPE_INT_MENU:
  32872. + break;
  32873. + }
  32874. +
  32875. + }
  32876. +
  32877. + return 0;
  32878. +}
  32879. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/Kconfig linux-rpi/drivers/media/platform/bcm2835/Kconfig
  32880. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/Kconfig 1970-01-01 01:00:00.000000000 +0100
  32881. +++ linux-rpi/drivers/media/platform/bcm2835/Kconfig 2015-11-29 09:42:37.835237156 +0100
  32882. @@ -0,0 +1,25 @@
  32883. +# Broadcom VideoCore IV v4l2 camera support
  32884. +
  32885. +config VIDEO_BCM2835
  32886. + bool "Broadcom BCM2835 camera interface driver"
  32887. + depends on VIDEO_V4L2 && (ARCH_BCM2708 || ARCH_BCM2709 || ARCH_BCM2835)
  32888. + ---help---
  32889. + Say Y here to enable camera host interface devices for
  32890. + Broadcom BCM2835 SoC. This operates over the VCHIQ interface
  32891. + to a service running on VideoCore.
  32892. +
  32893. +
  32894. +if VIDEO_BCM2835
  32895. +
  32896. +config VIDEO_BCM2835_MMAL
  32897. + tristate "Broadcom BM2835 MMAL camera interface driver"
  32898. + depends on BCM2708_VCHIQ
  32899. + select VIDEOBUF2_VMALLOC
  32900. + ---help---
  32901. + This is a V4L2 driver for the Broadcom BCM2835 MMAL camera host interface
  32902. +
  32903. + To compile this driver as a module, choose M here: the
  32904. + module will be called bcm2835-v4l2.o
  32905. +
  32906. +
  32907. +endif # VIDEO_BM2835
  32908. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/Makefile linux-rpi/drivers/media/platform/bcm2835/Makefile
  32909. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/Makefile 1970-01-01 01:00:00.000000000 +0100
  32910. +++ linux-rpi/drivers/media/platform/bcm2835/Makefile 2015-11-29 09:42:37.835237156 +0100
  32911. @@ -0,0 +1,5 @@
  32912. +bcm2835-v4l2-objs := bcm2835-camera.o controls.o mmal-vchiq.o
  32913. +
  32914. +obj-$(CONFIG_VIDEO_BCM2835_MMAL) += bcm2835-v4l2.o
  32915. +
  32916. +ccflags-$(CONFIG_VIDEO_BCM2835) += -Idrivers/misc/vc04_services -Idrivers/misc/vc04_services/interface/vcos/linuxkernel -D__VCCOREVER__=0x04000000
  32917. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-common.h linux-rpi/drivers/media/platform/bcm2835/mmal-common.h
  32918. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-common.h 1970-01-01 01:00:00.000000000 +0100
  32919. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-common.h 2015-11-29 09:42:37.835237156 +0100
  32920. @@ -0,0 +1,53 @@
  32921. +/*
  32922. + * Broadcom BM2835 V4L2 driver
  32923. + *
  32924. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  32925. + *
  32926. + * This file is subject to the terms and conditions of the GNU General Public
  32927. + * License. See the file COPYING in the main directory of this archive
  32928. + * for more details.
  32929. + *
  32930. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  32931. + * Dave Stevenson <dsteve@broadcom.com>
  32932. + * Simon Mellor <simellor@broadcom.com>
  32933. + * Luke Diamand <luked@broadcom.com>
  32934. + *
  32935. + * MMAL structures
  32936. + *
  32937. + */
  32938. +
  32939. +#define MMAL_FOURCC(a, b, c, d) ((a) | (b << 8) | (c << 16) | (d << 24))
  32940. +#define MMAL_MAGIC MMAL_FOURCC('m', 'm', 'a', 'l')
  32941. +
  32942. +/** Special value signalling that time is not known */
  32943. +#define MMAL_TIME_UNKNOWN (1LL<<63)
  32944. +
  32945. +/* mapping between v4l and mmal video modes */
  32946. +struct mmal_fmt {
  32947. + char *name;
  32948. + u32 fourcc; /* v4l2 format id */
  32949. + int flags; /* v4l2 flags field */
  32950. + u32 mmal;
  32951. + int depth;
  32952. + u32 mmal_component; /* MMAL component index to be used to encode */
  32953. + u32 ybbp; /* depth of first Y plane for planar formats */
  32954. +};
  32955. +
  32956. +/* buffer for one video frame */
  32957. +struct mmal_buffer {
  32958. + /* v4l buffer data -- must be first */
  32959. + struct vb2_buffer vb;
  32960. +
  32961. + /* list of buffers available */
  32962. + struct list_head list;
  32963. +
  32964. + void *buffer; /* buffer pointer */
  32965. + unsigned long buffer_size; /* size of allocated buffer */
  32966. +};
  32967. +
  32968. +/* */
  32969. +struct mmal_colourfx {
  32970. + s32 enable;
  32971. + u32 u;
  32972. + u32 v;
  32973. +};
  32974. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-encodings.h linux-rpi/drivers/media/platform/bcm2835/mmal-encodings.h
  32975. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-encodings.h 1970-01-01 01:00:00.000000000 +0100
  32976. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-encodings.h 2015-11-29 09:42:37.835237156 +0100
  32977. @@ -0,0 +1,127 @@
  32978. +/*
  32979. + * Broadcom BM2835 V4L2 driver
  32980. + *
  32981. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  32982. + *
  32983. + * This file is subject to the terms and conditions of the GNU General Public
  32984. + * License. See the file COPYING in the main directory of this archive
  32985. + * for more details.
  32986. + *
  32987. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  32988. + * Dave Stevenson <dsteve@broadcom.com>
  32989. + * Simon Mellor <simellor@broadcom.com>
  32990. + * Luke Diamand <luked@broadcom.com>
  32991. + */
  32992. +#ifndef MMAL_ENCODINGS_H
  32993. +#define MMAL_ENCODINGS_H
  32994. +
  32995. +#define MMAL_ENCODING_H264 MMAL_FOURCC('H', '2', '6', '4')
  32996. +#define MMAL_ENCODING_H263 MMAL_FOURCC('H', '2', '6', '3')
  32997. +#define MMAL_ENCODING_MP4V MMAL_FOURCC('M', 'P', '4', 'V')
  32998. +#define MMAL_ENCODING_MP2V MMAL_FOURCC('M', 'P', '2', 'V')
  32999. +#define MMAL_ENCODING_MP1V MMAL_FOURCC('M', 'P', '1', 'V')
  33000. +#define MMAL_ENCODING_WMV3 MMAL_FOURCC('W', 'M', 'V', '3')
  33001. +#define MMAL_ENCODING_WMV2 MMAL_FOURCC('W', 'M', 'V', '2')
  33002. +#define MMAL_ENCODING_WMV1 MMAL_FOURCC('W', 'M', 'V', '1')
  33003. +#define MMAL_ENCODING_WVC1 MMAL_FOURCC('W', 'V', 'C', '1')
  33004. +#define MMAL_ENCODING_VP8 MMAL_FOURCC('V', 'P', '8', ' ')
  33005. +#define MMAL_ENCODING_VP7 MMAL_FOURCC('V', 'P', '7', ' ')
  33006. +#define MMAL_ENCODING_VP6 MMAL_FOURCC('V', 'P', '6', ' ')
  33007. +#define MMAL_ENCODING_THEORA MMAL_FOURCC('T', 'H', 'E', 'O')
  33008. +#define MMAL_ENCODING_SPARK MMAL_FOURCC('S', 'P', 'R', 'K')
  33009. +#define MMAL_ENCODING_MJPEG MMAL_FOURCC('M', 'J', 'P', 'G')
  33010. +
  33011. +#define MMAL_ENCODING_JPEG MMAL_FOURCC('J', 'P', 'E', 'G')
  33012. +#define MMAL_ENCODING_GIF MMAL_FOURCC('G', 'I', 'F', ' ')
  33013. +#define MMAL_ENCODING_PNG MMAL_FOURCC('P', 'N', 'G', ' ')
  33014. +#define MMAL_ENCODING_PPM MMAL_FOURCC('P', 'P', 'M', ' ')
  33015. +#define MMAL_ENCODING_TGA MMAL_FOURCC('T', 'G', 'A', ' ')
  33016. +#define MMAL_ENCODING_BMP MMAL_FOURCC('B', 'M', 'P', ' ')
  33017. +
  33018. +#define MMAL_ENCODING_I420 MMAL_FOURCC('I', '4', '2', '0')
  33019. +#define MMAL_ENCODING_I420_SLICE MMAL_FOURCC('S', '4', '2', '0')
  33020. +#define MMAL_ENCODING_YV12 MMAL_FOURCC('Y', 'V', '1', '2')
  33021. +#define MMAL_ENCODING_I422 MMAL_FOURCC('I', '4', '2', '2')
  33022. +#define MMAL_ENCODING_I422_SLICE MMAL_FOURCC('S', '4', '2', '2')
  33023. +#define MMAL_ENCODING_YUYV MMAL_FOURCC('Y', 'U', 'Y', 'V')
  33024. +#define MMAL_ENCODING_YVYU MMAL_FOURCC('Y', 'V', 'Y', 'U')
  33025. +#define MMAL_ENCODING_UYVY MMAL_FOURCC('U', 'Y', 'V', 'Y')
  33026. +#define MMAL_ENCODING_VYUY MMAL_FOURCC('V', 'Y', 'U', 'Y')
  33027. +#define MMAL_ENCODING_NV12 MMAL_FOURCC('N', 'V', '1', '2')
  33028. +#define MMAL_ENCODING_NV21 MMAL_FOURCC('N', 'V', '2', '1')
  33029. +#define MMAL_ENCODING_ARGB MMAL_FOURCC('A', 'R', 'G', 'B')
  33030. +#define MMAL_ENCODING_RGBA MMAL_FOURCC('R', 'G', 'B', 'A')
  33031. +#define MMAL_ENCODING_ABGR MMAL_FOURCC('A', 'B', 'G', 'R')
  33032. +#define MMAL_ENCODING_BGRA MMAL_FOURCC('B', 'G', 'R', 'A')
  33033. +#define MMAL_ENCODING_RGB16 MMAL_FOURCC('R', 'G', 'B', '2')
  33034. +#define MMAL_ENCODING_RGB24 MMAL_FOURCC('R', 'G', 'B', '3')
  33035. +#define MMAL_ENCODING_RGB32 MMAL_FOURCC('R', 'G', 'B', '4')
  33036. +#define MMAL_ENCODING_BGR16 MMAL_FOURCC('B', 'G', 'R', '2')
  33037. +#define MMAL_ENCODING_BGR24 MMAL_FOURCC('B', 'G', 'R', '3')
  33038. +#define MMAL_ENCODING_BGR32 MMAL_FOURCC('B', 'G', 'R', '4')
  33039. +
  33040. +/** SAND Video (YUVUV128) format, native format understood by VideoCore.
  33041. + * This format is *not* opaque - if requested you will receive full frames
  33042. + * of YUV_UV video.
  33043. + */
  33044. +#define MMAL_ENCODING_YUVUV128 MMAL_FOURCC('S', 'A', 'N', 'D')
  33045. +
  33046. +/** VideoCore opaque image format, image handles are returned to
  33047. + * the host but not the actual image data.
  33048. + */
  33049. +#define MMAL_ENCODING_OPAQUE MMAL_FOURCC('O', 'P', 'Q', 'V')
  33050. +
  33051. +/** An EGL image handle
  33052. + */
  33053. +#define MMAL_ENCODING_EGL_IMAGE MMAL_FOURCC('E', 'G', 'L', 'I')
  33054. +
  33055. +/* }@ */
  33056. +
  33057. +/** \name Pre-defined audio encodings */
  33058. +/* @{ */
  33059. +#define MMAL_ENCODING_PCM_UNSIGNED_BE MMAL_FOURCC('P', 'C', 'M', 'U')
  33060. +#define MMAL_ENCODING_PCM_UNSIGNED_LE MMAL_FOURCC('p', 'c', 'm', 'u')
  33061. +#define MMAL_ENCODING_PCM_SIGNED_BE MMAL_FOURCC('P', 'C', 'M', 'S')
  33062. +#define MMAL_ENCODING_PCM_SIGNED_LE MMAL_FOURCC('p', 'c', 'm', 's')
  33063. +#define MMAL_ENCODING_PCM_FLOAT_BE MMAL_FOURCC('P', 'C', 'M', 'F')
  33064. +#define MMAL_ENCODING_PCM_FLOAT_LE MMAL_FOURCC('p', 'c', 'm', 'f')
  33065. +
  33066. +/* Pre-defined H264 encoding variants */
  33067. +
  33068. +/** ISO 14496-10 Annex B byte stream format */
  33069. +#define MMAL_ENCODING_VARIANT_H264_DEFAULT 0
  33070. +/** ISO 14496-15 AVC stream format */
  33071. +#define MMAL_ENCODING_VARIANT_H264_AVC1 MMAL_FOURCC('A', 'V', 'C', '1')
  33072. +/** Implicitly delineated NAL units without emulation prevention */
  33073. +#define MMAL_ENCODING_VARIANT_H264_RAW MMAL_FOURCC('R', 'A', 'W', ' ')
  33074. +
  33075. +
  33076. +/** \defgroup MmalColorSpace List of pre-defined video color spaces
  33077. + * This defines a list of common color spaces. This list isn't exhaustive and
  33078. + * is only provided as a convenience to avoid clients having to use FourCC
  33079. + * codes directly. However components are allowed to define and use their own
  33080. + * FourCC codes.
  33081. + */
  33082. +/* @{ */
  33083. +
  33084. +/** Unknown color space */
  33085. +#define MMAL_COLOR_SPACE_UNKNOWN 0
  33086. +/** ITU-R BT.601-5 [SDTV] */
  33087. +#define MMAL_COLOR_SPACE_ITUR_BT601 MMAL_FOURCC('Y', '6', '0', '1')
  33088. +/** ITU-R BT.709-3 [HDTV] */
  33089. +#define MMAL_COLOR_SPACE_ITUR_BT709 MMAL_FOURCC('Y', '7', '0', '9')
  33090. +/** JPEG JFIF */
  33091. +#define MMAL_COLOR_SPACE_JPEG_JFIF MMAL_FOURCC('Y', 'J', 'F', 'I')
  33092. +/** Title 47 Code of Federal Regulations (2003) 73.682 (a) (20) */
  33093. +#define MMAL_COLOR_SPACE_FCC MMAL_FOURCC('Y', 'F', 'C', 'C')
  33094. +/** Society of Motion Picture and Television Engineers 240M (1999) */
  33095. +#define MMAL_COLOR_SPACE_SMPTE240M MMAL_FOURCC('Y', '2', '4', '0')
  33096. +/** ITU-R BT.470-2 System M */
  33097. +#define MMAL_COLOR_SPACE_BT470_2_M MMAL_FOURCC('Y', '_', '_', 'M')
  33098. +/** ITU-R BT.470-2 System BG */
  33099. +#define MMAL_COLOR_SPACE_BT470_2_BG MMAL_FOURCC('Y', '_', 'B', 'G')
  33100. +/** JPEG JFIF, but with 16..255 luma */
  33101. +#define MMAL_COLOR_SPACE_JFIF_Y16_255 MMAL_FOURCC('Y', 'Y', '1', '6')
  33102. +/* @} MmalColorSpace List */
  33103. +
  33104. +#endif /* MMAL_ENCODINGS_H */
  33105. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-common.h linux-rpi/drivers/media/platform/bcm2835/mmal-msg-common.h
  33106. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-common.h 1970-01-01 01:00:00.000000000 +0100
  33107. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-msg-common.h 2015-11-29 09:42:37.835237156 +0100
  33108. @@ -0,0 +1,50 @@
  33109. +/*
  33110. + * Broadcom BM2835 V4L2 driver
  33111. + *
  33112. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  33113. + *
  33114. + * This file is subject to the terms and conditions of the GNU General Public
  33115. + * License. See the file COPYING in the main directory of this archive
  33116. + * for more details.
  33117. + *
  33118. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  33119. + * Dave Stevenson <dsteve@broadcom.com>
  33120. + * Simon Mellor <simellor@broadcom.com>
  33121. + * Luke Diamand <luked@broadcom.com>
  33122. + */
  33123. +
  33124. +#ifndef MMAL_MSG_COMMON_H
  33125. +#define MMAL_MSG_COMMON_H
  33126. +
  33127. +enum mmal_msg_status {
  33128. + MMAL_MSG_STATUS_SUCCESS = 0, /**< Success */
  33129. + MMAL_MSG_STATUS_ENOMEM, /**< Out of memory */
  33130. + MMAL_MSG_STATUS_ENOSPC, /**< Out of resources other than memory */
  33131. + MMAL_MSG_STATUS_EINVAL, /**< Argument is invalid */
  33132. + MMAL_MSG_STATUS_ENOSYS, /**< Function not implemented */
  33133. + MMAL_MSG_STATUS_ENOENT, /**< No such file or directory */
  33134. + MMAL_MSG_STATUS_ENXIO, /**< No such device or address */
  33135. + MMAL_MSG_STATUS_EIO, /**< I/O error */
  33136. + MMAL_MSG_STATUS_ESPIPE, /**< Illegal seek */
  33137. + MMAL_MSG_STATUS_ECORRUPT, /**< Data is corrupt \attention */
  33138. + MMAL_MSG_STATUS_ENOTREADY, /**< Component is not ready */
  33139. + MMAL_MSG_STATUS_ECONFIG, /**< Component is not configured */
  33140. + MMAL_MSG_STATUS_EISCONN, /**< Port is already connected */
  33141. + MMAL_MSG_STATUS_ENOTCONN, /**< Port is disconnected */
  33142. + MMAL_MSG_STATUS_EAGAIN, /**< Resource temporarily unavailable. */
  33143. + MMAL_MSG_STATUS_EFAULT, /**< Bad address */
  33144. +};
  33145. +
  33146. +struct mmal_rect {
  33147. + s32 x; /**< x coordinate (from left) */
  33148. + s32 y; /**< y coordinate (from top) */
  33149. + s32 width; /**< width */
  33150. + s32 height; /**< height */
  33151. +};
  33152. +
  33153. +struct mmal_rational {
  33154. + s32 num; /**< Numerator */
  33155. + s32 den; /**< Denominator */
  33156. +};
  33157. +
  33158. +#endif /* MMAL_MSG_COMMON_H */
  33159. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-format.h linux-rpi/drivers/media/platform/bcm2835/mmal-msg-format.h
  33160. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-format.h 1970-01-01 01:00:00.000000000 +0100
  33161. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-msg-format.h 2015-11-29 09:42:37.835237156 +0100
  33162. @@ -0,0 +1,81 @@
  33163. +/*
  33164. + * Broadcom BM2835 V4L2 driver
  33165. + *
  33166. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  33167. + *
  33168. + * This file is subject to the terms and conditions of the GNU General Public
  33169. + * License. See the file COPYING in the main directory of this archive
  33170. + * for more details.
  33171. + *
  33172. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  33173. + * Dave Stevenson <dsteve@broadcom.com>
  33174. + * Simon Mellor <simellor@broadcom.com>
  33175. + * Luke Diamand <luked@broadcom.com>
  33176. + */
  33177. +
  33178. +#ifndef MMAL_MSG_FORMAT_H
  33179. +#define MMAL_MSG_FORMAT_H
  33180. +
  33181. +#include "mmal-msg-common.h"
  33182. +
  33183. +/* MMAL_ES_FORMAT_T */
  33184. +
  33185. +
  33186. +struct mmal_audio_format {
  33187. + u32 channels; /**< Number of audio channels */
  33188. + u32 sample_rate; /**< Sample rate */
  33189. +
  33190. + u32 bits_per_sample; /**< Bits per sample */
  33191. + u32 block_align; /**< Size of a block of data */
  33192. +};
  33193. +
  33194. +struct mmal_video_format {
  33195. + u32 width; /**< Width of frame in pixels */
  33196. + u32 height; /**< Height of frame in rows of pixels */
  33197. + struct mmal_rect crop; /**< Visible region of the frame */
  33198. + struct mmal_rational frame_rate; /**< Frame rate */
  33199. + struct mmal_rational par; /**< Pixel aspect ratio */
  33200. +
  33201. + /* FourCC specifying the color space of the video stream. See the
  33202. + * \ref MmalColorSpace "pre-defined color spaces" for some examples.
  33203. + */
  33204. + u32 color_space;
  33205. +};
  33206. +
  33207. +struct mmal_subpicture_format {
  33208. + u32 x_offset;
  33209. + u32 y_offset;
  33210. +};
  33211. +
  33212. +union mmal_es_specific_format {
  33213. + struct mmal_audio_format audio;
  33214. + struct mmal_video_format video;
  33215. + struct mmal_subpicture_format subpicture;
  33216. +};
  33217. +
  33218. +/** Definition of an elementary stream format (MMAL_ES_FORMAT_T) */
  33219. +struct mmal_es_format {
  33220. + u32 type; /* enum mmal_es_type */
  33221. +
  33222. + u32 encoding; /* FourCC specifying encoding of the elementary stream.*/
  33223. + u32 encoding_variant; /* FourCC specifying the specific
  33224. + * encoding variant of the elementary
  33225. + * stream.
  33226. + */
  33227. +
  33228. + union mmal_es_specific_format *es; /* TODO: pointers in
  33229. + * message serialisation?!?
  33230. + */
  33231. + /* Type specific
  33232. + * information for the
  33233. + * elementary stream
  33234. + */
  33235. +
  33236. + u32 bitrate; /**< Bitrate in bits per second */
  33237. + u32 flags; /**< Flags describing properties of the elementary stream. */
  33238. +
  33239. + u32 extradata_size; /**< Size of the codec specific data */
  33240. + u8 *extradata; /**< Codec specific data */
  33241. +};
  33242. +
  33243. +#endif /* MMAL_MSG_FORMAT_H */
  33244. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg.h linux-rpi/drivers/media/platform/bcm2835/mmal-msg.h
  33245. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg.h 1970-01-01 01:00:00.000000000 +0100
  33246. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-msg.h 2015-11-29 09:42:37.835237156 +0100
  33247. @@ -0,0 +1,404 @@
  33248. +/*
  33249. + * Broadcom BM2835 V4L2 driver
  33250. + *
  33251. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  33252. + *
  33253. + * This file is subject to the terms and conditions of the GNU General Public
  33254. + * License. See the file COPYING in the main directory of this archive
  33255. + * for more details.
  33256. + *
  33257. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  33258. + * Dave Stevenson <dsteve@broadcom.com>
  33259. + * Simon Mellor <simellor@broadcom.com>
  33260. + * Luke Diamand <luked@broadcom.com>
  33261. + */
  33262. +
  33263. +/* all the data structures which serialise the MMAL protocol. note
  33264. + * these are directly mapped onto the recived message data.
  33265. + *
  33266. + * BEWARE: They seem to *assume* pointers are u32 and that there is no
  33267. + * structure padding!
  33268. + *
  33269. + * NOTE: this implementation uses kernel types to ensure sizes. Rather
  33270. + * than assigning values to enums to force their size the
  33271. + * implementation uses fixed size types and not the enums (though the
  33272. + * comments have the actual enum type
  33273. + */
  33274. +
  33275. +#define VC_MMAL_VER 15
  33276. +#define VC_MMAL_MIN_VER 10
  33277. +#define VC_MMAL_SERVER_NAME MAKE_FOURCC("mmal")
  33278. +
  33279. +/* max total message size is 512 bytes */
  33280. +#define MMAL_MSG_MAX_SIZE 512
  33281. +/* with six 32bit header elements max payload is therefore 488 bytes */
  33282. +#define MMAL_MSG_MAX_PAYLOAD 488
  33283. +
  33284. +#include "mmal-msg-common.h"
  33285. +#include "mmal-msg-format.h"
  33286. +#include "mmal-msg-port.h"
  33287. +
  33288. +enum mmal_msg_type {
  33289. + MMAL_MSG_TYPE_QUIT = 1,
  33290. + MMAL_MSG_TYPE_SERVICE_CLOSED,
  33291. + MMAL_MSG_TYPE_GET_VERSION,
  33292. + MMAL_MSG_TYPE_COMPONENT_CREATE,
  33293. + MMAL_MSG_TYPE_COMPONENT_DESTROY, /* 5 */
  33294. + MMAL_MSG_TYPE_COMPONENT_ENABLE,
  33295. + MMAL_MSG_TYPE_COMPONENT_DISABLE,
  33296. + MMAL_MSG_TYPE_PORT_INFO_GET,
  33297. + MMAL_MSG_TYPE_PORT_INFO_SET,
  33298. + MMAL_MSG_TYPE_PORT_ACTION, /* 10 */
  33299. + MMAL_MSG_TYPE_BUFFER_FROM_HOST,
  33300. + MMAL_MSG_TYPE_BUFFER_TO_HOST,
  33301. + MMAL_MSG_TYPE_GET_STATS,
  33302. + MMAL_MSG_TYPE_PORT_PARAMETER_SET,
  33303. + MMAL_MSG_TYPE_PORT_PARAMETER_GET, /* 15 */
  33304. + MMAL_MSG_TYPE_EVENT_TO_HOST,
  33305. + MMAL_MSG_TYPE_GET_CORE_STATS_FOR_PORT,
  33306. + MMAL_MSG_TYPE_OPAQUE_ALLOCATOR,
  33307. + MMAL_MSG_TYPE_CONSUME_MEM,
  33308. + MMAL_MSG_TYPE_LMK, /* 20 */
  33309. + MMAL_MSG_TYPE_OPAQUE_ALLOCATOR_DESC,
  33310. + MMAL_MSG_TYPE_DRM_GET_LHS32,
  33311. + MMAL_MSG_TYPE_DRM_GET_TIME,
  33312. + MMAL_MSG_TYPE_BUFFER_FROM_HOST_ZEROLEN,
  33313. + MMAL_MSG_TYPE_PORT_FLUSH, /* 25 */
  33314. + MMAL_MSG_TYPE_HOST_LOG,
  33315. + MMAL_MSG_TYPE_MSG_LAST
  33316. +};
  33317. +
  33318. +/* port action request messages differ depending on the action type */
  33319. +enum mmal_msg_port_action_type {
  33320. + MMAL_MSG_PORT_ACTION_TYPE_UNKNOWN = 0, /* Unkown action */
  33321. + MMAL_MSG_PORT_ACTION_TYPE_ENABLE, /* Enable a port */
  33322. + MMAL_MSG_PORT_ACTION_TYPE_DISABLE, /* Disable a port */
  33323. + MMAL_MSG_PORT_ACTION_TYPE_FLUSH, /* Flush a port */
  33324. + MMAL_MSG_PORT_ACTION_TYPE_CONNECT, /* Connect ports */
  33325. + MMAL_MSG_PORT_ACTION_TYPE_DISCONNECT, /* Disconnect ports */
  33326. + MMAL_MSG_PORT_ACTION_TYPE_SET_REQUIREMENTS, /* Set buffer requirements*/
  33327. +};
  33328. +
  33329. +struct mmal_msg_header {
  33330. + u32 magic;
  33331. + u32 type; /** enum mmal_msg_type */
  33332. +
  33333. + /* Opaque handle to the control service */
  33334. + struct mmal_control_service *control_service;
  33335. +
  33336. + struct mmal_msg_context *context; /** a u32 per message context */
  33337. + u32 status; /** The status of the vchiq operation */
  33338. + u32 padding;
  33339. +};
  33340. +
  33341. +/* Send from VC to host to report version */
  33342. +struct mmal_msg_version {
  33343. + u32 flags;
  33344. + u32 major;
  33345. + u32 minor;
  33346. + u32 minimum;
  33347. +};
  33348. +
  33349. +/* request to VC to create component */
  33350. +struct mmal_msg_component_create {
  33351. + void *client_component; /* component context */
  33352. + char name[128];
  33353. + u32 pid; /* For debug */
  33354. +};
  33355. +
  33356. +/* reply from VC to component creation request */
  33357. +struct mmal_msg_component_create_reply {
  33358. + u32 status; /** enum mmal_msg_status - how does this differ to
  33359. + * the one in the header?
  33360. + */
  33361. + u32 component_handle; /* VideoCore handle for component */
  33362. + u32 input_num; /* Number of input ports */
  33363. + u32 output_num; /* Number of output ports */
  33364. + u32 clock_num; /* Number of clock ports */
  33365. +};
  33366. +
  33367. +/* request to VC to destroy a component */
  33368. +struct mmal_msg_component_destroy {
  33369. + u32 component_handle;
  33370. +};
  33371. +
  33372. +struct mmal_msg_component_destroy_reply {
  33373. + u32 status; /** The component destruction status */
  33374. +};
  33375. +
  33376. +
  33377. +/* request and reply to VC to enable a component */
  33378. +struct mmal_msg_component_enable {
  33379. + u32 component_handle;
  33380. +};
  33381. +
  33382. +struct mmal_msg_component_enable_reply {
  33383. + u32 status; /** The component enable status */
  33384. +};
  33385. +
  33386. +
  33387. +/* request and reply to VC to disable a component */
  33388. +struct mmal_msg_component_disable {
  33389. + u32 component_handle;
  33390. +};
  33391. +
  33392. +struct mmal_msg_component_disable_reply {
  33393. + u32 status; /** The component disable status */
  33394. +};
  33395. +
  33396. +/* request to VC to get port information */
  33397. +struct mmal_msg_port_info_get {
  33398. + u32 component_handle; /* component handle port is associated with */
  33399. + u32 port_type; /* enum mmal_msg_port_type */
  33400. + u32 index; /* port index to query */
  33401. +};
  33402. +
  33403. +/* reply from VC to get port info request */
  33404. +struct mmal_msg_port_info_get_reply {
  33405. + u32 status; /** enum mmal_msg_status */
  33406. + u32 component_handle; /* component handle port is associated with */
  33407. + u32 port_type; /* enum mmal_msg_port_type */
  33408. + u32 port_index; /* port indexed in query */
  33409. + s32 found; /* unused */
  33410. + u32 port_handle; /**< Handle to use for this port */
  33411. + struct mmal_port port;
  33412. + struct mmal_es_format format; /* elementry stream format */
  33413. + union mmal_es_specific_format es; /* es type specific data */
  33414. + u8 extradata[MMAL_FORMAT_EXTRADATA_MAX_SIZE]; /* es extra data */
  33415. +};
  33416. +
  33417. +/* request to VC to set port information */
  33418. +struct mmal_msg_port_info_set {
  33419. + u32 component_handle;
  33420. + u32 port_type; /* enum mmal_msg_port_type */
  33421. + u32 port_index; /* port indexed in query */
  33422. + struct mmal_port port;
  33423. + struct mmal_es_format format;
  33424. + union mmal_es_specific_format es;
  33425. + u8 extradata[MMAL_FORMAT_EXTRADATA_MAX_SIZE];
  33426. +};
  33427. +
  33428. +/* reply from VC to port info set request */
  33429. +struct mmal_msg_port_info_set_reply {
  33430. + u32 status;
  33431. + u32 component_handle; /* component handle port is associated with */
  33432. + u32 port_type; /* enum mmal_msg_port_type */
  33433. + u32 index; /* port indexed in query */
  33434. + s32 found; /* unused */
  33435. + u32 port_handle; /**< Handle to use for this port */
  33436. + struct mmal_port port;
  33437. + struct mmal_es_format format;
  33438. + union mmal_es_specific_format es;
  33439. + u8 extradata[MMAL_FORMAT_EXTRADATA_MAX_SIZE];
  33440. +};
  33441. +
  33442. +
  33443. +/* port action requests that take a mmal_port as a parameter */
  33444. +struct mmal_msg_port_action_port {
  33445. + u32 component_handle;
  33446. + u32 port_handle;
  33447. + u32 action; /* enum mmal_msg_port_action_type */
  33448. + struct mmal_port port;
  33449. +};
  33450. +
  33451. +/* port action requests that take handles as a parameter */
  33452. +struct mmal_msg_port_action_handle {
  33453. + u32 component_handle;
  33454. + u32 port_handle;
  33455. + u32 action; /* enum mmal_msg_port_action_type */
  33456. + u32 connect_component_handle;
  33457. + u32 connect_port_handle;
  33458. +};
  33459. +
  33460. +struct mmal_msg_port_action_reply {
  33461. + u32 status; /** The port action operation status */
  33462. +};
  33463. +
  33464. +
  33465. +
  33466. +
  33467. +/* MMAL buffer transfer */
  33468. +
  33469. +/** Size of space reserved in a buffer message for short messages. */
  33470. +#define MMAL_VC_SHORT_DATA 128
  33471. +
  33472. +/** Signals that the current payload is the end of the stream of data */
  33473. +#define MMAL_BUFFER_HEADER_FLAG_EOS (1<<0)
  33474. +/** Signals that the start of the current payload starts a frame */
  33475. +#define MMAL_BUFFER_HEADER_FLAG_FRAME_START (1<<1)
  33476. +/** Signals that the end of the current payload ends a frame */
  33477. +#define MMAL_BUFFER_HEADER_FLAG_FRAME_END (1<<2)
  33478. +/** Signals that the current payload contains only complete frames (>1) */
  33479. +#define MMAL_BUFFER_HEADER_FLAG_FRAME \
  33480. + (MMAL_BUFFER_HEADER_FLAG_FRAME_START|MMAL_BUFFER_HEADER_FLAG_FRAME_END)
  33481. +/** Signals that the current payload is a keyframe (i.e. self decodable) */
  33482. +#define MMAL_BUFFER_HEADER_FLAG_KEYFRAME (1<<3)
  33483. +/** Signals a discontinuity in the stream of data (e.g. after a seek).
  33484. + * Can be used for instance by a decoder to reset its state */
  33485. +#define MMAL_BUFFER_HEADER_FLAG_DISCONTINUITY (1<<4)
  33486. +/** Signals a buffer containing some kind of config data for the component
  33487. + * (e.g. codec config data) */
  33488. +#define MMAL_BUFFER_HEADER_FLAG_CONFIG (1<<5)
  33489. +/** Signals an encrypted payload */
  33490. +#define MMAL_BUFFER_HEADER_FLAG_ENCRYPTED (1<<6)
  33491. +/** Signals a buffer containing side information */
  33492. +#define MMAL_BUFFER_HEADER_FLAG_CODECSIDEINFO (1<<7)
  33493. +/** Signals a buffer which is the snapshot/postview image from a stills
  33494. + * capture
  33495. + */
  33496. +#define MMAL_BUFFER_HEADER_FLAGS_SNAPSHOT (1<<8)
  33497. +/** Signals a buffer which contains data known to be corrupted */
  33498. +#define MMAL_BUFFER_HEADER_FLAG_CORRUPTED (1<<9)
  33499. +/** Signals that a buffer failed to be transmitted */
  33500. +#define MMAL_BUFFER_HEADER_FLAG_TRANSMISSION_FAILED (1<<10)
  33501. +
  33502. +struct mmal_driver_buffer {
  33503. + u32 magic;
  33504. + u32 component_handle;
  33505. + u32 port_handle;
  33506. + void *client_context;
  33507. +};
  33508. +
  33509. +/* buffer header */
  33510. +struct mmal_buffer_header {
  33511. + struct mmal_buffer_header *next; /* next header */
  33512. + void *priv; /* framework private data */
  33513. + u32 cmd;
  33514. + void *data;
  33515. + u32 alloc_size;
  33516. + u32 length;
  33517. + u32 offset;
  33518. + u32 flags;
  33519. + s64 pts;
  33520. + s64 dts;
  33521. + void *type;
  33522. + void *user_data;
  33523. +};
  33524. +
  33525. +struct mmal_buffer_header_type_specific {
  33526. + union {
  33527. + struct {
  33528. + u32 planes;
  33529. + u32 offset[4];
  33530. + u32 pitch[4];
  33531. + u32 flags;
  33532. + } video;
  33533. + } u;
  33534. +};
  33535. +
  33536. +struct mmal_msg_buffer_from_host {
  33537. + /* The front 32 bytes of the buffer header are copied
  33538. + * back to us in the reply to allow for context. This
  33539. + * area is used to store two mmal_driver_buffer structures to
  33540. + * allow for multiple concurrent service users.
  33541. + */
  33542. + /* control data */
  33543. + struct mmal_driver_buffer drvbuf;
  33544. +
  33545. + /* referenced control data for passthrough buffer management */
  33546. + struct mmal_driver_buffer drvbuf_ref;
  33547. + struct mmal_buffer_header buffer_header; /* buffer header itself */
  33548. + struct mmal_buffer_header_type_specific buffer_header_type_specific;
  33549. + s32 is_zero_copy;
  33550. + s32 has_reference;
  33551. +
  33552. + /** allows short data to be xfered in control message */
  33553. + u32 payload_in_message;
  33554. + u8 short_data[MMAL_VC_SHORT_DATA];
  33555. +};
  33556. +
  33557. +
  33558. +/* port parameter setting */
  33559. +
  33560. +#define MMAL_WORKER_PORT_PARAMETER_SPACE 96
  33561. +
  33562. +struct mmal_msg_port_parameter_set {
  33563. + u32 component_handle; /* component */
  33564. + u32 port_handle; /* port */
  33565. + u32 id; /* Parameter ID */
  33566. + u32 size; /* Parameter size */
  33567. + uint32_t value[MMAL_WORKER_PORT_PARAMETER_SPACE];
  33568. +};
  33569. +
  33570. +struct mmal_msg_port_parameter_set_reply {
  33571. + u32 status; /** enum mmal_msg_status todo: how does this
  33572. + * differ to the one in the header?
  33573. + */
  33574. +};
  33575. +
  33576. +/* port parameter getting */
  33577. +
  33578. +struct mmal_msg_port_parameter_get {
  33579. + u32 component_handle; /* component */
  33580. + u32 port_handle; /* port */
  33581. + u32 id; /* Parameter ID */
  33582. + u32 size; /* Parameter size */
  33583. +};
  33584. +
  33585. +struct mmal_msg_port_parameter_get_reply {
  33586. + u32 status; /* Status of mmal_port_parameter_get call */
  33587. + u32 id; /* Parameter ID */
  33588. + u32 size; /* Parameter size */
  33589. + uint32_t value[MMAL_WORKER_PORT_PARAMETER_SPACE];
  33590. +};
  33591. +
  33592. +/* event messages */
  33593. +#define MMAL_WORKER_EVENT_SPACE 256
  33594. +
  33595. +struct mmal_msg_event_to_host {
  33596. + void *client_component; /* component context */
  33597. +
  33598. + u32 port_type;
  33599. + u32 port_num;
  33600. +
  33601. + u32 cmd;
  33602. + u32 length;
  33603. + u8 data[MMAL_WORKER_EVENT_SPACE];
  33604. + struct mmal_buffer_header *delayed_buffer;
  33605. +};
  33606. +
  33607. +/* all mmal messages are serialised through this structure */
  33608. +struct mmal_msg {
  33609. + /* header */
  33610. + struct mmal_msg_header h;
  33611. + /* payload */
  33612. + union {
  33613. + struct mmal_msg_version version;
  33614. +
  33615. + struct mmal_msg_component_create component_create;
  33616. + struct mmal_msg_component_create_reply component_create_reply;
  33617. +
  33618. + struct mmal_msg_component_destroy component_destroy;
  33619. + struct mmal_msg_component_destroy_reply component_destroy_reply;
  33620. +
  33621. + struct mmal_msg_component_enable component_enable;
  33622. + struct mmal_msg_component_enable_reply component_enable_reply;
  33623. +
  33624. + struct mmal_msg_component_disable component_disable;
  33625. + struct mmal_msg_component_disable_reply component_disable_reply;
  33626. +
  33627. + struct mmal_msg_port_info_get port_info_get;
  33628. + struct mmal_msg_port_info_get_reply port_info_get_reply;
  33629. +
  33630. + struct mmal_msg_port_info_set port_info_set;
  33631. + struct mmal_msg_port_info_set_reply port_info_set_reply;
  33632. +
  33633. + struct mmal_msg_port_action_port port_action_port;
  33634. + struct mmal_msg_port_action_handle port_action_handle;
  33635. + struct mmal_msg_port_action_reply port_action_reply;
  33636. +
  33637. + struct mmal_msg_buffer_from_host buffer_from_host;
  33638. +
  33639. + struct mmal_msg_port_parameter_set port_parameter_set;
  33640. + struct mmal_msg_port_parameter_set_reply
  33641. + port_parameter_set_reply;
  33642. + struct mmal_msg_port_parameter_get
  33643. + port_parameter_get;
  33644. + struct mmal_msg_port_parameter_get_reply
  33645. + port_parameter_get_reply;
  33646. +
  33647. + struct mmal_msg_event_to_host event_to_host;
  33648. +
  33649. + u8 payload[MMAL_MSG_MAX_PAYLOAD];
  33650. + } u;
  33651. +};
  33652. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-port.h linux-rpi/drivers/media/platform/bcm2835/mmal-msg-port.h
  33653. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-msg-port.h 1970-01-01 01:00:00.000000000 +0100
  33654. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-msg-port.h 2015-11-29 09:42:37.835237156 +0100
  33655. @@ -0,0 +1,107 @@
  33656. +/*
  33657. + * Broadcom BM2835 V4L2 driver
  33658. + *
  33659. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  33660. + *
  33661. + * This file is subject to the terms and conditions of the GNU General Public
  33662. + * License. See the file COPYING in the main directory of this archive
  33663. + * for more details.
  33664. + *
  33665. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  33666. + * Dave Stevenson <dsteve@broadcom.com>
  33667. + * Simon Mellor <simellor@broadcom.com>
  33668. + * Luke Diamand <luked@broadcom.com>
  33669. + */
  33670. +
  33671. +/* MMAL_PORT_TYPE_T */
  33672. +enum mmal_port_type {
  33673. + MMAL_PORT_TYPE_UNKNOWN = 0, /**< Unknown port type */
  33674. + MMAL_PORT_TYPE_CONTROL, /**< Control port */
  33675. + MMAL_PORT_TYPE_INPUT, /**< Input port */
  33676. + MMAL_PORT_TYPE_OUTPUT, /**< Output port */
  33677. + MMAL_PORT_TYPE_CLOCK, /**< Clock port */
  33678. +};
  33679. +
  33680. +/** The port is pass-through and doesn't need buffer headers allocated */
  33681. +#define MMAL_PORT_CAPABILITY_PASSTHROUGH 0x01
  33682. +/** The port wants to allocate the buffer payloads.
  33683. + * This signals a preference that payload allocation should be done
  33684. + * on this port for efficiency reasons. */
  33685. +#define MMAL_PORT_CAPABILITY_ALLOCATION 0x02
  33686. +/** The port supports format change events.
  33687. + * This applies to input ports and is used to let the client know
  33688. + * whether the port supports being reconfigured via a format
  33689. + * change event (i.e. without having to disable the port). */
  33690. +#define MMAL_PORT_CAPABILITY_SUPPORTS_EVENT_FORMAT_CHANGE 0x04
  33691. +
  33692. +/* mmal port structure (MMAL_PORT_T)
  33693. + *
  33694. + * most elements are informational only, the pointer values for
  33695. + * interogation messages are generally provided as additional
  33696. + * strucures within the message. When used to set values only teh
  33697. + * buffer_num, buffer_size and userdata parameters are writable.
  33698. + */
  33699. +struct mmal_port {
  33700. + void *priv; /* Private member used by the framework */
  33701. + const char *name; /* Port name. Used for debugging purposes (RO) */
  33702. +
  33703. + u32 type; /* Type of the port (RO) enum mmal_port_type */
  33704. + u16 index; /* Index of the port in its type list (RO) */
  33705. + u16 index_all; /* Index of the port in the list of all ports (RO) */
  33706. +
  33707. + u32 is_enabled; /* Indicates whether the port is enabled or not (RO) */
  33708. + struct mmal_es_format *format; /* Format of the elementary stream */
  33709. +
  33710. + u32 buffer_num_min; /* Minimum number of buffers the port
  33711. + * requires (RO). This is set by the
  33712. + * component.
  33713. + */
  33714. +
  33715. + u32 buffer_size_min; /* Minimum size of buffers the port
  33716. + * requires (RO). This is set by the
  33717. + * component.
  33718. + */
  33719. +
  33720. + u32 buffer_alignment_min; /* Minimum alignment requirement for
  33721. + * the buffers (RO). A value of
  33722. + * zero means no special alignment
  33723. + * requirements. This is set by the
  33724. + * component.
  33725. + */
  33726. +
  33727. + u32 buffer_num_recommended; /* Number of buffers the port
  33728. + * recommends for optimal
  33729. + * performance (RO). A value of
  33730. + * zero means no special
  33731. + * recommendation. This is set
  33732. + * by the component.
  33733. + */
  33734. +
  33735. + u32 buffer_size_recommended; /* Size of buffers the port
  33736. + * recommends for optimal
  33737. + * performance (RO). A value of
  33738. + * zero means no special
  33739. + * recommendation. This is set
  33740. + * by the component.
  33741. + */
  33742. +
  33743. + u32 buffer_num; /* Actual number of buffers the port will use.
  33744. + * This is set by the client.
  33745. + */
  33746. +
  33747. + u32 buffer_size; /* Actual maximum size of the buffers that
  33748. + * will be sent to the port. This is set by
  33749. + * the client.
  33750. + */
  33751. +
  33752. + void *component; /* Component this port belongs to (Read Only) */
  33753. +
  33754. + void *userdata; /* Field reserved for use by the client */
  33755. +
  33756. + u32 capabilities; /* Flags describing the capabilities of a
  33757. + * port (RO). Bitwise combination of \ref
  33758. + * portcapabilities "Port capabilities"
  33759. + * values.
  33760. + */
  33761. +
  33762. +};
  33763. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-parameters.h linux-rpi/drivers/media/platform/bcm2835/mmal-parameters.h
  33764. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-parameters.h 1970-01-01 01:00:00.000000000 +0100
  33765. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-parameters.h 2015-11-29 09:42:37.835237156 +0100
  33766. @@ -0,0 +1,656 @@
  33767. +/*
  33768. + * Broadcom BM2835 V4L2 driver
  33769. + *
  33770. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  33771. + *
  33772. + * This file is subject to the terms and conditions of the GNU General Public
  33773. + * License. See the file COPYING in the main directory of this archive
  33774. + * for more details.
  33775. + *
  33776. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  33777. + * Dave Stevenson <dsteve@broadcom.com>
  33778. + * Simon Mellor <simellor@broadcom.com>
  33779. + * Luke Diamand <luked@broadcom.com>
  33780. + */
  33781. +
  33782. +/* common parameters */
  33783. +
  33784. +/** @name Parameter groups
  33785. + * Parameters are divided into groups, and then allocated sequentially within
  33786. + * a group using an enum.
  33787. + * @{
  33788. + */
  33789. +
  33790. +/** Common parameter ID group, used with many types of component. */
  33791. +#define MMAL_PARAMETER_GROUP_COMMON (0<<16)
  33792. +/** Camera-specific parameter ID group. */
  33793. +#define MMAL_PARAMETER_GROUP_CAMERA (1<<16)
  33794. +/** Video-specific parameter ID group. */
  33795. +#define MMAL_PARAMETER_GROUP_VIDEO (2<<16)
  33796. +/** Audio-specific parameter ID group. */
  33797. +#define MMAL_PARAMETER_GROUP_AUDIO (3<<16)
  33798. +/** Clock-specific parameter ID group. */
  33799. +#define MMAL_PARAMETER_GROUP_CLOCK (4<<16)
  33800. +/** Miracast-specific parameter ID group. */
  33801. +#define MMAL_PARAMETER_GROUP_MIRACAST (5<<16)
  33802. +
  33803. +/* Common parameters */
  33804. +enum mmal_parameter_common_type {
  33805. + MMAL_PARAMETER_UNUSED /**< Never a valid parameter ID */
  33806. + = MMAL_PARAMETER_GROUP_COMMON,
  33807. + MMAL_PARAMETER_SUPPORTED_ENCODINGS, /**< MMAL_PARAMETER_ENCODING_T */
  33808. + MMAL_PARAMETER_URI, /**< MMAL_PARAMETER_URI_T */
  33809. +
  33810. + /** MMAL_PARAMETER_CHANGE_EVENT_REQUEST_T */
  33811. + MMAL_PARAMETER_CHANGE_EVENT_REQUEST,
  33812. +
  33813. + /** MMAL_PARAMETER_BOOLEAN_T */
  33814. + MMAL_PARAMETER_ZERO_COPY,
  33815. +
  33816. + /**< MMAL_PARAMETER_BUFFER_REQUIREMENTS_T */
  33817. + MMAL_PARAMETER_BUFFER_REQUIREMENTS,
  33818. +
  33819. + MMAL_PARAMETER_STATISTICS, /**< MMAL_PARAMETER_STATISTICS_T */
  33820. + MMAL_PARAMETER_CORE_STATISTICS, /**< MMAL_PARAMETER_CORE_STATISTICS_T */
  33821. + MMAL_PARAMETER_MEM_USAGE, /**< MMAL_PARAMETER_MEM_USAGE_T */
  33822. + MMAL_PARAMETER_BUFFER_FLAG_FILTER, /**< MMAL_PARAMETER_UINT32_T */
  33823. + MMAL_PARAMETER_SEEK, /**< MMAL_PARAMETER_SEEK_T */
  33824. + MMAL_PARAMETER_POWERMON_ENABLE, /**< MMAL_PARAMETER_BOOLEAN_T */
  33825. + MMAL_PARAMETER_LOGGING, /**< MMAL_PARAMETER_LOGGING_T */
  33826. + MMAL_PARAMETER_SYSTEM_TIME, /**< MMAL_PARAMETER_UINT64_T */
  33827. + MMAL_PARAMETER_NO_IMAGE_PADDING /**< MMAL_PARAMETER_BOOLEAN_T */
  33828. +};
  33829. +
  33830. +/* camera parameters */
  33831. +
  33832. +enum mmal_parameter_camera_type {
  33833. + /* 0 */
  33834. + /** @ref MMAL_PARAMETER_THUMBNAIL_CONFIG_T */
  33835. + MMAL_PARAMETER_THUMBNAIL_CONFIGURATION
  33836. + = MMAL_PARAMETER_GROUP_CAMERA,
  33837. + MMAL_PARAMETER_CAPTURE_QUALITY, /**< Unused? */
  33838. + MMAL_PARAMETER_ROTATION, /**< @ref MMAL_PARAMETER_INT32_T */
  33839. + MMAL_PARAMETER_EXIF_DISABLE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33840. + MMAL_PARAMETER_EXIF, /**< @ref MMAL_PARAMETER_EXIF_T */
  33841. + MMAL_PARAMETER_AWB_MODE, /**< @ref MMAL_PARAM_AWBMODE_T */
  33842. + MMAL_PARAMETER_IMAGE_EFFECT, /**< @ref MMAL_PARAMETER_IMAGEFX_T */
  33843. + MMAL_PARAMETER_COLOUR_EFFECT, /**< @ref MMAL_PARAMETER_COLOURFX_T */
  33844. + MMAL_PARAMETER_FLICKER_AVOID, /**< @ref MMAL_PARAMETER_FLICKERAVOID_T */
  33845. + MMAL_PARAMETER_FLASH, /**< @ref MMAL_PARAMETER_FLASH_T */
  33846. + MMAL_PARAMETER_REDEYE, /**< @ref MMAL_PARAMETER_REDEYE_T */
  33847. + MMAL_PARAMETER_FOCUS, /**< @ref MMAL_PARAMETER_FOCUS_T */
  33848. + MMAL_PARAMETER_FOCAL_LENGTHS, /**< Unused? */
  33849. + MMAL_PARAMETER_EXPOSURE_COMP, /**< @ref MMAL_PARAMETER_INT32_T */
  33850. + MMAL_PARAMETER_ZOOM, /**< @ref MMAL_PARAMETER_SCALEFACTOR_T */
  33851. + MMAL_PARAMETER_MIRROR, /**< @ref MMAL_PARAMETER_MIRROR_T */
  33852. +
  33853. + /* 0x10 */
  33854. + MMAL_PARAMETER_CAMERA_NUM, /**< @ref MMAL_PARAMETER_UINT32_T */
  33855. + MMAL_PARAMETER_CAPTURE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33856. + MMAL_PARAMETER_EXPOSURE_MODE, /**< @ref MMAL_PARAMETER_EXPOSUREMODE_T */
  33857. + MMAL_PARAMETER_EXP_METERING_MODE, /**< @ref MMAL_PARAMETER_EXPOSUREMETERINGMODE_T */
  33858. + MMAL_PARAMETER_FOCUS_STATUS, /**< @ref MMAL_PARAMETER_FOCUS_STATUS_T */
  33859. + MMAL_PARAMETER_CAMERA_CONFIG, /**< @ref MMAL_PARAMETER_CAMERA_CONFIG_T */
  33860. + MMAL_PARAMETER_CAPTURE_STATUS, /**< @ref MMAL_PARAMETER_CAPTURE_STATUS_T */
  33861. + MMAL_PARAMETER_FACE_TRACK, /**< @ref MMAL_PARAMETER_FACE_TRACK_T */
  33862. + MMAL_PARAMETER_DRAW_BOX_FACES_AND_FOCUS, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33863. + MMAL_PARAMETER_JPEG_Q_FACTOR, /**< @ref MMAL_PARAMETER_UINT32_T */
  33864. + MMAL_PARAMETER_FRAME_RATE, /**< @ref MMAL_PARAMETER_FRAME_RATE_T */
  33865. + MMAL_PARAMETER_USE_STC, /**< @ref MMAL_PARAMETER_CAMERA_STC_MODE_T */
  33866. + MMAL_PARAMETER_CAMERA_INFO, /**< @ref MMAL_PARAMETER_CAMERA_INFO_T */
  33867. + MMAL_PARAMETER_VIDEO_STABILISATION, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33868. + MMAL_PARAMETER_FACE_TRACK_RESULTS, /**< @ref MMAL_PARAMETER_FACE_TRACK_RESULTS_T */
  33869. + MMAL_PARAMETER_ENABLE_RAW_CAPTURE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33870. +
  33871. + /* 0x20 */
  33872. + MMAL_PARAMETER_DPF_FILE, /**< @ref MMAL_PARAMETER_URI_T */
  33873. + MMAL_PARAMETER_ENABLE_DPF_FILE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33874. + MMAL_PARAMETER_DPF_FAIL_IS_FATAL, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33875. + MMAL_PARAMETER_CAPTURE_MODE, /**< @ref MMAL_PARAMETER_CAPTUREMODE_T */
  33876. + MMAL_PARAMETER_FOCUS_REGIONS, /**< @ref MMAL_PARAMETER_FOCUS_REGIONS_T */
  33877. + MMAL_PARAMETER_INPUT_CROP, /**< @ref MMAL_PARAMETER_INPUT_CROP_T */
  33878. + MMAL_PARAMETER_SENSOR_INFORMATION, /**< @ref MMAL_PARAMETER_SENSOR_INFORMATION_T */
  33879. + MMAL_PARAMETER_FLASH_SELECT, /**< @ref MMAL_PARAMETER_FLASH_SELECT_T */
  33880. + MMAL_PARAMETER_FIELD_OF_VIEW, /**< @ref MMAL_PARAMETER_FIELD_OF_VIEW_T */
  33881. + MMAL_PARAMETER_HIGH_DYNAMIC_RANGE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33882. + MMAL_PARAMETER_DYNAMIC_RANGE_COMPRESSION, /**< @ref MMAL_PARAMETER_DRC_T */
  33883. + MMAL_PARAMETER_ALGORITHM_CONTROL, /**< @ref MMAL_PARAMETER_ALGORITHM_CONTROL_T */
  33884. + MMAL_PARAMETER_SHARPNESS, /**< @ref MMAL_PARAMETER_RATIONAL_T */
  33885. + MMAL_PARAMETER_CONTRAST, /**< @ref MMAL_PARAMETER_RATIONAL_T */
  33886. + MMAL_PARAMETER_BRIGHTNESS, /**< @ref MMAL_PARAMETER_RATIONAL_T */
  33887. + MMAL_PARAMETER_SATURATION, /**< @ref MMAL_PARAMETER_RATIONAL_T */
  33888. +
  33889. + /* 0x30 */
  33890. + MMAL_PARAMETER_ISO, /**< @ref MMAL_PARAMETER_UINT32_T */
  33891. + MMAL_PARAMETER_ANTISHAKE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33892. +
  33893. + /** @ref MMAL_PARAMETER_IMAGEFX_PARAMETERS_T */
  33894. + MMAL_PARAMETER_IMAGE_EFFECT_PARAMETERS,
  33895. +
  33896. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  33897. + MMAL_PARAMETER_CAMERA_BURST_CAPTURE,
  33898. +
  33899. + /** @ref MMAL_PARAMETER_UINT32_T */
  33900. + MMAL_PARAMETER_CAMERA_MIN_ISO,
  33901. +
  33902. + /** @ref MMAL_PARAMETER_CAMERA_USE_CASE_T */
  33903. + MMAL_PARAMETER_CAMERA_USE_CASE,
  33904. +
  33905. + /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33906. + MMAL_PARAMETER_CAPTURE_STATS_PASS,
  33907. +
  33908. + /** @ref MMAL_PARAMETER_UINT32_T */
  33909. + MMAL_PARAMETER_CAMERA_CUSTOM_SENSOR_CONFIG,
  33910. +
  33911. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  33912. + MMAL_PARAMETER_ENABLE_REGISTER_FILE,
  33913. +
  33914. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  33915. + MMAL_PARAMETER_REGISTER_FAIL_IS_FATAL,
  33916. +
  33917. + /** @ref MMAL_PARAMETER_CONFIGFILE_T */
  33918. + MMAL_PARAMETER_CONFIGFILE_REGISTERS,
  33919. +
  33920. + /** @ref MMAL_PARAMETER_CONFIGFILE_CHUNK_T */
  33921. + MMAL_PARAMETER_CONFIGFILE_CHUNK_REGISTERS,
  33922. + MMAL_PARAMETER_JPEG_ATTACH_LOG, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33923. + MMAL_PARAMETER_ZERO_SHUTTER_LAG, /**< @ref MMAL_PARAMETER_ZEROSHUTTERLAG_T */
  33924. + MMAL_PARAMETER_FPS_RANGE, /**< @ref MMAL_PARAMETER_FPS_RANGE_T */
  33925. + MMAL_PARAMETER_CAPTURE_EXPOSURE_COMP, /**< @ref MMAL_PARAMETER_INT32_T */
  33926. +
  33927. + /* 0x40 */
  33928. + MMAL_PARAMETER_SW_SHARPEN_DISABLE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33929. + MMAL_PARAMETER_FLASH_REQUIRED, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33930. + MMAL_PARAMETER_SW_SATURATION_DISABLE, /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  33931. + MMAL_PARAMETER_SHUTTER_SPEED, /**< Takes a @ref MMAL_PARAMETER_UINT32_T */
  33932. + MMAL_PARAMETER_CUSTOM_AWB_GAINS, /**< Takes a @ref MMAL_PARAMETER_AWB_GAINS_T */
  33933. +};
  33934. +
  33935. +struct mmal_parameter_rational {
  33936. + s32 num; /**< Numerator */
  33937. + s32 den; /**< Denominator */
  33938. +};
  33939. +
  33940. +enum mmal_parameter_camera_config_timestamp_mode {
  33941. + MMAL_PARAM_TIMESTAMP_MODE_ZERO = 0, /* Always timestamp frames as 0 */
  33942. + MMAL_PARAM_TIMESTAMP_MODE_RAW_STC, /* Use the raw STC value
  33943. + * for the frame timestamp
  33944. + */
  33945. + MMAL_PARAM_TIMESTAMP_MODE_RESET_STC, /* Use the STC timestamp
  33946. + * but subtract the
  33947. + * timestamp of the first
  33948. + * frame sent to give a
  33949. + * zero based timestamp.
  33950. + */
  33951. +};
  33952. +
  33953. +struct mmal_parameter_fps_range {
  33954. + /**< Low end of the permitted framerate range */
  33955. + struct mmal_parameter_rational fps_low;
  33956. + /**< High end of the permitted framerate range */
  33957. + struct mmal_parameter_rational fps_high;
  33958. +};
  33959. +
  33960. +
  33961. +/* camera configuration parameter */
  33962. +struct mmal_parameter_camera_config {
  33963. + /* Parameters for setting up the image pools */
  33964. + u32 max_stills_w; /* Max size of stills capture */
  33965. + u32 max_stills_h;
  33966. + u32 stills_yuv422; /* Allow YUV422 stills capture */
  33967. + u32 one_shot_stills; /* Continuous or one shot stills captures. */
  33968. +
  33969. + u32 max_preview_video_w; /* Max size of the preview or video
  33970. + * capture frames
  33971. + */
  33972. + u32 max_preview_video_h;
  33973. + u32 num_preview_video_frames;
  33974. +
  33975. + /** Sets the height of the circular buffer for stills capture. */
  33976. + u32 stills_capture_circular_buffer_height;
  33977. +
  33978. + /** Allows preview/encode to resume as fast as possible after the stills
  33979. + * input frame has been received, and then processes the still frame in
  33980. + * the background whilst preview/encode has resumed.
  33981. + * Actual mode is controlled by MMAL_PARAMETER_CAPTURE_MODE.
  33982. + */
  33983. + u32 fast_preview_resume;
  33984. +
  33985. + /** Selects algorithm for timestamping frames if
  33986. + * there is no clock component connected.
  33987. + * enum mmal_parameter_camera_config_timestamp_mode
  33988. + */
  33989. + s32 use_stc_timestamp;
  33990. +};
  33991. +
  33992. +
  33993. +enum mmal_parameter_exposuremode {
  33994. + MMAL_PARAM_EXPOSUREMODE_OFF,
  33995. + MMAL_PARAM_EXPOSUREMODE_AUTO,
  33996. + MMAL_PARAM_EXPOSUREMODE_NIGHT,
  33997. + MMAL_PARAM_EXPOSUREMODE_NIGHTPREVIEW,
  33998. + MMAL_PARAM_EXPOSUREMODE_BACKLIGHT,
  33999. + MMAL_PARAM_EXPOSUREMODE_SPOTLIGHT,
  34000. + MMAL_PARAM_EXPOSUREMODE_SPORTS,
  34001. + MMAL_PARAM_EXPOSUREMODE_SNOW,
  34002. + MMAL_PARAM_EXPOSUREMODE_BEACH,
  34003. + MMAL_PARAM_EXPOSUREMODE_VERYLONG,
  34004. + MMAL_PARAM_EXPOSUREMODE_FIXEDFPS,
  34005. + MMAL_PARAM_EXPOSUREMODE_ANTISHAKE,
  34006. + MMAL_PARAM_EXPOSUREMODE_FIREWORKS,
  34007. +};
  34008. +
  34009. +enum mmal_parameter_exposuremeteringmode {
  34010. + MMAL_PARAM_EXPOSUREMETERINGMODE_AVERAGE,
  34011. + MMAL_PARAM_EXPOSUREMETERINGMODE_SPOT,
  34012. + MMAL_PARAM_EXPOSUREMETERINGMODE_BACKLIT,
  34013. + MMAL_PARAM_EXPOSUREMETERINGMODE_MATRIX,
  34014. +};
  34015. +
  34016. +enum mmal_parameter_awbmode {
  34017. + MMAL_PARAM_AWBMODE_OFF,
  34018. + MMAL_PARAM_AWBMODE_AUTO,
  34019. + MMAL_PARAM_AWBMODE_SUNLIGHT,
  34020. + MMAL_PARAM_AWBMODE_CLOUDY,
  34021. + MMAL_PARAM_AWBMODE_SHADE,
  34022. + MMAL_PARAM_AWBMODE_TUNGSTEN,
  34023. + MMAL_PARAM_AWBMODE_FLUORESCENT,
  34024. + MMAL_PARAM_AWBMODE_INCANDESCENT,
  34025. + MMAL_PARAM_AWBMODE_FLASH,
  34026. + MMAL_PARAM_AWBMODE_HORIZON,
  34027. +};
  34028. +
  34029. +enum mmal_parameter_imagefx {
  34030. + MMAL_PARAM_IMAGEFX_NONE,
  34031. + MMAL_PARAM_IMAGEFX_NEGATIVE,
  34032. + MMAL_PARAM_IMAGEFX_SOLARIZE,
  34033. + MMAL_PARAM_IMAGEFX_POSTERIZE,
  34034. + MMAL_PARAM_IMAGEFX_WHITEBOARD,
  34035. + MMAL_PARAM_IMAGEFX_BLACKBOARD,
  34036. + MMAL_PARAM_IMAGEFX_SKETCH,
  34037. + MMAL_PARAM_IMAGEFX_DENOISE,
  34038. + MMAL_PARAM_IMAGEFX_EMBOSS,
  34039. + MMAL_PARAM_IMAGEFX_OILPAINT,
  34040. + MMAL_PARAM_IMAGEFX_HATCH,
  34041. + MMAL_PARAM_IMAGEFX_GPEN,
  34042. + MMAL_PARAM_IMAGEFX_PASTEL,
  34043. + MMAL_PARAM_IMAGEFX_WATERCOLOUR,
  34044. + MMAL_PARAM_IMAGEFX_FILM,
  34045. + MMAL_PARAM_IMAGEFX_BLUR,
  34046. + MMAL_PARAM_IMAGEFX_SATURATION,
  34047. + MMAL_PARAM_IMAGEFX_COLOURSWAP,
  34048. + MMAL_PARAM_IMAGEFX_WASHEDOUT,
  34049. + MMAL_PARAM_IMAGEFX_POSTERISE,
  34050. + MMAL_PARAM_IMAGEFX_COLOURPOINT,
  34051. + MMAL_PARAM_IMAGEFX_COLOURBALANCE,
  34052. + MMAL_PARAM_IMAGEFX_CARTOON,
  34053. +};
  34054. +
  34055. +enum MMAL_PARAM_FLICKERAVOID_T {
  34056. + MMAL_PARAM_FLICKERAVOID_OFF,
  34057. + MMAL_PARAM_FLICKERAVOID_AUTO,
  34058. + MMAL_PARAM_FLICKERAVOID_50HZ,
  34059. + MMAL_PARAM_FLICKERAVOID_60HZ,
  34060. + MMAL_PARAM_FLICKERAVOID_MAX = 0x7FFFFFFF
  34061. +};
  34062. +
  34063. +struct mmal_parameter_awbgains {
  34064. + struct mmal_parameter_rational r_gain; /**< Red gain */
  34065. + struct mmal_parameter_rational b_gain; /**< Blue gain */
  34066. +};
  34067. +
  34068. +/** Manner of video rate control */
  34069. +enum mmal_parameter_rate_control_mode {
  34070. + MMAL_VIDEO_RATECONTROL_DEFAULT,
  34071. + MMAL_VIDEO_RATECONTROL_VARIABLE,
  34072. + MMAL_VIDEO_RATECONTROL_CONSTANT,
  34073. + MMAL_VIDEO_RATECONTROL_VARIABLE_SKIP_FRAMES,
  34074. + MMAL_VIDEO_RATECONTROL_CONSTANT_SKIP_FRAMES
  34075. +};
  34076. +
  34077. +enum mmal_video_profile {
  34078. + MMAL_VIDEO_PROFILE_H263_BASELINE,
  34079. + MMAL_VIDEO_PROFILE_H263_H320CODING,
  34080. + MMAL_VIDEO_PROFILE_H263_BACKWARDCOMPATIBLE,
  34081. + MMAL_VIDEO_PROFILE_H263_ISWV2,
  34082. + MMAL_VIDEO_PROFILE_H263_ISWV3,
  34083. + MMAL_VIDEO_PROFILE_H263_HIGHCOMPRESSION,
  34084. + MMAL_VIDEO_PROFILE_H263_INTERNET,
  34085. + MMAL_VIDEO_PROFILE_H263_INTERLACE,
  34086. + MMAL_VIDEO_PROFILE_H263_HIGHLATENCY,
  34087. + MMAL_VIDEO_PROFILE_MP4V_SIMPLE,
  34088. + MMAL_VIDEO_PROFILE_MP4V_SIMPLESCALABLE,
  34089. + MMAL_VIDEO_PROFILE_MP4V_CORE,
  34090. + MMAL_VIDEO_PROFILE_MP4V_MAIN,
  34091. + MMAL_VIDEO_PROFILE_MP4V_NBIT,
  34092. + MMAL_VIDEO_PROFILE_MP4V_SCALABLETEXTURE,
  34093. + MMAL_VIDEO_PROFILE_MP4V_SIMPLEFACE,
  34094. + MMAL_VIDEO_PROFILE_MP4V_SIMPLEFBA,
  34095. + MMAL_VIDEO_PROFILE_MP4V_BASICANIMATED,
  34096. + MMAL_VIDEO_PROFILE_MP4V_HYBRID,
  34097. + MMAL_VIDEO_PROFILE_MP4V_ADVANCEDREALTIME,
  34098. + MMAL_VIDEO_PROFILE_MP4V_CORESCALABLE,
  34099. + MMAL_VIDEO_PROFILE_MP4V_ADVANCEDCODING,
  34100. + MMAL_VIDEO_PROFILE_MP4V_ADVANCEDCORE,
  34101. + MMAL_VIDEO_PROFILE_MP4V_ADVANCEDSCALABLE,
  34102. + MMAL_VIDEO_PROFILE_MP4V_ADVANCEDSIMPLE,
  34103. + MMAL_VIDEO_PROFILE_H264_BASELINE,
  34104. + MMAL_VIDEO_PROFILE_H264_MAIN,
  34105. + MMAL_VIDEO_PROFILE_H264_EXTENDED,
  34106. + MMAL_VIDEO_PROFILE_H264_HIGH,
  34107. + MMAL_VIDEO_PROFILE_H264_HIGH10,
  34108. + MMAL_VIDEO_PROFILE_H264_HIGH422,
  34109. + MMAL_VIDEO_PROFILE_H264_HIGH444,
  34110. + MMAL_VIDEO_PROFILE_H264_CONSTRAINED_BASELINE,
  34111. + MMAL_VIDEO_PROFILE_DUMMY = 0x7FFFFFFF
  34112. +};
  34113. +
  34114. +enum mmal_video_level {
  34115. + MMAL_VIDEO_LEVEL_H263_10,
  34116. + MMAL_VIDEO_LEVEL_H263_20,
  34117. + MMAL_VIDEO_LEVEL_H263_30,
  34118. + MMAL_VIDEO_LEVEL_H263_40,
  34119. + MMAL_VIDEO_LEVEL_H263_45,
  34120. + MMAL_VIDEO_LEVEL_H263_50,
  34121. + MMAL_VIDEO_LEVEL_H263_60,
  34122. + MMAL_VIDEO_LEVEL_H263_70,
  34123. + MMAL_VIDEO_LEVEL_MP4V_0,
  34124. + MMAL_VIDEO_LEVEL_MP4V_0b,
  34125. + MMAL_VIDEO_LEVEL_MP4V_1,
  34126. + MMAL_VIDEO_LEVEL_MP4V_2,
  34127. + MMAL_VIDEO_LEVEL_MP4V_3,
  34128. + MMAL_VIDEO_LEVEL_MP4V_4,
  34129. + MMAL_VIDEO_LEVEL_MP4V_4a,
  34130. + MMAL_VIDEO_LEVEL_MP4V_5,
  34131. + MMAL_VIDEO_LEVEL_MP4V_6,
  34132. + MMAL_VIDEO_LEVEL_H264_1,
  34133. + MMAL_VIDEO_LEVEL_H264_1b,
  34134. + MMAL_VIDEO_LEVEL_H264_11,
  34135. + MMAL_VIDEO_LEVEL_H264_12,
  34136. + MMAL_VIDEO_LEVEL_H264_13,
  34137. + MMAL_VIDEO_LEVEL_H264_2,
  34138. + MMAL_VIDEO_LEVEL_H264_21,
  34139. + MMAL_VIDEO_LEVEL_H264_22,
  34140. + MMAL_VIDEO_LEVEL_H264_3,
  34141. + MMAL_VIDEO_LEVEL_H264_31,
  34142. + MMAL_VIDEO_LEVEL_H264_32,
  34143. + MMAL_VIDEO_LEVEL_H264_4,
  34144. + MMAL_VIDEO_LEVEL_H264_41,
  34145. + MMAL_VIDEO_LEVEL_H264_42,
  34146. + MMAL_VIDEO_LEVEL_H264_5,
  34147. + MMAL_VIDEO_LEVEL_H264_51,
  34148. + MMAL_VIDEO_LEVEL_DUMMY = 0x7FFFFFFF
  34149. +};
  34150. +
  34151. +struct mmal_parameter_video_profile {
  34152. + enum mmal_video_profile profile;
  34153. + enum mmal_video_level level;
  34154. +};
  34155. +
  34156. +/* video parameters */
  34157. +
  34158. +enum mmal_parameter_video_type {
  34159. + /** @ref MMAL_DISPLAYREGION_T */
  34160. + MMAL_PARAMETER_DISPLAYREGION = MMAL_PARAMETER_GROUP_VIDEO,
  34161. +
  34162. + /** @ref MMAL_PARAMETER_VIDEO_PROFILE_T */
  34163. + MMAL_PARAMETER_SUPPORTED_PROFILES,
  34164. +
  34165. + /** @ref MMAL_PARAMETER_VIDEO_PROFILE_T */
  34166. + MMAL_PARAMETER_PROFILE,
  34167. +
  34168. + /** @ref MMAL_PARAMETER_UINT32_T */
  34169. + MMAL_PARAMETER_INTRAPERIOD,
  34170. +
  34171. + /** @ref MMAL_PARAMETER_VIDEO_RATECONTROL_T */
  34172. + MMAL_PARAMETER_RATECONTROL,
  34173. +
  34174. + /** @ref MMAL_PARAMETER_VIDEO_NALUNITFORMAT_T */
  34175. + MMAL_PARAMETER_NALUNITFORMAT,
  34176. +
  34177. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  34178. + MMAL_PARAMETER_MINIMISE_FRAGMENTATION,
  34179. +
  34180. + /** @ref MMAL_PARAMETER_UINT32_T.
  34181. + * Setting the value to zero resets to the default (one slice per frame).
  34182. + */
  34183. + MMAL_PARAMETER_MB_ROWS_PER_SLICE,
  34184. +
  34185. + /** @ref MMAL_PARAMETER_VIDEO_LEVEL_EXTENSION_T */
  34186. + MMAL_PARAMETER_VIDEO_LEVEL_EXTENSION,
  34187. +
  34188. + /** @ref MMAL_PARAMETER_VIDEO_EEDE_ENABLE_T */
  34189. + MMAL_PARAMETER_VIDEO_EEDE_ENABLE,
  34190. +
  34191. + /** @ref MMAL_PARAMETER_VIDEO_EEDE_LOSSRATE_T */
  34192. + MMAL_PARAMETER_VIDEO_EEDE_LOSSRATE,
  34193. +
  34194. + /** @ref MMAL_PARAMETER_BOOLEAN_T. Request an I-frame. */
  34195. + MMAL_PARAMETER_VIDEO_REQUEST_I_FRAME,
  34196. + /** @ref MMAL_PARAMETER_VIDEO_INTRA_REFRESH_T */
  34197. + MMAL_PARAMETER_VIDEO_INTRA_REFRESH,
  34198. +
  34199. + /** @ref MMAL_PARAMETER_BOOLEAN_T. */
  34200. + MMAL_PARAMETER_VIDEO_IMMUTABLE_INPUT,
  34201. +
  34202. + /** @ref MMAL_PARAMETER_UINT32_T. Run-time bit rate control */
  34203. + MMAL_PARAMETER_VIDEO_BIT_RATE,
  34204. +
  34205. + /** @ref MMAL_PARAMETER_FRAME_RATE_T */
  34206. + MMAL_PARAMETER_VIDEO_FRAME_RATE,
  34207. +
  34208. + /** @ref MMAL_PARAMETER_UINT32_T. */
  34209. + MMAL_PARAMETER_VIDEO_ENCODE_MIN_QUANT,
  34210. +
  34211. + /** @ref MMAL_PARAMETER_UINT32_T. */
  34212. + MMAL_PARAMETER_VIDEO_ENCODE_MAX_QUANT,
  34213. +
  34214. + /** @ref MMAL_PARAMETER_VIDEO_ENCODE_RC_MODEL_T. */
  34215. + MMAL_PARAMETER_VIDEO_ENCODE_RC_MODEL,
  34216. +
  34217. + MMAL_PARAMETER_EXTRA_BUFFERS, /**< @ref MMAL_PARAMETER_UINT32_T. */
  34218. + /** @ref MMAL_PARAMETER_UINT32_T.
  34219. + * Changing this parameter from the default can reduce frame rate
  34220. + * because image buffers need to be re-pitched.
  34221. + */
  34222. + MMAL_PARAMETER_VIDEO_ALIGN_HORIZ,
  34223. +
  34224. + /** @ref MMAL_PARAMETER_UINT32_T.
  34225. + * Changing this parameter from the default can reduce frame rate
  34226. + * because image buffers need to be re-pitched.
  34227. + */
  34228. + MMAL_PARAMETER_VIDEO_ALIGN_VERT,
  34229. +
  34230. + /** @ref MMAL_PARAMETER_BOOLEAN_T. */
  34231. + MMAL_PARAMETER_VIDEO_DROPPABLE_PFRAMES,
  34232. +
  34233. + /** @ref MMAL_PARAMETER_UINT32_T. */
  34234. + MMAL_PARAMETER_VIDEO_ENCODE_INITIAL_QUANT,
  34235. +
  34236. + /**< @ref MMAL_PARAMETER_UINT32_T. */
  34237. + MMAL_PARAMETER_VIDEO_ENCODE_QP_P,
  34238. +
  34239. + /**< @ref MMAL_PARAMETER_UINT32_T. */
  34240. + MMAL_PARAMETER_VIDEO_ENCODE_RC_SLICE_DQUANT,
  34241. +
  34242. + /** @ref MMAL_PARAMETER_UINT32_T */
  34243. + MMAL_PARAMETER_VIDEO_ENCODE_FRAME_LIMIT_BITS,
  34244. +
  34245. + /** @ref MMAL_PARAMETER_UINT32_T. */
  34246. + MMAL_PARAMETER_VIDEO_ENCODE_PEAK_RATE,
  34247. +
  34248. + /* H264 specific parameters */
  34249. +
  34250. + /** @ref MMAL_PARAMETER_BOOLEAN_T. */
  34251. + MMAL_PARAMETER_VIDEO_ENCODE_H264_DISABLE_CABAC,
  34252. +
  34253. + /** @ref MMAL_PARAMETER_BOOLEAN_T. */
  34254. + MMAL_PARAMETER_VIDEO_ENCODE_H264_LOW_LATENCY,
  34255. +
  34256. + /** @ref MMAL_PARAMETER_BOOLEAN_T. */
  34257. + MMAL_PARAMETER_VIDEO_ENCODE_H264_AU_DELIMITERS,
  34258. +
  34259. + /** @ref MMAL_PARAMETER_UINT32_T. */
  34260. + MMAL_PARAMETER_VIDEO_ENCODE_H264_DEBLOCK_IDC,
  34261. +
  34262. + /** @ref MMAL_PARAMETER_VIDEO_ENCODER_H264_MB_INTRA_MODES_T. */
  34263. + MMAL_PARAMETER_VIDEO_ENCODE_H264_MB_INTRA_MODE,
  34264. +
  34265. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  34266. + MMAL_PARAMETER_VIDEO_ENCODE_HEADER_ON_OPEN,
  34267. +
  34268. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  34269. + MMAL_PARAMETER_VIDEO_ENCODE_PRECODE_FOR_QP,
  34270. +
  34271. + /** @ref MMAL_PARAMETER_VIDEO_DRM_INIT_INFO_T. */
  34272. + MMAL_PARAMETER_VIDEO_DRM_INIT_INFO,
  34273. +
  34274. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  34275. + MMAL_PARAMETER_VIDEO_TIMESTAMP_FIFO,
  34276. +
  34277. + /** @ref MMAL_PARAMETER_BOOLEAN_T */
  34278. + MMAL_PARAMETER_VIDEO_DECODE_ERROR_CONCEALMENT,
  34279. +
  34280. + /** @ref MMAL_PARAMETER_VIDEO_DRM_PROTECT_BUFFER_T. */
  34281. + MMAL_PARAMETER_VIDEO_DRM_PROTECT_BUFFER,
  34282. +
  34283. + /** @ref MMAL_PARAMETER_BYTES_T */
  34284. + MMAL_PARAMETER_VIDEO_DECODE_CONFIG_VD3,
  34285. +
  34286. + /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  34287. + MMAL_PARAMETER_VIDEO_ENCODE_H264_VCL_HRD_PARAMETERS,
  34288. +
  34289. + /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  34290. + MMAL_PARAMETER_VIDEO_ENCODE_H264_LOW_DELAY_HRD_FLAG,
  34291. +
  34292. + /**< @ref MMAL_PARAMETER_BOOLEAN_T */
  34293. + MMAL_PARAMETER_VIDEO_ENCODE_INLINE_HEADER
  34294. +};
  34295. +
  34296. +/** Valid mirror modes */
  34297. +enum mmal_parameter_mirror {
  34298. + MMAL_PARAM_MIRROR_NONE,
  34299. + MMAL_PARAM_MIRROR_VERTICAL,
  34300. + MMAL_PARAM_MIRROR_HORIZONTAL,
  34301. + MMAL_PARAM_MIRROR_BOTH,
  34302. +};
  34303. +
  34304. +enum mmal_parameter_displaytransform {
  34305. + MMAL_DISPLAY_ROT0 = 0,
  34306. + MMAL_DISPLAY_MIRROR_ROT0 = 1,
  34307. + MMAL_DISPLAY_MIRROR_ROT180 = 2,
  34308. + MMAL_DISPLAY_ROT180 = 3,
  34309. + MMAL_DISPLAY_MIRROR_ROT90 = 4,
  34310. + MMAL_DISPLAY_ROT270 = 5,
  34311. + MMAL_DISPLAY_ROT90 = 6,
  34312. + MMAL_DISPLAY_MIRROR_ROT270 = 7,
  34313. +};
  34314. +
  34315. +enum mmal_parameter_displaymode {
  34316. + MMAL_DISPLAY_MODE_FILL = 0,
  34317. + MMAL_DISPLAY_MODE_LETTERBOX = 1,
  34318. +};
  34319. +
  34320. +enum mmal_parameter_displayset {
  34321. + MMAL_DISPLAY_SET_NONE = 0,
  34322. + MMAL_DISPLAY_SET_NUM = 1,
  34323. + MMAL_DISPLAY_SET_FULLSCREEN = 2,
  34324. + MMAL_DISPLAY_SET_TRANSFORM = 4,
  34325. + MMAL_DISPLAY_SET_DEST_RECT = 8,
  34326. + MMAL_DISPLAY_SET_SRC_RECT = 0x10,
  34327. + MMAL_DISPLAY_SET_MODE = 0x20,
  34328. + MMAL_DISPLAY_SET_PIXEL = 0x40,
  34329. + MMAL_DISPLAY_SET_NOASPECT = 0x80,
  34330. + MMAL_DISPLAY_SET_LAYER = 0x100,
  34331. + MMAL_DISPLAY_SET_COPYPROTECT = 0x200,
  34332. + MMAL_DISPLAY_SET_ALPHA = 0x400,
  34333. +};
  34334. +
  34335. +struct mmal_parameter_displayregion {
  34336. + /** Bitfield that indicates which fields are set and should be
  34337. + * used. All other fields will maintain their current value.
  34338. + * \ref MMAL_DISPLAYSET_T defines the bits that can be
  34339. + * combined.
  34340. + */
  34341. + u32 set;
  34342. +
  34343. + /** Describes the display output device, with 0 typically
  34344. + * being a directly connected LCD display. The actual values
  34345. + * will depend on the hardware. Code using hard-wired numbers
  34346. + * (e.g. 2) is certain to fail.
  34347. + */
  34348. +
  34349. + u32 display_num;
  34350. + /** Indicates that we are using the full device screen area,
  34351. + * rather than a window of the display. If zero, then
  34352. + * dest_rect is used to specify a region of the display to
  34353. + * use.
  34354. + */
  34355. +
  34356. + s32 fullscreen;
  34357. + /** Indicates any rotation or flipping used to map frames onto
  34358. + * the natural display orientation.
  34359. + */
  34360. + u32 transform; /* enum mmal_parameter_displaytransform */
  34361. +
  34362. + /** Where to display the frame within the screen, if
  34363. + * fullscreen is zero.
  34364. + */
  34365. + struct vchiq_mmal_rect dest_rect;
  34366. +
  34367. + /** Indicates which area of the frame to display. If all
  34368. + * values are zero, the whole frame will be used.
  34369. + */
  34370. + struct vchiq_mmal_rect src_rect;
  34371. +
  34372. + /** If set to non-zero, indicates that any display scaling
  34373. + * should disregard the aspect ratio of the frame region being
  34374. + * displayed.
  34375. + */
  34376. + s32 noaspect;
  34377. +
  34378. + /** Indicates how the image should be scaled to fit the
  34379. + * display. \code MMAL_DISPLAY_MODE_FILL \endcode indicates
  34380. + * that the image should fill the screen by potentially
  34381. + * cropping the frames. Setting \code mode \endcode to \code
  34382. + * MMAL_DISPLAY_MODE_LETTERBOX \endcode indicates that all the
  34383. + * source region should be displayed and black bars added if
  34384. + * necessary.
  34385. + */
  34386. + u32 mode; /* enum mmal_parameter_displaymode */
  34387. +
  34388. + /** If non-zero, defines the width of a source pixel relative
  34389. + * to \code pixel_y \endcode. If zero, then pixels default to
  34390. + * being square.
  34391. + */
  34392. + u32 pixel_x;
  34393. +
  34394. + /** If non-zero, defines the height of a source pixel relative
  34395. + * to \code pixel_x \endcode. If zero, then pixels default to
  34396. + * being square.
  34397. + */
  34398. + u32 pixel_y;
  34399. +
  34400. + /** Sets the relative depth of the images, with greater values
  34401. + * being in front of smaller values.
  34402. + */
  34403. + u32 layer;
  34404. +
  34405. + /** Set to non-zero to ensure copy protection is used on
  34406. + * output.
  34407. + */
  34408. + s32 copyprotect_required;
  34409. +
  34410. + /** Level of opacity of the layer, where zero is fully
  34411. + * transparent and 255 is fully opaque.
  34412. + */
  34413. + u32 alpha;
  34414. +};
  34415. +
  34416. +#define MMAL_MAX_IMAGEFX_PARAMETERS 5
  34417. +
  34418. +struct mmal_parameter_imagefx_parameters {
  34419. + enum mmal_parameter_imagefx effect;
  34420. + u32 num_effect_params;
  34421. + u32 effect_parameter[MMAL_MAX_IMAGEFX_PARAMETERS];
  34422. +};
  34423. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-vchiq.c linux-rpi/drivers/media/platform/bcm2835/mmal-vchiq.c
  34424. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-vchiq.c 1970-01-01 01:00:00.000000000 +0100
  34425. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-vchiq.c 2015-11-29 09:42:37.835237156 +0100
  34426. @@ -0,0 +1,1916 @@
  34427. +/*
  34428. + * Broadcom BM2835 V4L2 driver
  34429. + *
  34430. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  34431. + *
  34432. + * This file is subject to the terms and conditions of the GNU General Public
  34433. + * License. See the file COPYING in the main directory of this archive
  34434. + * for more details.
  34435. + *
  34436. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  34437. + * Dave Stevenson <dsteve@broadcom.com>
  34438. + * Simon Mellor <simellor@broadcom.com>
  34439. + * Luke Diamand <luked@broadcom.com>
  34440. + *
  34441. + * V4L2 driver MMAL vchiq interface code
  34442. + */
  34443. +
  34444. +#define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
  34445. +
  34446. +#include <linux/errno.h>
  34447. +#include <linux/kernel.h>
  34448. +#include <linux/mutex.h>
  34449. +#include <linux/mm.h>
  34450. +#include <linux/slab.h>
  34451. +#include <linux/completion.h>
  34452. +#include <linux/vmalloc.h>
  34453. +#include <asm/cacheflush.h>
  34454. +#include <media/videobuf2-vmalloc.h>
  34455. +
  34456. +#include "mmal-common.h"
  34457. +#include "mmal-vchiq.h"
  34458. +#include "mmal-msg.h"
  34459. +
  34460. +#define USE_VCHIQ_ARM
  34461. +#include "interface/vchi/vchi.h"
  34462. +
  34463. +/* maximum number of components supported */
  34464. +#define VCHIQ_MMAL_MAX_COMPONENTS 4
  34465. +
  34466. +/*#define FULL_MSG_DUMP 1*/
  34467. +
  34468. +#ifdef DEBUG
  34469. +static const char *const msg_type_names[] = {
  34470. + "UNKNOWN",
  34471. + "QUIT",
  34472. + "SERVICE_CLOSED",
  34473. + "GET_VERSION",
  34474. + "COMPONENT_CREATE",
  34475. + "COMPONENT_DESTROY",
  34476. + "COMPONENT_ENABLE",
  34477. + "COMPONENT_DISABLE",
  34478. + "PORT_INFO_GET",
  34479. + "PORT_INFO_SET",
  34480. + "PORT_ACTION",
  34481. + "BUFFER_FROM_HOST",
  34482. + "BUFFER_TO_HOST",
  34483. + "GET_STATS",
  34484. + "PORT_PARAMETER_SET",
  34485. + "PORT_PARAMETER_GET",
  34486. + "EVENT_TO_HOST",
  34487. + "GET_CORE_STATS_FOR_PORT",
  34488. + "OPAQUE_ALLOCATOR",
  34489. + "CONSUME_MEM",
  34490. + "LMK",
  34491. + "OPAQUE_ALLOCATOR_DESC",
  34492. + "DRM_GET_LHS32",
  34493. + "DRM_GET_TIME",
  34494. + "BUFFER_FROM_HOST_ZEROLEN",
  34495. + "PORT_FLUSH",
  34496. + "HOST_LOG",
  34497. +};
  34498. +#endif
  34499. +
  34500. +static const char *const port_action_type_names[] = {
  34501. + "UNKNOWN",
  34502. + "ENABLE",
  34503. + "DISABLE",
  34504. + "FLUSH",
  34505. + "CONNECT",
  34506. + "DISCONNECT",
  34507. + "SET_REQUIREMENTS",
  34508. +};
  34509. +
  34510. +#if defined(DEBUG)
  34511. +#if defined(FULL_MSG_DUMP)
  34512. +#define DBG_DUMP_MSG(MSG, MSG_LEN, TITLE) \
  34513. + do { \
  34514. + pr_debug(TITLE" type:%s(%d) length:%d\n", \
  34515. + msg_type_names[(MSG)->h.type], \
  34516. + (MSG)->h.type, (MSG_LEN)); \
  34517. + print_hex_dump(KERN_DEBUG, "<<h: ", DUMP_PREFIX_OFFSET, \
  34518. + 16, 4, (MSG), \
  34519. + sizeof(struct mmal_msg_header), 1); \
  34520. + print_hex_dump(KERN_DEBUG, "<<p: ", DUMP_PREFIX_OFFSET, \
  34521. + 16, 4, \
  34522. + ((u8 *)(MSG)) + sizeof(struct mmal_msg_header),\
  34523. + (MSG_LEN) - sizeof(struct mmal_msg_header), 1); \
  34524. + } while (0)
  34525. +#else
  34526. +#define DBG_DUMP_MSG(MSG, MSG_LEN, TITLE) \
  34527. + { \
  34528. + pr_debug(TITLE" type:%s(%d) length:%d\n", \
  34529. + msg_type_names[(MSG)->h.type], \
  34530. + (MSG)->h.type, (MSG_LEN)); \
  34531. + }
  34532. +#endif
  34533. +#else
  34534. +#define DBG_DUMP_MSG(MSG, MSG_LEN, TITLE)
  34535. +#endif
  34536. +
  34537. +/* normal message context */
  34538. +struct mmal_msg_context {
  34539. + union {
  34540. + struct {
  34541. + /* work struct for defered callback - must come first */
  34542. + struct work_struct work;
  34543. + /* mmal instance */
  34544. + struct vchiq_mmal_instance *instance;
  34545. + /* mmal port */
  34546. + struct vchiq_mmal_port *port;
  34547. + /* actual buffer used to store bulk reply */
  34548. + struct mmal_buffer *buffer;
  34549. + /* amount of buffer used */
  34550. + unsigned long buffer_used;
  34551. + /* MMAL buffer flags */
  34552. + u32 mmal_flags;
  34553. + /* Presentation and Decode timestamps */
  34554. + s64 pts;
  34555. + s64 dts;
  34556. +
  34557. + int status; /* context status */
  34558. +
  34559. + } bulk; /* bulk data */
  34560. +
  34561. + struct {
  34562. + /* message handle to release */
  34563. + VCHI_HELD_MSG_T msg_handle;
  34564. + /* pointer to received message */
  34565. + struct mmal_msg *msg;
  34566. + /* received message length */
  34567. + u32 msg_len;
  34568. + /* completion upon reply */
  34569. + struct completion cmplt;
  34570. + } sync; /* synchronous response */
  34571. + } u;
  34572. +
  34573. +};
  34574. +
  34575. +struct vchiq_mmal_instance {
  34576. + VCHI_SERVICE_HANDLE_T handle;
  34577. +
  34578. + /* ensure serialised access to service */
  34579. + struct mutex vchiq_mutex;
  34580. +
  34581. + /* ensure serialised access to bulk operations */
  34582. + struct mutex bulk_mutex;
  34583. +
  34584. + /* vmalloc page to receive scratch bulk xfers into */
  34585. + void *bulk_scratch;
  34586. +
  34587. + /* component to use next */
  34588. + int component_idx;
  34589. + struct vchiq_mmal_component component[VCHIQ_MMAL_MAX_COMPONENTS];
  34590. +};
  34591. +
  34592. +static struct mmal_msg_context *get_msg_context(struct vchiq_mmal_instance
  34593. + *instance)
  34594. +{
  34595. + struct mmal_msg_context *msg_context;
  34596. +
  34597. + /* todo: should this be allocated from a pool to avoid kmalloc */
  34598. + msg_context = kmalloc(sizeof(*msg_context), GFP_KERNEL);
  34599. + memset(msg_context, 0, sizeof(*msg_context));
  34600. +
  34601. + return msg_context;
  34602. +}
  34603. +
  34604. +static void release_msg_context(struct mmal_msg_context *msg_context)
  34605. +{
  34606. + kfree(msg_context);
  34607. +}
  34608. +
  34609. +/* deals with receipt of event to host message */
  34610. +static void event_to_host_cb(struct vchiq_mmal_instance *instance,
  34611. + struct mmal_msg *msg, u32 msg_len)
  34612. +{
  34613. + pr_debug("unhandled event\n");
  34614. + pr_debug("component:%p port type:%d num:%d cmd:0x%x length:%d\n",
  34615. + msg->u.event_to_host.client_component,
  34616. + msg->u.event_to_host.port_type,
  34617. + msg->u.event_to_host.port_num,
  34618. + msg->u.event_to_host.cmd, msg->u.event_to_host.length);
  34619. +}
  34620. +
  34621. +/* workqueue scheduled callback
  34622. + *
  34623. + * we do this because it is important we do not call any other vchiq
  34624. + * sync calls from witin the message delivery thread
  34625. + */
  34626. +static void buffer_work_cb(struct work_struct *work)
  34627. +{
  34628. + struct mmal_msg_context *msg_context = (struct mmal_msg_context *)work;
  34629. +
  34630. + msg_context->u.bulk.port->buffer_cb(msg_context->u.bulk.instance,
  34631. + msg_context->u.bulk.port,
  34632. + msg_context->u.bulk.status,
  34633. + msg_context->u.bulk.buffer,
  34634. + msg_context->u.bulk.buffer_used,
  34635. + msg_context->u.bulk.mmal_flags,
  34636. + msg_context->u.bulk.dts,
  34637. + msg_context->u.bulk.pts);
  34638. +
  34639. + /* release message context */
  34640. + release_msg_context(msg_context);
  34641. +}
  34642. +
  34643. +/* enqueue a bulk receive for a given message context */
  34644. +static int bulk_receive(struct vchiq_mmal_instance *instance,
  34645. + struct mmal_msg *msg,
  34646. + struct mmal_msg_context *msg_context)
  34647. +{
  34648. + unsigned long rd_len;
  34649. + unsigned long flags = 0;
  34650. + int ret;
  34651. +
  34652. + /* bulk mutex stops other bulk operations while we have a
  34653. + * receive in progress - released in callback
  34654. + */
  34655. + ret = mutex_lock_interruptible(&instance->bulk_mutex);
  34656. + if (ret != 0)
  34657. + return ret;
  34658. +
  34659. + rd_len = msg->u.buffer_from_host.buffer_header.length;
  34660. +
  34661. + /* take buffer from queue */
  34662. + spin_lock_irqsave(&msg_context->u.bulk.port->slock, flags);
  34663. + if (list_empty(&msg_context->u.bulk.port->buffers)) {
  34664. + spin_unlock_irqrestore(&msg_context->u.bulk.port->slock, flags);
  34665. + pr_err("buffer list empty trying to submit bulk receive\n");
  34666. +
  34667. + /* todo: this is a serious error, we should never have
  34668. + * commited a buffer_to_host operation to the mmal
  34669. + * port without the buffer to back it up (underflow
  34670. + * handling) and there is no obvious way to deal with
  34671. + * this - how is the mmal servie going to react when
  34672. + * we fail to do the xfer and reschedule a buffer when
  34673. + * it arrives? perhaps a starved flag to indicate a
  34674. + * waiting bulk receive?
  34675. + */
  34676. +
  34677. + mutex_unlock(&instance->bulk_mutex);
  34678. +
  34679. + return -EINVAL;
  34680. + }
  34681. +
  34682. + msg_context->u.bulk.buffer =
  34683. + list_entry(msg_context->u.bulk.port->buffers.next,
  34684. + struct mmal_buffer, list);
  34685. + list_del(&msg_context->u.bulk.buffer->list);
  34686. +
  34687. + spin_unlock_irqrestore(&msg_context->u.bulk.port->slock, flags);
  34688. +
  34689. + /* ensure we do not overrun the available buffer */
  34690. + if (rd_len > msg_context->u.bulk.buffer->buffer_size) {
  34691. + rd_len = msg_context->u.bulk.buffer->buffer_size;
  34692. + pr_warn("short read as not enough receive buffer space\n");
  34693. + /* todo: is this the correct response, what happens to
  34694. + * the rest of the message data?
  34695. + */
  34696. + }
  34697. +
  34698. + /* store length */
  34699. + msg_context->u.bulk.buffer_used = rd_len;
  34700. + msg_context->u.bulk.mmal_flags =
  34701. + msg->u.buffer_from_host.buffer_header.flags;
  34702. + msg_context->u.bulk.dts = msg->u.buffer_from_host.buffer_header.dts;
  34703. + msg_context->u.bulk.pts = msg->u.buffer_from_host.buffer_header.pts;
  34704. +
  34705. + // only need to flush L1 cache here, as VCHIQ takes care of the L2
  34706. + // cache.
  34707. + __cpuc_flush_dcache_area(msg_context->u.bulk.buffer->buffer, rd_len);
  34708. +
  34709. + /* queue the bulk submission */
  34710. + vchi_service_use(instance->handle);
  34711. + ret = vchi_bulk_queue_receive(instance->handle,
  34712. + msg_context->u.bulk.buffer->buffer,
  34713. + /* Actual receive needs to be a multiple
  34714. + * of 4 bytes
  34715. + */
  34716. + (rd_len + 3) & ~3,
  34717. + VCHI_FLAGS_CALLBACK_WHEN_OP_COMPLETE |
  34718. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED,
  34719. + msg_context);
  34720. +
  34721. + vchi_service_release(instance->handle);
  34722. +
  34723. + if (ret != 0) {
  34724. + /* callback will not be clearing the mutex */
  34725. + mutex_unlock(&instance->bulk_mutex);
  34726. + }
  34727. +
  34728. + return ret;
  34729. +}
  34730. +
  34731. +/* enque a dummy bulk receive for a given message context */
  34732. +static int dummy_bulk_receive(struct vchiq_mmal_instance *instance,
  34733. + struct mmal_msg_context *msg_context)
  34734. +{
  34735. + int ret;
  34736. +
  34737. + /* bulk mutex stops other bulk operations while we have a
  34738. + * receive in progress - released in callback
  34739. + */
  34740. + ret = mutex_lock_interruptible(&instance->bulk_mutex);
  34741. + if (ret != 0)
  34742. + return ret;
  34743. +
  34744. + /* zero length indicates this was a dummy transfer */
  34745. + msg_context->u.bulk.buffer_used = 0;
  34746. +
  34747. + /* queue the bulk submission */
  34748. + vchi_service_use(instance->handle);
  34749. +
  34750. + ret = vchi_bulk_queue_receive(instance->handle,
  34751. + instance->bulk_scratch,
  34752. + 8,
  34753. + VCHI_FLAGS_CALLBACK_WHEN_OP_COMPLETE |
  34754. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED,
  34755. + msg_context);
  34756. +
  34757. + vchi_service_release(instance->handle);
  34758. +
  34759. + if (ret != 0) {
  34760. + /* callback will not be clearing the mutex */
  34761. + mutex_unlock(&instance->bulk_mutex);
  34762. + }
  34763. +
  34764. + return ret;
  34765. +}
  34766. +
  34767. +/* data in message, memcpy from packet into output buffer */
  34768. +static int inline_receive(struct vchiq_mmal_instance *instance,
  34769. + struct mmal_msg *msg,
  34770. + struct mmal_msg_context *msg_context)
  34771. +{
  34772. + unsigned long flags = 0;
  34773. +
  34774. + /* take buffer from queue */
  34775. + spin_lock_irqsave(&msg_context->u.bulk.port->slock, flags);
  34776. + if (list_empty(&msg_context->u.bulk.port->buffers)) {
  34777. + spin_unlock_irqrestore(&msg_context->u.bulk.port->slock, flags);
  34778. + pr_err("buffer list empty trying to receive inline\n");
  34779. +
  34780. + /* todo: this is a serious error, we should never have
  34781. + * commited a buffer_to_host operation to the mmal
  34782. + * port without the buffer to back it up (with
  34783. + * underflow handling) and there is no obvious way to
  34784. + * deal with this. Less bad than the bulk case as we
  34785. + * can just drop this on the floor but...unhelpful
  34786. + */
  34787. + return -EINVAL;
  34788. + }
  34789. +
  34790. + msg_context->u.bulk.buffer =
  34791. + list_entry(msg_context->u.bulk.port->buffers.next,
  34792. + struct mmal_buffer, list);
  34793. + list_del(&msg_context->u.bulk.buffer->list);
  34794. +
  34795. + spin_unlock_irqrestore(&msg_context->u.bulk.port->slock, flags);
  34796. +
  34797. + memcpy(msg_context->u.bulk.buffer->buffer,
  34798. + msg->u.buffer_from_host.short_data,
  34799. + msg->u.buffer_from_host.payload_in_message);
  34800. +
  34801. + msg_context->u.bulk.buffer_used =
  34802. + msg->u.buffer_from_host.payload_in_message;
  34803. +
  34804. + return 0;
  34805. +}
  34806. +
  34807. +/* queue the buffer availability with MMAL_MSG_TYPE_BUFFER_FROM_HOST */
  34808. +static int
  34809. +buffer_from_host(struct vchiq_mmal_instance *instance,
  34810. + struct vchiq_mmal_port *port, struct mmal_buffer *buf)
  34811. +{
  34812. + struct mmal_msg_context *msg_context;
  34813. + struct mmal_msg m;
  34814. + int ret;
  34815. +
  34816. + pr_debug("instance:%p buffer:%p\n", instance->handle, buf);
  34817. +
  34818. + /* bulk mutex stops other bulk operations while we
  34819. + * have a receive in progress
  34820. + */
  34821. + if (mutex_lock_interruptible(&instance->bulk_mutex))
  34822. + return -EINTR;
  34823. +
  34824. + /* get context */
  34825. + msg_context = get_msg_context(instance);
  34826. + if (msg_context == NULL)
  34827. + return -ENOMEM;
  34828. +
  34829. + /* store bulk message context for when data arrives */
  34830. + msg_context->u.bulk.instance = instance;
  34831. + msg_context->u.bulk.port = port;
  34832. + msg_context->u.bulk.buffer = NULL; /* not valid until bulk xfer */
  34833. + msg_context->u.bulk.buffer_used = 0;
  34834. +
  34835. + /* initialise work structure ready to schedule callback */
  34836. + INIT_WORK(&msg_context->u.bulk.work, buffer_work_cb);
  34837. +
  34838. + /* prep the buffer from host message */
  34839. + memset(&m, 0xbc, sizeof(m)); /* just to make debug clearer */
  34840. +
  34841. + m.h.type = MMAL_MSG_TYPE_BUFFER_FROM_HOST;
  34842. + m.h.magic = MMAL_MAGIC;
  34843. + m.h.context = msg_context;
  34844. + m.h.status = 0;
  34845. +
  34846. + /* drvbuf is our private data passed back */
  34847. + m.u.buffer_from_host.drvbuf.magic = MMAL_MAGIC;
  34848. + m.u.buffer_from_host.drvbuf.component_handle = port->component->handle;
  34849. + m.u.buffer_from_host.drvbuf.port_handle = port->handle;
  34850. + m.u.buffer_from_host.drvbuf.client_context = msg_context;
  34851. +
  34852. + /* buffer header */
  34853. + m.u.buffer_from_host.buffer_header.cmd = 0;
  34854. + m.u.buffer_from_host.buffer_header.data = buf->buffer;
  34855. + m.u.buffer_from_host.buffer_header.alloc_size = buf->buffer_size;
  34856. + m.u.buffer_from_host.buffer_header.length = 0; /* nothing used yet */
  34857. + m.u.buffer_from_host.buffer_header.offset = 0; /* no offset */
  34858. + m.u.buffer_from_host.buffer_header.flags = 0; /* no flags */
  34859. + m.u.buffer_from_host.buffer_header.pts = MMAL_TIME_UNKNOWN;
  34860. + m.u.buffer_from_host.buffer_header.dts = MMAL_TIME_UNKNOWN;
  34861. +
  34862. + /* clear buffer type sepecific data */
  34863. + memset(&m.u.buffer_from_host.buffer_header_type_specific, 0,
  34864. + sizeof(m.u.buffer_from_host.buffer_header_type_specific));
  34865. +
  34866. + /* no payload in message */
  34867. + m.u.buffer_from_host.payload_in_message = 0;
  34868. +
  34869. + vchi_service_use(instance->handle);
  34870. +
  34871. + ret = vchi_msg_queue(instance->handle, &m,
  34872. + sizeof(struct mmal_msg_header) +
  34873. + sizeof(m.u.buffer_from_host),
  34874. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  34875. +
  34876. + if (ret != 0) {
  34877. + release_msg_context(msg_context);
  34878. + /* todo: is this correct error value? */
  34879. + }
  34880. +
  34881. + vchi_service_release(instance->handle);
  34882. +
  34883. + mutex_unlock(&instance->bulk_mutex);
  34884. +
  34885. + return ret;
  34886. +}
  34887. +
  34888. +/* submit a buffer to the mmal sevice
  34889. + *
  34890. + * the buffer_from_host uses size data from the ports next available
  34891. + * mmal_buffer and deals with there being no buffer available by
  34892. + * incrementing the underflow for later
  34893. + */
  34894. +static int port_buffer_from_host(struct vchiq_mmal_instance *instance,
  34895. + struct vchiq_mmal_port *port)
  34896. +{
  34897. + int ret;
  34898. + struct mmal_buffer *buf;
  34899. + unsigned long flags = 0;
  34900. +
  34901. + if (!port->enabled)
  34902. + return -EINVAL;
  34903. +
  34904. + /* peek buffer from queue */
  34905. + spin_lock_irqsave(&port->slock, flags);
  34906. + if (list_empty(&port->buffers)) {
  34907. + port->buffer_underflow++;
  34908. + spin_unlock_irqrestore(&port->slock, flags);
  34909. + return -ENOSPC;
  34910. + }
  34911. +
  34912. + buf = list_entry(port->buffers.next, struct mmal_buffer, list);
  34913. +
  34914. + spin_unlock_irqrestore(&port->slock, flags);
  34915. +
  34916. + /* issue buffer to mmal service */
  34917. + ret = buffer_from_host(instance, port, buf);
  34918. + if (ret) {
  34919. + pr_err("adding buffer header failed\n");
  34920. + /* todo: how should this be dealt with */
  34921. + }
  34922. +
  34923. + return ret;
  34924. +}
  34925. +
  34926. +/* deals with receipt of buffer to host message */
  34927. +static void buffer_to_host_cb(struct vchiq_mmal_instance *instance,
  34928. + struct mmal_msg *msg, u32 msg_len)
  34929. +{
  34930. + struct mmal_msg_context *msg_context;
  34931. +
  34932. + pr_debug("buffer_to_host_cb: instance:%p msg:%p msg_len:%d\n",
  34933. + instance, msg, msg_len);
  34934. +
  34935. + if (msg->u.buffer_from_host.drvbuf.magic == MMAL_MAGIC) {
  34936. + msg_context = msg->u.buffer_from_host.drvbuf.client_context;
  34937. + } else {
  34938. + pr_err("MMAL_MSG_TYPE_BUFFER_TO_HOST with bad magic\n");
  34939. + return;
  34940. + }
  34941. +
  34942. + if (msg->h.status != MMAL_MSG_STATUS_SUCCESS) {
  34943. + /* message reception had an error */
  34944. + pr_warn("error %d in reply\n", msg->h.status);
  34945. +
  34946. + msg_context->u.bulk.status = msg->h.status;
  34947. +
  34948. + } else if (msg->u.buffer_from_host.buffer_header.length == 0) {
  34949. + /* empty buffer */
  34950. + if (msg->u.buffer_from_host.buffer_header.flags &
  34951. + MMAL_BUFFER_HEADER_FLAG_EOS) {
  34952. + msg_context->u.bulk.status =
  34953. + dummy_bulk_receive(instance, msg_context);
  34954. + if (msg_context->u.bulk.status == 0)
  34955. + return; /* successful bulk submission, bulk
  34956. + * completion will trigger callback
  34957. + */
  34958. + } else {
  34959. + /* do callback with empty buffer - not EOS though */
  34960. + msg_context->u.bulk.status = 0;
  34961. + msg_context->u.bulk.buffer_used = 0;
  34962. + }
  34963. + } else if (msg->u.buffer_from_host.payload_in_message == 0) {
  34964. + /* data is not in message, queue a bulk receive */
  34965. + msg_context->u.bulk.status =
  34966. + bulk_receive(instance, msg, msg_context);
  34967. + if (msg_context->u.bulk.status == 0)
  34968. + return; /* successful bulk submission, bulk
  34969. + * completion will trigger callback
  34970. + */
  34971. +
  34972. + /* failed to submit buffer, this will end badly */
  34973. + pr_err("error %d on bulk submission\n",
  34974. + msg_context->u.bulk.status);
  34975. +
  34976. + } else if (msg->u.buffer_from_host.payload_in_message <=
  34977. + MMAL_VC_SHORT_DATA) {
  34978. + /* data payload within message */
  34979. + msg_context->u.bulk.status = inline_receive(instance, msg,
  34980. + msg_context);
  34981. + } else {
  34982. + pr_err("message with invalid short payload\n");
  34983. +
  34984. + /* signal error */
  34985. + msg_context->u.bulk.status = -EINVAL;
  34986. + msg_context->u.bulk.buffer_used =
  34987. + msg->u.buffer_from_host.payload_in_message;
  34988. + }
  34989. +
  34990. + /* replace the buffer header */
  34991. + port_buffer_from_host(instance, msg_context->u.bulk.port);
  34992. +
  34993. + /* schedule the port callback */
  34994. + schedule_work(&msg_context->u.bulk.work);
  34995. +}
  34996. +
  34997. +static void bulk_receive_cb(struct vchiq_mmal_instance *instance,
  34998. + struct mmal_msg_context *msg_context)
  34999. +{
  35000. + /* bulk receive operation complete */
  35001. + mutex_unlock(&msg_context->u.bulk.instance->bulk_mutex);
  35002. +
  35003. + /* replace the buffer header */
  35004. + port_buffer_from_host(msg_context->u.bulk.instance,
  35005. + msg_context->u.bulk.port);
  35006. +
  35007. + msg_context->u.bulk.status = 0;
  35008. +
  35009. + /* schedule the port callback */
  35010. + schedule_work(&msg_context->u.bulk.work);
  35011. +}
  35012. +
  35013. +static void bulk_abort_cb(struct vchiq_mmal_instance *instance,
  35014. + struct mmal_msg_context *msg_context)
  35015. +{
  35016. + pr_err("%s: bulk ABORTED msg_context:%p\n", __func__, msg_context);
  35017. +
  35018. + /* bulk receive operation complete */
  35019. + mutex_unlock(&msg_context->u.bulk.instance->bulk_mutex);
  35020. +
  35021. + /* replace the buffer header */
  35022. + port_buffer_from_host(msg_context->u.bulk.instance,
  35023. + msg_context->u.bulk.port);
  35024. +
  35025. + msg_context->u.bulk.status = -EINTR;
  35026. +
  35027. + schedule_work(&msg_context->u.bulk.work);
  35028. +}
  35029. +
  35030. +/* incoming event service callback */
  35031. +static void service_callback(void *param,
  35032. + const VCHI_CALLBACK_REASON_T reason,
  35033. + void *bulk_ctx)
  35034. +{
  35035. + struct vchiq_mmal_instance *instance = param;
  35036. + int status;
  35037. + u32 msg_len;
  35038. + struct mmal_msg *msg;
  35039. + VCHI_HELD_MSG_T msg_handle;
  35040. +
  35041. + if (!instance) {
  35042. + pr_err("Message callback passed NULL instance\n");
  35043. + return;
  35044. + }
  35045. +
  35046. + switch (reason) {
  35047. + case VCHI_CALLBACK_MSG_AVAILABLE:
  35048. + status = vchi_msg_hold(instance->handle, (void **)&msg,
  35049. + &msg_len, VCHI_FLAGS_NONE, &msg_handle);
  35050. + if (status) {
  35051. + pr_err("Unable to dequeue a message (%d)\n", status);
  35052. + break;
  35053. + }
  35054. +
  35055. + DBG_DUMP_MSG(msg, msg_len, "<<< reply message");
  35056. +
  35057. + /* handling is different for buffer messages */
  35058. + switch (msg->h.type) {
  35059. +
  35060. + case MMAL_MSG_TYPE_BUFFER_FROM_HOST:
  35061. + vchi_held_msg_release(&msg_handle);
  35062. + break;
  35063. +
  35064. + case MMAL_MSG_TYPE_EVENT_TO_HOST:
  35065. + event_to_host_cb(instance, msg, msg_len);
  35066. + vchi_held_msg_release(&msg_handle);
  35067. +
  35068. + break;
  35069. +
  35070. + case MMAL_MSG_TYPE_BUFFER_TO_HOST:
  35071. + buffer_to_host_cb(instance, msg, msg_len);
  35072. + vchi_held_msg_release(&msg_handle);
  35073. + break;
  35074. +
  35075. + default:
  35076. + /* messages dependant on header context to complete */
  35077. +
  35078. + /* todo: the msg.context really ought to be sanity
  35079. + * checked before we just use it, afaict it comes back
  35080. + * and is used raw from the videocore. Perhaps it
  35081. + * should be verified the address lies in the kernel
  35082. + * address space.
  35083. + */
  35084. + if (msg->h.context == NULL) {
  35085. + pr_err("received message context was null!\n");
  35086. + vchi_held_msg_release(&msg_handle);
  35087. + break;
  35088. + }
  35089. +
  35090. + /* fill in context values */
  35091. + msg->h.context->u.sync.msg_handle = msg_handle;
  35092. + msg->h.context->u.sync.msg = msg;
  35093. + msg->h.context->u.sync.msg_len = msg_len;
  35094. +
  35095. + /* todo: should this check (completion_done()
  35096. + * == 1) for no one waiting? or do we need a
  35097. + * flag to tell us the completion has been
  35098. + * interrupted so we can free the message and
  35099. + * its context. This probably also solves the
  35100. + * message arriving after interruption todo
  35101. + * below
  35102. + */
  35103. +
  35104. + /* complete message so caller knows it happened */
  35105. + complete(&msg->h.context->u.sync.cmplt);
  35106. + break;
  35107. + }
  35108. +
  35109. + break;
  35110. +
  35111. + case VCHI_CALLBACK_BULK_RECEIVED:
  35112. + bulk_receive_cb(instance, bulk_ctx);
  35113. + break;
  35114. +
  35115. + case VCHI_CALLBACK_BULK_RECEIVE_ABORTED:
  35116. + bulk_abort_cb(instance, bulk_ctx);
  35117. + break;
  35118. +
  35119. + case VCHI_CALLBACK_SERVICE_CLOSED:
  35120. + /* TODO: consider if this requires action if received when
  35121. + * driver is not explicitly closing the service
  35122. + */
  35123. + break;
  35124. +
  35125. + default:
  35126. + pr_err("Received unhandled message reason %d\n", reason);
  35127. + break;
  35128. + }
  35129. +}
  35130. +
  35131. +static int send_synchronous_mmal_msg(struct vchiq_mmal_instance *instance,
  35132. + struct mmal_msg *msg,
  35133. + unsigned int payload_len,
  35134. + struct mmal_msg **msg_out,
  35135. + VCHI_HELD_MSG_T *msg_handle_out)
  35136. +{
  35137. + struct mmal_msg_context msg_context;
  35138. + int ret;
  35139. +
  35140. + /* payload size must not cause message to exceed max size */
  35141. + if (payload_len >
  35142. + (MMAL_MSG_MAX_SIZE - sizeof(struct mmal_msg_header))) {
  35143. + pr_err("payload length %d exceeds max:%d\n", payload_len,
  35144. + (MMAL_MSG_MAX_SIZE - sizeof(struct mmal_msg_header)));
  35145. + return -EINVAL;
  35146. + }
  35147. +
  35148. + init_completion(&msg_context.u.sync.cmplt);
  35149. +
  35150. + msg->h.magic = MMAL_MAGIC;
  35151. + msg->h.context = &msg_context;
  35152. + msg->h.status = 0;
  35153. +
  35154. + DBG_DUMP_MSG(msg, (sizeof(struct mmal_msg_header) + payload_len),
  35155. + ">>> sync message");
  35156. +
  35157. + vchi_service_use(instance->handle);
  35158. +
  35159. + ret = vchi_msg_queue(instance->handle,
  35160. + msg,
  35161. + sizeof(struct mmal_msg_header) + payload_len,
  35162. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  35163. +
  35164. + vchi_service_release(instance->handle);
  35165. +
  35166. + if (ret) {
  35167. + pr_err("error %d queuing message\n", ret);
  35168. + return ret;
  35169. + }
  35170. +
  35171. + ret = wait_for_completion_timeout(&msg_context.u.sync.cmplt, 3*HZ);
  35172. + if (ret <= 0) {
  35173. + pr_err("error %d waiting for sync completion\n", ret);
  35174. + if (ret == 0)
  35175. + ret = -ETIME;
  35176. + /* todo: what happens if the message arrives after aborting */
  35177. + return ret;
  35178. + }
  35179. +
  35180. + *msg_out = msg_context.u.sync.msg;
  35181. + *msg_handle_out = msg_context.u.sync.msg_handle;
  35182. +
  35183. + return 0;
  35184. +}
  35185. +
  35186. +static void dump_port_info(struct vchiq_mmal_port *port)
  35187. +{
  35188. + pr_debug("port handle:0x%x enabled:%d\n", port->handle, port->enabled);
  35189. +
  35190. + pr_debug("buffer minimum num:%d size:%d align:%d\n",
  35191. + port->minimum_buffer.num,
  35192. + port->minimum_buffer.size, port->minimum_buffer.alignment);
  35193. +
  35194. + pr_debug("buffer recommended num:%d size:%d align:%d\n",
  35195. + port->recommended_buffer.num,
  35196. + port->recommended_buffer.size,
  35197. + port->recommended_buffer.alignment);
  35198. +
  35199. + pr_debug("buffer current values num:%d size:%d align:%d\n",
  35200. + port->current_buffer.num,
  35201. + port->current_buffer.size, port->current_buffer.alignment);
  35202. +
  35203. + pr_debug("elementry stream: type:%d encoding:0x%x varient:0x%x\n",
  35204. + port->format.type,
  35205. + port->format.encoding, port->format.encoding_variant);
  35206. +
  35207. + pr_debug(" bitrate:%d flags:0x%x\n",
  35208. + port->format.bitrate, port->format.flags);
  35209. +
  35210. + if (port->format.type == MMAL_ES_TYPE_VIDEO) {
  35211. + pr_debug
  35212. + ("es video format: width:%d height:%d colourspace:0x%x\n",
  35213. + port->es.video.width, port->es.video.height,
  35214. + port->es.video.color_space);
  35215. +
  35216. + pr_debug(" : crop xywh %d,%d,%d,%d\n",
  35217. + port->es.video.crop.x,
  35218. + port->es.video.crop.y,
  35219. + port->es.video.crop.width, port->es.video.crop.height);
  35220. + pr_debug(" : framerate %d/%d aspect %d/%d\n",
  35221. + port->es.video.frame_rate.num,
  35222. + port->es.video.frame_rate.den,
  35223. + port->es.video.par.num, port->es.video.par.den);
  35224. + }
  35225. +}
  35226. +
  35227. +static void port_to_mmal_msg(struct vchiq_mmal_port *port, struct mmal_port *p)
  35228. +{
  35229. +
  35230. + /* todo do readonly fields need setting at all? */
  35231. + p->type = port->type;
  35232. + p->index = port->index;
  35233. + p->index_all = 0;
  35234. + p->is_enabled = port->enabled;
  35235. + p->buffer_num_min = port->minimum_buffer.num;
  35236. + p->buffer_size_min = port->minimum_buffer.size;
  35237. + p->buffer_alignment_min = port->minimum_buffer.alignment;
  35238. + p->buffer_num_recommended = port->recommended_buffer.num;
  35239. + p->buffer_size_recommended = port->recommended_buffer.size;
  35240. +
  35241. + /* only three writable fields in a port */
  35242. + p->buffer_num = port->current_buffer.num;
  35243. + p->buffer_size = port->current_buffer.size;
  35244. + p->userdata = port;
  35245. +}
  35246. +
  35247. +static int port_info_set(struct vchiq_mmal_instance *instance,
  35248. + struct vchiq_mmal_port *port)
  35249. +{
  35250. + int ret;
  35251. + struct mmal_msg m;
  35252. + struct mmal_msg *rmsg;
  35253. + VCHI_HELD_MSG_T rmsg_handle;
  35254. +
  35255. + pr_debug("setting port info port %p\n", port);
  35256. + if (!port)
  35257. + return -1;
  35258. + dump_port_info(port);
  35259. +
  35260. + m.h.type = MMAL_MSG_TYPE_PORT_INFO_SET;
  35261. +
  35262. + m.u.port_info_set.component_handle = port->component->handle;
  35263. + m.u.port_info_set.port_type = port->type;
  35264. + m.u.port_info_set.port_index = port->index;
  35265. +
  35266. + port_to_mmal_msg(port, &m.u.port_info_set.port);
  35267. +
  35268. + /* elementry stream format setup */
  35269. + m.u.port_info_set.format.type = port->format.type;
  35270. + m.u.port_info_set.format.encoding = port->format.encoding;
  35271. + m.u.port_info_set.format.encoding_variant =
  35272. + port->format.encoding_variant;
  35273. + m.u.port_info_set.format.bitrate = port->format.bitrate;
  35274. + m.u.port_info_set.format.flags = port->format.flags;
  35275. +
  35276. + memcpy(&m.u.port_info_set.es, &port->es,
  35277. + sizeof(union mmal_es_specific_format));
  35278. +
  35279. + m.u.port_info_set.format.extradata_size = port->format.extradata_size;
  35280. + memcpy(&m.u.port_info_set.extradata, port->format.extradata,
  35281. + port->format.extradata_size);
  35282. +
  35283. + ret = send_synchronous_mmal_msg(instance, &m,
  35284. + sizeof(m.u.port_info_set),
  35285. + &rmsg, &rmsg_handle);
  35286. + if (ret)
  35287. + return ret;
  35288. +
  35289. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_INFO_SET) {
  35290. + /* got an unexpected message type in reply */
  35291. + ret = -EINVAL;
  35292. + goto release_msg;
  35293. + }
  35294. +
  35295. + /* return operation status */
  35296. + ret = -rmsg->u.port_info_get_reply.status;
  35297. +
  35298. + pr_debug("%s:result:%d component:0x%x port:%d\n", __func__, ret,
  35299. + port->component->handle, port->handle);
  35300. +
  35301. +release_msg:
  35302. + vchi_held_msg_release(&rmsg_handle);
  35303. +
  35304. + return ret;
  35305. +
  35306. +}
  35307. +
  35308. +/* use port info get message to retrive port information */
  35309. +static int port_info_get(struct vchiq_mmal_instance *instance,
  35310. + struct vchiq_mmal_port *port)
  35311. +{
  35312. + int ret;
  35313. + struct mmal_msg m;
  35314. + struct mmal_msg *rmsg;
  35315. + VCHI_HELD_MSG_T rmsg_handle;
  35316. +
  35317. + /* port info time */
  35318. + m.h.type = MMAL_MSG_TYPE_PORT_INFO_GET;
  35319. + m.u.port_info_get.component_handle = port->component->handle;
  35320. + m.u.port_info_get.port_type = port->type;
  35321. + m.u.port_info_get.index = port->index;
  35322. +
  35323. + ret = send_synchronous_mmal_msg(instance, &m,
  35324. + sizeof(m.u.port_info_get),
  35325. + &rmsg, &rmsg_handle);
  35326. + if (ret)
  35327. + return ret;
  35328. +
  35329. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_INFO_GET) {
  35330. + /* got an unexpected message type in reply */
  35331. + ret = -EINVAL;
  35332. + goto release_msg;
  35333. + }
  35334. +
  35335. + /* return operation status */
  35336. + ret = -rmsg->u.port_info_get_reply.status;
  35337. + if (ret != MMAL_MSG_STATUS_SUCCESS)
  35338. + goto release_msg;
  35339. +
  35340. + if (rmsg->u.port_info_get_reply.port.is_enabled == 0)
  35341. + port->enabled = false;
  35342. + else
  35343. + port->enabled = true;
  35344. +
  35345. + /* copy the values out of the message */
  35346. + port->handle = rmsg->u.port_info_get_reply.port_handle;
  35347. +
  35348. + /* port type and index cached to use on port info set becuase
  35349. + * it does not use a port handle
  35350. + */
  35351. + port->type = rmsg->u.port_info_get_reply.port_type;
  35352. + port->index = rmsg->u.port_info_get_reply.port_index;
  35353. +
  35354. + port->minimum_buffer.num =
  35355. + rmsg->u.port_info_get_reply.port.buffer_num_min;
  35356. + port->minimum_buffer.size =
  35357. + rmsg->u.port_info_get_reply.port.buffer_size_min;
  35358. + port->minimum_buffer.alignment =
  35359. + rmsg->u.port_info_get_reply.port.buffer_alignment_min;
  35360. +
  35361. + port->recommended_buffer.alignment =
  35362. + rmsg->u.port_info_get_reply.port.buffer_alignment_min;
  35363. + port->recommended_buffer.num =
  35364. + rmsg->u.port_info_get_reply.port.buffer_num_recommended;
  35365. +
  35366. + port->current_buffer.num = rmsg->u.port_info_get_reply.port.buffer_num;
  35367. + port->current_buffer.size =
  35368. + rmsg->u.port_info_get_reply.port.buffer_size;
  35369. +
  35370. + /* stream format */
  35371. + port->format.type = rmsg->u.port_info_get_reply.format.type;
  35372. + port->format.encoding = rmsg->u.port_info_get_reply.format.encoding;
  35373. + port->format.encoding_variant =
  35374. + rmsg->u.port_info_get_reply.format.encoding_variant;
  35375. + port->format.bitrate = rmsg->u.port_info_get_reply.format.bitrate;
  35376. + port->format.flags = rmsg->u.port_info_get_reply.format.flags;
  35377. +
  35378. + /* elementry stream format */
  35379. + memcpy(&port->es,
  35380. + &rmsg->u.port_info_get_reply.es,
  35381. + sizeof(union mmal_es_specific_format));
  35382. + port->format.es = &port->es;
  35383. +
  35384. + port->format.extradata_size =
  35385. + rmsg->u.port_info_get_reply.format.extradata_size;
  35386. + memcpy(port->format.extradata,
  35387. + rmsg->u.port_info_get_reply.extradata,
  35388. + port->format.extradata_size);
  35389. +
  35390. + pr_debug("received port info\n");
  35391. + dump_port_info(port);
  35392. +
  35393. +release_msg:
  35394. +
  35395. + pr_debug("%s:result:%d component:0x%x port:%d\n",
  35396. + __func__, ret, port->component->handle, port->handle);
  35397. +
  35398. + vchi_held_msg_release(&rmsg_handle);
  35399. +
  35400. + return ret;
  35401. +}
  35402. +
  35403. +/* create comonent on vc */
  35404. +static int create_component(struct vchiq_mmal_instance *instance,
  35405. + struct vchiq_mmal_component *component,
  35406. + const char *name)
  35407. +{
  35408. + int ret;
  35409. + struct mmal_msg m;
  35410. + struct mmal_msg *rmsg;
  35411. + VCHI_HELD_MSG_T rmsg_handle;
  35412. +
  35413. + /* build component create message */
  35414. + m.h.type = MMAL_MSG_TYPE_COMPONENT_CREATE;
  35415. + m.u.component_create.client_component = component;
  35416. + strncpy(m.u.component_create.name, name,
  35417. + sizeof(m.u.component_create.name));
  35418. +
  35419. + ret = send_synchronous_mmal_msg(instance, &m,
  35420. + sizeof(m.u.component_create),
  35421. + &rmsg, &rmsg_handle);
  35422. + if (ret)
  35423. + return ret;
  35424. +
  35425. + if (rmsg->h.type != m.h.type) {
  35426. + /* got an unexpected message type in reply */
  35427. + ret = -EINVAL;
  35428. + goto release_msg;
  35429. + }
  35430. +
  35431. + ret = -rmsg->u.component_create_reply.status;
  35432. + if (ret != MMAL_MSG_STATUS_SUCCESS)
  35433. + goto release_msg;
  35434. +
  35435. + /* a valid component response received */
  35436. + component->handle = rmsg->u.component_create_reply.component_handle;
  35437. + component->inputs = rmsg->u.component_create_reply.input_num;
  35438. + component->outputs = rmsg->u.component_create_reply.output_num;
  35439. + component->clocks = rmsg->u.component_create_reply.clock_num;
  35440. +
  35441. + pr_debug("Component handle:0x%x in:%d out:%d clock:%d\n",
  35442. + component->handle,
  35443. + component->inputs, component->outputs, component->clocks);
  35444. +
  35445. +release_msg:
  35446. + vchi_held_msg_release(&rmsg_handle);
  35447. +
  35448. + return ret;
  35449. +}
  35450. +
  35451. +/* destroys a component on vc */
  35452. +static int destroy_component(struct vchiq_mmal_instance *instance,
  35453. + struct vchiq_mmal_component *component)
  35454. +{
  35455. + int ret;
  35456. + struct mmal_msg m;
  35457. + struct mmal_msg *rmsg;
  35458. + VCHI_HELD_MSG_T rmsg_handle;
  35459. +
  35460. + m.h.type = MMAL_MSG_TYPE_COMPONENT_DESTROY;
  35461. + m.u.component_destroy.component_handle = component->handle;
  35462. +
  35463. + ret = send_synchronous_mmal_msg(instance, &m,
  35464. + sizeof(m.u.component_destroy),
  35465. + &rmsg, &rmsg_handle);
  35466. + if (ret)
  35467. + return ret;
  35468. +
  35469. + if (rmsg->h.type != m.h.type) {
  35470. + /* got an unexpected message type in reply */
  35471. + ret = -EINVAL;
  35472. + goto release_msg;
  35473. + }
  35474. +
  35475. + ret = -rmsg->u.component_destroy_reply.status;
  35476. +
  35477. +release_msg:
  35478. +
  35479. + vchi_held_msg_release(&rmsg_handle);
  35480. +
  35481. + return ret;
  35482. +}
  35483. +
  35484. +/* enable a component on vc */
  35485. +static int enable_component(struct vchiq_mmal_instance *instance,
  35486. + struct vchiq_mmal_component *component)
  35487. +{
  35488. + int ret;
  35489. + struct mmal_msg m;
  35490. + struct mmal_msg *rmsg;
  35491. + VCHI_HELD_MSG_T rmsg_handle;
  35492. +
  35493. + m.h.type = MMAL_MSG_TYPE_COMPONENT_ENABLE;
  35494. + m.u.component_enable.component_handle = component->handle;
  35495. +
  35496. + ret = send_synchronous_mmal_msg(instance, &m,
  35497. + sizeof(m.u.component_enable),
  35498. + &rmsg, &rmsg_handle);
  35499. + if (ret)
  35500. + return ret;
  35501. +
  35502. + if (rmsg->h.type != m.h.type) {
  35503. + /* got an unexpected message type in reply */
  35504. + ret = -EINVAL;
  35505. + goto release_msg;
  35506. + }
  35507. +
  35508. + ret = -rmsg->u.component_enable_reply.status;
  35509. +
  35510. +release_msg:
  35511. + vchi_held_msg_release(&rmsg_handle);
  35512. +
  35513. + return ret;
  35514. +}
  35515. +
  35516. +/* disable a component on vc */
  35517. +static int disable_component(struct vchiq_mmal_instance *instance,
  35518. + struct vchiq_mmal_component *component)
  35519. +{
  35520. + int ret;
  35521. + struct mmal_msg m;
  35522. + struct mmal_msg *rmsg;
  35523. + VCHI_HELD_MSG_T rmsg_handle;
  35524. +
  35525. + m.h.type = MMAL_MSG_TYPE_COMPONENT_DISABLE;
  35526. + m.u.component_disable.component_handle = component->handle;
  35527. +
  35528. + ret = send_synchronous_mmal_msg(instance, &m,
  35529. + sizeof(m.u.component_disable),
  35530. + &rmsg, &rmsg_handle);
  35531. + if (ret)
  35532. + return ret;
  35533. +
  35534. + if (rmsg->h.type != m.h.type) {
  35535. + /* got an unexpected message type in reply */
  35536. + ret = -EINVAL;
  35537. + goto release_msg;
  35538. + }
  35539. +
  35540. + ret = -rmsg->u.component_disable_reply.status;
  35541. +
  35542. +release_msg:
  35543. +
  35544. + vchi_held_msg_release(&rmsg_handle);
  35545. +
  35546. + return ret;
  35547. +}
  35548. +
  35549. +/* get version of mmal implementation */
  35550. +static int get_version(struct vchiq_mmal_instance *instance,
  35551. + u32 *major_out, u32 *minor_out)
  35552. +{
  35553. + int ret;
  35554. + struct mmal_msg m;
  35555. + struct mmal_msg *rmsg;
  35556. + VCHI_HELD_MSG_T rmsg_handle;
  35557. +
  35558. + m.h.type = MMAL_MSG_TYPE_GET_VERSION;
  35559. +
  35560. + ret = send_synchronous_mmal_msg(instance, &m,
  35561. + sizeof(m.u.version),
  35562. + &rmsg, &rmsg_handle);
  35563. + if (ret)
  35564. + return ret;
  35565. +
  35566. + if (rmsg->h.type != m.h.type) {
  35567. + /* got an unexpected message type in reply */
  35568. + ret = -EINVAL;
  35569. + goto release_msg;
  35570. + }
  35571. +
  35572. + *major_out = rmsg->u.version.major;
  35573. + *minor_out = rmsg->u.version.minor;
  35574. +
  35575. +release_msg:
  35576. + vchi_held_msg_release(&rmsg_handle);
  35577. +
  35578. + return ret;
  35579. +}
  35580. +
  35581. +/* do a port action with a port as a parameter */
  35582. +static int port_action_port(struct vchiq_mmal_instance *instance,
  35583. + struct vchiq_mmal_port *port,
  35584. + enum mmal_msg_port_action_type action_type)
  35585. +{
  35586. + int ret;
  35587. + struct mmal_msg m;
  35588. + struct mmal_msg *rmsg;
  35589. + VCHI_HELD_MSG_T rmsg_handle;
  35590. +
  35591. + m.h.type = MMAL_MSG_TYPE_PORT_ACTION;
  35592. + m.u.port_action_port.component_handle = port->component->handle;
  35593. + m.u.port_action_port.port_handle = port->handle;
  35594. + m.u.port_action_port.action = action_type;
  35595. +
  35596. + port_to_mmal_msg(port, &m.u.port_action_port.port);
  35597. +
  35598. + ret = send_synchronous_mmal_msg(instance, &m,
  35599. + sizeof(m.u.port_action_port),
  35600. + &rmsg, &rmsg_handle);
  35601. + if (ret)
  35602. + return ret;
  35603. +
  35604. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_ACTION) {
  35605. + /* got an unexpected message type in reply */
  35606. + ret = -EINVAL;
  35607. + goto release_msg;
  35608. + }
  35609. +
  35610. + ret = -rmsg->u.port_action_reply.status;
  35611. +
  35612. + pr_debug("%s:result:%d component:0x%x port:%d action:%s(%d)\n",
  35613. + __func__,
  35614. + ret, port->component->handle, port->handle,
  35615. + port_action_type_names[action_type], action_type);
  35616. +
  35617. +release_msg:
  35618. + vchi_held_msg_release(&rmsg_handle);
  35619. +
  35620. + return ret;
  35621. +}
  35622. +
  35623. +/* do a port action with handles as parameters */
  35624. +static int port_action_handle(struct vchiq_mmal_instance *instance,
  35625. + struct vchiq_mmal_port *port,
  35626. + enum mmal_msg_port_action_type action_type,
  35627. + u32 connect_component_handle,
  35628. + u32 connect_port_handle)
  35629. +{
  35630. + int ret;
  35631. + struct mmal_msg m;
  35632. + struct mmal_msg *rmsg;
  35633. + VCHI_HELD_MSG_T rmsg_handle;
  35634. +
  35635. + m.h.type = MMAL_MSG_TYPE_PORT_ACTION;
  35636. +
  35637. + m.u.port_action_handle.component_handle = port->component->handle;
  35638. + m.u.port_action_handle.port_handle = port->handle;
  35639. + m.u.port_action_handle.action = action_type;
  35640. +
  35641. + m.u.port_action_handle.connect_component_handle =
  35642. + connect_component_handle;
  35643. + m.u.port_action_handle.connect_port_handle = connect_port_handle;
  35644. +
  35645. + ret = send_synchronous_mmal_msg(instance, &m,
  35646. + sizeof(m.u.port_action_handle),
  35647. + &rmsg, &rmsg_handle);
  35648. + if (ret)
  35649. + return ret;
  35650. +
  35651. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_ACTION) {
  35652. + /* got an unexpected message type in reply */
  35653. + ret = -EINVAL;
  35654. + goto release_msg;
  35655. + }
  35656. +
  35657. + ret = -rmsg->u.port_action_reply.status;
  35658. +
  35659. + pr_debug("%s:result:%d component:0x%x port:%d action:%s(%d)" \
  35660. + " connect component:0x%x connect port:%d\n",
  35661. + __func__,
  35662. + ret, port->component->handle, port->handle,
  35663. + port_action_type_names[action_type],
  35664. + action_type, connect_component_handle, connect_port_handle);
  35665. +
  35666. +release_msg:
  35667. + vchi_held_msg_release(&rmsg_handle);
  35668. +
  35669. + return ret;
  35670. +}
  35671. +
  35672. +static int port_parameter_set(struct vchiq_mmal_instance *instance,
  35673. + struct vchiq_mmal_port *port,
  35674. + u32 parameter_id, void *value, u32 value_size)
  35675. +{
  35676. + int ret;
  35677. + struct mmal_msg m;
  35678. + struct mmal_msg *rmsg;
  35679. + VCHI_HELD_MSG_T rmsg_handle;
  35680. +
  35681. + m.h.type = MMAL_MSG_TYPE_PORT_PARAMETER_SET;
  35682. +
  35683. + m.u.port_parameter_set.component_handle = port->component->handle;
  35684. + m.u.port_parameter_set.port_handle = port->handle;
  35685. + m.u.port_parameter_set.id = parameter_id;
  35686. + m.u.port_parameter_set.size = (2 * sizeof(u32)) + value_size;
  35687. + memcpy(&m.u.port_parameter_set.value, value, value_size);
  35688. +
  35689. + ret = send_synchronous_mmal_msg(instance, &m,
  35690. + (4 * sizeof(u32)) + value_size,
  35691. + &rmsg, &rmsg_handle);
  35692. + if (ret)
  35693. + return ret;
  35694. +
  35695. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_PARAMETER_SET) {
  35696. + /* got an unexpected message type in reply */
  35697. + ret = -EINVAL;
  35698. + goto release_msg;
  35699. + }
  35700. +
  35701. + ret = -rmsg->u.port_parameter_set_reply.status;
  35702. +
  35703. + pr_debug("%s:result:%d component:0x%x port:%d parameter:%d\n",
  35704. + __func__,
  35705. + ret, port->component->handle, port->handle, parameter_id);
  35706. +
  35707. +release_msg:
  35708. + vchi_held_msg_release(&rmsg_handle);
  35709. +
  35710. + return ret;
  35711. +}
  35712. +
  35713. +static int port_parameter_get(struct vchiq_mmal_instance *instance,
  35714. + struct vchiq_mmal_port *port,
  35715. + u32 parameter_id, void *value, u32 *value_size)
  35716. +{
  35717. + int ret;
  35718. + struct mmal_msg m;
  35719. + struct mmal_msg *rmsg;
  35720. + VCHI_HELD_MSG_T rmsg_handle;
  35721. +
  35722. + m.h.type = MMAL_MSG_TYPE_PORT_PARAMETER_GET;
  35723. +
  35724. + m.u.port_parameter_get.component_handle = port->component->handle;
  35725. + m.u.port_parameter_get.port_handle = port->handle;
  35726. + m.u.port_parameter_get.id = parameter_id;
  35727. + m.u.port_parameter_get.size = (2 * sizeof(u32)) + *value_size;
  35728. +
  35729. + ret = send_synchronous_mmal_msg(instance, &m,
  35730. + sizeof(struct
  35731. + mmal_msg_port_parameter_get),
  35732. + &rmsg, &rmsg_handle);
  35733. + if (ret)
  35734. + return ret;
  35735. +
  35736. + if (rmsg->h.type != MMAL_MSG_TYPE_PORT_PARAMETER_GET) {
  35737. + /* got an unexpected message type in reply */
  35738. + pr_err("Incorrect reply type %d\n", rmsg->h.type);
  35739. + ret = -EINVAL;
  35740. + goto release_msg;
  35741. + }
  35742. +
  35743. + ret = -rmsg->u.port_parameter_get_reply.status;
  35744. + if (ret) {
  35745. + /* Copy only as much as we have space for
  35746. + * but report true size of parameter
  35747. + */
  35748. + memcpy(value, &rmsg->u.port_parameter_get_reply.value,
  35749. + *value_size);
  35750. + *value_size = rmsg->u.port_parameter_get_reply.size;
  35751. + } else
  35752. + memcpy(value, &rmsg->u.port_parameter_get_reply.value,
  35753. + rmsg->u.port_parameter_get_reply.size);
  35754. +
  35755. + pr_debug("%s:result:%d component:0x%x port:%d parameter:%d\n", __func__,
  35756. + ret, port->component->handle, port->handle, parameter_id);
  35757. +
  35758. +release_msg:
  35759. + vchi_held_msg_release(&rmsg_handle);
  35760. +
  35761. + return ret;
  35762. +}
  35763. +
  35764. +/* disables a port and drains buffers from it */
  35765. +static int port_disable(struct vchiq_mmal_instance *instance,
  35766. + struct vchiq_mmal_port *port)
  35767. +{
  35768. + int ret;
  35769. + struct list_head *q, *buf_head;
  35770. + unsigned long flags = 0;
  35771. +
  35772. + if (!port->enabled)
  35773. + return 0;
  35774. +
  35775. + port->enabled = false;
  35776. +
  35777. + ret = port_action_port(instance, port,
  35778. + MMAL_MSG_PORT_ACTION_TYPE_DISABLE);
  35779. + if (ret == 0) {
  35780. +
  35781. + /* drain all queued buffers on port */
  35782. + spin_lock_irqsave(&port->slock, flags);
  35783. +
  35784. + list_for_each_safe(buf_head, q, &port->buffers) {
  35785. + struct mmal_buffer *mmalbuf;
  35786. + mmalbuf = list_entry(buf_head, struct mmal_buffer,
  35787. + list);
  35788. + list_del(buf_head);
  35789. + if (port->buffer_cb)
  35790. + port->buffer_cb(instance,
  35791. + port, 0, mmalbuf, 0, 0,
  35792. + MMAL_TIME_UNKNOWN,
  35793. + MMAL_TIME_UNKNOWN);
  35794. + }
  35795. +
  35796. + spin_unlock_irqrestore(&port->slock, flags);
  35797. +
  35798. + ret = port_info_get(instance, port);
  35799. + }
  35800. +
  35801. + return ret;
  35802. +}
  35803. +
  35804. +/* enable a port */
  35805. +static int port_enable(struct vchiq_mmal_instance *instance,
  35806. + struct vchiq_mmal_port *port)
  35807. +{
  35808. + unsigned int hdr_count;
  35809. + struct list_head *buf_head;
  35810. + int ret;
  35811. +
  35812. + if (port->enabled)
  35813. + return 0;
  35814. +
  35815. + /* ensure there are enough buffers queued to cover the buffer headers */
  35816. + if (port->buffer_cb != NULL) {
  35817. + hdr_count = 0;
  35818. + list_for_each(buf_head, &port->buffers) {
  35819. + hdr_count++;
  35820. + }
  35821. + if (hdr_count < port->current_buffer.num)
  35822. + return -ENOSPC;
  35823. + }
  35824. +
  35825. + ret = port_action_port(instance, port,
  35826. + MMAL_MSG_PORT_ACTION_TYPE_ENABLE);
  35827. + if (ret)
  35828. + goto done;
  35829. +
  35830. + port->enabled = true;
  35831. +
  35832. + if (port->buffer_cb) {
  35833. + /* send buffer headers to videocore */
  35834. + hdr_count = 1;
  35835. + list_for_each(buf_head, &port->buffers) {
  35836. + struct mmal_buffer *mmalbuf;
  35837. + mmalbuf = list_entry(buf_head, struct mmal_buffer,
  35838. + list);
  35839. + ret = buffer_from_host(instance, port, mmalbuf);
  35840. + if (ret)
  35841. + goto done;
  35842. +
  35843. + hdr_count++;
  35844. + if (hdr_count > port->current_buffer.num)
  35845. + break;
  35846. + }
  35847. + }
  35848. +
  35849. + ret = port_info_get(instance, port);
  35850. +
  35851. +done:
  35852. + return ret;
  35853. +}
  35854. +
  35855. +/* ------------------------------------------------------------------
  35856. + * Exported API
  35857. + *------------------------------------------------------------------*/
  35858. +
  35859. +int vchiq_mmal_port_set_format(struct vchiq_mmal_instance *instance,
  35860. + struct vchiq_mmal_port *port)
  35861. +{
  35862. + int ret;
  35863. +
  35864. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35865. + return -EINTR;
  35866. +
  35867. + ret = port_info_set(instance, port);
  35868. + if (ret)
  35869. + goto release_unlock;
  35870. +
  35871. + /* read what has actually been set */
  35872. + ret = port_info_get(instance, port);
  35873. +
  35874. +release_unlock:
  35875. + mutex_unlock(&instance->vchiq_mutex);
  35876. +
  35877. + return ret;
  35878. +
  35879. +}
  35880. +
  35881. +int vchiq_mmal_port_parameter_set(struct vchiq_mmal_instance *instance,
  35882. + struct vchiq_mmal_port *port,
  35883. + u32 parameter, void *value, u32 value_size)
  35884. +{
  35885. + int ret;
  35886. +
  35887. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35888. + return -EINTR;
  35889. +
  35890. + ret = port_parameter_set(instance, port, parameter, value, value_size);
  35891. +
  35892. + mutex_unlock(&instance->vchiq_mutex);
  35893. +
  35894. + return ret;
  35895. +}
  35896. +
  35897. +int vchiq_mmal_port_parameter_get(struct vchiq_mmal_instance *instance,
  35898. + struct vchiq_mmal_port *port,
  35899. + u32 parameter, void *value, u32 *value_size)
  35900. +{
  35901. + int ret;
  35902. +
  35903. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35904. + return -EINTR;
  35905. +
  35906. + ret = port_parameter_get(instance, port, parameter, value, value_size);
  35907. +
  35908. + mutex_unlock(&instance->vchiq_mutex);
  35909. +
  35910. + return ret;
  35911. +}
  35912. +
  35913. +/* enable a port
  35914. + *
  35915. + * enables a port and queues buffers for satisfying callbacks if we
  35916. + * provide a callback handler
  35917. + */
  35918. +int vchiq_mmal_port_enable(struct vchiq_mmal_instance *instance,
  35919. + struct vchiq_mmal_port *port,
  35920. + vchiq_mmal_buffer_cb buffer_cb)
  35921. +{
  35922. + int ret;
  35923. +
  35924. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35925. + return -EINTR;
  35926. +
  35927. + /* already enabled - noop */
  35928. + if (port->enabled) {
  35929. + ret = 0;
  35930. + goto unlock;
  35931. + }
  35932. +
  35933. + port->buffer_cb = buffer_cb;
  35934. +
  35935. + ret = port_enable(instance, port);
  35936. +
  35937. +unlock:
  35938. + mutex_unlock(&instance->vchiq_mutex);
  35939. +
  35940. + return ret;
  35941. +}
  35942. +
  35943. +int vchiq_mmal_port_disable(struct vchiq_mmal_instance *instance,
  35944. + struct vchiq_mmal_port *port)
  35945. +{
  35946. + int ret;
  35947. +
  35948. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35949. + return -EINTR;
  35950. +
  35951. + if (!port->enabled) {
  35952. + mutex_unlock(&instance->vchiq_mutex);
  35953. + return 0;
  35954. + }
  35955. +
  35956. + ret = port_disable(instance, port);
  35957. +
  35958. + mutex_unlock(&instance->vchiq_mutex);
  35959. +
  35960. + return ret;
  35961. +}
  35962. +
  35963. +/* ports will be connected in a tunneled manner so data buffers
  35964. + * are not handled by client.
  35965. + */
  35966. +int vchiq_mmal_port_connect_tunnel(struct vchiq_mmal_instance *instance,
  35967. + struct vchiq_mmal_port *src,
  35968. + struct vchiq_mmal_port *dst)
  35969. +{
  35970. + int ret;
  35971. +
  35972. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  35973. + return -EINTR;
  35974. +
  35975. + /* disconnect ports if connected */
  35976. + if (src->connected != NULL) {
  35977. + ret = port_disable(instance, src);
  35978. + if (ret) {
  35979. + pr_err("failed disabling src port(%d)\n", ret);
  35980. + goto release_unlock;
  35981. + }
  35982. +
  35983. + /* do not need to disable the destination port as they
  35984. + * are connected and it is done automatically
  35985. + */
  35986. +
  35987. + ret = port_action_handle(instance, src,
  35988. + MMAL_MSG_PORT_ACTION_TYPE_DISCONNECT,
  35989. + src->connected->component->handle,
  35990. + src->connected->handle);
  35991. + if (ret < 0) {
  35992. + pr_err("failed disconnecting src port\n");
  35993. + goto release_unlock;
  35994. + }
  35995. + src->connected->enabled = false;
  35996. + src->connected = NULL;
  35997. + }
  35998. +
  35999. + if (dst == NULL) {
  36000. + /* do not make new connection */
  36001. + ret = 0;
  36002. + pr_debug("not making new connection\n");
  36003. + goto release_unlock;
  36004. + }
  36005. +
  36006. + /* copy src port format to dst */
  36007. + dst->format.encoding = src->format.encoding;
  36008. + dst->es.video.width = src->es.video.width;
  36009. + dst->es.video.height = src->es.video.height;
  36010. + dst->es.video.crop.x = src->es.video.crop.x;
  36011. + dst->es.video.crop.y = src->es.video.crop.y;
  36012. + dst->es.video.crop.width = src->es.video.crop.width;
  36013. + dst->es.video.crop.height = src->es.video.crop.height;
  36014. + dst->es.video.frame_rate.num = src->es.video.frame_rate.num;
  36015. + dst->es.video.frame_rate.den = src->es.video.frame_rate.den;
  36016. +
  36017. + /* set new format */
  36018. + ret = port_info_set(instance, dst);
  36019. + if (ret) {
  36020. + pr_debug("setting port info failed\n");
  36021. + goto release_unlock;
  36022. + }
  36023. +
  36024. + /* read what has actually been set */
  36025. + ret = port_info_get(instance, dst);
  36026. + if (ret) {
  36027. + pr_debug("read back port info failed\n");
  36028. + goto release_unlock;
  36029. + }
  36030. +
  36031. + /* connect two ports together */
  36032. + ret = port_action_handle(instance, src,
  36033. + MMAL_MSG_PORT_ACTION_TYPE_CONNECT,
  36034. + dst->component->handle, dst->handle);
  36035. + if (ret < 0) {
  36036. + pr_debug("connecting port %d:%d to %d:%d failed\n",
  36037. + src->component->handle, src->handle,
  36038. + dst->component->handle, dst->handle);
  36039. + goto release_unlock;
  36040. + }
  36041. + src->connected = dst;
  36042. +
  36043. +release_unlock:
  36044. +
  36045. + mutex_unlock(&instance->vchiq_mutex);
  36046. +
  36047. + return ret;
  36048. +}
  36049. +
  36050. +int vchiq_mmal_submit_buffer(struct vchiq_mmal_instance *instance,
  36051. + struct vchiq_mmal_port *port,
  36052. + struct mmal_buffer *buffer)
  36053. +{
  36054. + unsigned long flags = 0;
  36055. +
  36056. + spin_lock_irqsave(&port->slock, flags);
  36057. + list_add_tail(&buffer->list, &port->buffers);
  36058. + spin_unlock_irqrestore(&port->slock, flags);
  36059. +
  36060. + /* the port previously underflowed because it was missing a
  36061. + * mmal_buffer which has just been added, submit that buffer
  36062. + * to the mmal service.
  36063. + */
  36064. + if (port->buffer_underflow) {
  36065. + port_buffer_from_host(instance, port);
  36066. + port->buffer_underflow--;
  36067. + }
  36068. +
  36069. + return 0;
  36070. +}
  36071. +
  36072. +/* Initialise a mmal component and its ports
  36073. + *
  36074. + */
  36075. +int vchiq_mmal_component_init(struct vchiq_mmal_instance *instance,
  36076. + const char *name,
  36077. + struct vchiq_mmal_component **component_out)
  36078. +{
  36079. + int ret;
  36080. + int idx; /* port index */
  36081. + struct vchiq_mmal_component *component;
  36082. +
  36083. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36084. + return -EINTR;
  36085. +
  36086. + if (instance->component_idx == VCHIQ_MMAL_MAX_COMPONENTS) {
  36087. + ret = -EINVAL; /* todo is this correct error? */
  36088. + goto unlock;
  36089. + }
  36090. +
  36091. + component = &instance->component[instance->component_idx];
  36092. +
  36093. + ret = create_component(instance, component, name);
  36094. + if (ret < 0)
  36095. + goto unlock;
  36096. +
  36097. + /* ports info needs gathering */
  36098. + component->control.type = MMAL_PORT_TYPE_CONTROL;
  36099. + component->control.index = 0;
  36100. + component->control.component = component;
  36101. + spin_lock_init(&component->control.slock);
  36102. + INIT_LIST_HEAD(&component->control.buffers);
  36103. + ret = port_info_get(instance, &component->control);
  36104. + if (ret < 0)
  36105. + goto release_component;
  36106. +
  36107. + for (idx = 0; idx < component->inputs; idx++) {
  36108. + component->input[idx].type = MMAL_PORT_TYPE_INPUT;
  36109. + component->input[idx].index = idx;
  36110. + component->input[idx].component = component;
  36111. + spin_lock_init(&component->input[idx].slock);
  36112. + INIT_LIST_HEAD(&component->input[idx].buffers);
  36113. + ret = port_info_get(instance, &component->input[idx]);
  36114. + if (ret < 0)
  36115. + goto release_component;
  36116. + }
  36117. +
  36118. + for (idx = 0; idx < component->outputs; idx++) {
  36119. + component->output[idx].type = MMAL_PORT_TYPE_OUTPUT;
  36120. + component->output[idx].index = idx;
  36121. + component->output[idx].component = component;
  36122. + spin_lock_init(&component->output[idx].slock);
  36123. + INIT_LIST_HEAD(&component->output[idx].buffers);
  36124. + ret = port_info_get(instance, &component->output[idx]);
  36125. + if (ret < 0)
  36126. + goto release_component;
  36127. + }
  36128. +
  36129. + for (idx = 0; idx < component->clocks; idx++) {
  36130. + component->clock[idx].type = MMAL_PORT_TYPE_CLOCK;
  36131. + component->clock[idx].index = idx;
  36132. + component->clock[idx].component = component;
  36133. + spin_lock_init(&component->clock[idx].slock);
  36134. + INIT_LIST_HEAD(&component->clock[idx].buffers);
  36135. + ret = port_info_get(instance, &component->clock[idx]);
  36136. + if (ret < 0)
  36137. + goto release_component;
  36138. + }
  36139. +
  36140. + instance->component_idx++;
  36141. +
  36142. + *component_out = component;
  36143. +
  36144. + mutex_unlock(&instance->vchiq_mutex);
  36145. +
  36146. + return 0;
  36147. +
  36148. +release_component:
  36149. + destroy_component(instance, component);
  36150. +unlock:
  36151. + mutex_unlock(&instance->vchiq_mutex);
  36152. +
  36153. + return ret;
  36154. +}
  36155. +
  36156. +/*
  36157. + * cause a mmal component to be destroyed
  36158. + */
  36159. +int vchiq_mmal_component_finalise(struct vchiq_mmal_instance *instance,
  36160. + struct vchiq_mmal_component *component)
  36161. +{
  36162. + int ret;
  36163. +
  36164. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36165. + return -EINTR;
  36166. +
  36167. + if (component->enabled)
  36168. + ret = disable_component(instance, component);
  36169. +
  36170. + ret = destroy_component(instance, component);
  36171. +
  36172. + mutex_unlock(&instance->vchiq_mutex);
  36173. +
  36174. + return ret;
  36175. +}
  36176. +
  36177. +/*
  36178. + * cause a mmal component to be enabled
  36179. + */
  36180. +int vchiq_mmal_component_enable(struct vchiq_mmal_instance *instance,
  36181. + struct vchiq_mmal_component *component)
  36182. +{
  36183. + int ret;
  36184. +
  36185. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36186. + return -EINTR;
  36187. +
  36188. + if (component->enabled) {
  36189. + mutex_unlock(&instance->vchiq_mutex);
  36190. + return 0;
  36191. + }
  36192. +
  36193. + ret = enable_component(instance, component);
  36194. + if (ret == 0)
  36195. + component->enabled = true;
  36196. +
  36197. + mutex_unlock(&instance->vchiq_mutex);
  36198. +
  36199. + return ret;
  36200. +}
  36201. +
  36202. +/*
  36203. + * cause a mmal component to be enabled
  36204. + */
  36205. +int vchiq_mmal_component_disable(struct vchiq_mmal_instance *instance,
  36206. + struct vchiq_mmal_component *component)
  36207. +{
  36208. + int ret;
  36209. +
  36210. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36211. + return -EINTR;
  36212. +
  36213. + if (!component->enabled) {
  36214. + mutex_unlock(&instance->vchiq_mutex);
  36215. + return 0;
  36216. + }
  36217. +
  36218. + ret = disable_component(instance, component);
  36219. + if (ret == 0)
  36220. + component->enabled = false;
  36221. +
  36222. + mutex_unlock(&instance->vchiq_mutex);
  36223. +
  36224. + return ret;
  36225. +}
  36226. +
  36227. +int vchiq_mmal_version(struct vchiq_mmal_instance *instance,
  36228. + u32 *major_out, u32 *minor_out)
  36229. +{
  36230. + int ret;
  36231. +
  36232. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36233. + return -EINTR;
  36234. +
  36235. + ret = get_version(instance, major_out, minor_out);
  36236. +
  36237. + mutex_unlock(&instance->vchiq_mutex);
  36238. +
  36239. + return ret;
  36240. +}
  36241. +
  36242. +int vchiq_mmal_finalise(struct vchiq_mmal_instance *instance)
  36243. +{
  36244. + int status = 0;
  36245. +
  36246. + if (instance == NULL)
  36247. + return -EINVAL;
  36248. +
  36249. + if (mutex_lock_interruptible(&instance->vchiq_mutex))
  36250. + return -EINTR;
  36251. +
  36252. + vchi_service_use(instance->handle);
  36253. +
  36254. + status = vchi_service_close(instance->handle);
  36255. + if (status != 0)
  36256. + pr_err("mmal-vchiq: VCHIQ close failed");
  36257. +
  36258. + mutex_unlock(&instance->vchiq_mutex);
  36259. +
  36260. + vfree(instance->bulk_scratch);
  36261. +
  36262. + kfree(instance);
  36263. +
  36264. + return status;
  36265. +}
  36266. +
  36267. +int vchiq_mmal_init(struct vchiq_mmal_instance **out_instance)
  36268. +{
  36269. + int status;
  36270. + struct vchiq_mmal_instance *instance;
  36271. + static VCHI_CONNECTION_T *vchi_connection;
  36272. + static VCHI_INSTANCE_T vchi_instance;
  36273. + SERVICE_CREATION_T params = {
  36274. + VCHI_VERSION_EX(VC_MMAL_VER, VC_MMAL_MIN_VER),
  36275. + VC_MMAL_SERVER_NAME,
  36276. + vchi_connection,
  36277. + 0, /* rx fifo size (unused) */
  36278. + 0, /* tx fifo size (unused) */
  36279. + service_callback,
  36280. + NULL, /* service callback parameter */
  36281. + 1, /* unaligned bulk receives */
  36282. + 1, /* unaligned bulk transmits */
  36283. + 0 /* want crc check on bulk transfers */
  36284. + };
  36285. +
  36286. + /* compile time checks to ensure structure size as they are
  36287. + * directly (de)serialised from memory.
  36288. + */
  36289. +
  36290. + /* ensure the header structure has packed to the correct size */
  36291. + BUILD_BUG_ON(sizeof(struct mmal_msg_header) != 24);
  36292. +
  36293. + /* ensure message structure does not exceed maximum length */
  36294. + BUILD_BUG_ON(sizeof(struct mmal_msg) > MMAL_MSG_MAX_SIZE);
  36295. +
  36296. + /* mmal port struct is correct size */
  36297. + BUILD_BUG_ON(sizeof(struct mmal_port) != 64);
  36298. +
  36299. + /* create a vchi instance */
  36300. + status = vchi_initialise(&vchi_instance);
  36301. + if (status) {
  36302. + pr_err("Failed to initialise VCHI instance (status=%d)\n",
  36303. + status);
  36304. + return -EIO;
  36305. + }
  36306. +
  36307. + status = vchi_connect(NULL, 0, vchi_instance);
  36308. + if (status) {
  36309. + pr_err("Failed to connect VCHI instance (status=%d)\n", status);
  36310. + return -EIO;
  36311. + }
  36312. +
  36313. + instance = kmalloc(sizeof(*instance), GFP_KERNEL);
  36314. + memset(instance, 0, sizeof(*instance));
  36315. +
  36316. + mutex_init(&instance->vchiq_mutex);
  36317. + mutex_init(&instance->bulk_mutex);
  36318. +
  36319. + instance->bulk_scratch = vmalloc(PAGE_SIZE);
  36320. +
  36321. + params.callback_param = instance;
  36322. +
  36323. + status = vchi_service_open(vchi_instance, &params, &instance->handle);
  36324. + if (status) {
  36325. + pr_err("Failed to open VCHI service connection (status=%d)\n",
  36326. + status);
  36327. + goto err_close_services;
  36328. + }
  36329. +
  36330. + vchi_service_release(instance->handle);
  36331. +
  36332. + *out_instance = instance;
  36333. +
  36334. + return 0;
  36335. +
  36336. +err_close_services:
  36337. +
  36338. + vchi_service_close(instance->handle);
  36339. + vfree(instance->bulk_scratch);
  36340. + kfree(instance);
  36341. + return -ENODEV;
  36342. +}
  36343. diff -Nur linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-vchiq.h linux-rpi/drivers/media/platform/bcm2835/mmal-vchiq.h
  36344. --- linux-4.1.13.orig/drivers/media/platform/bcm2835/mmal-vchiq.h 1970-01-01 01:00:00.000000000 +0100
  36345. +++ linux-rpi/drivers/media/platform/bcm2835/mmal-vchiq.h 2015-11-29 09:42:37.835237156 +0100
  36346. @@ -0,0 +1,178 @@
  36347. +/*
  36348. + * Broadcom BM2835 V4L2 driver
  36349. + *
  36350. + * Copyright © 2013 Raspberry Pi (Trading) Ltd.
  36351. + *
  36352. + * This file is subject to the terms and conditions of the GNU General Public
  36353. + * License. See the file COPYING in the main directory of this archive
  36354. + * for more details.
  36355. + *
  36356. + * Authors: Vincent Sanders <vincent.sanders@collabora.co.uk>
  36357. + * Dave Stevenson <dsteve@broadcom.com>
  36358. + * Simon Mellor <simellor@broadcom.com>
  36359. + * Luke Diamand <luked@broadcom.com>
  36360. + *
  36361. + * MMAL interface to VCHIQ message passing
  36362. + */
  36363. +
  36364. +#ifndef MMAL_VCHIQ_H
  36365. +#define MMAL_VCHIQ_H
  36366. +
  36367. +#include "mmal-msg-format.h"
  36368. +
  36369. +#define MAX_PORT_COUNT 4
  36370. +
  36371. +/* Maximum size of the format extradata. */
  36372. +#define MMAL_FORMAT_EXTRADATA_MAX_SIZE 128
  36373. +
  36374. +struct vchiq_mmal_instance;
  36375. +
  36376. +enum vchiq_mmal_es_type {
  36377. + MMAL_ES_TYPE_UNKNOWN, /**< Unknown elementary stream type */
  36378. + MMAL_ES_TYPE_CONTROL, /**< Elementary stream of control commands */
  36379. + MMAL_ES_TYPE_AUDIO, /**< Audio elementary stream */
  36380. + MMAL_ES_TYPE_VIDEO, /**< Video elementary stream */
  36381. + MMAL_ES_TYPE_SUBPICTURE /**< Sub-picture elementary stream */
  36382. +};
  36383. +
  36384. +/* rectangle, used lots so it gets its own struct */
  36385. +struct vchiq_mmal_rect {
  36386. + s32 x;
  36387. + s32 y;
  36388. + s32 width;
  36389. + s32 height;
  36390. +};
  36391. +
  36392. +struct vchiq_mmal_port_buffer {
  36393. + unsigned int num; /* number of buffers */
  36394. + u32 size; /* size of buffers */
  36395. + u32 alignment; /* alignment of buffers */
  36396. +};
  36397. +
  36398. +struct vchiq_mmal_port;
  36399. +
  36400. +typedef void (*vchiq_mmal_buffer_cb)(
  36401. + struct vchiq_mmal_instance *instance,
  36402. + struct vchiq_mmal_port *port,
  36403. + int status, struct mmal_buffer *buffer,
  36404. + unsigned long length, u32 mmal_flags, s64 dts, s64 pts);
  36405. +
  36406. +struct vchiq_mmal_port {
  36407. + bool enabled;
  36408. + u32 handle;
  36409. + u32 type; /* port type, cached to use on port info set */
  36410. + u32 index; /* port index, cached to use on port info set */
  36411. +
  36412. + /* component port belongs to, allows simple deref */
  36413. + struct vchiq_mmal_component *component;
  36414. +
  36415. + struct vchiq_mmal_port *connected; /* port conencted to */
  36416. +
  36417. + /* buffer info */
  36418. + struct vchiq_mmal_port_buffer minimum_buffer;
  36419. + struct vchiq_mmal_port_buffer recommended_buffer;
  36420. + struct vchiq_mmal_port_buffer current_buffer;
  36421. +
  36422. + /* stream format */
  36423. + struct mmal_es_format format;
  36424. + /* elementry stream format */
  36425. + union mmal_es_specific_format es;
  36426. +
  36427. + /* data buffers to fill */
  36428. + struct list_head buffers;
  36429. + /* lock to serialise adding and removing buffers from list */
  36430. + spinlock_t slock;
  36431. + /* count of how many buffer header refils have failed because
  36432. + * there was no buffer to satisfy them
  36433. + */
  36434. + int buffer_underflow;
  36435. + /* callback on buffer completion */
  36436. + vchiq_mmal_buffer_cb buffer_cb;
  36437. + /* callback context */
  36438. + void *cb_ctx;
  36439. +};
  36440. +
  36441. +struct vchiq_mmal_component {
  36442. + bool enabled;
  36443. + u32 handle; /* VideoCore handle for component */
  36444. + u32 inputs; /* Number of input ports */
  36445. + u32 outputs; /* Number of output ports */
  36446. + u32 clocks; /* Number of clock ports */
  36447. + struct vchiq_mmal_port control; /* control port */
  36448. + struct vchiq_mmal_port input[MAX_PORT_COUNT]; /* input ports */
  36449. + struct vchiq_mmal_port output[MAX_PORT_COUNT]; /* output ports */
  36450. + struct vchiq_mmal_port clock[MAX_PORT_COUNT]; /* clock ports */
  36451. +};
  36452. +
  36453. +
  36454. +int vchiq_mmal_init(struct vchiq_mmal_instance **out_instance);
  36455. +int vchiq_mmal_finalise(struct vchiq_mmal_instance *instance);
  36456. +
  36457. +/* Initialise a mmal component and its ports
  36458. +*
  36459. +*/
  36460. +int vchiq_mmal_component_init(
  36461. + struct vchiq_mmal_instance *instance,
  36462. + const char *name,
  36463. + struct vchiq_mmal_component **component_out);
  36464. +
  36465. +int vchiq_mmal_component_finalise(
  36466. + struct vchiq_mmal_instance *instance,
  36467. + struct vchiq_mmal_component *component);
  36468. +
  36469. +int vchiq_mmal_component_enable(
  36470. + struct vchiq_mmal_instance *instance,
  36471. + struct vchiq_mmal_component *component);
  36472. +
  36473. +int vchiq_mmal_component_disable(
  36474. + struct vchiq_mmal_instance *instance,
  36475. + struct vchiq_mmal_component *component);
  36476. +
  36477. +
  36478. +
  36479. +/* enable a mmal port
  36480. + *
  36481. + * enables a port and if a buffer callback provided enque buffer
  36482. + * headers as apropriate for the port.
  36483. + */
  36484. +int vchiq_mmal_port_enable(
  36485. + struct vchiq_mmal_instance *instance,
  36486. + struct vchiq_mmal_port *port,
  36487. + vchiq_mmal_buffer_cb buffer_cb);
  36488. +
  36489. +/* disable a port
  36490. + *
  36491. + * disable a port will dequeue any pending buffers
  36492. + */
  36493. +int vchiq_mmal_port_disable(struct vchiq_mmal_instance *instance,
  36494. + struct vchiq_mmal_port *port);
  36495. +
  36496. +
  36497. +int vchiq_mmal_port_parameter_set(struct vchiq_mmal_instance *instance,
  36498. + struct vchiq_mmal_port *port,
  36499. + u32 parameter,
  36500. + void *value,
  36501. + u32 value_size);
  36502. +
  36503. +int vchiq_mmal_port_parameter_get(struct vchiq_mmal_instance *instance,
  36504. + struct vchiq_mmal_port *port,
  36505. + u32 parameter,
  36506. + void *value,
  36507. + u32 *value_size);
  36508. +
  36509. +int vchiq_mmal_port_set_format(struct vchiq_mmal_instance *instance,
  36510. + struct vchiq_mmal_port *port);
  36511. +
  36512. +int vchiq_mmal_port_connect_tunnel(struct vchiq_mmal_instance *instance,
  36513. + struct vchiq_mmal_port *src,
  36514. + struct vchiq_mmal_port *dst);
  36515. +
  36516. +int vchiq_mmal_version(struct vchiq_mmal_instance *instance,
  36517. + u32 *major_out,
  36518. + u32 *minor_out);
  36519. +
  36520. +int vchiq_mmal_submit_buffer(struct vchiq_mmal_instance *instance,
  36521. + struct vchiq_mmal_port *port,
  36522. + struct mmal_buffer *buf);
  36523. +
  36524. +#endif /* MMAL_VCHIQ_H */
  36525. diff -Nur linux-4.1.13.orig/drivers/media/platform/Kconfig linux-rpi/drivers/media/platform/Kconfig
  36526. --- linux-4.1.13.orig/drivers/media/platform/Kconfig 2015-11-09 23:34:10.000000000 +0100
  36527. +++ linux-rpi/drivers/media/platform/Kconfig 2015-11-29 09:42:37.835237156 +0100
  36528. @@ -11,6 +11,8 @@
  36529. if V4L_PLATFORM_DRIVERS
  36530. +source "drivers/media/platform/bcm2835/Kconfig"
  36531. +
  36532. source "drivers/media/platform/marvell-ccic/Kconfig"
  36533. config VIDEO_VIA_CAMERA
  36534. diff -Nur linux-4.1.13.orig/drivers/media/platform/Makefile linux-rpi/drivers/media/platform/Makefile
  36535. --- linux-4.1.13.orig/drivers/media/platform/Makefile 2015-11-09 23:34:10.000000000 +0100
  36536. +++ linux-rpi/drivers/media/platform/Makefile 2015-11-29 09:42:37.835237156 +0100
  36537. @@ -2,6 +2,8 @@
  36538. # Makefile for the video capture/playback device drivers.
  36539. #
  36540. +obj-$(CONFIG_VIDEO_BCM2835) += bcm2835/
  36541. +
  36542. obj-$(CONFIG_VIDEO_TIMBERDALE) += timblogiw.o
  36543. obj-$(CONFIG_VIDEO_M32R_AR_M64278) += arv.o
  36544. diff -Nur linux-4.1.13.orig/drivers/media/usb/dvb-usb-v2/rtl28xxu.c linux-rpi/drivers/media/usb/dvb-usb-v2/rtl28xxu.c
  36545. --- linux-4.1.13.orig/drivers/media/usb/dvb-usb-v2/rtl28xxu.c 2015-11-09 23:34:10.000000000 +0100
  36546. +++ linux-rpi/drivers/media/usb/dvb-usb-v2/rtl28xxu.c 2015-11-29 09:42:37.915231841 +0100
  36547. @@ -1755,6 +1755,10 @@
  36548. &rtl28xxu_props, "Compro VideoMate U620F", NULL) },
  36549. { DVB_USB_DEVICE(USB_VID_KWORLD_2, 0xd394,
  36550. &rtl28xxu_props, "MaxMedia HU394-T", NULL) },
  36551. + { DVB_USB_DEVICE(USB_VID_GTEK, 0xb803 /*USB_PID_AUGUST_DVBT205*/,
  36552. + &rtl28xxu_props, "August DVB-T 205", NULL) },
  36553. + { DVB_USB_DEVICE(USB_VID_GTEK, 0xa803 /*USB_PID_AUGUST_DVBT205*/,
  36554. + &rtl28xxu_props, "August DVB-T 205", NULL) },
  36555. { DVB_USB_DEVICE(USB_VID_LEADTEK, 0x6a03,
  36556. &rtl28xxu_props, "Leadtek WinFast DTV Dongle mini", NULL) },
  36557. { DVB_USB_DEVICE(USB_VID_GTEK, USB_PID_CPYTO_REDI_PC50A,
  36558. diff -Nur linux-4.1.13.orig/drivers/mfd/Kconfig linux-rpi/drivers/mfd/Kconfig
  36559. --- linux-4.1.13.orig/drivers/mfd/Kconfig 2015-11-09 23:34:10.000000000 +0100
  36560. +++ linux-rpi/drivers/mfd/Kconfig 2015-11-29 09:42:37.991226791 +0100
  36561. @@ -10,6 +10,14 @@
  36562. select IRQ_DOMAIN
  36563. default n
  36564. +config MFD_RPISENSE_CORE
  36565. + tristate "Raspberry Pi Sense HAT core functions"
  36566. + depends on I2C
  36567. + select MFD_CORE
  36568. + help
  36569. + This is the core driver for the Raspberry Pi Sense HAT. This provides
  36570. + the necessary functions to communicate with the hardware.
  36571. +
  36572. config MFD_CS5535
  36573. tristate "AMD CS5535 and CS5536 southbridge core functions"
  36574. select MFD_CORE
  36575. diff -Nur linux-4.1.13.orig/drivers/mfd/Makefile linux-rpi/drivers/mfd/Makefile
  36576. --- linux-4.1.13.orig/drivers/mfd/Makefile 2015-11-09 23:34:10.000000000 +0100
  36577. +++ linux-rpi/drivers/mfd/Makefile 2015-11-29 09:42:37.991226791 +0100
  36578. @@ -185,3 +185,5 @@
  36579. intel-soc-pmic-objs := intel_soc_pmic_core.o intel_soc_pmic_crc.o
  36580. obj-$(CONFIG_INTEL_SOC_PMIC) += intel-soc-pmic.o
  36581. obj-$(CONFIG_MFD_MT6397) += mt6397-core.o
  36582. +
  36583. +obj-$(CONFIG_MFD_RPISENSE_CORE) += rpisense-core.o
  36584. diff -Nur linux-4.1.13.orig/drivers/mfd/rpisense-core.c linux-rpi/drivers/mfd/rpisense-core.c
  36585. --- linux-4.1.13.orig/drivers/mfd/rpisense-core.c 1970-01-01 01:00:00.000000000 +0100
  36586. +++ linux-rpi/drivers/mfd/rpisense-core.c 2015-11-29 09:42:38.019224931 +0100
  36587. @@ -0,0 +1,157 @@
  36588. +/*
  36589. + * Raspberry Pi Sense HAT core driver
  36590. + * http://raspberrypi.org
  36591. + *
  36592. + * Copyright (C) 2015 Raspberry Pi
  36593. + *
  36594. + * Author: Serge Schneider
  36595. + *
  36596. + * This program is free software; you can redistribute it and/or modify it
  36597. + * under the terms of the GNU General Public License as published by the
  36598. + * Free Software Foundation; either version 2 of the License, or (at your
  36599. + * option) any later version.
  36600. + *
  36601. + * This driver is based on wm8350 implementation.
  36602. + */
  36603. +
  36604. +#include <linux/module.h>
  36605. +#include <linux/moduleparam.h>
  36606. +#include <linux/err.h>
  36607. +#include <linux/init.h>
  36608. +#include <linux/i2c.h>
  36609. +#include <linux/platform_device.h>
  36610. +#include <linux/mfd/rpisense/core.h>
  36611. +#include <linux/slab.h>
  36612. +
  36613. +struct rpisense *rpisense;
  36614. +
  36615. +static void rpisense_client_dev_register(struct rpisense *rpisense,
  36616. + const char *name,
  36617. + struct platform_device **pdev)
  36618. +{
  36619. + int ret;
  36620. +
  36621. + *pdev = platform_device_alloc(name, -1);
  36622. + if (*pdev == NULL) {
  36623. + dev_err(rpisense->dev, "Failed to allocate %s\n", name);
  36624. + return;
  36625. + }
  36626. +
  36627. + (*pdev)->dev.parent = rpisense->dev;
  36628. + platform_set_drvdata(*pdev, rpisense);
  36629. + ret = platform_device_add(*pdev);
  36630. + if (ret != 0) {
  36631. + dev_err(rpisense->dev, "Failed to register %s: %d\n",
  36632. + name, ret);
  36633. + platform_device_put(*pdev);
  36634. + *pdev = NULL;
  36635. + }
  36636. +}
  36637. +
  36638. +static int rpisense_probe(struct i2c_client *i2c,
  36639. + const struct i2c_device_id *id)
  36640. +{
  36641. + int ret;
  36642. + struct rpisense_js *rpisense_js;
  36643. +
  36644. + rpisense = devm_kzalloc(&i2c->dev, sizeof(struct rpisense), GFP_KERNEL);
  36645. + if (rpisense == NULL)
  36646. + return -ENOMEM;
  36647. +
  36648. + i2c_set_clientdata(i2c, rpisense);
  36649. + rpisense->dev = &i2c->dev;
  36650. + rpisense->i2c_client = i2c;
  36651. +
  36652. + ret = rpisense_reg_read(rpisense, RPISENSE_WAI);
  36653. + if (ret > 0) {
  36654. + if (ret != 's')
  36655. + return -EINVAL;
  36656. + } else {
  36657. + return ret;
  36658. + }
  36659. + ret = rpisense_reg_read(rpisense, RPISENSE_VER);
  36660. + if (ret < 0)
  36661. + return ret;
  36662. +
  36663. + dev_info(rpisense->dev,
  36664. + "Raspberry Pi Sense HAT firmware version %i\n", ret);
  36665. +
  36666. + rpisense_js = &rpisense->joystick;
  36667. + rpisense_js->keys_desc = devm_gpiod_get(&i2c->dev,
  36668. + "keys-int", GPIOD_IN);
  36669. + if (IS_ERR(rpisense_js->keys_desc)) {
  36670. + dev_warn(&i2c->dev, "Failed to get keys-int descriptor.\n");
  36671. + rpisense_js->keys_desc = gpio_to_desc(23);
  36672. + if (rpisense_js->keys_desc == NULL) {
  36673. + dev_err(&i2c->dev, "GPIO23 fallback failed.\n");
  36674. + return PTR_ERR(rpisense_js->keys_desc);
  36675. + }
  36676. + }
  36677. + rpisense_client_dev_register(rpisense, "rpi-sense-js",
  36678. + &(rpisense->joystick.pdev));
  36679. + rpisense_client_dev_register(rpisense, "rpi-sense-fb",
  36680. + &(rpisense->framebuffer.pdev));
  36681. +
  36682. + return 0;
  36683. +}
  36684. +
  36685. +static int rpisense_remove(struct i2c_client *i2c)
  36686. +{
  36687. + struct rpisense *rpisense = i2c_get_clientdata(i2c);
  36688. +
  36689. + platform_device_unregister(rpisense->joystick.pdev);
  36690. + return 0;
  36691. +}
  36692. +
  36693. +struct rpisense *rpisense_get_dev(void)
  36694. +{
  36695. + return rpisense;
  36696. +}
  36697. +EXPORT_SYMBOL_GPL(rpisense_get_dev);
  36698. +
  36699. +s32 rpisense_reg_read(struct rpisense *rpisense, int reg)
  36700. +{
  36701. + int ret = i2c_smbus_read_byte_data(rpisense->i2c_client, reg);
  36702. +
  36703. + if (ret < 0)
  36704. + dev_err(rpisense->dev, "Read from reg %d failed\n", reg);
  36705. + /* Due to the BCM270x I2C clock stretching bug, some values
  36706. + * may have MSB set. Clear it to avoid incorrect values.
  36707. + * */
  36708. + return ret & 0x7F;
  36709. +}
  36710. +EXPORT_SYMBOL_GPL(rpisense_reg_read);
  36711. +
  36712. +int rpisense_block_write(struct rpisense *rpisense, const char *buf, int count)
  36713. +{
  36714. + int ret = i2c_master_send(rpisense->i2c_client, buf, count);
  36715. +
  36716. + if (ret < 0)
  36717. + dev_err(rpisense->dev, "Block write failed\n");
  36718. + return ret;
  36719. +}
  36720. +EXPORT_SYMBOL_GPL(rpisense_block_write);
  36721. +
  36722. +static const struct i2c_device_id rpisense_i2c_id[] = {
  36723. + { "rpi-sense", 0 },
  36724. + { }
  36725. +};
  36726. +MODULE_DEVICE_TABLE(i2c, rpisense_i2c_id);
  36727. +
  36728. +
  36729. +static struct i2c_driver rpisense_driver = {
  36730. + .driver = {
  36731. + .name = "rpi-sense",
  36732. + .owner = THIS_MODULE,
  36733. + },
  36734. + .probe = rpisense_probe,
  36735. + .remove = rpisense_remove,
  36736. + .id_table = rpisense_i2c_id,
  36737. +};
  36738. +
  36739. +module_i2c_driver(rpisense_driver);
  36740. +
  36741. +MODULE_DESCRIPTION("Raspberry Pi Sense HAT core driver");
  36742. +MODULE_AUTHOR("Serge Schneider <serge@raspberrypi.org>");
  36743. +MODULE_LICENSE("GPL");
  36744. +
  36745. diff -Nur linux-4.1.13.orig/drivers/misc/bcm2835_smi.c linux-rpi/drivers/misc/bcm2835_smi.c
  36746. --- linux-4.1.13.orig/drivers/misc/bcm2835_smi.c 1970-01-01 01:00:00.000000000 +0100
  36747. +++ linux-rpi/drivers/misc/bcm2835_smi.c 2015-11-29 09:42:38.035223868 +0100
  36748. @@ -0,0 +1,985 @@
  36749. +/**
  36750. + * Broadcom Secondary Memory Interface driver
  36751. + *
  36752. + * Written by Luke Wren <luke@raspberrypi.org>
  36753. + * Copyright (c) 2015, Raspberry Pi (Trading) Ltd.
  36754. + *
  36755. + * Redistribution and use in source and binary forms, with or without
  36756. + * modification, are permitted provided that the following conditions
  36757. + * are met:
  36758. + * 1. Redistributions of source code must retain the above copyright
  36759. + * notice, this list of conditions, and the following disclaimer,
  36760. + * without modification.
  36761. + * 2. Redistributions in binary form must reproduce the above copyright
  36762. + * notice, this list of conditions and the following disclaimer in the
  36763. + * documentation and/or other materials provided with the distribution.
  36764. + * 3. The names of the above-listed copyright holders may not be used
  36765. + * to endorse or promote products derived from this software without
  36766. + * specific prior written permission.
  36767. + *
  36768. + * ALTERNATIVELY, this software may be distributed under the terms of the
  36769. + * GNU General Public License ("GPL") version 2, as published by the Free
  36770. + * Software Foundation.
  36771. + *
  36772. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  36773. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  36774. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  36775. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  36776. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  36777. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  36778. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  36779. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  36780. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  36781. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  36782. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  36783. + */
  36784. +
  36785. +#include <linux/kernel.h>
  36786. +#include <linux/module.h>
  36787. +#include <linux/of.h>
  36788. +#include <linux/platform_device.h>
  36789. +#include <linux/of_address.h>
  36790. +#include <linux/of_platform.h>
  36791. +#include <linux/mm.h>
  36792. +#include <linux/slab.h>
  36793. +#include <linux/pagemap.h>
  36794. +#include <linux/dma-mapping.h>
  36795. +#include <linux/dmaengine.h>
  36796. +#include <linux/semaphore.h>
  36797. +#include <linux/spinlock.h>
  36798. +#include <linux/io.h>
  36799. +
  36800. +#define BCM2835_SMI_IMPLEMENTATION
  36801. +#include <linux/broadcom/bcm2835_smi.h>
  36802. +
  36803. +#define DRIVER_NAME "smi-bcm2835"
  36804. +
  36805. +#define N_PAGES_FROM_BYTES(n) ((n + PAGE_SIZE-1) / PAGE_SIZE)
  36806. +
  36807. +#define DMA_WRITE_TO_MEM true
  36808. +#define DMA_READ_FROM_MEM false
  36809. +
  36810. +struct bcm2835_smi_instance {
  36811. + struct device *dev;
  36812. + struct smi_settings settings;
  36813. + __iomem void *smi_regs_ptr, *cm_smi_regs_ptr;
  36814. + dma_addr_t smi_regs_busaddr;
  36815. +
  36816. + struct dma_chan *dma_chan;
  36817. + struct dma_slave_config dma_config;
  36818. +
  36819. + struct bcm2835_smi_bounce_info bounce;
  36820. +
  36821. + struct scatterlist buffer_sgl;
  36822. +
  36823. + int clock_source;
  36824. + int clock_divisor;
  36825. +
  36826. + /* Sometimes we are called into in an atomic context (e.g. by
  36827. + JFFS2 + MTD) so we can't use a mutex */
  36828. + spinlock_t transaction_lock;
  36829. +};
  36830. +
  36831. +/****************************************************************************
  36832. +*
  36833. +* SMI clock manager setup
  36834. +*
  36835. +***************************************************************************/
  36836. +
  36837. +static inline void write_smi_cm_reg(struct bcm2835_smi_instance *inst,
  36838. + u32 val, unsigned reg)
  36839. +{
  36840. + writel(CM_PWD | val, inst->cm_smi_regs_ptr + reg);
  36841. +}
  36842. +
  36843. +static inline u32 read_smi_cm_reg(struct bcm2835_smi_instance *inst,
  36844. + unsigned reg)
  36845. +{
  36846. + return readl(inst->cm_smi_regs_ptr + reg);
  36847. +}
  36848. +
  36849. +static void smi_setup_clock(struct bcm2835_smi_instance *inst)
  36850. +{
  36851. + dev_dbg(inst->dev, "Setting up clock...");
  36852. + /* Disable SMI clock and wait for it to stop. */
  36853. + write_smi_cm_reg(inst, 0, CM_SMI_CTL);
  36854. + while (read_smi_cm_reg(inst, CM_SMI_CTL) & CM_SMI_CTL_BUSY)
  36855. + ;
  36856. +
  36857. + write_smi_cm_reg(inst, (inst->clock_divisor << CM_SMI_DIV_DIVI_OFFS),
  36858. + CM_SMI_DIV);
  36859. + write_smi_cm_reg(inst, (inst->clock_source << CM_SMI_CTL_SRC_OFFS),
  36860. + CM_SMI_CTL);
  36861. +
  36862. + /* Enable the clock */
  36863. + write_smi_cm_reg(inst, (inst->clock_source << CM_SMI_CTL_SRC_OFFS) |
  36864. + CM_SMI_CTL_ENAB, CM_SMI_CTL);
  36865. +}
  36866. +
  36867. +/****************************************************************************
  36868. +*
  36869. +* SMI peripheral setup
  36870. +*
  36871. +***************************************************************************/
  36872. +
  36873. +static inline void write_smi_reg(struct bcm2835_smi_instance *inst,
  36874. + u32 val, unsigned reg)
  36875. +{
  36876. + writel(val, inst->smi_regs_ptr + reg);
  36877. +}
  36878. +
  36879. +static inline u32 read_smi_reg(struct bcm2835_smi_instance *inst, unsigned reg)
  36880. +{
  36881. + return readl(inst->smi_regs_ptr + reg);
  36882. +}
  36883. +
  36884. +/* Token-paste macro for e.g SMIDSR_RSTROBE -> value of SMIDSR_RSTROBE_MASK */
  36885. +#define _CONCAT(x, y) x##y
  36886. +#define CONCAT(x, y) _CONCAT(x, y)
  36887. +
  36888. +#define SET_BIT_FIELD(dest, field, bits) ((dest) = \
  36889. + ((dest) & ~CONCAT(field, _MASK)) | (((bits) << CONCAT(field, _OFFS))& \
  36890. + CONCAT(field, _MASK)))
  36891. +#define GET_BIT_FIELD(src, field) (((src) & \
  36892. + CONCAT(field, _MASK)) >> CONCAT(field, _OFFS))
  36893. +
  36894. +static void smi_dump_context_labelled(struct bcm2835_smi_instance *inst,
  36895. + const char *label)
  36896. +{
  36897. + dev_err(inst->dev, "SMI context dump: %s", label);
  36898. + dev_err(inst->dev, "SMICS: 0x%08x", read_smi_reg(inst, SMICS));
  36899. + dev_err(inst->dev, "SMIL: 0x%08x", read_smi_reg(inst, SMIL));
  36900. + dev_err(inst->dev, "SMIDSR: 0x%08x", read_smi_reg(inst, SMIDSR0));
  36901. + dev_err(inst->dev, "SMIDSW: 0x%08x", read_smi_reg(inst, SMIDSW0));
  36902. + dev_err(inst->dev, "SMIDC: 0x%08x", read_smi_reg(inst, SMIDC));
  36903. + dev_err(inst->dev, "SMIFD: 0x%08x", read_smi_reg(inst, SMIFD));
  36904. + dev_err(inst->dev, " ");
  36905. +}
  36906. +
  36907. +static inline void smi_dump_context(struct bcm2835_smi_instance *inst)
  36908. +{
  36909. + smi_dump_context_labelled(inst, "");
  36910. +}
  36911. +
  36912. +static void smi_get_default_settings(struct bcm2835_smi_instance *inst)
  36913. +{
  36914. + struct smi_settings *settings = &inst->settings;
  36915. +
  36916. + settings->data_width = SMI_WIDTH_16BIT;
  36917. + settings->pack_data = true;
  36918. +
  36919. + settings->read_setup_time = 1;
  36920. + settings->read_hold_time = 1;
  36921. + settings->read_pace_time = 1;
  36922. + settings->read_strobe_time = 3;
  36923. +
  36924. + settings->write_setup_time = settings->read_setup_time;
  36925. + settings->write_hold_time = settings->read_hold_time;
  36926. + settings->write_pace_time = settings->read_pace_time;
  36927. + settings->write_strobe_time = settings->read_strobe_time;
  36928. +
  36929. + settings->dma_enable = true;
  36930. + settings->dma_passthrough_enable = false;
  36931. + settings->dma_read_thresh = 0x01;
  36932. + settings->dma_write_thresh = 0x3f;
  36933. + settings->dma_panic_read_thresh = 0x20;
  36934. + settings->dma_panic_write_thresh = 0x20;
  36935. +}
  36936. +
  36937. +void bcm2835_smi_set_regs_from_settings(struct bcm2835_smi_instance *inst)
  36938. +{
  36939. + struct smi_settings *settings = &inst->settings;
  36940. + int smidsr_temp = 0, smidsw_temp = 0, smics_temp,
  36941. + smidcs_temp, smidc_temp = 0;
  36942. +
  36943. + spin_lock(&inst->transaction_lock);
  36944. +
  36945. + /* temporarily disable the peripheral: */
  36946. + smics_temp = read_smi_reg(inst, SMICS);
  36947. + write_smi_reg(inst, 0, SMICS);
  36948. + smidcs_temp = read_smi_reg(inst, SMIDCS);
  36949. + write_smi_reg(inst, 0, SMIDCS);
  36950. +
  36951. + if (settings->pack_data)
  36952. + smics_temp |= SMICS_PXLDAT;
  36953. + else
  36954. + smics_temp &= ~SMICS_PXLDAT;
  36955. +
  36956. + SET_BIT_FIELD(smidsr_temp, SMIDSR_RWIDTH, settings->data_width);
  36957. + SET_BIT_FIELD(smidsr_temp, SMIDSR_RSETUP, settings->read_setup_time);
  36958. + SET_BIT_FIELD(smidsr_temp, SMIDSR_RHOLD, settings->read_hold_time);
  36959. + SET_BIT_FIELD(smidsr_temp, SMIDSR_RPACE, settings->read_pace_time);
  36960. + SET_BIT_FIELD(smidsr_temp, SMIDSR_RSTROBE, settings->read_strobe_time);
  36961. + write_smi_reg(inst, smidsr_temp, SMIDSR0);
  36962. +
  36963. + SET_BIT_FIELD(smidsw_temp, SMIDSW_WWIDTH, settings->data_width);
  36964. + if (settings->data_width == SMI_WIDTH_8BIT)
  36965. + smidsw_temp |= SMIDSW_WSWAP;
  36966. + else
  36967. + smidsw_temp &= ~SMIDSW_WSWAP;
  36968. + SET_BIT_FIELD(smidsw_temp, SMIDSW_WSETUP, settings->write_setup_time);
  36969. + SET_BIT_FIELD(smidsw_temp, SMIDSW_WHOLD, settings->write_hold_time);
  36970. + SET_BIT_FIELD(smidsw_temp, SMIDSW_WPACE, settings->write_pace_time);
  36971. + SET_BIT_FIELD(smidsw_temp, SMIDSW_WSTROBE,
  36972. + settings->write_strobe_time);
  36973. + write_smi_reg(inst, smidsw_temp, SMIDSW0);
  36974. +
  36975. + SET_BIT_FIELD(smidc_temp, SMIDC_REQR, settings->dma_read_thresh);
  36976. + SET_BIT_FIELD(smidc_temp, SMIDC_REQW, settings->dma_write_thresh);
  36977. + SET_BIT_FIELD(smidc_temp, SMIDC_PANICR,
  36978. + settings->dma_panic_read_thresh);
  36979. + SET_BIT_FIELD(smidc_temp, SMIDC_PANICW,
  36980. + settings->dma_panic_write_thresh);
  36981. + if (settings->dma_passthrough_enable) {
  36982. + smidc_temp |= SMIDC_DMAP;
  36983. + smidsr_temp |= SMIDSR_RDREQ;
  36984. + write_smi_reg(inst, smidsr_temp, SMIDSR0);
  36985. + smidsw_temp |= SMIDSW_WDREQ;
  36986. + write_smi_reg(inst, smidsw_temp, SMIDSW0);
  36987. + } else
  36988. + smidc_temp &= ~SMIDC_DMAP;
  36989. + if (settings->dma_enable)
  36990. + smidc_temp |= SMIDC_DMAEN;
  36991. + else
  36992. + smidc_temp &= ~SMIDC_DMAEN;
  36993. +
  36994. + write_smi_reg(inst, smidc_temp, SMIDC);
  36995. +
  36996. + /* re-enable (if was previously enabled) */
  36997. + write_smi_reg(inst, smics_temp, SMICS);
  36998. + write_smi_reg(inst, smidcs_temp, SMIDCS);
  36999. +
  37000. + spin_unlock(&inst->transaction_lock);
  37001. +}
  37002. +EXPORT_SYMBOL(bcm2835_smi_set_regs_from_settings);
  37003. +
  37004. +struct smi_settings *bcm2835_smi_get_settings_from_regs
  37005. + (struct bcm2835_smi_instance *inst)
  37006. +{
  37007. + struct smi_settings *settings = &inst->settings;
  37008. + int smidsr, smidsw, smidc;
  37009. +
  37010. + spin_lock(&inst->transaction_lock);
  37011. +
  37012. + smidsr = read_smi_reg(inst, SMIDSR0);
  37013. + smidsw = read_smi_reg(inst, SMIDSW0);
  37014. + smidc = read_smi_reg(inst, SMIDC);
  37015. +
  37016. + settings->pack_data = (read_smi_reg(inst, SMICS) & SMICS_PXLDAT) ?
  37017. + true : false;
  37018. +
  37019. + settings->data_width = GET_BIT_FIELD(smidsr, SMIDSR_RWIDTH);
  37020. + settings->read_setup_time = GET_BIT_FIELD(smidsr, SMIDSR_RSETUP);
  37021. + settings->read_hold_time = GET_BIT_FIELD(smidsr, SMIDSR_RHOLD);
  37022. + settings->read_pace_time = GET_BIT_FIELD(smidsr, SMIDSR_RPACE);
  37023. + settings->read_strobe_time = GET_BIT_FIELD(smidsr, SMIDSR_RSTROBE);
  37024. +
  37025. + settings->write_setup_time = GET_BIT_FIELD(smidsw, SMIDSW_WSETUP);
  37026. + settings->write_hold_time = GET_BIT_FIELD(smidsw, SMIDSW_WHOLD);
  37027. + settings->write_pace_time = GET_BIT_FIELD(smidsw, SMIDSW_WPACE);
  37028. + settings->write_strobe_time = GET_BIT_FIELD(smidsw, SMIDSW_WSTROBE);
  37029. +
  37030. + settings->dma_read_thresh = GET_BIT_FIELD(smidc, SMIDC_REQR);
  37031. + settings->dma_write_thresh = GET_BIT_FIELD(smidc, SMIDC_REQW);
  37032. + settings->dma_panic_read_thresh = GET_BIT_FIELD(smidc, SMIDC_PANICR);
  37033. + settings->dma_panic_write_thresh = GET_BIT_FIELD(smidc, SMIDC_PANICW);
  37034. + settings->dma_passthrough_enable = (smidc & SMIDC_DMAP) ? true : false;
  37035. + settings->dma_enable = (smidc & SMIDC_DMAEN) ? true : false;
  37036. +
  37037. + spin_unlock(&inst->transaction_lock);
  37038. +
  37039. + return settings;
  37040. +}
  37041. +EXPORT_SYMBOL(bcm2835_smi_get_settings_from_regs);
  37042. +
  37043. +static inline void smi_set_address(struct bcm2835_smi_instance *inst,
  37044. + unsigned int address)
  37045. +{
  37046. + int smia_temp = 0, smida_temp = 0;
  37047. +
  37048. + SET_BIT_FIELD(smia_temp, SMIA_ADDR, address);
  37049. + SET_BIT_FIELD(smida_temp, SMIDA_ADDR, address);
  37050. +
  37051. + /* Write to both address registers - user doesn't care whether we're
  37052. + doing programmed or direct transfers. */
  37053. + write_smi_reg(inst, smia_temp, SMIA);
  37054. + write_smi_reg(inst, smida_temp, SMIDA);
  37055. +}
  37056. +
  37057. +static void smi_setup_regs(struct bcm2835_smi_instance *inst)
  37058. +{
  37059. +
  37060. + dev_dbg(inst->dev, "Initialising SMI registers...");
  37061. + /* Disable the peripheral if already enabled */
  37062. + write_smi_reg(inst, 0, SMICS);
  37063. + write_smi_reg(inst, 0, SMIDCS);
  37064. +
  37065. + smi_get_default_settings(inst);
  37066. + bcm2835_smi_set_regs_from_settings(inst);
  37067. + smi_set_address(inst, 0);
  37068. +
  37069. + write_smi_reg(inst, read_smi_reg(inst, SMICS) | SMICS_ENABLE, SMICS);
  37070. + write_smi_reg(inst, read_smi_reg(inst, SMIDCS) | SMIDCS_ENABLE,
  37071. + SMIDCS);
  37072. +}
  37073. +
  37074. +/****************************************************************************
  37075. +*
  37076. +* Low-level SMI access functions
  37077. +* Other modules should use the exported higher-level functions e.g.
  37078. +* bcm2835_smi_write_buf() unless they have a good reason to use these
  37079. +*
  37080. +***************************************************************************/
  37081. +
  37082. +static inline uint32_t smi_read_single_word(struct bcm2835_smi_instance *inst)
  37083. +{
  37084. + int timeout = 0;
  37085. +
  37086. + write_smi_reg(inst, SMIDCS_ENABLE, SMIDCS);
  37087. + write_smi_reg(inst, SMIDCS_ENABLE | SMIDCS_START, SMIDCS);
  37088. + /* Make sure things happen in the right order...*/
  37089. + mb();
  37090. + while (!(read_smi_reg(inst, SMIDCS) & SMIDCS_DONE) &&
  37091. + ++timeout < 10000)
  37092. + ;
  37093. + if (timeout < 10000)
  37094. + return read_smi_reg(inst, SMIDD);
  37095. +
  37096. + dev_err(inst->dev,
  37097. + "SMI direct read timed out (is the clock set up correctly?)");
  37098. + return 0;
  37099. +}
  37100. +
  37101. +static inline void smi_write_single_word(struct bcm2835_smi_instance *inst,
  37102. + uint32_t data)
  37103. +{
  37104. + int timeout = 0;
  37105. +
  37106. + write_smi_reg(inst, SMIDCS_ENABLE | SMIDCS_WRITE, SMIDCS);
  37107. + write_smi_reg(inst, data, SMIDD);
  37108. + write_smi_reg(inst, SMIDCS_ENABLE | SMIDCS_WRITE | SMIDCS_START,
  37109. + SMIDCS);
  37110. +
  37111. + while (!(read_smi_reg(inst, SMIDCS) & SMIDCS_DONE) &&
  37112. + ++timeout < 10000)
  37113. + ;
  37114. + if (timeout >= 10000)
  37115. + dev_err(inst->dev,
  37116. + "SMI direct write timed out (is the clock set up correctly?)");
  37117. +}
  37118. +
  37119. +/* Initiates a programmed read into the read FIFO. It is up to the caller to
  37120. + * read data from the FIFO - either via paced DMA transfer,
  37121. + * or polling SMICS_RXD to check whether data is available.
  37122. + * SMICS_ACTIVE will go low upon completion. */
  37123. +static void smi_init_programmed_read(struct bcm2835_smi_instance *inst,
  37124. + int num_transfers)
  37125. +{
  37126. + int smics_temp;
  37127. +
  37128. + /* Disable the peripheral: */
  37129. + smics_temp = read_smi_reg(inst, SMICS) & ~(SMICS_ENABLE | SMICS_WRITE);
  37130. + write_smi_reg(inst, smics_temp, SMICS);
  37131. + while (read_smi_reg(inst, SMICS) & SMICS_ENABLE)
  37132. + ;
  37133. +
  37134. + /* Program the transfer count: */
  37135. + write_smi_reg(inst, num_transfers, SMIL);
  37136. +
  37137. + /* re-enable and start: */
  37138. + smics_temp |= SMICS_ENABLE;
  37139. + write_smi_reg(inst, smics_temp, SMICS);
  37140. + smics_temp |= SMICS_CLEAR;
  37141. + /* Just to be certain: */
  37142. + mb();
  37143. + while (read_smi_reg(inst, SMICS) & SMICS_ACTIVE)
  37144. + ;
  37145. + write_smi_reg(inst, smics_temp, SMICS);
  37146. + smics_temp |= SMICS_START;
  37147. + write_smi_reg(inst, smics_temp, SMICS);
  37148. +}
  37149. +
  37150. +/* Initiates a programmed write sequence, using data from the write FIFO.
  37151. + * It is up to the caller to initiate a DMA transfer before calling,
  37152. + * or use another method to keep the write FIFO topped up.
  37153. + * SMICS_ACTIVE will go low upon completion.
  37154. + */
  37155. +static void smi_init_programmed_write(struct bcm2835_smi_instance *inst,
  37156. + int num_transfers)
  37157. +{
  37158. + int smics_temp;
  37159. +
  37160. + /* Disable the peripheral: */
  37161. + smics_temp = read_smi_reg(inst, SMICS) & ~SMICS_ENABLE;
  37162. + write_smi_reg(inst, smics_temp, SMICS);
  37163. + while (read_smi_reg(inst, SMICS) & SMICS_ENABLE)
  37164. + ;
  37165. +
  37166. + /* Program the transfer count: */
  37167. + write_smi_reg(inst, num_transfers, SMIL);
  37168. +
  37169. + /* setup, re-enable and start: */
  37170. + smics_temp |= SMICS_WRITE | SMICS_ENABLE;
  37171. + write_smi_reg(inst, smics_temp, SMICS);
  37172. + smics_temp |= SMICS_START;
  37173. + write_smi_reg(inst, smics_temp, SMICS);
  37174. +}
  37175. +
  37176. +/* Initiate a read and then poll FIFO for data, reading out as it appears. */
  37177. +static void smi_read_fifo(struct bcm2835_smi_instance *inst,
  37178. + uint32_t *dest, int n_bytes)
  37179. +{
  37180. + if (read_smi_reg(inst, SMICS) & SMICS_RXD) {
  37181. + smi_dump_context_labelled(inst,
  37182. + "WARNING: read FIFO not empty at start of read call.");
  37183. + while (read_smi_reg(inst, SMICS))
  37184. + ;
  37185. + }
  37186. +
  37187. + /* Dispatch the read: */
  37188. + if (inst->settings.data_width == SMI_WIDTH_8BIT)
  37189. + smi_init_programmed_read(inst, n_bytes);
  37190. + else if (inst->settings.data_width == SMI_WIDTH_16BIT)
  37191. + smi_init_programmed_read(inst, n_bytes / 2);
  37192. + else {
  37193. + dev_err(inst->dev, "Unsupported data width for read.");
  37194. + return;
  37195. + }
  37196. +
  37197. + /* Poll FIFO to keep it empty */
  37198. + while (!(read_smi_reg(inst, SMICS) & SMICS_DONE))
  37199. + if (read_smi_reg(inst, SMICS) & SMICS_RXD)
  37200. + *dest++ = read_smi_reg(inst, SMID);
  37201. +
  37202. + /* Ensure that the FIFO is emptied */
  37203. + if (read_smi_reg(inst, SMICS) & SMICS_RXD) {
  37204. + int fifo_count;
  37205. +
  37206. + fifo_count = GET_BIT_FIELD(read_smi_reg(inst, SMIFD),
  37207. + SMIFD_FCNT);
  37208. + while (fifo_count--)
  37209. + *dest++ = read_smi_reg(inst, SMID);
  37210. + }
  37211. +
  37212. + if (!(read_smi_reg(inst, SMICS) & SMICS_DONE))
  37213. + smi_dump_context_labelled(inst,
  37214. + "WARNING: transaction finished but done bit not set.");
  37215. +
  37216. + if (read_smi_reg(inst, SMICS) & SMICS_RXD)
  37217. + smi_dump_context_labelled(inst,
  37218. + "WARNING: read FIFO not empty at end of read call.");
  37219. +
  37220. +}
  37221. +
  37222. +/* Initiate a write, and then keep the FIFO topped up. */
  37223. +static void smi_write_fifo(struct bcm2835_smi_instance *inst,
  37224. + uint32_t *src, int n_bytes)
  37225. +{
  37226. + int i, timeout = 0;
  37227. +
  37228. + /* Empty FIFOs if not already so */
  37229. + if (!(read_smi_reg(inst, SMICS) & SMICS_TXE)) {
  37230. + smi_dump_context_labelled(inst,
  37231. + "WARNING: write fifo not empty at start of write call.");
  37232. + write_smi_reg(inst, read_smi_reg(inst, SMICS) | SMICS_CLEAR,
  37233. + SMICS);
  37234. + }
  37235. +
  37236. + /* Initiate the transfer */
  37237. + if (inst->settings.data_width == SMI_WIDTH_8BIT)
  37238. + smi_init_programmed_write(inst, n_bytes);
  37239. + else if (inst->settings.data_width == SMI_WIDTH_16BIT)
  37240. + smi_init_programmed_write(inst, n_bytes / 2);
  37241. + else {
  37242. + dev_err(inst->dev, "Unsupported data width for write.");
  37243. + return;
  37244. + }
  37245. + /* Fill the FIFO: */
  37246. + for (i = 0; i < (n_bytes - 1) / 4 + 1; ++i) {
  37247. + while (!(read_smi_reg(inst, SMICS) & SMICS_TXD))
  37248. + ;
  37249. + write_smi_reg(inst, *src++, SMID);
  37250. + }
  37251. + /* Busy wait... */
  37252. + while (!(read_smi_reg(inst, SMICS) & SMICS_DONE) && ++timeout <
  37253. + 1000000)
  37254. + ;
  37255. + if (timeout >= 1000000)
  37256. + smi_dump_context_labelled(inst,
  37257. + "Timed out on write operation!");
  37258. + if (!(read_smi_reg(inst, SMICS) & SMICS_TXE))
  37259. + smi_dump_context_labelled(inst,
  37260. + "WARNING: FIFO not empty at end of write operation.");
  37261. +}
  37262. +
  37263. +/****************************************************************************
  37264. +*
  37265. +* SMI DMA operations
  37266. +*
  37267. +***************************************************************************/
  37268. +
  37269. +/* Disable SMI and put it into the correct direction before doing DMA setup.
  37270. + Stops spurious DREQs during setup. Peripheral is re-enabled by init_*() */
  37271. +static void smi_disable(struct bcm2835_smi_instance *inst,
  37272. + enum dma_transfer_direction direction)
  37273. +{
  37274. + int smics_temp = read_smi_reg(inst, SMICS) & ~SMICS_ENABLE;
  37275. +
  37276. + if (direction == DMA_DEV_TO_MEM)
  37277. + smics_temp &= ~SMICS_WRITE;
  37278. + else
  37279. + smics_temp |= SMICS_WRITE;
  37280. + write_smi_reg(inst, smics_temp, SMICS);
  37281. + while (read_smi_reg(inst, SMICS) & SMICS_ACTIVE)
  37282. + ;
  37283. +}
  37284. +
  37285. +static struct scatterlist *smi_scatterlist_from_buffer(
  37286. + struct bcm2835_smi_instance *inst,
  37287. + dma_addr_t buf,
  37288. + size_t len,
  37289. + struct scatterlist *sg)
  37290. +{
  37291. + sg_init_table(sg, 1);
  37292. + sg_dma_address(sg) = buf;
  37293. + sg_dma_len(sg) = len;
  37294. + return sg;
  37295. +}
  37296. +
  37297. +static void smi_dma_callback_user_copy(void *param)
  37298. +{
  37299. + /* Notify the bottom half that a chunk is ready for user copy */
  37300. + struct bcm2835_smi_instance *inst =
  37301. + (struct bcm2835_smi_instance *)param;
  37302. +
  37303. + up(&inst->bounce.callback_sem);
  37304. +}
  37305. +
  37306. +/* Creates a descriptor, assigns the given callback, and submits the
  37307. + descriptor to dmaengine. Does not block - can queue up multiple
  37308. + descriptors and then wait for them all to complete.
  37309. + sg_len is the number of control blocks, NOT the number of bytes.
  37310. + dir can be DMA_MEM_TO_DEV or DMA_DEV_TO_MEM.
  37311. + callback can be NULL - in this case it is not called. */
  37312. +static inline struct dma_async_tx_descriptor *smi_dma_submit_sgl(
  37313. + struct bcm2835_smi_instance *inst,
  37314. + struct scatterlist *sgl,
  37315. + size_t sg_len,
  37316. + enum dma_transfer_direction dir,
  37317. + dma_async_tx_callback callback)
  37318. +{
  37319. + struct dma_async_tx_descriptor *desc;
  37320. +
  37321. + desc = dmaengine_prep_slave_sg(inst->dma_chan,
  37322. + sgl,
  37323. + sg_len,
  37324. + dir,
  37325. + DMA_PREP_INTERRUPT | DMA_CTRL_ACK |
  37326. + DMA_PREP_FENCE);
  37327. + if (!desc) {
  37328. + dev_err(inst->dev, "read_sgl: dma slave preparation failed!");
  37329. + write_smi_reg(inst, read_smi_reg(inst, SMICS) & ~SMICS_ACTIVE,
  37330. + SMICS);
  37331. + while (read_smi_reg(inst, SMICS) & SMICS_ACTIVE)
  37332. + cpu_relax();
  37333. + write_smi_reg(inst, read_smi_reg(inst, SMICS) | SMICS_ACTIVE,
  37334. + SMICS);
  37335. + return NULL;
  37336. + }
  37337. + desc->callback = callback;
  37338. + desc->callback_param = inst;
  37339. + if (dmaengine_submit(desc) < 0)
  37340. + return NULL;
  37341. + return desc;
  37342. +}
  37343. +
  37344. +/* NB this function blocks until the transfer is complete */
  37345. +static void
  37346. +smi_dma_read_sgl(struct bcm2835_smi_instance *inst,
  37347. + struct scatterlist *sgl, size_t sg_len, size_t n_bytes)
  37348. +{
  37349. + struct dma_async_tx_descriptor *desc;
  37350. +
  37351. + /* Disable SMI and set to read before dispatching DMA - if SMI is in
  37352. + * write mode and TX fifo is empty, it will generate a DREQ which may
  37353. + * cause the read DMA to complete before the SMI read command is even
  37354. + * dispatched! We want to dispatch DMA before SMI read so that reading
  37355. + * is gapless, for logic analyser.
  37356. + */
  37357. +
  37358. + smi_disable(inst, DMA_DEV_TO_MEM);
  37359. +
  37360. + desc = smi_dma_submit_sgl(inst, sgl, sg_len, DMA_DEV_TO_MEM, NULL);
  37361. + dma_async_issue_pending(inst->dma_chan);
  37362. +
  37363. + if (inst->settings.data_width == SMI_WIDTH_8BIT)
  37364. + smi_init_programmed_read(inst, n_bytes);
  37365. + else
  37366. + smi_init_programmed_read(inst, n_bytes / 2);
  37367. +
  37368. + if (dma_wait_for_async_tx(desc) == DMA_ERROR)
  37369. + smi_dump_context_labelled(inst, "DMA timeout!");
  37370. +}
  37371. +
  37372. +static void
  37373. +smi_dma_write_sgl(struct bcm2835_smi_instance *inst,
  37374. + struct scatterlist *sgl, size_t sg_len, size_t n_bytes)
  37375. +{
  37376. + struct dma_async_tx_descriptor *desc;
  37377. +
  37378. + if (inst->settings.data_width == SMI_WIDTH_8BIT)
  37379. + smi_init_programmed_write(inst, n_bytes);
  37380. + else
  37381. + smi_init_programmed_write(inst, n_bytes / 2);
  37382. +
  37383. + desc = smi_dma_submit_sgl(inst, sgl, sg_len, DMA_MEM_TO_DEV, NULL);
  37384. + dma_async_issue_pending(inst->dma_chan);
  37385. +
  37386. + if (dma_wait_for_async_tx(desc) == DMA_ERROR)
  37387. + smi_dump_context_labelled(inst, "DMA timeout!");
  37388. + else
  37389. + /* Wait for SMI to finish our writes */
  37390. + while (!(read_smi_reg(inst, SMICS) & SMICS_DONE))
  37391. + cpu_relax();
  37392. +}
  37393. +
  37394. +ssize_t bcm2835_smi_user_dma(
  37395. + struct bcm2835_smi_instance *inst,
  37396. + enum dma_transfer_direction dma_dir,
  37397. + char __user *user_ptr, size_t count,
  37398. + struct bcm2835_smi_bounce_info **bounce)
  37399. +{
  37400. + int chunk_no = 0, chunk_size, count_left = count;
  37401. + struct scatterlist *sgl;
  37402. + void (*init_trans_func)(struct bcm2835_smi_instance *, int);
  37403. +
  37404. + spin_lock(&inst->transaction_lock);
  37405. +
  37406. + if (dma_dir == DMA_DEV_TO_MEM)
  37407. + init_trans_func = smi_init_programmed_read;
  37408. + else
  37409. + init_trans_func = smi_init_programmed_write;
  37410. +
  37411. + smi_disable(inst, dma_dir);
  37412. +
  37413. + sema_init(&inst->bounce.callback_sem, 0);
  37414. + if (bounce)
  37415. + *bounce = &inst->bounce;
  37416. + while (count_left) {
  37417. + chunk_size = count_left > DMA_BOUNCE_BUFFER_SIZE ?
  37418. + DMA_BOUNCE_BUFFER_SIZE : count_left;
  37419. + if (chunk_size == DMA_BOUNCE_BUFFER_SIZE) {
  37420. + sgl =
  37421. + &inst->bounce.sgl[chunk_no % DMA_BOUNCE_BUFFER_COUNT];
  37422. + } else {
  37423. + sgl = smi_scatterlist_from_buffer(
  37424. + inst,
  37425. + inst->bounce.phys[
  37426. + chunk_no % DMA_BOUNCE_BUFFER_COUNT],
  37427. + chunk_size,
  37428. + &inst->buffer_sgl);
  37429. + }
  37430. +
  37431. + if (!smi_dma_submit_sgl(inst, sgl, 1, dma_dir,
  37432. + smi_dma_callback_user_copy
  37433. + )) {
  37434. + dev_err(inst->dev, "sgl submit failed");
  37435. + count = 0;
  37436. + goto out;
  37437. + }
  37438. + count_left -= chunk_size;
  37439. + chunk_no++;
  37440. + }
  37441. + dma_async_issue_pending(inst->dma_chan);
  37442. +
  37443. + if (inst->settings.data_width == SMI_WIDTH_8BIT)
  37444. + init_trans_func(inst, count);
  37445. + else if (inst->settings.data_width == SMI_WIDTH_16BIT)
  37446. + init_trans_func(inst, count / 2);
  37447. +out:
  37448. + spin_unlock(&inst->transaction_lock);
  37449. + return count;
  37450. +}
  37451. +EXPORT_SYMBOL(bcm2835_smi_user_dma);
  37452. +
  37453. +
  37454. +/****************************************************************************
  37455. +*
  37456. +* High level buffer transfer functions - for use by other drivers
  37457. +*
  37458. +***************************************************************************/
  37459. +
  37460. +/* Buffer must be physically contiguous - i.e. kmalloc, not vmalloc! */
  37461. +void bcm2835_smi_write_buf(
  37462. + struct bcm2835_smi_instance *inst,
  37463. + const void *buf, size_t n_bytes)
  37464. +{
  37465. + int odd_bytes = n_bytes & 0x3;
  37466. +
  37467. + n_bytes -= odd_bytes;
  37468. +
  37469. + spin_lock(&inst->transaction_lock);
  37470. +
  37471. + if (n_bytes > DMA_THRESHOLD_BYTES) {
  37472. + dma_addr_t phy_addr = dma_map_single(
  37473. + inst->dev,
  37474. + (void *)buf,
  37475. + n_bytes,
  37476. + DMA_MEM_TO_DEV);
  37477. + struct scatterlist *sgl =
  37478. + smi_scatterlist_from_buffer(inst, phy_addr, n_bytes,
  37479. + &inst->buffer_sgl);
  37480. +
  37481. + if (!sgl) {
  37482. + smi_dump_context_labelled(inst,
  37483. + "Error: could not create scatterlist for write!");
  37484. + goto out;
  37485. + }
  37486. + smi_dma_write_sgl(inst, sgl, 1, n_bytes);
  37487. +
  37488. + dma_unmap_single
  37489. + (inst->dev, phy_addr, n_bytes, DMA_MEM_TO_DEV);
  37490. + } else if (n_bytes) {
  37491. + smi_write_fifo(inst, (uint32_t *) buf, n_bytes);
  37492. + }
  37493. + buf += n_bytes;
  37494. +
  37495. + if (inst->settings.data_width == SMI_WIDTH_8BIT) {
  37496. + while (odd_bytes--)
  37497. + smi_write_single_word(inst, *(uint8_t *) (buf++));
  37498. + } else {
  37499. + while (odd_bytes >= 2) {
  37500. + smi_write_single_word(inst, *(uint16_t *)buf);
  37501. + buf += 2;
  37502. + odd_bytes -= 2;
  37503. + }
  37504. + if (odd_bytes) {
  37505. + /* Reading an odd number of bytes on a 16 bit bus is
  37506. + a user bug. It's kinder to fail early and tell them
  37507. + than to e.g. transparently give them the bottom byte
  37508. + of a 16 bit transfer. */
  37509. + dev_err(inst->dev,
  37510. + "WARNING: odd number of bytes specified for wide transfer.");
  37511. + dev_err(inst->dev,
  37512. + "At least one byte dropped as a result.");
  37513. + dump_stack();
  37514. + }
  37515. + }
  37516. +out:
  37517. + spin_unlock(&inst->transaction_lock);
  37518. +}
  37519. +EXPORT_SYMBOL(bcm2835_smi_write_buf);
  37520. +
  37521. +void bcm2835_smi_read_buf(struct bcm2835_smi_instance *inst,
  37522. + void *buf, size_t n_bytes)
  37523. +{
  37524. +
  37525. + /* SMI is inherently 32-bit, which causes surprising amounts of mess
  37526. + for bytes % 4 != 0. Easiest to avoid this mess altogether
  37527. + by handling remainder separately. */
  37528. + int odd_bytes = n_bytes & 0x3;
  37529. +
  37530. + spin_lock(&inst->transaction_lock);
  37531. + n_bytes -= odd_bytes;
  37532. + if (n_bytes > DMA_THRESHOLD_BYTES) {
  37533. + dma_addr_t phy_addr = dma_map_single(inst->dev,
  37534. + buf, n_bytes,
  37535. + DMA_DEV_TO_MEM);
  37536. + struct scatterlist *sgl = smi_scatterlist_from_buffer(
  37537. + inst, phy_addr, n_bytes,
  37538. + &inst->buffer_sgl);
  37539. + if (!sgl) {
  37540. + smi_dump_context_labelled(inst,
  37541. + "Error: could not create scatterlist for read!");
  37542. + goto out;
  37543. + }
  37544. + smi_dma_read_sgl(inst, sgl, 1, n_bytes);
  37545. + dma_unmap_single(inst->dev, phy_addr, n_bytes, DMA_DEV_TO_MEM);
  37546. + } else if (n_bytes) {
  37547. + smi_read_fifo(inst, (uint32_t *)buf, n_bytes);
  37548. + }
  37549. + buf += n_bytes;
  37550. +
  37551. + if (inst->settings.data_width == SMI_WIDTH_8BIT) {
  37552. + while (odd_bytes--)
  37553. + *((uint8_t *) (buf++)) = smi_read_single_word(inst);
  37554. + } else {
  37555. + while (odd_bytes >= 2) {
  37556. + *(uint16_t *) buf = smi_read_single_word(inst);
  37557. + buf += 2;
  37558. + odd_bytes -= 2;
  37559. + }
  37560. + if (odd_bytes) {
  37561. + dev_err(inst->dev,
  37562. + "WARNING: odd number of bytes specified for wide transfer.");
  37563. + dev_err(inst->dev,
  37564. + "At least one byte dropped as a result.");
  37565. + dump_stack();
  37566. + }
  37567. + }
  37568. +out:
  37569. + spin_unlock(&inst->transaction_lock);
  37570. +}
  37571. +EXPORT_SYMBOL(bcm2835_smi_read_buf);
  37572. +
  37573. +void bcm2835_smi_set_address(struct bcm2835_smi_instance *inst,
  37574. + unsigned int address)
  37575. +{
  37576. + spin_lock(&inst->transaction_lock);
  37577. + smi_set_address(inst, address);
  37578. + spin_unlock(&inst->transaction_lock);
  37579. +}
  37580. +EXPORT_SYMBOL(bcm2835_smi_set_address);
  37581. +
  37582. +struct bcm2835_smi_instance *bcm2835_smi_get(struct device_node *node)
  37583. +{
  37584. + struct platform_device *pdev;
  37585. +
  37586. + if (!node)
  37587. + return NULL;
  37588. +
  37589. + pdev = of_find_device_by_node(node);
  37590. + if (!pdev)
  37591. + return NULL;
  37592. +
  37593. + return platform_get_drvdata(pdev);
  37594. +}
  37595. +EXPORT_SYMBOL(bcm2835_smi_get);
  37596. +
  37597. +/****************************************************************************
  37598. +*
  37599. +* bcm2835_smi_probe - called when the driver is loaded.
  37600. +*
  37601. +***************************************************************************/
  37602. +
  37603. +static int bcm2835_smi_dma_setup(struct bcm2835_smi_instance *inst)
  37604. +{
  37605. + int i, rv = 0;
  37606. +
  37607. + inst->dma_chan = dma_request_slave_channel(inst->dev, "rx-tx");
  37608. +
  37609. + inst->dma_config.src_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  37610. + inst->dma_config.dst_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  37611. + inst->dma_config.src_addr = inst->smi_regs_busaddr + SMID;
  37612. + inst->dma_config.dst_addr = inst->dma_config.src_addr;
  37613. + /* Direction unimportant - always overridden by prep_slave_sg */
  37614. + inst->dma_config.direction = DMA_DEV_TO_MEM;
  37615. + dmaengine_slave_config(inst->dma_chan, &inst->dma_config);
  37616. + /* Alloc and map bounce buffers */
  37617. + for (i = 0; i < DMA_BOUNCE_BUFFER_COUNT; ++i) {
  37618. + inst->bounce.buffer[i] =
  37619. + dmam_alloc_coherent(inst->dev, DMA_BOUNCE_BUFFER_SIZE,
  37620. + &inst->bounce.phys[i],
  37621. + GFP_KERNEL);
  37622. + if (!inst->bounce.buffer[i]) {
  37623. + dev_err(inst->dev, "Could not allocate buffer!");
  37624. + rv = -ENOMEM;
  37625. + break;
  37626. + }
  37627. + smi_scatterlist_from_buffer(
  37628. + inst,
  37629. + inst->bounce.phys[i],
  37630. + DMA_BOUNCE_BUFFER_SIZE,
  37631. + &inst->bounce.sgl[i]
  37632. + );
  37633. + }
  37634. +
  37635. + return rv;
  37636. +}
  37637. +
  37638. +static int bcm2835_smi_probe(struct platform_device *pdev)
  37639. +{
  37640. + int err;
  37641. + struct device *dev = &pdev->dev;
  37642. + struct device_node *node = dev->of_node;
  37643. + struct resource *ioresource;
  37644. + struct bcm2835_smi_instance *inst;
  37645. +
  37646. + /* Allocate buffers and instance data */
  37647. +
  37648. + inst = devm_kzalloc(dev, sizeof(struct bcm2835_smi_instance),
  37649. + GFP_KERNEL);
  37650. +
  37651. + if (!inst)
  37652. + return -ENOMEM;
  37653. +
  37654. + inst->dev = dev;
  37655. + spin_lock_init(&inst->transaction_lock);
  37656. +
  37657. + /* We require device tree support */
  37658. + if (!node)
  37659. + return -EINVAL;
  37660. +
  37661. + ioresource = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  37662. + inst->smi_regs_ptr = devm_ioremap_resource(dev, ioresource);
  37663. + ioresource = platform_get_resource(pdev, IORESOURCE_MEM, 1);
  37664. + inst->cm_smi_regs_ptr = devm_ioremap_resource(dev, ioresource);
  37665. + inst->smi_regs_busaddr = be32_to_cpu(
  37666. + *of_get_address(node, 0, NULL, NULL));
  37667. + of_property_read_u32(node,
  37668. + "brcm,smi-clock-source",
  37669. + &inst->clock_source);
  37670. + of_property_read_u32(node,
  37671. + "brcm,smi-clock-divisor",
  37672. + &inst->clock_divisor);
  37673. +
  37674. + err = bcm2835_smi_dma_setup(inst);
  37675. + if (err)
  37676. + return err;
  37677. +
  37678. + /* Finally, do peripheral setup */
  37679. +
  37680. + smi_setup_clock(inst);
  37681. + smi_setup_regs(inst);
  37682. +
  37683. + platform_set_drvdata(pdev, inst);
  37684. +
  37685. + dev_info(inst->dev, "initialised");
  37686. +
  37687. + return 0;
  37688. +}
  37689. +
  37690. +/****************************************************************************
  37691. +*
  37692. +* bcm2835_smi_remove - called when the driver is unloaded.
  37693. +*
  37694. +***************************************************************************/
  37695. +
  37696. +static int bcm2835_smi_remove(struct platform_device *pdev)
  37697. +{
  37698. + struct bcm2835_smi_instance *inst = platform_get_drvdata(pdev);
  37699. + struct device *dev = inst->dev;
  37700. +
  37701. + dev_info(dev, "SMI device removed - OK");
  37702. + return 0;
  37703. +}
  37704. +
  37705. +/****************************************************************************
  37706. +*
  37707. +* Register the driver with device tree
  37708. +*
  37709. +***************************************************************************/
  37710. +
  37711. +static const struct of_device_id bcm2835_smi_of_match[] = {
  37712. + {.compatible = "brcm,bcm2835-smi",},
  37713. + { /* sentinel */ },
  37714. +};
  37715. +
  37716. +MODULE_DEVICE_TABLE(of, bcm2835_smi_of_match);
  37717. +
  37718. +static struct platform_driver bcm2835_smi_driver = {
  37719. + .probe = bcm2835_smi_probe,
  37720. + .remove = bcm2835_smi_remove,
  37721. + .driver = {
  37722. + .name = DRIVER_NAME,
  37723. + .owner = THIS_MODULE,
  37724. + .of_match_table = bcm2835_smi_of_match,
  37725. + },
  37726. +};
  37727. +
  37728. +module_platform_driver(bcm2835_smi_driver);
  37729. +
  37730. +MODULE_ALIAS("platform:smi-bcm2835");
  37731. +MODULE_LICENSE("GPL");
  37732. +MODULE_DESCRIPTION("Device driver for BCM2835's secondary memory interface");
  37733. +MODULE_AUTHOR("Luke Wren <luke@raspberrypi.org>");
  37734. diff -Nur linux-4.1.13.orig/drivers/misc/Kconfig linux-rpi/drivers/misc/Kconfig
  37735. --- linux-4.1.13.orig/drivers/misc/Kconfig 2015-11-09 23:34:10.000000000 +0100
  37736. +++ linux-rpi/drivers/misc/Kconfig 2015-11-29 09:42:38.035223868 +0100
  37737. @@ -10,6 +10,14 @@
  37738. select INPUT_POLLDEV
  37739. default n
  37740. +config BCM2835_SMI
  37741. + tristate "Broadcom 283x Secondary Memory Interface driver"
  37742. + depends on MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835
  37743. + default m
  37744. + help
  37745. + Driver for enabling and using Broadcom's Secondary/Slow Memory Interface.
  37746. + Appears as /dev/bcm2835_smi. For ioctl interface see drivers/misc/bcm2835_smi.h
  37747. +
  37748. config AD525X_DPOT
  37749. tristate "Analog Devices Digital Potentiometers"
  37750. depends on (I2C || SPI) && SYSFS
  37751. @@ -524,6 +532,7 @@
  37752. source "drivers/misc/altera-stapl/Kconfig"
  37753. source "drivers/misc/mei/Kconfig"
  37754. source "drivers/misc/vmw_vmci/Kconfig"
  37755. +source "drivers/misc/vc04_services/Kconfig"
  37756. source "drivers/misc/mic/Kconfig"
  37757. source "drivers/misc/genwqe/Kconfig"
  37758. source "drivers/misc/echo/Kconfig"
  37759. diff -Nur linux-4.1.13.orig/drivers/misc/Makefile linux-rpi/drivers/misc/Makefile
  37760. --- linux-4.1.13.orig/drivers/misc/Makefile 2015-11-09 23:34:10.000000000 +0100
  37761. +++ linux-rpi/drivers/misc/Makefile 2015-11-29 09:42:38.035223868 +0100
  37762. @@ -9,6 +9,7 @@
  37763. obj-$(CONFIG_INTEL_MID_PTI) += pti.o
  37764. obj-$(CONFIG_ATMEL_SSC) += atmel-ssc.o
  37765. obj-$(CONFIG_ATMEL_TCLIB) += atmel_tclib.o
  37766. +obj-$(CONFIG_BCM2835_SMI) += bcm2835_smi.o
  37767. obj-$(CONFIG_BMP085) += bmp085.o
  37768. obj-$(CONFIG_BMP085_I2C) += bmp085-i2c.o
  37769. obj-$(CONFIG_BMP085_SPI) += bmp085-spi.o
  37770. @@ -51,6 +52,7 @@
  37771. obj-$(CONFIG_VMWARE_VMCI) += vmw_vmci/
  37772. obj-$(CONFIG_LATTICE_ECP3_CONFIG) += lattice-ecp3-config.o
  37773. obj-$(CONFIG_SRAM) += sram.o
  37774. +obj-$(CONFIG_BCM2708_VCHIQ) += vc04_services/
  37775. obj-y += mic/
  37776. obj-$(CONFIG_GENWQE) += genwqe/
  37777. obj-$(CONFIG_ECHO) += echo/
  37778. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/connections/connection.h linux-rpi/drivers/misc/vc04_services/interface/vchi/connections/connection.h
  37779. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/connections/connection.h 1970-01-01 01:00:00.000000000 +0100
  37780. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/connections/connection.h 2015-11-29 09:42:38.059222273 +0100
  37781. @@ -0,0 +1,328 @@
  37782. +/**
  37783. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  37784. + *
  37785. + * Redistribution and use in source and binary forms, with or without
  37786. + * modification, are permitted provided that the following conditions
  37787. + * are met:
  37788. + * 1. Redistributions of source code must retain the above copyright
  37789. + * notice, this list of conditions, and the following disclaimer,
  37790. + * without modification.
  37791. + * 2. Redistributions in binary form must reproduce the above copyright
  37792. + * notice, this list of conditions and the following disclaimer in the
  37793. + * documentation and/or other materials provided with the distribution.
  37794. + * 3. The names of the above-listed copyright holders may not be used
  37795. + * to endorse or promote products derived from this software without
  37796. + * specific prior written permission.
  37797. + *
  37798. + * ALTERNATIVELY, this software may be distributed under the terms of the
  37799. + * GNU General Public License ("GPL") version 2, as published by the Free
  37800. + * Software Foundation.
  37801. + *
  37802. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  37803. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  37804. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  37805. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  37806. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  37807. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  37808. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  37809. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  37810. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  37811. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  37812. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  37813. + */
  37814. +
  37815. +#ifndef CONNECTION_H_
  37816. +#define CONNECTION_H_
  37817. +
  37818. +#include <linux/kernel.h>
  37819. +#include <linux/types.h>
  37820. +#include <linux/semaphore.h>
  37821. +
  37822. +#include "interface/vchi/vchi_cfg_internal.h"
  37823. +#include "interface/vchi/vchi_common.h"
  37824. +#include "interface/vchi/message_drivers/message.h"
  37825. +
  37826. +/******************************************************************************
  37827. + Global defs
  37828. + *****************************************************************************/
  37829. +
  37830. +// Opaque handle for a connection / service pair
  37831. +typedef struct opaque_vchi_connection_connected_service_handle_t *VCHI_CONNECTION_SERVICE_HANDLE_T;
  37832. +
  37833. +// opaque handle to the connection state information
  37834. +typedef struct opaque_vchi_connection_info_t VCHI_CONNECTION_STATE_T;
  37835. +
  37836. +typedef struct vchi_connection_t VCHI_CONNECTION_T;
  37837. +
  37838. +
  37839. +/******************************************************************************
  37840. + API
  37841. + *****************************************************************************/
  37842. +
  37843. +// Routine to init a connection with a particular low level driver
  37844. +typedef VCHI_CONNECTION_STATE_T * (*VCHI_CONNECTION_INIT_T)( struct vchi_connection_t * connection,
  37845. + const VCHI_MESSAGE_DRIVER_T * driver );
  37846. +
  37847. +// Routine to control CRC enabling at a connection level
  37848. +typedef int32_t (*VCHI_CONNECTION_CRC_CONTROL_T)( VCHI_CONNECTION_STATE_T *state_handle,
  37849. + VCHI_CRC_CONTROL_T control );
  37850. +
  37851. +// Routine to create a service
  37852. +typedef int32_t (*VCHI_CONNECTION_SERVICE_CONNECT_T)( VCHI_CONNECTION_STATE_T *state_handle,
  37853. + int32_t service_id,
  37854. + uint32_t rx_fifo_size,
  37855. + uint32_t tx_fifo_size,
  37856. + int server,
  37857. + VCHI_CALLBACK_T callback,
  37858. + void *callback_param,
  37859. + int32_t want_crc,
  37860. + int32_t want_unaligned_bulk_rx,
  37861. + int32_t want_unaligned_bulk_tx,
  37862. + VCHI_CONNECTION_SERVICE_HANDLE_T *service_handle );
  37863. +
  37864. +// Routine to close a service
  37865. +typedef int32_t (*VCHI_CONNECTION_SERVICE_DISCONNECT_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle );
  37866. +
  37867. +// Routine to queue a message
  37868. +typedef int32_t (*VCHI_CONNECTION_SERVICE_QUEUE_MESSAGE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37869. + const void *data,
  37870. + uint32_t data_size,
  37871. + VCHI_FLAGS_T flags,
  37872. + void *msg_handle );
  37873. +
  37874. +// scatter-gather (vector) message queueing
  37875. +typedef int32_t (*VCHI_CONNECTION_SERVICE_QUEUE_MESSAGEV_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37876. + VCHI_MSG_VECTOR_T *vector,
  37877. + uint32_t count,
  37878. + VCHI_FLAGS_T flags,
  37879. + void *msg_handle );
  37880. +
  37881. +// Routine to dequeue a message
  37882. +typedef int32_t (*VCHI_CONNECTION_SERVICE_DEQUEUE_MESSAGE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37883. + void *data,
  37884. + uint32_t max_data_size_to_read,
  37885. + uint32_t *actual_msg_size,
  37886. + VCHI_FLAGS_T flags );
  37887. +
  37888. +// Routine to peek at a message
  37889. +typedef int32_t (*VCHI_CONNECTION_SERVICE_PEEK_MESSAGE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37890. + void **data,
  37891. + uint32_t *msg_size,
  37892. + VCHI_FLAGS_T flags );
  37893. +
  37894. +// Routine to hold a message
  37895. +typedef int32_t (*VCHI_CONNECTION_SERVICE_HOLD_MESSAGE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37896. + void **data,
  37897. + uint32_t *msg_size,
  37898. + VCHI_FLAGS_T flags,
  37899. + void **message_handle );
  37900. +
  37901. +// Routine to initialise a received message iterator
  37902. +typedef int32_t (*VCHI_CONNECTION_SERVICE_LOOKAHEAD_MESSAGE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37903. + VCHI_MSG_ITER_T *iter,
  37904. + VCHI_FLAGS_T flags );
  37905. +
  37906. +// Routine to release a held message
  37907. +typedef int32_t (*VCHI_CONNECTION_HELD_MSG_RELEASE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37908. + void *message_handle );
  37909. +
  37910. +// Routine to get info on a held message
  37911. +typedef int32_t (*VCHI_CONNECTION_HELD_MSG_INFO_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37912. + void *message_handle,
  37913. + void **data,
  37914. + int32_t *msg_size,
  37915. + uint32_t *tx_timestamp,
  37916. + uint32_t *rx_timestamp );
  37917. +
  37918. +// Routine to check whether the iterator has a next message
  37919. +typedef int32_t (*VCHI_CONNECTION_MSG_ITER_HAS_NEXT_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service,
  37920. + const VCHI_MSG_ITER_T *iter );
  37921. +
  37922. +// Routine to advance the iterator
  37923. +typedef int32_t (*VCHI_CONNECTION_MSG_ITER_NEXT_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service,
  37924. + VCHI_MSG_ITER_T *iter,
  37925. + void **data,
  37926. + uint32_t *msg_size );
  37927. +
  37928. +// Routine to remove the last message returned by the iterator
  37929. +typedef int32_t (*VCHI_CONNECTION_MSG_ITER_REMOVE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service,
  37930. + VCHI_MSG_ITER_T *iter );
  37931. +
  37932. +// Routine to hold the last message returned by the iterator
  37933. +typedef int32_t (*VCHI_CONNECTION_MSG_ITER_HOLD_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service,
  37934. + VCHI_MSG_ITER_T *iter,
  37935. + void **msg_handle );
  37936. +
  37937. +// Routine to transmit bulk data
  37938. +typedef int32_t (*VCHI_CONNECTION_BULK_QUEUE_TRANSMIT_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37939. + const void *data_src,
  37940. + uint32_t data_size,
  37941. + VCHI_FLAGS_T flags,
  37942. + void *bulk_handle );
  37943. +
  37944. +// Routine to receive data
  37945. +typedef int32_t (*VCHI_CONNECTION_BULK_QUEUE_RECEIVE_T)( VCHI_CONNECTION_SERVICE_HANDLE_T service_handle,
  37946. + void *data_dst,
  37947. + uint32_t data_size,
  37948. + VCHI_FLAGS_T flags,
  37949. + void *bulk_handle );
  37950. +
  37951. +// Routine to report if a server is available
  37952. +typedef int32_t (*VCHI_CONNECTION_SERVER_PRESENT)( VCHI_CONNECTION_STATE_T *state, int32_t service_id, int32_t peer_flags );
  37953. +
  37954. +// Routine to report the number of RX slots available
  37955. +typedef int (*VCHI_CONNECTION_RX_SLOTS_AVAILABLE)( const VCHI_CONNECTION_STATE_T *state );
  37956. +
  37957. +// Routine to report the RX slot size
  37958. +typedef uint32_t (*VCHI_CONNECTION_RX_SLOT_SIZE)( const VCHI_CONNECTION_STATE_T *state );
  37959. +
  37960. +// Callback to indicate that the other side has added a buffer to the rx bulk DMA FIFO
  37961. +typedef void (*VCHI_CONNECTION_RX_BULK_BUFFER_ADDED)(VCHI_CONNECTION_STATE_T *state,
  37962. + int32_t service,
  37963. + uint32_t length,
  37964. + MESSAGE_TX_CHANNEL_T channel,
  37965. + uint32_t channel_params,
  37966. + uint32_t data_length,
  37967. + uint32_t data_offset);
  37968. +
  37969. +// Callback to inform a service that a Xon or Xoff message has been received
  37970. +typedef void (*VCHI_CONNECTION_FLOW_CONTROL)(VCHI_CONNECTION_STATE_T *state, int32_t service_id, int32_t xoff);
  37971. +
  37972. +// Callback to inform a service that a server available reply message has been received
  37973. +typedef void (*VCHI_CONNECTION_SERVER_AVAILABLE_REPLY)(VCHI_CONNECTION_STATE_T *state, int32_t service_id, uint32_t flags);
  37974. +
  37975. +// Callback to indicate that bulk auxiliary messages have arrived
  37976. +typedef void (*VCHI_CONNECTION_BULK_AUX_RECEIVED)(VCHI_CONNECTION_STATE_T *state);
  37977. +
  37978. +// Callback to indicate that bulk auxiliary messages have arrived
  37979. +typedef void (*VCHI_CONNECTION_BULK_AUX_TRANSMITTED)(VCHI_CONNECTION_STATE_T *state, void *handle);
  37980. +
  37981. +// Callback with all the connection info you require
  37982. +typedef void (*VCHI_CONNECTION_INFO)(VCHI_CONNECTION_STATE_T *state, uint32_t protocol_version, uint32_t slot_size, uint32_t num_slots, uint32_t min_bulk_size);
  37983. +
  37984. +// Callback to inform of a disconnect
  37985. +typedef void (*VCHI_CONNECTION_DISCONNECT)(VCHI_CONNECTION_STATE_T *state, uint32_t flags);
  37986. +
  37987. +// Callback to inform of a power control request
  37988. +typedef void (*VCHI_CONNECTION_POWER_CONTROL)(VCHI_CONNECTION_STATE_T *state, MESSAGE_TX_CHANNEL_T channel, int32_t enable);
  37989. +
  37990. +// allocate memory suitably aligned for this connection
  37991. +typedef void * (*VCHI_BUFFER_ALLOCATE)(VCHI_CONNECTION_SERVICE_HANDLE_T service_handle, uint32_t * length);
  37992. +
  37993. +// free memory allocated by buffer_allocate
  37994. +typedef void (*VCHI_BUFFER_FREE)(VCHI_CONNECTION_SERVICE_HANDLE_T service_handle, void * address);
  37995. +
  37996. +
  37997. +/******************************************************************************
  37998. + System driver struct
  37999. + *****************************************************************************/
  38000. +
  38001. +struct opaque_vchi_connection_api_t
  38002. +{
  38003. + // Routine to init the connection
  38004. + VCHI_CONNECTION_INIT_T init;
  38005. +
  38006. + // Connection-level CRC control
  38007. + VCHI_CONNECTION_CRC_CONTROL_T crc_control;
  38008. +
  38009. + // Routine to connect to or create service
  38010. + VCHI_CONNECTION_SERVICE_CONNECT_T service_connect;
  38011. +
  38012. + // Routine to disconnect from a service
  38013. + VCHI_CONNECTION_SERVICE_DISCONNECT_T service_disconnect;
  38014. +
  38015. + // Routine to queue a message
  38016. + VCHI_CONNECTION_SERVICE_QUEUE_MESSAGE_T service_queue_msg;
  38017. +
  38018. + // scatter-gather (vector) message queue
  38019. + VCHI_CONNECTION_SERVICE_QUEUE_MESSAGEV_T service_queue_msgv;
  38020. +
  38021. + // Routine to dequeue a message
  38022. + VCHI_CONNECTION_SERVICE_DEQUEUE_MESSAGE_T service_dequeue_msg;
  38023. +
  38024. + // Routine to peek at a message
  38025. + VCHI_CONNECTION_SERVICE_PEEK_MESSAGE_T service_peek_msg;
  38026. +
  38027. + // Routine to hold a message
  38028. + VCHI_CONNECTION_SERVICE_HOLD_MESSAGE_T service_hold_msg;
  38029. +
  38030. + // Routine to initialise a received message iterator
  38031. + VCHI_CONNECTION_SERVICE_LOOKAHEAD_MESSAGE_T service_look_ahead_msg;
  38032. +
  38033. + // Routine to release a message
  38034. + VCHI_CONNECTION_HELD_MSG_RELEASE_T held_msg_release;
  38035. +
  38036. + // Routine to get information on a held message
  38037. + VCHI_CONNECTION_HELD_MSG_INFO_T held_msg_info;
  38038. +
  38039. + // Routine to check for next message on iterator
  38040. + VCHI_CONNECTION_MSG_ITER_HAS_NEXT_T msg_iter_has_next;
  38041. +
  38042. + // Routine to get next message on iterator
  38043. + VCHI_CONNECTION_MSG_ITER_NEXT_T msg_iter_next;
  38044. +
  38045. + // Routine to remove the last message returned by iterator
  38046. + VCHI_CONNECTION_MSG_ITER_REMOVE_T msg_iter_remove;
  38047. +
  38048. + // Routine to hold the last message returned by iterator
  38049. + VCHI_CONNECTION_MSG_ITER_HOLD_T msg_iter_hold;
  38050. +
  38051. + // Routine to transmit bulk data
  38052. + VCHI_CONNECTION_BULK_QUEUE_TRANSMIT_T bulk_queue_transmit;
  38053. +
  38054. + // Routine to receive data
  38055. + VCHI_CONNECTION_BULK_QUEUE_RECEIVE_T bulk_queue_receive;
  38056. +
  38057. + // Routine to report the available servers
  38058. + VCHI_CONNECTION_SERVER_PRESENT server_present;
  38059. +
  38060. + // Routine to report the number of RX slots available
  38061. + VCHI_CONNECTION_RX_SLOTS_AVAILABLE connection_rx_slots_available;
  38062. +
  38063. + // Routine to report the RX slot size
  38064. + VCHI_CONNECTION_RX_SLOT_SIZE connection_rx_slot_size;
  38065. +
  38066. + // Callback to indicate that the other side has added a buffer to the rx bulk DMA FIFO
  38067. + VCHI_CONNECTION_RX_BULK_BUFFER_ADDED rx_bulk_buffer_added;
  38068. +
  38069. + // Callback to inform a service that a Xon or Xoff message has been received
  38070. + VCHI_CONNECTION_FLOW_CONTROL flow_control;
  38071. +
  38072. + // Callback to inform a service that a server available reply message has been received
  38073. + VCHI_CONNECTION_SERVER_AVAILABLE_REPLY server_available_reply;
  38074. +
  38075. + // Callback to indicate that bulk auxiliary messages have arrived
  38076. + VCHI_CONNECTION_BULK_AUX_RECEIVED bulk_aux_received;
  38077. +
  38078. + // Callback to indicate that a bulk auxiliary message has been transmitted
  38079. + VCHI_CONNECTION_BULK_AUX_TRANSMITTED bulk_aux_transmitted;
  38080. +
  38081. + // Callback to provide information about the connection
  38082. + VCHI_CONNECTION_INFO connection_info;
  38083. +
  38084. + // Callback to notify that peer has requested disconnect
  38085. + VCHI_CONNECTION_DISCONNECT disconnect;
  38086. +
  38087. + // Callback to notify that peer has requested power change
  38088. + VCHI_CONNECTION_POWER_CONTROL power_control;
  38089. +
  38090. + // allocate memory suitably aligned for this connection
  38091. + VCHI_BUFFER_ALLOCATE buffer_allocate;
  38092. +
  38093. + // free memory allocated by buffer_allocate
  38094. + VCHI_BUFFER_FREE buffer_free;
  38095. +
  38096. +};
  38097. +
  38098. +struct vchi_connection_t {
  38099. + const VCHI_CONNECTION_API_T *api;
  38100. + VCHI_CONNECTION_STATE_T *state;
  38101. +#ifdef VCHI_COARSE_LOCKING
  38102. + struct semaphore sem;
  38103. +#endif
  38104. +};
  38105. +
  38106. +
  38107. +#endif /* CONNECTION_H_ */
  38108. +
  38109. +/****************************** End of file **********************************/
  38110. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/message_drivers/message.h linux-rpi/drivers/misc/vc04_services/interface/vchi/message_drivers/message.h
  38111. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/message_drivers/message.h 1970-01-01 01:00:00.000000000 +0100
  38112. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/message_drivers/message.h 2015-11-29 09:42:38.059222273 +0100
  38113. @@ -0,0 +1,204 @@
  38114. +/**
  38115. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  38116. + *
  38117. + * Redistribution and use in source and binary forms, with or without
  38118. + * modification, are permitted provided that the following conditions
  38119. + * are met:
  38120. + * 1. Redistributions of source code must retain the above copyright
  38121. + * notice, this list of conditions, and the following disclaimer,
  38122. + * without modification.
  38123. + * 2. Redistributions in binary form must reproduce the above copyright
  38124. + * notice, this list of conditions and the following disclaimer in the
  38125. + * documentation and/or other materials provided with the distribution.
  38126. + * 3. The names of the above-listed copyright holders may not be used
  38127. + * to endorse or promote products derived from this software without
  38128. + * specific prior written permission.
  38129. + *
  38130. + * ALTERNATIVELY, this software may be distributed under the terms of the
  38131. + * GNU General Public License ("GPL") version 2, as published by the Free
  38132. + * Software Foundation.
  38133. + *
  38134. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  38135. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  38136. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  38137. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  38138. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  38139. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  38140. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  38141. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  38142. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  38143. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  38144. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  38145. + */
  38146. +
  38147. +#ifndef _VCHI_MESSAGE_H_
  38148. +#define _VCHI_MESSAGE_H_
  38149. +
  38150. +#include <linux/kernel.h>
  38151. +#include <linux/types.h>
  38152. +#include <linux/semaphore.h>
  38153. +
  38154. +#include "interface/vchi/vchi_cfg_internal.h"
  38155. +#include "interface/vchi/vchi_common.h"
  38156. +
  38157. +
  38158. +typedef enum message_event_type {
  38159. + MESSAGE_EVENT_NONE,
  38160. + MESSAGE_EVENT_NOP,
  38161. + MESSAGE_EVENT_MESSAGE,
  38162. + MESSAGE_EVENT_SLOT_COMPLETE,
  38163. + MESSAGE_EVENT_RX_BULK_PAUSED,
  38164. + MESSAGE_EVENT_RX_BULK_COMPLETE,
  38165. + MESSAGE_EVENT_TX_COMPLETE,
  38166. + MESSAGE_EVENT_MSG_DISCARDED
  38167. +} MESSAGE_EVENT_TYPE_T;
  38168. +
  38169. +typedef enum vchi_msg_flags
  38170. +{
  38171. + VCHI_MSG_FLAGS_NONE = 0x0,
  38172. + VCHI_MSG_FLAGS_TERMINATE_DMA = 0x1
  38173. +} VCHI_MSG_FLAGS_T;
  38174. +
  38175. +typedef enum message_tx_channel
  38176. +{
  38177. + MESSAGE_TX_CHANNEL_MESSAGE = 0,
  38178. + MESSAGE_TX_CHANNEL_BULK = 1 // drivers may provide multiple bulk channels, from 1 upwards
  38179. +} MESSAGE_TX_CHANNEL_T;
  38180. +
  38181. +// Macros used for cycling through bulk channels
  38182. +#define MESSAGE_TX_CHANNEL_BULK_PREV(c) (MESSAGE_TX_CHANNEL_BULK+((c)-MESSAGE_TX_CHANNEL_BULK+VCHI_MAX_BULK_TX_CHANNELS_PER_CONNECTION-1)%VCHI_MAX_BULK_TX_CHANNELS_PER_CONNECTION)
  38183. +#define MESSAGE_TX_CHANNEL_BULK_NEXT(c) (MESSAGE_TX_CHANNEL_BULK+((c)-MESSAGE_TX_CHANNEL_BULK+1)%VCHI_MAX_BULK_TX_CHANNELS_PER_CONNECTION)
  38184. +
  38185. +typedef enum message_rx_channel
  38186. +{
  38187. + MESSAGE_RX_CHANNEL_MESSAGE = 0,
  38188. + MESSAGE_RX_CHANNEL_BULK = 1 // drivers may provide multiple bulk channels, from 1 upwards
  38189. +} MESSAGE_RX_CHANNEL_T;
  38190. +
  38191. +// Message receive slot information
  38192. +typedef struct rx_msg_slot_info {
  38193. +
  38194. + struct rx_msg_slot_info *next;
  38195. + //struct slot_info *prev;
  38196. +#if !defined VCHI_COARSE_LOCKING
  38197. + struct semaphore sem;
  38198. +#endif
  38199. +
  38200. + uint8_t *addr; // base address of slot
  38201. + uint32_t len; // length of slot in bytes
  38202. +
  38203. + uint32_t write_ptr; // hardware causes this to advance
  38204. + uint32_t read_ptr; // this module does the reading
  38205. + int active; // is this slot in the hardware dma fifo?
  38206. + uint32_t msgs_parsed; // count how many messages are in this slot
  38207. + uint32_t msgs_released; // how many messages have been released
  38208. + void *state; // connection state information
  38209. + uint8_t ref_count[VCHI_MAX_SERVICES_PER_CONNECTION]; // reference count for slots held by services
  38210. +} RX_MSG_SLOTINFO_T;
  38211. +
  38212. +// The message driver no longer needs to know about the fields of RX_BULK_SLOTINFO_T - sort this out.
  38213. +// In particular, it mustn't use addr and len - they're the client buffer, but the message
  38214. +// driver will be tasked with sending the aligned core section.
  38215. +typedef struct rx_bulk_slotinfo_t {
  38216. + struct rx_bulk_slotinfo_t *next;
  38217. +
  38218. + struct semaphore *blocking;
  38219. +
  38220. + // needed by DMA
  38221. + void *addr;
  38222. + uint32_t len;
  38223. +
  38224. + // needed for the callback
  38225. + void *service;
  38226. + void *handle;
  38227. + VCHI_FLAGS_T flags;
  38228. +} RX_BULK_SLOTINFO_T;
  38229. +
  38230. +
  38231. +/* ----------------------------------------------------------------------
  38232. + * each connection driver will have a pool of the following struct.
  38233. + *
  38234. + * the pool will be managed by vchi_qman_*
  38235. + * this means there will be multiple queues (single linked lists)
  38236. + * a given struct message_info will be on exactly one of these queues
  38237. + * at any one time
  38238. + * -------------------------------------------------------------------- */
  38239. +typedef struct rx_message_info {
  38240. +
  38241. + struct message_info *next;
  38242. + //struct message_info *prev;
  38243. +
  38244. + uint8_t *addr;
  38245. + uint32_t len;
  38246. + RX_MSG_SLOTINFO_T *slot; // points to whichever slot contains this message
  38247. + uint32_t tx_timestamp;
  38248. + uint32_t rx_timestamp;
  38249. +
  38250. +} RX_MESSAGE_INFO_T;
  38251. +
  38252. +typedef struct {
  38253. + MESSAGE_EVENT_TYPE_T type;
  38254. +
  38255. + struct {
  38256. + // for messages
  38257. + void *addr; // address of message
  38258. + uint16_t slot_delta; // whether this message indicated slot delta
  38259. + uint32_t len; // length of message
  38260. + RX_MSG_SLOTINFO_T *slot; // slot this message is in
  38261. + int32_t service; // service id this message is destined for
  38262. + uint32_t tx_timestamp; // timestamp from the header
  38263. + uint32_t rx_timestamp; // timestamp when we parsed it
  38264. + } message;
  38265. +
  38266. + // FIXME: cleanup slot reporting...
  38267. + RX_MSG_SLOTINFO_T *rx_msg;
  38268. + RX_BULK_SLOTINFO_T *rx_bulk;
  38269. + void *tx_handle;
  38270. + MESSAGE_TX_CHANNEL_T tx_channel;
  38271. +
  38272. +} MESSAGE_EVENT_T;
  38273. +
  38274. +
  38275. +// callbacks
  38276. +typedef void VCHI_MESSAGE_DRIVER_EVENT_CALLBACK_T( void *state );
  38277. +
  38278. +typedef struct {
  38279. + VCHI_MESSAGE_DRIVER_EVENT_CALLBACK_T *event_callback;
  38280. +} VCHI_MESSAGE_DRIVER_OPEN_T;
  38281. +
  38282. +
  38283. +// handle to this instance of message driver (as returned by ->open)
  38284. +typedef struct opaque_mhandle_t *VCHI_MDRIVER_HANDLE_T;
  38285. +
  38286. +struct opaque_vchi_message_driver_t {
  38287. + VCHI_MDRIVER_HANDLE_T *(*open)( VCHI_MESSAGE_DRIVER_OPEN_T *params, void *state );
  38288. + int32_t (*suspending)( VCHI_MDRIVER_HANDLE_T *handle );
  38289. + int32_t (*resumed)( VCHI_MDRIVER_HANDLE_T *handle );
  38290. + int32_t (*power_control)( VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T, int32_t enable );
  38291. + int32_t (*add_msg_rx_slot)( VCHI_MDRIVER_HANDLE_T *handle, RX_MSG_SLOTINFO_T *slot ); // rx message
  38292. + int32_t (*add_bulk_rx)( VCHI_MDRIVER_HANDLE_T *handle, void *data, uint32_t len, RX_BULK_SLOTINFO_T *slot ); // rx data (bulk)
  38293. + int32_t (*send)( VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T channel, const void *data, uint32_t len, VCHI_MSG_FLAGS_T flags, void *send_handle ); // tx (message & bulk)
  38294. + void (*next_event)( VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_EVENT_T *event ); // get the next event from message_driver
  38295. + int32_t (*enable)( VCHI_MDRIVER_HANDLE_T *handle );
  38296. + int32_t (*form_message)( VCHI_MDRIVER_HANDLE_T *handle, int32_t service_id, VCHI_MSG_VECTOR_T *vector, uint32_t count, void
  38297. + *address, uint32_t length_avail, uint32_t max_total_length, int32_t pad_to_fill, int32_t allow_partial );
  38298. +
  38299. + int32_t (*update_message)( VCHI_MDRIVER_HANDLE_T *handle, void *dest, int16_t *slot_count );
  38300. + int32_t (*buffer_aligned)( VCHI_MDRIVER_HANDLE_T *handle, int tx, int uncached, const void *address, const uint32_t length );
  38301. + void * (*allocate_buffer)( VCHI_MDRIVER_HANDLE_T *handle, uint32_t *length );
  38302. + void (*free_buffer)( VCHI_MDRIVER_HANDLE_T *handle, void *address );
  38303. + int (*rx_slot_size)( VCHI_MDRIVER_HANDLE_T *handle, int msg_size );
  38304. + int (*tx_slot_size)( VCHI_MDRIVER_HANDLE_T *handle, int msg_size );
  38305. +
  38306. + int32_t (*tx_supports_terminate)( const VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T channel );
  38307. + uint32_t (*tx_bulk_chunk_size)( const VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T channel );
  38308. + int (*tx_alignment)( const VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T channel );
  38309. + int (*rx_alignment)( const VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_RX_CHANNEL_T channel );
  38310. + void (*form_bulk_aux)( VCHI_MDRIVER_HANDLE_T *handle, MESSAGE_TX_CHANNEL_T channel, const void *data, uint32_t len, uint32_t chunk_size, const void **aux_data, int32_t *aux_len );
  38311. + void (*debug)( VCHI_MDRIVER_HANDLE_T *handle );
  38312. +};
  38313. +
  38314. +
  38315. +#endif // _VCHI_MESSAGE_H_
  38316. +
  38317. +/****************************** End of file ***********************************/
  38318. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_cfg.h linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_cfg.h
  38319. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_cfg.h 1970-01-01 01:00:00.000000000 +0100
  38320. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_cfg.h 2015-11-29 09:42:38.059222273 +0100
  38321. @@ -0,0 +1,224 @@
  38322. +/**
  38323. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  38324. + *
  38325. + * Redistribution and use in source and binary forms, with or without
  38326. + * modification, are permitted provided that the following conditions
  38327. + * are met:
  38328. + * 1. Redistributions of source code must retain the above copyright
  38329. + * notice, this list of conditions, and the following disclaimer,
  38330. + * without modification.
  38331. + * 2. Redistributions in binary form must reproduce the above copyright
  38332. + * notice, this list of conditions and the following disclaimer in the
  38333. + * documentation and/or other materials provided with the distribution.
  38334. + * 3. The names of the above-listed copyright holders may not be used
  38335. + * to endorse or promote products derived from this software without
  38336. + * specific prior written permission.
  38337. + *
  38338. + * ALTERNATIVELY, this software may be distributed under the terms of the
  38339. + * GNU General Public License ("GPL") version 2, as published by the Free
  38340. + * Software Foundation.
  38341. + *
  38342. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  38343. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  38344. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  38345. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  38346. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  38347. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  38348. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  38349. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  38350. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  38351. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  38352. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  38353. + */
  38354. +
  38355. +#ifndef VCHI_CFG_H_
  38356. +#define VCHI_CFG_H_
  38357. +
  38358. +/****************************************************************************************
  38359. + * Defines in this first section are part of the VCHI API and may be examined by VCHI
  38360. + * services.
  38361. + ***************************************************************************************/
  38362. +
  38363. +/* Required alignment of base addresses for bulk transfer, if unaligned transfers are not enabled */
  38364. +/* Really determined by the message driver, and should be available from a run-time call. */
  38365. +#ifndef VCHI_BULK_ALIGN
  38366. +# if __VCCOREVER__ >= 0x04000000
  38367. +# define VCHI_BULK_ALIGN 32 // Allows for the need to do cache cleans
  38368. +# else
  38369. +# define VCHI_BULK_ALIGN 16
  38370. +# endif
  38371. +#endif
  38372. +
  38373. +/* Required length multiple for bulk transfers, if unaligned transfers are not enabled */
  38374. +/* May be less than or greater than VCHI_BULK_ALIGN */
  38375. +/* Really determined by the message driver, and should be available from a run-time call. */
  38376. +#ifndef VCHI_BULK_GRANULARITY
  38377. +# if __VCCOREVER__ >= 0x04000000
  38378. +# define VCHI_BULK_GRANULARITY 32 // Allows for the need to do cache cleans
  38379. +# else
  38380. +# define VCHI_BULK_GRANULARITY 16
  38381. +# endif
  38382. +#endif
  38383. +
  38384. +/* The largest possible message to be queued with vchi_msg_queue. */
  38385. +#ifndef VCHI_MAX_MSG_SIZE
  38386. +# if defined VCHI_LOCAL_HOST_PORT
  38387. +# define VCHI_MAX_MSG_SIZE 16384 // makes file transfers fast, but should they be using bulk?
  38388. +# else
  38389. +# define VCHI_MAX_MSG_SIZE 4096 // NOTE: THIS MUST BE LARGER THAN OR EQUAL TO THE SIZE OF THE KHRONOS MERGE BUFFER!!
  38390. +# endif
  38391. +#endif
  38392. +
  38393. +/******************************************************************************************
  38394. + * Defines below are system configuration options, and should not be used by VCHI services.
  38395. + *****************************************************************************************/
  38396. +
  38397. +/* How many connections can we support? A localhost implementation uses 2 connections,
  38398. + * 1 for host-app, 1 for VMCS, and these are hooked together by a loopback MPHI VCFW
  38399. + * driver. */
  38400. +#ifndef VCHI_MAX_NUM_CONNECTIONS
  38401. +# define VCHI_MAX_NUM_CONNECTIONS 3
  38402. +#endif
  38403. +
  38404. +/* How many services can we open per connection? Extending this doesn't cost processing time, just a small
  38405. + * amount of static memory. */
  38406. +#ifndef VCHI_MAX_SERVICES_PER_CONNECTION
  38407. +# define VCHI_MAX_SERVICES_PER_CONNECTION 36
  38408. +#endif
  38409. +
  38410. +/* Adjust if using a message driver that supports more logical TX channels */
  38411. +#ifndef VCHI_MAX_BULK_TX_CHANNELS_PER_CONNECTION
  38412. +# define VCHI_MAX_BULK_TX_CHANNELS_PER_CONNECTION 9 // 1 MPHI + 8 CCP2 logical channels
  38413. +#endif
  38414. +
  38415. +/* Adjust if using a message driver that supports more logical RX channels */
  38416. +#ifndef VCHI_MAX_BULK_RX_CHANNELS_PER_CONNECTION
  38417. +# define VCHI_MAX_BULK_RX_CHANNELS_PER_CONNECTION 1 // 1 MPHI
  38418. +#endif
  38419. +
  38420. +/* How many receive slots do we use. This times VCHI_MAX_MSG_SIZE gives the effective
  38421. + * receive queue space, less message headers. */
  38422. +#ifndef VCHI_NUM_READ_SLOTS
  38423. +# if defined(VCHI_LOCAL_HOST_PORT)
  38424. +# define VCHI_NUM_READ_SLOTS 4
  38425. +# else
  38426. +# define VCHI_NUM_READ_SLOTS 48
  38427. +# endif
  38428. +#endif
  38429. +
  38430. +/* Do we utilise overrun facility for receive message slots? Can aid peer transmit
  38431. + * performance. Only define on VideoCore end, talking to host.
  38432. + */
  38433. +//#define VCHI_MSG_RX_OVERRUN
  38434. +
  38435. +/* How many transmit slots do we use. Generally don't need many, as the hardware driver
  38436. + * underneath VCHI will usually have its own buffering. */
  38437. +#ifndef VCHI_NUM_WRITE_SLOTS
  38438. +# define VCHI_NUM_WRITE_SLOTS 4
  38439. +#endif
  38440. +
  38441. +/* If a service has held or queued received messages in VCHI_XOFF_THRESHOLD or more slots,
  38442. + * then it's taking up too much buffer space, and the peer service will be told to stop
  38443. + * transmitting with an XOFF message. For this to be effective, the VCHI_NUM_READ_SLOTS
  38444. + * needs to be considerably bigger than VCHI_NUM_WRITE_SLOTS, or the transmit latency
  38445. + * is too high. */
  38446. +#ifndef VCHI_XOFF_THRESHOLD
  38447. +# define VCHI_XOFF_THRESHOLD (VCHI_NUM_READ_SLOTS / 2)
  38448. +#endif
  38449. +
  38450. +/* After we've sent an XOFF, the peer will be told to resume transmission once the local
  38451. + * service has dequeued/released enough messages that it's now occupying
  38452. + * VCHI_XON_THRESHOLD slots or fewer. */
  38453. +#ifndef VCHI_XON_THRESHOLD
  38454. +# define VCHI_XON_THRESHOLD (VCHI_NUM_READ_SLOTS / 4)
  38455. +#endif
  38456. +
  38457. +/* A size below which a bulk transfer omits the handshake completely and always goes
  38458. + * via the message channel, if bulk auxiliary is being sent on that service. (The user
  38459. + * can guarantee this by enabling unaligned transmits).
  38460. + * Not API. */
  38461. +#ifndef VCHI_MIN_BULK_SIZE
  38462. +# define VCHI_MIN_BULK_SIZE ( VCHI_MAX_MSG_SIZE / 2 < 4096 ? VCHI_MAX_MSG_SIZE / 2 : 4096 )
  38463. +#endif
  38464. +
  38465. +/* Maximum size of bulk transmission chunks, for each interface type. A trade-off between
  38466. + * speed and latency; the smaller the chunk size the better change of messages and other
  38467. + * bulk transmissions getting in when big bulk transfers are happening. Set to 0 to not
  38468. + * break transmissions into chunks.
  38469. + */
  38470. +#ifndef VCHI_MAX_BULK_CHUNK_SIZE_MPHI
  38471. +# define VCHI_MAX_BULK_CHUNK_SIZE_MPHI (16 * 1024)
  38472. +#endif
  38473. +
  38474. +/* NB Chunked CCP2 transmissions violate the letter of the CCP2 spec by using "JPEG8" mode
  38475. + * with multiple-line frames. Only use if the receiver can cope. */
  38476. +#ifndef VCHI_MAX_BULK_CHUNK_SIZE_CCP2
  38477. +# define VCHI_MAX_BULK_CHUNK_SIZE_CCP2 0
  38478. +#endif
  38479. +
  38480. +/* How many TX messages can we have pending in our transmit slots. Once exhausted,
  38481. + * vchi_msg_queue will be blocked. */
  38482. +#ifndef VCHI_TX_MSG_QUEUE_SIZE
  38483. +# define VCHI_TX_MSG_QUEUE_SIZE 256
  38484. +#endif
  38485. +
  38486. +/* How many RX messages can we have parsed in the receive slots. Once exhausted, parsing
  38487. + * will be suspended until older messages are dequeued/released. */
  38488. +#ifndef VCHI_RX_MSG_QUEUE_SIZE
  38489. +# define VCHI_RX_MSG_QUEUE_SIZE 256
  38490. +#endif
  38491. +
  38492. +/* Really should be able to cope if we run out of received message descriptors, by
  38493. + * suspending parsing as the comment above says, but we don't. This sweeps the issue
  38494. + * under the carpet. */
  38495. +#if VCHI_RX_MSG_QUEUE_SIZE < (VCHI_MAX_MSG_SIZE/16 + 1) * VCHI_NUM_READ_SLOTS
  38496. +# undef VCHI_RX_MSG_QUEUE_SIZE
  38497. +# define VCHI_RX_MSG_QUEUE_SIZE (VCHI_MAX_MSG_SIZE/16 + 1) * VCHI_NUM_READ_SLOTS
  38498. +#endif
  38499. +
  38500. +/* How many bulk transmits can we have pending. Once exhausted, vchi_bulk_queue_transmit
  38501. + * will be blocked. */
  38502. +#ifndef VCHI_TX_BULK_QUEUE_SIZE
  38503. +# define VCHI_TX_BULK_QUEUE_SIZE 64
  38504. +#endif
  38505. +
  38506. +/* How many bulk receives can we have pending. Once exhausted, vchi_bulk_queue_receive
  38507. + * will be blocked. */
  38508. +#ifndef VCHI_RX_BULK_QUEUE_SIZE
  38509. +# define VCHI_RX_BULK_QUEUE_SIZE 64
  38510. +#endif
  38511. +
  38512. +/* A limit on how many outstanding bulk requests we expect the peer to give us. If
  38513. + * the peer asks for more than this, VCHI will fail and assert. The number is determined
  38514. + * by the peer's hardware - it's the number of outstanding requests that can be queued
  38515. + * on all bulk channels. VC3's MPHI peripheral allows 16. */
  38516. +#ifndef VCHI_MAX_PEER_BULK_REQUESTS
  38517. +# define VCHI_MAX_PEER_BULK_REQUESTS 32
  38518. +#endif
  38519. +
  38520. +/* Define VCHI_CCP2TX_MANUAL_POWER if the host tells us when to turn the CCP2
  38521. + * transmitter on and off.
  38522. + */
  38523. +/*#define VCHI_CCP2TX_MANUAL_POWER*/
  38524. +
  38525. +#ifndef VCHI_CCP2TX_MANUAL_POWER
  38526. +
  38527. +/* Timeout (in milliseconds) for putting the CCP2TX interface into IDLE state. Set
  38528. + * negative for no IDLE.
  38529. + */
  38530. +# ifndef VCHI_CCP2TX_IDLE_TIMEOUT
  38531. +# define VCHI_CCP2TX_IDLE_TIMEOUT 5
  38532. +# endif
  38533. +
  38534. +/* Timeout (in milliseconds) for putting the CCP2TX interface into OFF state. Set
  38535. + * negative for no OFF.
  38536. + */
  38537. +# ifndef VCHI_CCP2TX_OFF_TIMEOUT
  38538. +# define VCHI_CCP2TX_OFF_TIMEOUT 1000
  38539. +# endif
  38540. +
  38541. +#endif /* VCHI_CCP2TX_MANUAL_POWER */
  38542. +
  38543. +#endif /* VCHI_CFG_H_ */
  38544. +
  38545. +/****************************** End of file **********************************/
  38546. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_cfg_internal.h linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_cfg_internal.h
  38547. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_cfg_internal.h 1970-01-01 01:00:00.000000000 +0100
  38548. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_cfg_internal.h 2015-11-29 09:42:38.059222273 +0100
  38549. @@ -0,0 +1,71 @@
  38550. +/**
  38551. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  38552. + *
  38553. + * Redistribution and use in source and binary forms, with or without
  38554. + * modification, are permitted provided that the following conditions
  38555. + * are met:
  38556. + * 1. Redistributions of source code must retain the above copyright
  38557. + * notice, this list of conditions, and the following disclaimer,
  38558. + * without modification.
  38559. + * 2. Redistributions in binary form must reproduce the above copyright
  38560. + * notice, this list of conditions and the following disclaimer in the
  38561. + * documentation and/or other materials provided with the distribution.
  38562. + * 3. The names of the above-listed copyright holders may not be used
  38563. + * to endorse or promote products derived from this software without
  38564. + * specific prior written permission.
  38565. + *
  38566. + * ALTERNATIVELY, this software may be distributed under the terms of the
  38567. + * GNU General Public License ("GPL") version 2, as published by the Free
  38568. + * Software Foundation.
  38569. + *
  38570. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  38571. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  38572. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  38573. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  38574. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  38575. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  38576. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  38577. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  38578. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  38579. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  38580. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  38581. + */
  38582. +
  38583. +#ifndef VCHI_CFG_INTERNAL_H_
  38584. +#define VCHI_CFG_INTERNAL_H_
  38585. +
  38586. +/****************************************************************************************
  38587. + * Control optimisation attempts.
  38588. + ***************************************************************************************/
  38589. +
  38590. +// Don't use lots of short-term locks - use great long ones, reducing the overall locks-per-second
  38591. +#define VCHI_COARSE_LOCKING
  38592. +
  38593. +// Avoid lock then unlock on exit from blocking queue operations (msg tx, bulk rx/tx)
  38594. +// (only relevant if VCHI_COARSE_LOCKING)
  38595. +#define VCHI_ELIDE_BLOCK_EXIT_LOCK
  38596. +
  38597. +// Avoid lock on non-blocking peek
  38598. +// (only relevant if VCHI_COARSE_LOCKING)
  38599. +#define VCHI_AVOID_PEEK_LOCK
  38600. +
  38601. +// Use one slot-handler thread per connection, rather than 1 thread dealing with all connections in rotation.
  38602. +#define VCHI_MULTIPLE_HANDLER_THREADS
  38603. +
  38604. +// Put free descriptors onto the head of the free queue, rather than the tail, so that we don't thrash
  38605. +// our way through the pool of descriptors.
  38606. +#define VCHI_PUSH_FREE_DESCRIPTORS_ONTO_HEAD
  38607. +
  38608. +// Don't issue a MSG_AVAILABLE callback for every single message. Possibly only safe if VCHI_COARSE_LOCKING.
  38609. +#define VCHI_FEWER_MSG_AVAILABLE_CALLBACKS
  38610. +
  38611. +// Don't use message descriptors for TX messages that don't need them
  38612. +#define VCHI_MINIMISE_TX_MSG_DESCRIPTORS
  38613. +
  38614. +// Nano-locks for multiqueue
  38615. +//#define VCHI_MQUEUE_NANOLOCKS
  38616. +
  38617. +// Lock-free(er) dequeuing
  38618. +//#define VCHI_RX_NANOLOCKS
  38619. +
  38620. +#endif /*VCHI_CFG_INTERNAL_H_*/
  38621. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_common.h linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_common.h
  38622. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_common.h 1970-01-01 01:00:00.000000000 +0100
  38623. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_common.h 2015-11-29 09:42:38.059222273 +0100
  38624. @@ -0,0 +1,175 @@
  38625. +/**
  38626. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  38627. + *
  38628. + * Redistribution and use in source and binary forms, with or without
  38629. + * modification, are permitted provided that the following conditions
  38630. + * are met:
  38631. + * 1. Redistributions of source code must retain the above copyright
  38632. + * notice, this list of conditions, and the following disclaimer,
  38633. + * without modification.
  38634. + * 2. Redistributions in binary form must reproduce the above copyright
  38635. + * notice, this list of conditions and the following disclaimer in the
  38636. + * documentation and/or other materials provided with the distribution.
  38637. + * 3. The names of the above-listed copyright holders may not be used
  38638. + * to endorse or promote products derived from this software without
  38639. + * specific prior written permission.
  38640. + *
  38641. + * ALTERNATIVELY, this software may be distributed under the terms of the
  38642. + * GNU General Public License ("GPL") version 2, as published by the Free
  38643. + * Software Foundation.
  38644. + *
  38645. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  38646. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  38647. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  38648. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  38649. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  38650. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  38651. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  38652. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  38653. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  38654. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  38655. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  38656. + */
  38657. +
  38658. +#ifndef VCHI_COMMON_H_
  38659. +#define VCHI_COMMON_H_
  38660. +
  38661. +
  38662. +//flags used when sending messages (must be bitmapped)
  38663. +typedef enum
  38664. +{
  38665. + VCHI_FLAGS_NONE = 0x0,
  38666. + VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE = 0x1, // waits for message to be received, or sent (NB. not the same as being seen on other side)
  38667. + VCHI_FLAGS_CALLBACK_WHEN_OP_COMPLETE = 0x2, // run a callback when message sent
  38668. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED = 0x4, // return once the transfer is in a queue ready to go
  38669. + VCHI_FLAGS_ALLOW_PARTIAL = 0x8,
  38670. + VCHI_FLAGS_BLOCK_UNTIL_DATA_READ = 0x10,
  38671. + VCHI_FLAGS_CALLBACK_WHEN_DATA_READ = 0x20,
  38672. +
  38673. + VCHI_FLAGS_ALIGN_SLOT = 0x000080, // internal use only
  38674. + VCHI_FLAGS_BULK_AUX_QUEUED = 0x010000, // internal use only
  38675. + VCHI_FLAGS_BULK_AUX_COMPLETE = 0x020000, // internal use only
  38676. + VCHI_FLAGS_BULK_DATA_QUEUED = 0x040000, // internal use only
  38677. + VCHI_FLAGS_BULK_DATA_COMPLETE = 0x080000, // internal use only
  38678. + VCHI_FLAGS_INTERNAL = 0xFF0000
  38679. +} VCHI_FLAGS_T;
  38680. +
  38681. +// constants for vchi_crc_control()
  38682. +typedef enum {
  38683. + VCHI_CRC_NOTHING = -1,
  38684. + VCHI_CRC_PER_SERVICE = 0,
  38685. + VCHI_CRC_EVERYTHING = 1,
  38686. +} VCHI_CRC_CONTROL_T;
  38687. +
  38688. +//callback reasons when an event occurs on a service
  38689. +typedef enum
  38690. +{
  38691. + VCHI_CALLBACK_REASON_MIN,
  38692. +
  38693. + //This indicates that there is data available
  38694. + //handle is the msg id that was transmitted with the data
  38695. + // When a message is received and there was no FULL message available previously, send callback
  38696. + // Tasks get kicked by the callback, reset their event and try and read from the fifo until it fails
  38697. + VCHI_CALLBACK_MSG_AVAILABLE,
  38698. + VCHI_CALLBACK_MSG_SENT,
  38699. + VCHI_CALLBACK_MSG_SPACE_AVAILABLE, // XXX not yet implemented
  38700. +
  38701. + // This indicates that a transfer from the other side has completed
  38702. + VCHI_CALLBACK_BULK_RECEIVED,
  38703. + //This indicates that data queued up to be sent has now gone
  38704. + //handle is the msg id that was used when sending the data
  38705. + VCHI_CALLBACK_BULK_SENT,
  38706. + VCHI_CALLBACK_BULK_RX_SPACE_AVAILABLE, // XXX not yet implemented
  38707. + VCHI_CALLBACK_BULK_TX_SPACE_AVAILABLE, // XXX not yet implemented
  38708. +
  38709. + VCHI_CALLBACK_SERVICE_CLOSED,
  38710. +
  38711. + // this side has sent XOFF to peer due to lack of data consumption by service
  38712. + // (suggests the service may need to take some recovery action if it has
  38713. + // been deliberately holding off consuming data)
  38714. + VCHI_CALLBACK_SENT_XOFF,
  38715. + VCHI_CALLBACK_SENT_XON,
  38716. +
  38717. + // indicates that a bulk transfer has finished reading the source buffer
  38718. + VCHI_CALLBACK_BULK_DATA_READ,
  38719. +
  38720. + // power notification events (currently host side only)
  38721. + VCHI_CALLBACK_PEER_OFF,
  38722. + VCHI_CALLBACK_PEER_SUSPENDED,
  38723. + VCHI_CALLBACK_PEER_ON,
  38724. + VCHI_CALLBACK_PEER_RESUMED,
  38725. + VCHI_CALLBACK_FORCED_POWER_OFF,
  38726. +
  38727. +#ifdef USE_VCHIQ_ARM
  38728. + // some extra notifications provided by vchiq_arm
  38729. + VCHI_CALLBACK_SERVICE_OPENED,
  38730. + VCHI_CALLBACK_BULK_RECEIVE_ABORTED,
  38731. + VCHI_CALLBACK_BULK_TRANSMIT_ABORTED,
  38732. +#endif
  38733. +
  38734. + VCHI_CALLBACK_REASON_MAX
  38735. +} VCHI_CALLBACK_REASON_T;
  38736. +
  38737. +// service control options
  38738. +typedef enum
  38739. +{
  38740. + VCHI_SERVICE_OPTION_MIN,
  38741. +
  38742. + VCHI_SERVICE_OPTION_TRACE,
  38743. + VCHI_SERVICE_OPTION_SYNCHRONOUS,
  38744. +
  38745. + VCHI_SERVICE_OPTION_MAX
  38746. +} VCHI_SERVICE_OPTION_T;
  38747. +
  38748. +
  38749. +//Callback used by all services / bulk transfers
  38750. +typedef void (*VCHI_CALLBACK_T)( void *callback_param, //my service local param
  38751. + VCHI_CALLBACK_REASON_T reason,
  38752. + void *handle ); //for transmitting msg's only
  38753. +
  38754. +
  38755. +
  38756. +/*
  38757. + * Define vector struct for scatter-gather (vector) operations
  38758. + * Vectors can be nested - if a vector element has negative length, then
  38759. + * the data pointer is treated as pointing to another vector array, with
  38760. + * '-vec_len' elements. Thus to append a header onto an existing vector,
  38761. + * you can do this:
  38762. + *
  38763. + * void foo(const VCHI_MSG_VECTOR_T *v, int n)
  38764. + * {
  38765. + * VCHI_MSG_VECTOR_T nv[2];
  38766. + * nv[0].vec_base = my_header;
  38767. + * nv[0].vec_len = sizeof my_header;
  38768. + * nv[1].vec_base = v;
  38769. + * nv[1].vec_len = -n;
  38770. + * ...
  38771. + *
  38772. + */
  38773. +typedef struct vchi_msg_vector {
  38774. + const void *vec_base;
  38775. + int32_t vec_len;
  38776. +} VCHI_MSG_VECTOR_T;
  38777. +
  38778. +// Opaque type for a connection API
  38779. +typedef struct opaque_vchi_connection_api_t VCHI_CONNECTION_API_T;
  38780. +
  38781. +// Opaque type for a message driver
  38782. +typedef struct opaque_vchi_message_driver_t VCHI_MESSAGE_DRIVER_T;
  38783. +
  38784. +
  38785. +// Iterator structure for reading ahead through received message queue. Allocated by client,
  38786. +// initialised by vchi_msg_look_ahead. Fields are for internal VCHI use only.
  38787. +// Iterates over messages in queue at the instant of the call to vchi_msg_lookahead -
  38788. +// will not proceed to messages received since. Behaviour is undefined if an iterator
  38789. +// is used again after messages for that service are removed/dequeued by any
  38790. +// means other than vchi_msg_iter_... calls on the iterator itself.
  38791. +typedef struct {
  38792. + struct opaque_vchi_service_t *service;
  38793. + void *last;
  38794. + void *next;
  38795. + void *remove;
  38796. +} VCHI_MSG_ITER_T;
  38797. +
  38798. +
  38799. +#endif // VCHI_COMMON_H_
  38800. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi.h linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi.h
  38801. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi.h 1970-01-01 01:00:00.000000000 +0100
  38802. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi.h 2015-11-29 09:42:38.059222273 +0100
  38803. @@ -0,0 +1,378 @@
  38804. +/**
  38805. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  38806. + *
  38807. + * Redistribution and use in source and binary forms, with or without
  38808. + * modification, are permitted provided that the following conditions
  38809. + * are met:
  38810. + * 1. Redistributions of source code must retain the above copyright
  38811. + * notice, this list of conditions, and the following disclaimer,
  38812. + * without modification.
  38813. + * 2. Redistributions in binary form must reproduce the above copyright
  38814. + * notice, this list of conditions and the following disclaimer in the
  38815. + * documentation and/or other materials provided with the distribution.
  38816. + * 3. The names of the above-listed copyright holders may not be used
  38817. + * to endorse or promote products derived from this software without
  38818. + * specific prior written permission.
  38819. + *
  38820. + * ALTERNATIVELY, this software may be distributed under the terms of the
  38821. + * GNU General Public License ("GPL") version 2, as published by the Free
  38822. + * Software Foundation.
  38823. + *
  38824. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  38825. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  38826. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  38827. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  38828. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  38829. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  38830. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  38831. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  38832. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  38833. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  38834. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  38835. + */
  38836. +
  38837. +#ifndef VCHI_H_
  38838. +#define VCHI_H_
  38839. +
  38840. +#include "interface/vchi/vchi_cfg.h"
  38841. +#include "interface/vchi/vchi_common.h"
  38842. +#include "interface/vchi/connections/connection.h"
  38843. +#include "vchi_mh.h"
  38844. +
  38845. +
  38846. +/******************************************************************************
  38847. + Global defs
  38848. + *****************************************************************************/
  38849. +
  38850. +#define VCHI_BULK_ROUND_UP(x) ((((unsigned long)(x))+VCHI_BULK_ALIGN-1) & ~(VCHI_BULK_ALIGN-1))
  38851. +#define VCHI_BULK_ROUND_DOWN(x) (((unsigned long)(x)) & ~(VCHI_BULK_ALIGN-1))
  38852. +#define VCHI_BULK_ALIGN_NBYTES(x) (VCHI_BULK_ALIGNED(x) ? 0 : (VCHI_BULK_ALIGN - ((unsigned long)(x) & (VCHI_BULK_ALIGN-1))))
  38853. +
  38854. +#ifdef USE_VCHIQ_ARM
  38855. +#define VCHI_BULK_ALIGNED(x) 1
  38856. +#else
  38857. +#define VCHI_BULK_ALIGNED(x) (((unsigned long)(x) & (VCHI_BULK_ALIGN-1)) == 0)
  38858. +#endif
  38859. +
  38860. +struct vchi_version {
  38861. + uint32_t version;
  38862. + uint32_t version_min;
  38863. +};
  38864. +#define VCHI_VERSION(v_) { v_, v_ }
  38865. +#define VCHI_VERSION_EX(v_, m_) { v_, m_ }
  38866. +
  38867. +typedef enum
  38868. +{
  38869. + VCHI_VEC_POINTER,
  38870. + VCHI_VEC_HANDLE,
  38871. + VCHI_VEC_LIST
  38872. +} VCHI_MSG_VECTOR_TYPE_T;
  38873. +
  38874. +typedef struct vchi_msg_vector_ex {
  38875. +
  38876. + VCHI_MSG_VECTOR_TYPE_T type;
  38877. + union
  38878. + {
  38879. + // a memory handle
  38880. + struct
  38881. + {
  38882. + VCHI_MEM_HANDLE_T handle;
  38883. + uint32_t offset;
  38884. + int32_t vec_len;
  38885. + } handle;
  38886. +
  38887. + // an ordinary data pointer
  38888. + struct
  38889. + {
  38890. + const void *vec_base;
  38891. + int32_t vec_len;
  38892. + } ptr;
  38893. +
  38894. + // a nested vector list
  38895. + struct
  38896. + {
  38897. + struct vchi_msg_vector_ex *vec;
  38898. + uint32_t vec_len;
  38899. + } list;
  38900. + } u;
  38901. +} VCHI_MSG_VECTOR_EX_T;
  38902. +
  38903. +
  38904. +// Construct an entry in a msg vector for a pointer (p) of length (l)
  38905. +#define VCHI_VEC_POINTER(p,l) VCHI_VEC_POINTER, { { (VCHI_MEM_HANDLE_T)(p), (l) } }
  38906. +
  38907. +// Construct an entry in a msg vector for a message handle (h), starting at offset (o) of length (l)
  38908. +#define VCHI_VEC_HANDLE(h,o,l) VCHI_VEC_HANDLE, { { (h), (o), (l) } }
  38909. +
  38910. +// Macros to manipulate 'FOURCC' values
  38911. +#define MAKE_FOURCC(x) ((int32_t)( (x[0] << 24) | (x[1] << 16) | (x[2] << 8) | x[3] ))
  38912. +#define FOURCC_TO_CHAR(x) (x >> 24) & 0xFF,(x >> 16) & 0xFF,(x >> 8) & 0xFF, x & 0xFF
  38913. +
  38914. +
  38915. +// Opaque service information
  38916. +struct opaque_vchi_service_t;
  38917. +
  38918. +// Descriptor for a held message. Allocated by client, initialised by vchi_msg_hold,
  38919. +// vchi_msg_iter_hold or vchi_msg_iter_hold_next. Fields are for internal VCHI use only.
  38920. +typedef struct
  38921. +{
  38922. + struct opaque_vchi_service_t *service;
  38923. + void *message;
  38924. +} VCHI_HELD_MSG_T;
  38925. +
  38926. +
  38927. +
  38928. +// structure used to provide the information needed to open a server or a client
  38929. +typedef struct {
  38930. + struct vchi_version version;
  38931. + int32_t service_id;
  38932. + VCHI_CONNECTION_T *connection;
  38933. + uint32_t rx_fifo_size;
  38934. + uint32_t tx_fifo_size;
  38935. + VCHI_CALLBACK_T callback;
  38936. + void *callback_param;
  38937. + /* client intends to receive bulk transfers of
  38938. + odd lengths or into unaligned buffers */
  38939. + int32_t want_unaligned_bulk_rx;
  38940. + /* client intends to transmit bulk transfers of
  38941. + odd lengths or out of unaligned buffers */
  38942. + int32_t want_unaligned_bulk_tx;
  38943. + /* client wants to check CRCs on (bulk) xfers.
  38944. + Only needs to be set at 1 end - will do both directions. */
  38945. + int32_t want_crc;
  38946. +} SERVICE_CREATION_T;
  38947. +
  38948. +// Opaque handle for a VCHI instance
  38949. +typedef struct opaque_vchi_instance_handle_t *VCHI_INSTANCE_T;
  38950. +
  38951. +// Opaque handle for a server or client
  38952. +typedef struct opaque_vchi_service_handle_t *VCHI_SERVICE_HANDLE_T;
  38953. +
  38954. +// Service registration & startup
  38955. +typedef void (*VCHI_SERVICE_INIT)(VCHI_INSTANCE_T initialise_instance, VCHI_CONNECTION_T **connections, uint32_t num_connections);
  38956. +
  38957. +typedef struct service_info_tag {
  38958. + const char * const vll_filename; /* VLL to load to start this service. This is an empty string if VLL is "static" */
  38959. + VCHI_SERVICE_INIT init; /* Service initialisation function */
  38960. + void *vll_handle; /* VLL handle; NULL when unloaded or a "static VLL" in build */
  38961. +} SERVICE_INFO_T;
  38962. +
  38963. +/******************************************************************************
  38964. + Global funcs - implementation is specific to which side you are on (local / remote)
  38965. + *****************************************************************************/
  38966. +
  38967. +#ifdef __cplusplus
  38968. +extern "C" {
  38969. +#endif
  38970. +
  38971. +extern /*@observer@*/ VCHI_CONNECTION_T * vchi_create_connection( const VCHI_CONNECTION_API_T * function_table,
  38972. + const VCHI_MESSAGE_DRIVER_T * low_level);
  38973. +
  38974. +
  38975. +// Routine used to initialise the vchi on both local + remote connections
  38976. +extern int32_t vchi_initialise( VCHI_INSTANCE_T *instance_handle );
  38977. +
  38978. +extern int32_t vchi_exit( void );
  38979. +
  38980. +extern int32_t vchi_connect( VCHI_CONNECTION_T **connections,
  38981. + const uint32_t num_connections,
  38982. + VCHI_INSTANCE_T instance_handle );
  38983. +
  38984. +//When this is called, ensure that all services have no data pending.
  38985. +//Bulk transfers can remain 'queued'
  38986. +extern int32_t vchi_disconnect( VCHI_INSTANCE_T instance_handle );
  38987. +
  38988. +// Global control over bulk CRC checking
  38989. +extern int32_t vchi_crc_control( VCHI_CONNECTION_T *connection,
  38990. + VCHI_CRC_CONTROL_T control );
  38991. +
  38992. +// helper functions
  38993. +extern void * vchi_allocate_buffer(VCHI_SERVICE_HANDLE_T handle, uint32_t *length);
  38994. +extern void vchi_free_buffer(VCHI_SERVICE_HANDLE_T handle, void *address);
  38995. +extern uint32_t vchi_current_time(VCHI_INSTANCE_T instance_handle);
  38996. +
  38997. +
  38998. +/******************************************************************************
  38999. + Global service API
  39000. + *****************************************************************************/
  39001. +// Routine to create a named service
  39002. +extern int32_t vchi_service_create( VCHI_INSTANCE_T instance_handle,
  39003. + SERVICE_CREATION_T *setup,
  39004. + VCHI_SERVICE_HANDLE_T *handle );
  39005. +
  39006. +// Routine to destory a service
  39007. +extern int32_t vchi_service_destroy( const VCHI_SERVICE_HANDLE_T handle );
  39008. +
  39009. +// Routine to open a named service
  39010. +extern int32_t vchi_service_open( VCHI_INSTANCE_T instance_handle,
  39011. + SERVICE_CREATION_T *setup,
  39012. + VCHI_SERVICE_HANDLE_T *handle);
  39013. +
  39014. +extern int32_t vchi_get_peer_version( const VCHI_SERVICE_HANDLE_T handle,
  39015. + short *peer_version );
  39016. +
  39017. +// Routine to close a named service
  39018. +extern int32_t vchi_service_close( const VCHI_SERVICE_HANDLE_T handle );
  39019. +
  39020. +// Routine to increment ref count on a named service
  39021. +extern int32_t vchi_service_use( const VCHI_SERVICE_HANDLE_T handle );
  39022. +
  39023. +// Routine to decrement ref count on a named service
  39024. +extern int32_t vchi_service_release( const VCHI_SERVICE_HANDLE_T handle );
  39025. +
  39026. +// Routine to set a control option for a named service
  39027. +extern int32_t vchi_service_set_option( const VCHI_SERVICE_HANDLE_T handle,
  39028. + VCHI_SERVICE_OPTION_T option,
  39029. + int value);
  39030. +
  39031. +// Routine to send a message across a service
  39032. +extern int32_t vchi_msg_queue( VCHI_SERVICE_HANDLE_T handle,
  39033. + const void *data,
  39034. + uint32_t data_size,
  39035. + VCHI_FLAGS_T flags,
  39036. + void *msg_handle );
  39037. +
  39038. +// scatter-gather (vector) and send message
  39039. +int32_t vchi_msg_queuev_ex( VCHI_SERVICE_HANDLE_T handle,
  39040. + VCHI_MSG_VECTOR_EX_T *vector,
  39041. + uint32_t count,
  39042. + VCHI_FLAGS_T flags,
  39043. + void *msg_handle );
  39044. +
  39045. +// legacy scatter-gather (vector) and send message, only handles pointers
  39046. +int32_t vchi_msg_queuev( VCHI_SERVICE_HANDLE_T handle,
  39047. + VCHI_MSG_VECTOR_T *vector,
  39048. + uint32_t count,
  39049. + VCHI_FLAGS_T flags,
  39050. + void *msg_handle );
  39051. +
  39052. +// Routine to receive a msg from a service
  39053. +// Dequeue is equivalent to hold, copy into client buffer, release
  39054. +extern int32_t vchi_msg_dequeue( VCHI_SERVICE_HANDLE_T handle,
  39055. + void *data,
  39056. + uint32_t max_data_size_to_read,
  39057. + uint32_t *actual_msg_size,
  39058. + VCHI_FLAGS_T flags );
  39059. +
  39060. +// Routine to look at a message in place.
  39061. +// The message is not dequeued, so a subsequent call to peek or dequeue
  39062. +// will return the same message.
  39063. +extern int32_t vchi_msg_peek( VCHI_SERVICE_HANDLE_T handle,
  39064. + void **data,
  39065. + uint32_t *msg_size,
  39066. + VCHI_FLAGS_T flags );
  39067. +
  39068. +// Routine to remove a message after it has been read in place with peek
  39069. +// The first message on the queue is dequeued.
  39070. +extern int32_t vchi_msg_remove( VCHI_SERVICE_HANDLE_T handle );
  39071. +
  39072. +// Routine to look at a message in place.
  39073. +// The message is dequeued, so the caller is left holding it; the descriptor is
  39074. +// filled in and must be released when the user has finished with the message.
  39075. +extern int32_t vchi_msg_hold( VCHI_SERVICE_HANDLE_T handle,
  39076. + void **data, // } may be NULL, as info can be
  39077. + uint32_t *msg_size, // } obtained from HELD_MSG_T
  39078. + VCHI_FLAGS_T flags,
  39079. + VCHI_HELD_MSG_T *message_descriptor );
  39080. +
  39081. +// Initialise an iterator to look through messages in place
  39082. +extern int32_t vchi_msg_look_ahead( VCHI_SERVICE_HANDLE_T handle,
  39083. + VCHI_MSG_ITER_T *iter,
  39084. + VCHI_FLAGS_T flags );
  39085. +
  39086. +/******************************************************************************
  39087. + Global service support API - operations on held messages and message iterators
  39088. + *****************************************************************************/
  39089. +
  39090. +// Routine to get the address of a held message
  39091. +extern void *vchi_held_msg_ptr( const VCHI_HELD_MSG_T *message );
  39092. +
  39093. +// Routine to get the size of a held message
  39094. +extern int32_t vchi_held_msg_size( const VCHI_HELD_MSG_T *message );
  39095. +
  39096. +// Routine to get the transmit timestamp as written into the header by the peer
  39097. +extern uint32_t vchi_held_msg_tx_timestamp( const VCHI_HELD_MSG_T *message );
  39098. +
  39099. +// Routine to get the reception timestamp, written as we parsed the header
  39100. +extern uint32_t vchi_held_msg_rx_timestamp( const VCHI_HELD_MSG_T *message );
  39101. +
  39102. +// Routine to release a held message after it has been processed
  39103. +extern int32_t vchi_held_msg_release( VCHI_HELD_MSG_T *message );
  39104. +
  39105. +// Indicates whether the iterator has a next message.
  39106. +extern int32_t vchi_msg_iter_has_next( const VCHI_MSG_ITER_T *iter );
  39107. +
  39108. +// Return the pointer and length for the next message and advance the iterator.
  39109. +extern int32_t vchi_msg_iter_next( VCHI_MSG_ITER_T *iter,
  39110. + void **data,
  39111. + uint32_t *msg_size );
  39112. +
  39113. +// Remove the last message returned by vchi_msg_iter_next.
  39114. +// Can only be called once after each call to vchi_msg_iter_next.
  39115. +extern int32_t vchi_msg_iter_remove( VCHI_MSG_ITER_T *iter );
  39116. +
  39117. +// Hold the last message returned by vchi_msg_iter_next.
  39118. +// Can only be called once after each call to vchi_msg_iter_next.
  39119. +extern int32_t vchi_msg_iter_hold( VCHI_MSG_ITER_T *iter,
  39120. + VCHI_HELD_MSG_T *message );
  39121. +
  39122. +// Return information for the next message, and hold it, advancing the iterator.
  39123. +extern int32_t vchi_msg_iter_hold_next( VCHI_MSG_ITER_T *iter,
  39124. + void **data, // } may be NULL
  39125. + uint32_t *msg_size, // }
  39126. + VCHI_HELD_MSG_T *message );
  39127. +
  39128. +
  39129. +/******************************************************************************
  39130. + Global bulk API
  39131. + *****************************************************************************/
  39132. +
  39133. +// Routine to prepare interface for a transfer from the other side
  39134. +extern int32_t vchi_bulk_queue_receive( VCHI_SERVICE_HANDLE_T handle,
  39135. + void *data_dst,
  39136. + uint32_t data_size,
  39137. + VCHI_FLAGS_T flags,
  39138. + void *transfer_handle );
  39139. +
  39140. +
  39141. +// Prepare interface for a transfer from the other side into relocatable memory.
  39142. +int32_t vchi_bulk_queue_receive_reloc( const VCHI_SERVICE_HANDLE_T handle,
  39143. + VCHI_MEM_HANDLE_T h_dst,
  39144. + uint32_t offset,
  39145. + uint32_t data_size,
  39146. + const VCHI_FLAGS_T flags,
  39147. + void * const bulk_handle );
  39148. +
  39149. +// Routine to queue up data ready for transfer to the other (once they have signalled they are ready)
  39150. +extern int32_t vchi_bulk_queue_transmit( VCHI_SERVICE_HANDLE_T handle,
  39151. + const void *data_src,
  39152. + uint32_t data_size,
  39153. + VCHI_FLAGS_T flags,
  39154. + void *transfer_handle );
  39155. +
  39156. +
  39157. +/******************************************************************************
  39158. + Configuration plumbing
  39159. + *****************************************************************************/
  39160. +
  39161. +// function prototypes for the different mid layers (the state info gives the different physical connections)
  39162. +extern const VCHI_CONNECTION_API_T *single_get_func_table( void );
  39163. +//extern const VCHI_CONNECTION_API_T *local_server_get_func_table( void );
  39164. +//extern const VCHI_CONNECTION_API_T *local_client_get_func_table( void );
  39165. +
  39166. +// declare all message drivers here
  39167. +const VCHI_MESSAGE_DRIVER_T *vchi_mphi_message_driver_func_table( void );
  39168. +
  39169. +#ifdef __cplusplus
  39170. +}
  39171. +#endif
  39172. +
  39173. +extern int32_t vchi_bulk_queue_transmit_reloc( VCHI_SERVICE_HANDLE_T handle,
  39174. + VCHI_MEM_HANDLE_T h_src,
  39175. + uint32_t offset,
  39176. + uint32_t data_size,
  39177. + VCHI_FLAGS_T flags,
  39178. + void *transfer_handle );
  39179. +#endif /* VCHI_H_ */
  39180. +
  39181. +/****************************** End of file **********************************/
  39182. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_mh.h linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_mh.h
  39183. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchi/vchi_mh.h 1970-01-01 01:00:00.000000000 +0100
  39184. +++ linux-rpi/drivers/misc/vc04_services/interface/vchi/vchi_mh.h 2015-11-29 09:42:38.059222273 +0100
  39185. @@ -0,0 +1,42 @@
  39186. +/**
  39187. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  39188. + *
  39189. + * Redistribution and use in source and binary forms, with or without
  39190. + * modification, are permitted provided that the following conditions
  39191. + * are met:
  39192. + * 1. Redistributions of source code must retain the above copyright
  39193. + * notice, this list of conditions, and the following disclaimer,
  39194. + * without modification.
  39195. + * 2. Redistributions in binary form must reproduce the above copyright
  39196. + * notice, this list of conditions and the following disclaimer in the
  39197. + * documentation and/or other materials provided with the distribution.
  39198. + * 3. The names of the above-listed copyright holders may not be used
  39199. + * to endorse or promote products derived from this software without
  39200. + * specific prior written permission.
  39201. + *
  39202. + * ALTERNATIVELY, this software may be distributed under the terms of the
  39203. + * GNU General Public License ("GPL") version 2, as published by the Free
  39204. + * Software Foundation.
  39205. + *
  39206. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  39207. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  39208. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  39209. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  39210. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  39211. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  39212. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  39213. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  39214. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  39215. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  39216. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  39217. + */
  39218. +
  39219. +#ifndef VCHI_MH_H_
  39220. +#define VCHI_MH_H_
  39221. +
  39222. +#include <linux/types.h>
  39223. +
  39224. +typedef int32_t VCHI_MEM_HANDLE_T;
  39225. +#define VCHI_MEM_HANDLE_INVALID 0
  39226. +
  39227. +#endif
  39228. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835_arm.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835_arm.c
  39229. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835_arm.c 1970-01-01 01:00:00.000000000 +0100
  39230. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835_arm.c 2015-11-29 09:42:38.059222273 +0100
  39231. @@ -0,0 +1,580 @@
  39232. +/**
  39233. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  39234. + *
  39235. + * Redistribution and use in source and binary forms, with or without
  39236. + * modification, are permitted provided that the following conditions
  39237. + * are met:
  39238. + * 1. Redistributions of source code must retain the above copyright
  39239. + * notice, this list of conditions, and the following disclaimer,
  39240. + * without modification.
  39241. + * 2. Redistributions in binary form must reproduce the above copyright
  39242. + * notice, this list of conditions and the following disclaimer in the
  39243. + * documentation and/or other materials provided with the distribution.
  39244. + * 3. The names of the above-listed copyright holders may not be used
  39245. + * to endorse or promote products derived from this software without
  39246. + * specific prior written permission.
  39247. + *
  39248. + * ALTERNATIVELY, this software may be distributed under the terms of the
  39249. + * GNU General Public License ("GPL") version 2, as published by the Free
  39250. + * Software Foundation.
  39251. + *
  39252. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  39253. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  39254. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  39255. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  39256. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  39257. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  39258. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  39259. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  39260. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  39261. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  39262. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  39263. + */
  39264. +
  39265. +#include <linux/kernel.h>
  39266. +#include <linux/types.h>
  39267. +#include <linux/errno.h>
  39268. +#include <linux/interrupt.h>
  39269. +#include <linux/pagemap.h>
  39270. +#include <linux/dma-mapping.h>
  39271. +#include <linux/version.h>
  39272. +#include <linux/io.h>
  39273. +#include <linux/platform_device.h>
  39274. +#include <linux/uaccess.h>
  39275. +#include <linux/of.h>
  39276. +#include <asm/pgtable.h>
  39277. +#include <soc/bcm2835/raspberrypi-firmware.h>
  39278. +
  39279. +#define TOTAL_SLOTS (VCHIQ_SLOT_ZERO_SLOTS + 2 * 32)
  39280. +
  39281. +#define VCHIQ_ARM_ADDRESS(x) ((void *)((char *)x + g_virt_to_bus_offset))
  39282. +
  39283. +#include "vchiq_arm.h"
  39284. +#include "vchiq_2835.h"
  39285. +#include "vchiq_connected.h"
  39286. +#include "vchiq_killable.h"
  39287. +
  39288. +#define MAX_FRAGMENTS (VCHIQ_NUM_CURRENT_BULKS * 2)
  39289. +
  39290. +#define BELL0 0x00
  39291. +#define BELL2 0x08
  39292. +
  39293. +typedef struct vchiq_2835_state_struct {
  39294. + int inited;
  39295. + VCHIQ_ARM_STATE_T arm_state;
  39296. +} VCHIQ_2835_ARM_STATE_T;
  39297. +
  39298. +static void __iomem *g_regs;
  39299. +static unsigned int g_cache_line_size = sizeof(CACHE_LINE_SIZE);
  39300. +static unsigned int g_fragments_size;
  39301. +static char *g_fragments_base;
  39302. +static char *g_free_fragments;
  39303. +static struct semaphore g_free_fragments_sema;
  39304. +static unsigned long g_virt_to_bus_offset;
  39305. +
  39306. +extern int vchiq_arm_log_level;
  39307. +
  39308. +static DEFINE_SEMAPHORE(g_free_fragments_mutex);
  39309. +
  39310. +static irqreturn_t
  39311. +vchiq_doorbell_irq(int irq, void *dev_id);
  39312. +
  39313. +static int
  39314. +create_pagelist(char __user *buf, size_t count, unsigned short type,
  39315. + struct task_struct *task, PAGELIST_T ** ppagelist);
  39316. +
  39317. +static void
  39318. +free_pagelist(PAGELIST_T *pagelist, int actual);
  39319. +
  39320. +int vchiq_platform_init(struct platform_device *pdev, VCHIQ_STATE_T *state)
  39321. +{
  39322. + struct device *dev = &pdev->dev;
  39323. + struct rpi_firmware *fw = platform_get_drvdata(pdev);
  39324. + VCHIQ_SLOT_ZERO_T *vchiq_slot_zero;
  39325. + struct resource *res;
  39326. + void *slot_mem;
  39327. + dma_addr_t slot_phys;
  39328. + u32 channelbase;
  39329. + int slot_mem_size, frag_mem_size;
  39330. + int err, irq, i;
  39331. +
  39332. + g_virt_to_bus_offset = virt_to_dma(dev, (void *)0);
  39333. +
  39334. + (void)of_property_read_u32(dev->of_node, "cache-line-size",
  39335. + &g_cache_line_size);
  39336. + g_fragments_size = 2 * g_cache_line_size;
  39337. +
  39338. + /* Allocate space for the channels in coherent memory */
  39339. + slot_mem_size = PAGE_ALIGN(TOTAL_SLOTS * VCHIQ_SLOT_SIZE);
  39340. + frag_mem_size = PAGE_ALIGN(g_fragments_size * MAX_FRAGMENTS);
  39341. +
  39342. + slot_mem = dmam_alloc_coherent(dev, slot_mem_size + frag_mem_size,
  39343. + &slot_phys, GFP_KERNEL);
  39344. + if (!slot_mem) {
  39345. + dev_err(dev, "could not allocate DMA memory\n");
  39346. + return -ENOMEM;
  39347. + }
  39348. +
  39349. + WARN_ON(((int)slot_mem & (PAGE_SIZE - 1)) != 0);
  39350. +
  39351. + vchiq_slot_zero = vchiq_init_slots(slot_mem, slot_mem_size);
  39352. + if (!vchiq_slot_zero)
  39353. + return -EINVAL;
  39354. +
  39355. + vchiq_slot_zero->platform_data[VCHIQ_PLATFORM_FRAGMENTS_OFFSET_IDX] =
  39356. + (int)slot_phys + slot_mem_size;
  39357. + vchiq_slot_zero->platform_data[VCHIQ_PLATFORM_FRAGMENTS_COUNT_IDX] =
  39358. + MAX_FRAGMENTS;
  39359. +
  39360. + g_fragments_base = (char *)slot_mem + slot_mem_size;
  39361. + slot_mem_size += frag_mem_size;
  39362. +
  39363. + g_free_fragments = g_fragments_base;
  39364. + for (i = 0; i < (MAX_FRAGMENTS - 1); i++) {
  39365. + *(char **)&g_fragments_base[i*g_fragments_size] =
  39366. + &g_fragments_base[(i + 1)*g_fragments_size];
  39367. + }
  39368. + *(char **)&g_fragments_base[i * g_fragments_size] = NULL;
  39369. + sema_init(&g_free_fragments_sema, MAX_FRAGMENTS);
  39370. +
  39371. + if (vchiq_init_state(state, vchiq_slot_zero, 0) != VCHIQ_SUCCESS)
  39372. + return -EINVAL;
  39373. +
  39374. + res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  39375. + g_regs = devm_ioremap_resource(&pdev->dev, res);
  39376. + if (IS_ERR(g_regs))
  39377. + return PTR_ERR(g_regs);
  39378. +
  39379. + irq = platform_get_irq(pdev, 0);
  39380. + if (irq <= 0) {
  39381. + dev_err(dev, "failed to get IRQ\n");
  39382. + return irq;
  39383. + }
  39384. +
  39385. + err = devm_request_irq(dev, irq, vchiq_doorbell_irq, IRQF_IRQPOLL,
  39386. + "VCHIQ doorbell", state);
  39387. + if (err) {
  39388. + dev_err(dev, "failed to register irq=%d\n", irq);
  39389. + return err;
  39390. + }
  39391. +
  39392. + /* Send the base address of the slots to VideoCore */
  39393. + channelbase = slot_phys;
  39394. + err = rpi_firmware_property(fw, RPI_FIRMWARE_VCHIQ_INIT,
  39395. + &channelbase, sizeof(channelbase));
  39396. + if (err || channelbase) {
  39397. + dev_err(dev, "failed to set channelbase\n");
  39398. + return err ? : -ENXIO;
  39399. + }
  39400. +
  39401. + vchiq_log_info(vchiq_arm_log_level,
  39402. + "vchiq_init - done (slots %x, phys %pad)",
  39403. + (unsigned int)vchiq_slot_zero, &slot_phys);
  39404. +
  39405. + vchiq_call_connected_callbacks();
  39406. +
  39407. + return 0;
  39408. +}
  39409. +
  39410. +VCHIQ_STATUS_T
  39411. +vchiq_platform_init_state(VCHIQ_STATE_T *state)
  39412. +{
  39413. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  39414. + state->platform_state = kzalloc(sizeof(VCHIQ_2835_ARM_STATE_T), GFP_KERNEL);
  39415. + ((VCHIQ_2835_ARM_STATE_T*)state->platform_state)->inited = 1;
  39416. + status = vchiq_arm_init_state(state, &((VCHIQ_2835_ARM_STATE_T*)state->platform_state)->arm_state);
  39417. + if(status != VCHIQ_SUCCESS)
  39418. + {
  39419. + ((VCHIQ_2835_ARM_STATE_T*)state->platform_state)->inited = 0;
  39420. + }
  39421. + return status;
  39422. +}
  39423. +
  39424. +VCHIQ_ARM_STATE_T*
  39425. +vchiq_platform_get_arm_state(VCHIQ_STATE_T *state)
  39426. +{
  39427. + if(!((VCHIQ_2835_ARM_STATE_T*)state->platform_state)->inited)
  39428. + {
  39429. + BUG();
  39430. + }
  39431. + return &((VCHIQ_2835_ARM_STATE_T*)state->platform_state)->arm_state;
  39432. +}
  39433. +
  39434. +void
  39435. +remote_event_signal(REMOTE_EVENT_T *event)
  39436. +{
  39437. + wmb();
  39438. +
  39439. + event->fired = 1;
  39440. +
  39441. + dsb(); /* data barrier operation */
  39442. +
  39443. + if (event->armed)
  39444. + writel(0, g_regs + BELL2); /* trigger vc interrupt */
  39445. +}
  39446. +
  39447. +int
  39448. +vchiq_copy_from_user(void *dst, const void *src, int size)
  39449. +{
  39450. + if ((uint32_t)src < TASK_SIZE) {
  39451. + return copy_from_user(dst, src, size);
  39452. + } else {
  39453. + memcpy(dst, src, size);
  39454. + return 0;
  39455. + }
  39456. +}
  39457. +
  39458. +VCHIQ_STATUS_T
  39459. +vchiq_prepare_bulk_data(VCHIQ_BULK_T *bulk, VCHI_MEM_HANDLE_T memhandle,
  39460. + void *offset, int size, int dir)
  39461. +{
  39462. + PAGELIST_T *pagelist;
  39463. + int ret;
  39464. +
  39465. + WARN_ON(memhandle != VCHI_MEM_HANDLE_INVALID);
  39466. +
  39467. + ret = create_pagelist((char __user *)offset, size,
  39468. + (dir == VCHIQ_BULK_RECEIVE)
  39469. + ? PAGELIST_READ
  39470. + : PAGELIST_WRITE,
  39471. + current,
  39472. + &pagelist);
  39473. + if (ret != 0)
  39474. + return VCHIQ_ERROR;
  39475. +
  39476. + bulk->handle = memhandle;
  39477. + bulk->data = VCHIQ_ARM_ADDRESS(pagelist);
  39478. +
  39479. + /* Store the pagelist address in remote_data, which isn't used by the
  39480. + slave. */
  39481. + bulk->remote_data = pagelist;
  39482. +
  39483. + return VCHIQ_SUCCESS;
  39484. +}
  39485. +
  39486. +void
  39487. +vchiq_complete_bulk(VCHIQ_BULK_T *bulk)
  39488. +{
  39489. + if (bulk && bulk->remote_data && bulk->actual)
  39490. + free_pagelist((PAGELIST_T *)bulk->remote_data, bulk->actual);
  39491. +}
  39492. +
  39493. +void
  39494. +vchiq_transfer_bulk(VCHIQ_BULK_T *bulk)
  39495. +{
  39496. + /*
  39497. + * This should only be called on the master (VideoCore) side, but
  39498. + * provide an implementation to avoid the need for ifdefery.
  39499. + */
  39500. + BUG();
  39501. +}
  39502. +
  39503. +void
  39504. +vchiq_dump_platform_state(void *dump_context)
  39505. +{
  39506. + char buf[80];
  39507. + int len;
  39508. + len = snprintf(buf, sizeof(buf),
  39509. + " Platform: 2835 (VC master)");
  39510. + vchiq_dump(dump_context, buf, len + 1);
  39511. +}
  39512. +
  39513. +VCHIQ_STATUS_T
  39514. +vchiq_platform_suspend(VCHIQ_STATE_T *state)
  39515. +{
  39516. + return VCHIQ_ERROR;
  39517. +}
  39518. +
  39519. +VCHIQ_STATUS_T
  39520. +vchiq_platform_resume(VCHIQ_STATE_T *state)
  39521. +{
  39522. + return VCHIQ_SUCCESS;
  39523. +}
  39524. +
  39525. +void
  39526. +vchiq_platform_paused(VCHIQ_STATE_T *state)
  39527. +{
  39528. +}
  39529. +
  39530. +void
  39531. +vchiq_platform_resumed(VCHIQ_STATE_T *state)
  39532. +{
  39533. +}
  39534. +
  39535. +int
  39536. +vchiq_platform_videocore_wanted(VCHIQ_STATE_T* state)
  39537. +{
  39538. + return 1; // autosuspend not supported - videocore always wanted
  39539. +}
  39540. +
  39541. +int
  39542. +vchiq_platform_use_suspend_timer(void)
  39543. +{
  39544. + return 0;
  39545. +}
  39546. +void
  39547. +vchiq_dump_platform_use_state(VCHIQ_STATE_T *state)
  39548. +{
  39549. + vchiq_log_info(vchiq_arm_log_level, "Suspend timer not in use");
  39550. +}
  39551. +void
  39552. +vchiq_platform_handle_timeout(VCHIQ_STATE_T *state)
  39553. +{
  39554. + (void)state;
  39555. +}
  39556. +/*
  39557. + * Local functions
  39558. + */
  39559. +
  39560. +static irqreturn_t
  39561. +vchiq_doorbell_irq(int irq, void *dev_id)
  39562. +{
  39563. + VCHIQ_STATE_T *state = dev_id;
  39564. + irqreturn_t ret = IRQ_NONE;
  39565. + unsigned int status;
  39566. +
  39567. + /* Read (and clear) the doorbell */
  39568. + status = readl(g_regs + BELL0);
  39569. +
  39570. + if (status & 0x4) { /* Was the doorbell rung? */
  39571. + remote_event_pollall(state);
  39572. + ret = IRQ_HANDLED;
  39573. + }
  39574. +
  39575. + return ret;
  39576. +}
  39577. +
  39578. +/* There is a potential problem with partial cache lines (pages?)
  39579. +** at the ends of the block when reading. If the CPU accessed anything in
  39580. +** the same line (page?) then it may have pulled old data into the cache,
  39581. +** obscuring the new data underneath. We can solve this by transferring the
  39582. +** partial cache lines separately, and allowing the ARM to copy into the
  39583. +** cached area.
  39584. +
  39585. +** N.B. This implementation plays slightly fast and loose with the Linux
  39586. +** driver programming rules, e.g. its use of dmac_map_area instead of
  39587. +** dma_map_single, but it isn't a multi-platform driver and it benefits
  39588. +** from increased speed as a result.
  39589. +*/
  39590. +
  39591. +static int
  39592. +create_pagelist(char __user *buf, size_t count, unsigned short type,
  39593. + struct task_struct *task, PAGELIST_T ** ppagelist)
  39594. +{
  39595. + PAGELIST_T *pagelist;
  39596. + struct page **pages;
  39597. + unsigned long *addrs;
  39598. + unsigned int num_pages, offset, i;
  39599. + char *addr, *base_addr, *next_addr;
  39600. + int run, addridx, actual_pages;
  39601. + unsigned long *need_release;
  39602. +
  39603. + offset = (unsigned int)buf & (PAGE_SIZE - 1);
  39604. + num_pages = (count + offset + PAGE_SIZE - 1) / PAGE_SIZE;
  39605. +
  39606. + *ppagelist = NULL;
  39607. +
  39608. + /* Allocate enough storage to hold the page pointers and the page
  39609. + ** list
  39610. + */
  39611. + pagelist = kmalloc(sizeof(PAGELIST_T) +
  39612. + (num_pages * sizeof(unsigned long)) +
  39613. + sizeof(unsigned long) +
  39614. + (num_pages * sizeof(pages[0])),
  39615. + GFP_KERNEL);
  39616. +
  39617. + vchiq_log_trace(vchiq_arm_log_level,
  39618. + "create_pagelist - %x", (unsigned int)pagelist);
  39619. + if (!pagelist)
  39620. + return -ENOMEM;
  39621. +
  39622. + addrs = pagelist->addrs;
  39623. + need_release = (unsigned long *)(addrs + num_pages);
  39624. + pages = (struct page **)(addrs + num_pages + 1);
  39625. +
  39626. + if (is_vmalloc_addr(buf)) {
  39627. + int dir = (type == PAGELIST_WRITE) ?
  39628. + DMA_TO_DEVICE : DMA_FROM_DEVICE;
  39629. + unsigned long length = count;
  39630. + unsigned int off = offset;
  39631. +
  39632. + for (actual_pages = 0; actual_pages < num_pages;
  39633. + actual_pages++) {
  39634. + struct page *pg = vmalloc_to_page(buf + (actual_pages *
  39635. + PAGE_SIZE));
  39636. + size_t bytes = PAGE_SIZE - off;
  39637. +
  39638. + if (bytes > length)
  39639. + bytes = length;
  39640. + pages[actual_pages] = pg;
  39641. + dmac_map_area(page_address(pg) + off, bytes, dir);
  39642. + length -= bytes;
  39643. + off = 0;
  39644. + }
  39645. + *need_release = 0; /* do not try and release vmalloc pages */
  39646. + } else {
  39647. + down_read(&task->mm->mmap_sem);
  39648. + actual_pages = get_user_pages(task, task->mm,
  39649. + (unsigned long)buf & ~(PAGE_SIZE - 1),
  39650. + num_pages,
  39651. + (type == PAGELIST_READ) /*Write */ ,
  39652. + 0 /*Force */ ,
  39653. + pages,
  39654. + NULL /*vmas */);
  39655. + up_read(&task->mm->mmap_sem);
  39656. +
  39657. + if (actual_pages != num_pages) {
  39658. + vchiq_log_info(vchiq_arm_log_level,
  39659. + "create_pagelist - only %d/%d pages locked",
  39660. + actual_pages,
  39661. + num_pages);
  39662. +
  39663. + /* This is probably due to the process being killed */
  39664. + while (actual_pages > 0)
  39665. + {
  39666. + actual_pages--;
  39667. + page_cache_release(pages[actual_pages]);
  39668. + }
  39669. + kfree(pagelist);
  39670. + if (actual_pages == 0)
  39671. + actual_pages = -ENOMEM;
  39672. + return actual_pages;
  39673. + }
  39674. + *need_release = 1; /* release user pages */
  39675. + }
  39676. +
  39677. + pagelist->length = count;
  39678. + pagelist->type = type;
  39679. + pagelist->offset = offset;
  39680. +
  39681. + /* Group the pages into runs of contiguous pages */
  39682. +
  39683. + base_addr = VCHIQ_ARM_ADDRESS(page_address(pages[0]));
  39684. + next_addr = base_addr + PAGE_SIZE;
  39685. + addridx = 0;
  39686. + run = 0;
  39687. +
  39688. + for (i = 1; i < num_pages; i++) {
  39689. + addr = VCHIQ_ARM_ADDRESS(page_address(pages[i]));
  39690. + if ((addr == next_addr) && (run < (PAGE_SIZE - 1))) {
  39691. + next_addr += PAGE_SIZE;
  39692. + run++;
  39693. + } else {
  39694. + addrs[addridx] = (unsigned long)base_addr + run;
  39695. + addridx++;
  39696. + base_addr = addr;
  39697. + next_addr = addr + PAGE_SIZE;
  39698. + run = 0;
  39699. + }
  39700. + }
  39701. +
  39702. + addrs[addridx] = (unsigned long)base_addr + run;
  39703. + addridx++;
  39704. +
  39705. + /* Partial cache lines (fragments) require special measures */
  39706. + if ((type == PAGELIST_READ) &&
  39707. + ((pagelist->offset & (g_cache_line_size - 1)) ||
  39708. + ((pagelist->offset + pagelist->length) &
  39709. + (g_cache_line_size - 1)))) {
  39710. + char *fragments;
  39711. +
  39712. + if (down_interruptible(&g_free_fragments_sema) != 0) {
  39713. + kfree(pagelist);
  39714. + return -EINTR;
  39715. + }
  39716. +
  39717. + WARN_ON(g_free_fragments == NULL);
  39718. +
  39719. + down(&g_free_fragments_mutex);
  39720. + fragments = g_free_fragments;
  39721. + WARN_ON(fragments == NULL);
  39722. + g_free_fragments = *(char **) g_free_fragments;
  39723. + up(&g_free_fragments_mutex);
  39724. + pagelist->type = PAGELIST_READ_WITH_FRAGMENTS +
  39725. + (fragments - g_fragments_base) / g_fragments_size;
  39726. + }
  39727. +
  39728. + dmac_flush_range(pagelist, addrs + num_pages);
  39729. +
  39730. + *ppagelist = pagelist;
  39731. +
  39732. + return 0;
  39733. +}
  39734. +
  39735. +static void
  39736. +free_pagelist(PAGELIST_T *pagelist, int actual)
  39737. +{
  39738. + unsigned long *need_release;
  39739. + struct page **pages;
  39740. + unsigned int num_pages, i;
  39741. +
  39742. + vchiq_log_trace(vchiq_arm_log_level,
  39743. + "free_pagelist - %x, %d", (unsigned int)pagelist, actual);
  39744. +
  39745. + num_pages =
  39746. + (pagelist->length + pagelist->offset + PAGE_SIZE - 1) /
  39747. + PAGE_SIZE;
  39748. +
  39749. + need_release = (unsigned long *)(pagelist->addrs + num_pages);
  39750. + pages = (struct page **)(pagelist->addrs + num_pages + 1);
  39751. +
  39752. + /* Deal with any partial cache lines (fragments) */
  39753. + if (pagelist->type >= PAGELIST_READ_WITH_FRAGMENTS) {
  39754. + char *fragments = g_fragments_base +
  39755. + (pagelist->type - PAGELIST_READ_WITH_FRAGMENTS) *
  39756. + g_fragments_size;
  39757. + int head_bytes, tail_bytes;
  39758. + head_bytes = (g_cache_line_size - pagelist->offset) &
  39759. + (g_cache_line_size - 1);
  39760. + tail_bytes = (pagelist->offset + actual) &
  39761. + (g_cache_line_size - 1);
  39762. +
  39763. + if ((actual >= 0) && (head_bytes != 0)) {
  39764. + if (head_bytes > actual)
  39765. + head_bytes = actual;
  39766. +
  39767. + memcpy((char *)page_address(pages[0]) +
  39768. + pagelist->offset,
  39769. + fragments,
  39770. + head_bytes);
  39771. + }
  39772. + if ((actual >= 0) && (head_bytes < actual) &&
  39773. + (tail_bytes != 0)) {
  39774. + memcpy((char *)page_address(pages[num_pages - 1]) +
  39775. + ((pagelist->offset + actual) &
  39776. + (PAGE_SIZE - 1) & ~(g_cache_line_size - 1)),
  39777. + fragments + g_cache_line_size,
  39778. + tail_bytes);
  39779. + }
  39780. +
  39781. + down(&g_free_fragments_mutex);
  39782. + *(char **)fragments = g_free_fragments;
  39783. + g_free_fragments = fragments;
  39784. + up(&g_free_fragments_mutex);
  39785. + up(&g_free_fragments_sema);
  39786. + }
  39787. +
  39788. + if (*need_release) {
  39789. + unsigned int length = pagelist->length;
  39790. + unsigned int offset = pagelist->offset;
  39791. +
  39792. + for (i = 0; i < num_pages; i++) {
  39793. + struct page *pg = pages[i];
  39794. +
  39795. + if (pagelist->type != PAGELIST_WRITE) {
  39796. + unsigned int bytes = PAGE_SIZE - offset;
  39797. +
  39798. + if (bytes > length)
  39799. + bytes = length;
  39800. + dmac_unmap_area(page_address(pg) + offset,
  39801. + bytes, DMA_FROM_DEVICE);
  39802. + length -= bytes;
  39803. + offset = 0;
  39804. + set_page_dirty(pg);
  39805. + }
  39806. + page_cache_release(pg);
  39807. + }
  39808. + }
  39809. +
  39810. + kfree(pagelist);
  39811. +}
  39812. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835.h
  39813. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835.h 1970-01-01 01:00:00.000000000 +0100
  39814. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_2835.h 2015-11-29 09:42:38.059222273 +0100
  39815. @@ -0,0 +1,42 @@
  39816. +/**
  39817. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  39818. + *
  39819. + * Redistribution and use in source and binary forms, with or without
  39820. + * modification, are permitted provided that the following conditions
  39821. + * are met:
  39822. + * 1. Redistributions of source code must retain the above copyright
  39823. + * notice, this list of conditions, and the following disclaimer,
  39824. + * without modification.
  39825. + * 2. Redistributions in binary form must reproduce the above copyright
  39826. + * notice, this list of conditions and the following disclaimer in the
  39827. + * documentation and/or other materials provided with the distribution.
  39828. + * 3. The names of the above-listed copyright holders may not be used
  39829. + * to endorse or promote products derived from this software without
  39830. + * specific prior written permission.
  39831. + *
  39832. + * ALTERNATIVELY, this software may be distributed under the terms of the
  39833. + * GNU General Public License ("GPL") version 2, as published by the Free
  39834. + * Software Foundation.
  39835. + *
  39836. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  39837. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  39838. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  39839. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  39840. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  39841. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  39842. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  39843. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  39844. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  39845. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  39846. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  39847. + */
  39848. +
  39849. +#ifndef VCHIQ_2835_H
  39850. +#define VCHIQ_2835_H
  39851. +
  39852. +#include "vchiq_pagelist.h"
  39853. +
  39854. +#define VCHIQ_PLATFORM_FRAGMENTS_OFFSET_IDX 0
  39855. +#define VCHIQ_PLATFORM_FRAGMENTS_COUNT_IDX 1
  39856. +
  39857. +#endif /* VCHIQ_2835_H */
  39858. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.c
  39859. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.c 1970-01-01 01:00:00.000000000 +0100
  39860. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.c 2015-11-29 09:42:38.071221476 +0100
  39861. @@ -0,0 +1,2903 @@
  39862. +/**
  39863. + * Copyright (c) 2014 Raspberry Pi (Trading) Ltd. All rights reserved.
  39864. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  39865. + *
  39866. + * Redistribution and use in source and binary forms, with or without
  39867. + * modification, are permitted provided that the following conditions
  39868. + * are met:
  39869. + * 1. Redistributions of source code must retain the above copyright
  39870. + * notice, this list of conditions, and the following disclaimer,
  39871. + * without modification.
  39872. + * 2. Redistributions in binary form must reproduce the above copyright
  39873. + * notice, this list of conditions and the following disclaimer in the
  39874. + * documentation and/or other materials provided with the distribution.
  39875. + * 3. The names of the above-listed copyright holders may not be used
  39876. + * to endorse or promote products derived from this software without
  39877. + * specific prior written permission.
  39878. + *
  39879. + * ALTERNATIVELY, this software may be distributed under the terms of the
  39880. + * GNU General Public License ("GPL") version 2, as published by the Free
  39881. + * Software Foundation.
  39882. + *
  39883. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  39884. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  39885. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  39886. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  39887. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  39888. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  39889. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  39890. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  39891. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  39892. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  39893. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  39894. + */
  39895. +
  39896. +#include <linux/kernel.h>
  39897. +#include <linux/module.h>
  39898. +#include <linux/types.h>
  39899. +#include <linux/errno.h>
  39900. +#include <linux/cdev.h>
  39901. +#include <linux/fs.h>
  39902. +#include <linux/device.h>
  39903. +#include <linux/mm.h>
  39904. +#include <linux/highmem.h>
  39905. +#include <linux/pagemap.h>
  39906. +#include <linux/bug.h>
  39907. +#include <linux/semaphore.h>
  39908. +#include <linux/list.h>
  39909. +#include <linux/of.h>
  39910. +#include <linux/platform_device.h>
  39911. +#include <soc/bcm2835/raspberrypi-firmware.h>
  39912. +
  39913. +#include "vchiq_core.h"
  39914. +#include "vchiq_ioctl.h"
  39915. +#include "vchiq_arm.h"
  39916. +#include "vchiq_debugfs.h"
  39917. +#include "vchiq_killable.h"
  39918. +
  39919. +#define DEVICE_NAME "vchiq"
  39920. +
  39921. +/* Override the default prefix, which would be vchiq_arm (from the filename) */
  39922. +#undef MODULE_PARAM_PREFIX
  39923. +#define MODULE_PARAM_PREFIX DEVICE_NAME "."
  39924. +
  39925. +#define VCHIQ_MINOR 0
  39926. +
  39927. +/* Some per-instance constants */
  39928. +#define MAX_COMPLETIONS 16
  39929. +#define MAX_SERVICES 64
  39930. +#define MAX_ELEMENTS 8
  39931. +#define MSG_QUEUE_SIZE 64
  39932. +
  39933. +#define KEEPALIVE_VER 1
  39934. +#define KEEPALIVE_VER_MIN KEEPALIVE_VER
  39935. +
  39936. +/* Run time control of log level, based on KERN_XXX level. */
  39937. +int vchiq_arm_log_level = VCHIQ_LOG_DEFAULT;
  39938. +int vchiq_susp_log_level = VCHIQ_LOG_ERROR;
  39939. +
  39940. +#define SUSPEND_TIMER_TIMEOUT_MS 100
  39941. +#define SUSPEND_RETRY_TIMER_TIMEOUT_MS 1000
  39942. +
  39943. +#define VC_SUSPEND_NUM_OFFSET 3 /* number of values before idle which are -ve */
  39944. +static const char *const suspend_state_names[] = {
  39945. + "VC_SUSPEND_FORCE_CANCELED",
  39946. + "VC_SUSPEND_REJECTED",
  39947. + "VC_SUSPEND_FAILED",
  39948. + "VC_SUSPEND_IDLE",
  39949. + "VC_SUSPEND_REQUESTED",
  39950. + "VC_SUSPEND_IN_PROGRESS",
  39951. + "VC_SUSPEND_SUSPENDED"
  39952. +};
  39953. +#define VC_RESUME_NUM_OFFSET 1 /* number of values before idle which are -ve */
  39954. +static const char *const resume_state_names[] = {
  39955. + "VC_RESUME_FAILED",
  39956. + "VC_RESUME_IDLE",
  39957. + "VC_RESUME_REQUESTED",
  39958. + "VC_RESUME_IN_PROGRESS",
  39959. + "VC_RESUME_RESUMED"
  39960. +};
  39961. +/* The number of times we allow force suspend to timeout before actually
  39962. +** _forcing_ suspend. This is to cater for SW which fails to release vchiq
  39963. +** correctly - we don't want to prevent ARM suspend indefinitely in this case.
  39964. +*/
  39965. +#define FORCE_SUSPEND_FAIL_MAX 8
  39966. +
  39967. +/* The time in ms allowed for videocore to go idle when force suspend has been
  39968. + * requested */
  39969. +#define FORCE_SUSPEND_TIMEOUT_MS 200
  39970. +
  39971. +
  39972. +static void suspend_timer_callback(unsigned long context);
  39973. +
  39974. +
  39975. +typedef struct user_service_struct {
  39976. + VCHIQ_SERVICE_T *service;
  39977. + void *userdata;
  39978. + VCHIQ_INSTANCE_T instance;
  39979. + char is_vchi;
  39980. + char dequeue_pending;
  39981. + char close_pending;
  39982. + int message_available_pos;
  39983. + int msg_insert;
  39984. + int msg_remove;
  39985. + struct semaphore insert_event;
  39986. + struct semaphore remove_event;
  39987. + struct semaphore close_event;
  39988. + VCHIQ_HEADER_T * msg_queue[MSG_QUEUE_SIZE];
  39989. +} USER_SERVICE_T;
  39990. +
  39991. +struct bulk_waiter_node {
  39992. + struct bulk_waiter bulk_waiter;
  39993. + int pid;
  39994. + struct list_head list;
  39995. +};
  39996. +
  39997. +struct vchiq_instance_struct {
  39998. + VCHIQ_STATE_T *state;
  39999. + VCHIQ_COMPLETION_DATA_T completions[MAX_COMPLETIONS];
  40000. + int completion_insert;
  40001. + int completion_remove;
  40002. + struct semaphore insert_event;
  40003. + struct semaphore remove_event;
  40004. + struct mutex completion_mutex;
  40005. +
  40006. + int connected;
  40007. + int closing;
  40008. + int pid;
  40009. + int mark;
  40010. + int use_close_delivered;
  40011. + int trace;
  40012. +
  40013. + struct list_head bulk_waiter_list;
  40014. + struct mutex bulk_waiter_list_mutex;
  40015. +
  40016. + VCHIQ_DEBUGFS_NODE_T debugfs_node;
  40017. +};
  40018. +
  40019. +typedef struct dump_context_struct {
  40020. + char __user *buf;
  40021. + size_t actual;
  40022. + size_t space;
  40023. + loff_t offset;
  40024. +} DUMP_CONTEXT_T;
  40025. +
  40026. +static struct cdev vchiq_cdev;
  40027. +static dev_t vchiq_devid;
  40028. +static VCHIQ_STATE_T g_state;
  40029. +static struct class *vchiq_class;
  40030. +static struct device *vchiq_dev;
  40031. +static DEFINE_SPINLOCK(msg_queue_spinlock);
  40032. +
  40033. +static const char *const ioctl_names[] = {
  40034. + "CONNECT",
  40035. + "SHUTDOWN",
  40036. + "CREATE_SERVICE",
  40037. + "REMOVE_SERVICE",
  40038. + "QUEUE_MESSAGE",
  40039. + "QUEUE_BULK_TRANSMIT",
  40040. + "QUEUE_BULK_RECEIVE",
  40041. + "AWAIT_COMPLETION",
  40042. + "DEQUEUE_MESSAGE",
  40043. + "GET_CLIENT_ID",
  40044. + "GET_CONFIG",
  40045. + "CLOSE_SERVICE",
  40046. + "USE_SERVICE",
  40047. + "RELEASE_SERVICE",
  40048. + "SET_SERVICE_OPTION",
  40049. + "DUMP_PHYS_MEM",
  40050. + "LIB_VERSION",
  40051. + "CLOSE_DELIVERED"
  40052. +};
  40053. +
  40054. +vchiq_static_assert((sizeof(ioctl_names)/sizeof(ioctl_names[0])) ==
  40055. + (VCHIQ_IOC_MAX + 1));
  40056. +
  40057. +static void
  40058. +dump_phys_mem(void *virt_addr, uint32_t num_bytes);
  40059. +
  40060. +/****************************************************************************
  40061. +*
  40062. +* add_completion
  40063. +*
  40064. +***************************************************************************/
  40065. +
  40066. +static VCHIQ_STATUS_T
  40067. +add_completion(VCHIQ_INSTANCE_T instance, VCHIQ_REASON_T reason,
  40068. + VCHIQ_HEADER_T *header, USER_SERVICE_T *user_service,
  40069. + void *bulk_userdata)
  40070. +{
  40071. + VCHIQ_COMPLETION_DATA_T *completion;
  40072. + DEBUG_INITIALISE(g_state.local)
  40073. +
  40074. + while (instance->completion_insert ==
  40075. + (instance->completion_remove + MAX_COMPLETIONS)) {
  40076. + /* Out of space - wait for the client */
  40077. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40078. + vchiq_log_trace(vchiq_arm_log_level,
  40079. + "add_completion - completion queue full");
  40080. + DEBUG_COUNT(COMPLETION_QUEUE_FULL_COUNT);
  40081. + if (down_interruptible(&instance->remove_event) != 0) {
  40082. + vchiq_log_info(vchiq_arm_log_level,
  40083. + "service_callback interrupted");
  40084. + return VCHIQ_RETRY;
  40085. + } else if (instance->closing) {
  40086. + vchiq_log_info(vchiq_arm_log_level,
  40087. + "service_callback closing");
  40088. + return VCHIQ_ERROR;
  40089. + }
  40090. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40091. + }
  40092. +
  40093. + completion =
  40094. + &instance->completions[instance->completion_insert &
  40095. + (MAX_COMPLETIONS - 1)];
  40096. +
  40097. + completion->header = header;
  40098. + completion->reason = reason;
  40099. + /* N.B. service_userdata is updated while processing AWAIT_COMPLETION */
  40100. + completion->service_userdata = user_service->service;
  40101. + completion->bulk_userdata = bulk_userdata;
  40102. +
  40103. + if (reason == VCHIQ_SERVICE_CLOSED) {
  40104. + /* Take an extra reference, to be held until
  40105. + this CLOSED notification is delivered. */
  40106. + lock_service(user_service->service);
  40107. + if (instance->use_close_delivered)
  40108. + user_service->close_pending = 1;
  40109. + }
  40110. +
  40111. + /* A write barrier is needed here to ensure that the entire completion
  40112. + record is written out before the insert point. */
  40113. + wmb();
  40114. +
  40115. + if (reason == VCHIQ_MESSAGE_AVAILABLE)
  40116. + user_service->message_available_pos =
  40117. + instance->completion_insert;
  40118. + instance->completion_insert++;
  40119. +
  40120. + up(&instance->insert_event);
  40121. +
  40122. + return VCHIQ_SUCCESS;
  40123. +}
  40124. +
  40125. +/****************************************************************************
  40126. +*
  40127. +* service_callback
  40128. +*
  40129. +***************************************************************************/
  40130. +
  40131. +static VCHIQ_STATUS_T
  40132. +service_callback(VCHIQ_REASON_T reason, VCHIQ_HEADER_T *header,
  40133. + VCHIQ_SERVICE_HANDLE_T handle, void *bulk_userdata)
  40134. +{
  40135. + /* How do we ensure the callback goes to the right client?
  40136. + ** The service_user data points to a USER_SERVICE_T record containing
  40137. + ** the original callback and the user state structure, which contains a
  40138. + ** circular buffer for completion records.
  40139. + */
  40140. + USER_SERVICE_T *user_service;
  40141. + VCHIQ_SERVICE_T *service;
  40142. + VCHIQ_INSTANCE_T instance;
  40143. + DEBUG_INITIALISE(g_state.local)
  40144. +
  40145. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40146. +
  40147. + service = handle_to_service(handle);
  40148. + BUG_ON(!service);
  40149. + user_service = (USER_SERVICE_T *)service->base.userdata;
  40150. + instance = user_service->instance;
  40151. +
  40152. + if (!instance || instance->closing)
  40153. + return VCHIQ_SUCCESS;
  40154. +
  40155. + vchiq_log_trace(vchiq_arm_log_level,
  40156. + "service_callback - service %lx(%d,%p), reason %d, header %lx, "
  40157. + "instance %lx, bulk_userdata %lx",
  40158. + (unsigned long)user_service,
  40159. + service->localport, user_service->userdata,
  40160. + reason, (unsigned long)header,
  40161. + (unsigned long)instance, (unsigned long)bulk_userdata);
  40162. +
  40163. + if (header && user_service->is_vchi) {
  40164. + spin_lock(&msg_queue_spinlock);
  40165. + while (user_service->msg_insert ==
  40166. + (user_service->msg_remove + MSG_QUEUE_SIZE)) {
  40167. + spin_unlock(&msg_queue_spinlock);
  40168. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40169. + DEBUG_COUNT(MSG_QUEUE_FULL_COUNT);
  40170. + vchiq_log_trace(vchiq_arm_log_level,
  40171. + "service_callback - msg queue full");
  40172. + /* If there is no MESSAGE_AVAILABLE in the completion
  40173. + ** queue, add one
  40174. + */
  40175. + if ((user_service->message_available_pos -
  40176. + instance->completion_remove) < 0) {
  40177. + VCHIQ_STATUS_T status;
  40178. + vchiq_log_info(vchiq_arm_log_level,
  40179. + "Inserting extra MESSAGE_AVAILABLE");
  40180. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40181. + status = add_completion(instance, reason,
  40182. + NULL, user_service, bulk_userdata);
  40183. + if (status != VCHIQ_SUCCESS) {
  40184. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40185. + return status;
  40186. + }
  40187. + }
  40188. +
  40189. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40190. + if (down_interruptible(&user_service->remove_event)
  40191. + != 0) {
  40192. + vchiq_log_info(vchiq_arm_log_level,
  40193. + "service_callback interrupted");
  40194. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40195. + return VCHIQ_RETRY;
  40196. + } else if (instance->closing) {
  40197. + vchiq_log_info(vchiq_arm_log_level,
  40198. + "service_callback closing");
  40199. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40200. + return VCHIQ_ERROR;
  40201. + }
  40202. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40203. + spin_lock(&msg_queue_spinlock);
  40204. + }
  40205. +
  40206. + user_service->msg_queue[user_service->msg_insert &
  40207. + (MSG_QUEUE_SIZE - 1)] = header;
  40208. + user_service->msg_insert++;
  40209. + spin_unlock(&msg_queue_spinlock);
  40210. +
  40211. + up(&user_service->insert_event);
  40212. +
  40213. + /* If there is a thread waiting in DEQUEUE_MESSAGE, or if
  40214. + ** there is a MESSAGE_AVAILABLE in the completion queue then
  40215. + ** bypass the completion queue.
  40216. + */
  40217. + if (((user_service->message_available_pos -
  40218. + instance->completion_remove) >= 0) ||
  40219. + user_service->dequeue_pending) {
  40220. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40221. + user_service->dequeue_pending = 0;
  40222. + return VCHIQ_SUCCESS;
  40223. + }
  40224. +
  40225. + header = NULL;
  40226. + }
  40227. + DEBUG_TRACE(SERVICE_CALLBACK_LINE);
  40228. +
  40229. + return add_completion(instance, reason, header, user_service,
  40230. + bulk_userdata);
  40231. +}
  40232. +
  40233. +/****************************************************************************
  40234. +*
  40235. +* user_service_free
  40236. +*
  40237. +***************************************************************************/
  40238. +static void
  40239. +user_service_free(void *userdata)
  40240. +{
  40241. + kfree(userdata);
  40242. +}
  40243. +
  40244. +/****************************************************************************
  40245. +*
  40246. +* close_delivered
  40247. +*
  40248. +***************************************************************************/
  40249. +static void close_delivered(USER_SERVICE_T *user_service)
  40250. +{
  40251. + vchiq_log_info(vchiq_arm_log_level,
  40252. + "close_delivered(handle=%x)",
  40253. + user_service->service->handle);
  40254. +
  40255. + if (user_service->close_pending) {
  40256. + /* Allow the underlying service to be culled */
  40257. + unlock_service(user_service->service);
  40258. +
  40259. + /* Wake the user-thread blocked in close_ or remove_service */
  40260. + up(&user_service->close_event);
  40261. +
  40262. + user_service->close_pending = 0;
  40263. + }
  40264. +}
  40265. +
  40266. +/****************************************************************************
  40267. +*
  40268. +* vchiq_ioctl
  40269. +*
  40270. +***************************************************************************/
  40271. +static long
  40272. +vchiq_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  40273. +{
  40274. + VCHIQ_INSTANCE_T instance = file->private_data;
  40275. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  40276. + VCHIQ_SERVICE_T *service = NULL;
  40277. + long ret = 0;
  40278. + int i, rc;
  40279. + DEBUG_INITIALISE(g_state.local)
  40280. +
  40281. + vchiq_log_trace(vchiq_arm_log_level,
  40282. + "vchiq_ioctl - instance %x, cmd %s, arg %lx",
  40283. + (unsigned int)instance,
  40284. + ((_IOC_TYPE(cmd) == VCHIQ_IOC_MAGIC) &&
  40285. + (_IOC_NR(cmd) <= VCHIQ_IOC_MAX)) ?
  40286. + ioctl_names[_IOC_NR(cmd)] : "<invalid>", arg);
  40287. +
  40288. + switch (cmd) {
  40289. + case VCHIQ_IOC_SHUTDOWN:
  40290. + if (!instance->connected)
  40291. + break;
  40292. +
  40293. + /* Remove all services */
  40294. + i = 0;
  40295. + while ((service = next_service_by_instance(instance->state,
  40296. + instance, &i)) != NULL) {
  40297. + status = vchiq_remove_service(service->handle);
  40298. + unlock_service(service);
  40299. + if (status != VCHIQ_SUCCESS)
  40300. + break;
  40301. + }
  40302. + service = NULL;
  40303. +
  40304. + if (status == VCHIQ_SUCCESS) {
  40305. + /* Wake the completion thread and ask it to exit */
  40306. + instance->closing = 1;
  40307. + up(&instance->insert_event);
  40308. + }
  40309. +
  40310. + break;
  40311. +
  40312. + case VCHIQ_IOC_CONNECT:
  40313. + if (instance->connected) {
  40314. + ret = -EINVAL;
  40315. + break;
  40316. + }
  40317. + rc = mutex_lock_interruptible(&instance->state->mutex);
  40318. + if (rc != 0) {
  40319. + vchiq_log_error(vchiq_arm_log_level,
  40320. + "vchiq: connect: could not lock mutex for "
  40321. + "state %d: %d",
  40322. + instance->state->id, rc);
  40323. + ret = -EINTR;
  40324. + break;
  40325. + }
  40326. + status = vchiq_connect_internal(instance->state, instance);
  40327. + mutex_unlock(&instance->state->mutex);
  40328. +
  40329. + if (status == VCHIQ_SUCCESS)
  40330. + instance->connected = 1;
  40331. + else
  40332. + vchiq_log_error(vchiq_arm_log_level,
  40333. + "vchiq: could not connect: %d", status);
  40334. + break;
  40335. +
  40336. + case VCHIQ_IOC_CREATE_SERVICE: {
  40337. + VCHIQ_CREATE_SERVICE_T args;
  40338. + USER_SERVICE_T *user_service = NULL;
  40339. + void *userdata;
  40340. + int srvstate;
  40341. +
  40342. + if (copy_from_user
  40343. + (&args, (const void __user *)arg,
  40344. + sizeof(args)) != 0) {
  40345. + ret = -EFAULT;
  40346. + break;
  40347. + }
  40348. +
  40349. + user_service = kmalloc(sizeof(USER_SERVICE_T), GFP_KERNEL);
  40350. + if (!user_service) {
  40351. + ret = -ENOMEM;
  40352. + break;
  40353. + }
  40354. +
  40355. + if (args.is_open) {
  40356. + if (!instance->connected) {
  40357. + ret = -ENOTCONN;
  40358. + kfree(user_service);
  40359. + break;
  40360. + }
  40361. + srvstate = VCHIQ_SRVSTATE_OPENING;
  40362. + } else {
  40363. + srvstate =
  40364. + instance->connected ?
  40365. + VCHIQ_SRVSTATE_LISTENING :
  40366. + VCHIQ_SRVSTATE_HIDDEN;
  40367. + }
  40368. +
  40369. + userdata = args.params.userdata;
  40370. + args.params.callback = service_callback;
  40371. + args.params.userdata = user_service;
  40372. + service = vchiq_add_service_internal(
  40373. + instance->state,
  40374. + &args.params, srvstate,
  40375. + instance, user_service_free);
  40376. +
  40377. + if (service != NULL) {
  40378. + user_service->service = service;
  40379. + user_service->userdata = userdata;
  40380. + user_service->instance = instance;
  40381. + user_service->is_vchi = (args.is_vchi != 0);
  40382. + user_service->dequeue_pending = 0;
  40383. + user_service->close_pending = 0;
  40384. + user_service->message_available_pos =
  40385. + instance->completion_remove - 1;
  40386. + user_service->msg_insert = 0;
  40387. + user_service->msg_remove = 0;
  40388. + sema_init(&user_service->insert_event, 0);
  40389. + sema_init(&user_service->remove_event, 0);
  40390. + sema_init(&user_service->close_event, 0);
  40391. +
  40392. + if (args.is_open) {
  40393. + status = vchiq_open_service_internal
  40394. + (service, instance->pid);
  40395. + if (status != VCHIQ_SUCCESS) {
  40396. + vchiq_remove_service(service->handle);
  40397. + service = NULL;
  40398. + ret = (status == VCHIQ_RETRY) ?
  40399. + -EINTR : -EIO;
  40400. + break;
  40401. + }
  40402. + }
  40403. +
  40404. + if (copy_to_user((void __user *)
  40405. + &(((VCHIQ_CREATE_SERVICE_T __user *)
  40406. + arg)->handle),
  40407. + (const void *)&service->handle,
  40408. + sizeof(service->handle)) != 0) {
  40409. + ret = -EFAULT;
  40410. + vchiq_remove_service(service->handle);
  40411. + }
  40412. +
  40413. + service = NULL;
  40414. + } else {
  40415. + ret = -EEXIST;
  40416. + kfree(user_service);
  40417. + }
  40418. + } break;
  40419. +
  40420. + case VCHIQ_IOC_CLOSE_SERVICE: {
  40421. + VCHIQ_SERVICE_HANDLE_T handle = (VCHIQ_SERVICE_HANDLE_T)arg;
  40422. +
  40423. + service = find_service_for_instance(instance, handle);
  40424. + if (service != NULL) {
  40425. + USER_SERVICE_T *user_service =
  40426. + (USER_SERVICE_T *)service->base.userdata;
  40427. + /* close_pending is false on first entry, and when the
  40428. + wait in vchiq_close_service has been interrupted. */
  40429. + if (!user_service->close_pending) {
  40430. + status = vchiq_close_service(service->handle);
  40431. + if (status != VCHIQ_SUCCESS)
  40432. + break;
  40433. + }
  40434. +
  40435. + /* close_pending is true once the underlying service
  40436. + has been closed until the client library calls the
  40437. + CLOSE_DELIVERED ioctl, signalling close_event. */
  40438. + if (user_service->close_pending &&
  40439. + down_interruptible(&user_service->close_event))
  40440. + status = VCHIQ_RETRY;
  40441. + }
  40442. + else
  40443. + ret = -EINVAL;
  40444. + } break;
  40445. +
  40446. + case VCHIQ_IOC_REMOVE_SERVICE: {
  40447. + VCHIQ_SERVICE_HANDLE_T handle = (VCHIQ_SERVICE_HANDLE_T)arg;
  40448. +
  40449. + service = find_service_for_instance(instance, handle);
  40450. + if (service != NULL) {
  40451. + USER_SERVICE_T *user_service =
  40452. + (USER_SERVICE_T *)service->base.userdata;
  40453. + /* close_pending is false on first entry, and when the
  40454. + wait in vchiq_close_service has been interrupted. */
  40455. + if (!user_service->close_pending) {
  40456. + status = vchiq_remove_service(service->handle);
  40457. + if (status != VCHIQ_SUCCESS)
  40458. + break;
  40459. + }
  40460. +
  40461. + /* close_pending is true once the underlying service
  40462. + has been closed until the client library calls the
  40463. + CLOSE_DELIVERED ioctl, signalling close_event. */
  40464. + if (user_service->close_pending &&
  40465. + down_interruptible(&user_service->close_event))
  40466. + status = VCHIQ_RETRY;
  40467. + }
  40468. + else
  40469. + ret = -EINVAL;
  40470. + } break;
  40471. +
  40472. + case VCHIQ_IOC_USE_SERVICE:
  40473. + case VCHIQ_IOC_RELEASE_SERVICE: {
  40474. + VCHIQ_SERVICE_HANDLE_T handle = (VCHIQ_SERVICE_HANDLE_T)arg;
  40475. +
  40476. + service = find_service_for_instance(instance, handle);
  40477. + if (service != NULL) {
  40478. + status = (cmd == VCHIQ_IOC_USE_SERVICE) ?
  40479. + vchiq_use_service_internal(service) :
  40480. + vchiq_release_service_internal(service);
  40481. + if (status != VCHIQ_SUCCESS) {
  40482. + vchiq_log_error(vchiq_susp_log_level,
  40483. + "%s: cmd %s returned error %d for "
  40484. + "service %c%c%c%c:%03d",
  40485. + __func__,
  40486. + (cmd == VCHIQ_IOC_USE_SERVICE) ?
  40487. + "VCHIQ_IOC_USE_SERVICE" :
  40488. + "VCHIQ_IOC_RELEASE_SERVICE",
  40489. + status,
  40490. + VCHIQ_FOURCC_AS_4CHARS(
  40491. + service->base.fourcc),
  40492. + service->client_id);
  40493. + ret = -EINVAL;
  40494. + }
  40495. + } else
  40496. + ret = -EINVAL;
  40497. + } break;
  40498. +
  40499. + case VCHIQ_IOC_QUEUE_MESSAGE: {
  40500. + VCHIQ_QUEUE_MESSAGE_T args;
  40501. + if (copy_from_user
  40502. + (&args, (const void __user *)arg,
  40503. + sizeof(args)) != 0) {
  40504. + ret = -EFAULT;
  40505. + break;
  40506. + }
  40507. +
  40508. + service = find_service_for_instance(instance, args.handle);
  40509. +
  40510. + if ((service != NULL) && (args.count <= MAX_ELEMENTS)) {
  40511. + /* Copy elements into kernel space */
  40512. + VCHIQ_ELEMENT_T elements[MAX_ELEMENTS];
  40513. + if (copy_from_user(elements, args.elements,
  40514. + args.count * sizeof(VCHIQ_ELEMENT_T)) == 0)
  40515. + status = vchiq_queue_message
  40516. + (args.handle,
  40517. + elements, args.count);
  40518. + else
  40519. + ret = -EFAULT;
  40520. + } else {
  40521. + ret = -EINVAL;
  40522. + }
  40523. + } break;
  40524. +
  40525. + case VCHIQ_IOC_QUEUE_BULK_TRANSMIT:
  40526. + case VCHIQ_IOC_QUEUE_BULK_RECEIVE: {
  40527. + VCHIQ_QUEUE_BULK_TRANSFER_T args;
  40528. + struct bulk_waiter_node *waiter = NULL;
  40529. + VCHIQ_BULK_DIR_T dir =
  40530. + (cmd == VCHIQ_IOC_QUEUE_BULK_TRANSMIT) ?
  40531. + VCHIQ_BULK_TRANSMIT : VCHIQ_BULK_RECEIVE;
  40532. +
  40533. + if (copy_from_user
  40534. + (&args, (const void __user *)arg,
  40535. + sizeof(args)) != 0) {
  40536. + ret = -EFAULT;
  40537. + break;
  40538. + }
  40539. +
  40540. + service = find_service_for_instance(instance, args.handle);
  40541. + if (!service) {
  40542. + ret = -EINVAL;
  40543. + break;
  40544. + }
  40545. +
  40546. + if (args.mode == VCHIQ_BULK_MODE_BLOCKING) {
  40547. + waiter = kzalloc(sizeof(struct bulk_waiter_node),
  40548. + GFP_KERNEL);
  40549. + if (!waiter) {
  40550. + ret = -ENOMEM;
  40551. + break;
  40552. + }
  40553. + args.userdata = &waiter->bulk_waiter;
  40554. + } else if (args.mode == VCHIQ_BULK_MODE_WAITING) {
  40555. + struct list_head *pos;
  40556. + mutex_lock(&instance->bulk_waiter_list_mutex);
  40557. + list_for_each(pos, &instance->bulk_waiter_list) {
  40558. + if (list_entry(pos, struct bulk_waiter_node,
  40559. + list)->pid == current->pid) {
  40560. + waiter = list_entry(pos,
  40561. + struct bulk_waiter_node,
  40562. + list);
  40563. + list_del(pos);
  40564. + break;
  40565. + }
  40566. +
  40567. + }
  40568. + mutex_unlock(&instance->bulk_waiter_list_mutex);
  40569. + if (!waiter) {
  40570. + vchiq_log_error(vchiq_arm_log_level,
  40571. + "no bulk_waiter found for pid %d",
  40572. + current->pid);
  40573. + ret = -ESRCH;
  40574. + break;
  40575. + }
  40576. + vchiq_log_info(vchiq_arm_log_level,
  40577. + "found bulk_waiter %x for pid %d",
  40578. + (unsigned int)waiter, current->pid);
  40579. + args.userdata = &waiter->bulk_waiter;
  40580. + }
  40581. + status = vchiq_bulk_transfer
  40582. + (args.handle,
  40583. + VCHI_MEM_HANDLE_INVALID,
  40584. + args.data, args.size,
  40585. + args.userdata, args.mode,
  40586. + dir);
  40587. + if (!waiter)
  40588. + break;
  40589. + if ((status != VCHIQ_RETRY) || fatal_signal_pending(current) ||
  40590. + !waiter->bulk_waiter.bulk) {
  40591. + if (waiter->bulk_waiter.bulk) {
  40592. + /* Cancel the signal when the transfer
  40593. + ** completes. */
  40594. + spin_lock(&bulk_waiter_spinlock);
  40595. + waiter->bulk_waiter.bulk->userdata = NULL;
  40596. + spin_unlock(&bulk_waiter_spinlock);
  40597. + }
  40598. + kfree(waiter);
  40599. + } else {
  40600. + const VCHIQ_BULK_MODE_T mode_waiting =
  40601. + VCHIQ_BULK_MODE_WAITING;
  40602. + waiter->pid = current->pid;
  40603. + mutex_lock(&instance->bulk_waiter_list_mutex);
  40604. + list_add(&waiter->list, &instance->bulk_waiter_list);
  40605. + mutex_unlock(&instance->bulk_waiter_list_mutex);
  40606. + vchiq_log_info(vchiq_arm_log_level,
  40607. + "saved bulk_waiter %x for pid %d",
  40608. + (unsigned int)waiter, current->pid);
  40609. +
  40610. + if (copy_to_user((void __user *)
  40611. + &(((VCHIQ_QUEUE_BULK_TRANSFER_T __user *)
  40612. + arg)->mode),
  40613. + (const void *)&mode_waiting,
  40614. + sizeof(mode_waiting)) != 0)
  40615. + ret = -EFAULT;
  40616. + }
  40617. + } break;
  40618. +
  40619. + case VCHIQ_IOC_AWAIT_COMPLETION: {
  40620. + VCHIQ_AWAIT_COMPLETION_T args;
  40621. +
  40622. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40623. + if (!instance->connected) {
  40624. + ret = -ENOTCONN;
  40625. + break;
  40626. + }
  40627. +
  40628. + if (copy_from_user(&args, (const void __user *)arg,
  40629. + sizeof(args)) != 0) {
  40630. + ret = -EFAULT;
  40631. + break;
  40632. + }
  40633. +
  40634. + mutex_lock(&instance->completion_mutex);
  40635. +
  40636. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40637. + while ((instance->completion_remove ==
  40638. + instance->completion_insert)
  40639. + && !instance->closing) {
  40640. + int rc;
  40641. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40642. + mutex_unlock(&instance->completion_mutex);
  40643. + rc = down_interruptible(&instance->insert_event);
  40644. + mutex_lock(&instance->completion_mutex);
  40645. + if (rc != 0) {
  40646. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40647. + vchiq_log_info(vchiq_arm_log_level,
  40648. + "AWAIT_COMPLETION interrupted");
  40649. + ret = -EINTR;
  40650. + break;
  40651. + }
  40652. + }
  40653. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40654. +
  40655. + /* A read memory barrier is needed to stop prefetch of a stale
  40656. + ** completion record
  40657. + */
  40658. + rmb();
  40659. +
  40660. + if (ret == 0) {
  40661. + int msgbufcount = args.msgbufcount;
  40662. + for (ret = 0; ret < args.count; ret++) {
  40663. + VCHIQ_COMPLETION_DATA_T *completion;
  40664. + VCHIQ_SERVICE_T *service;
  40665. + USER_SERVICE_T *user_service;
  40666. + VCHIQ_HEADER_T *header;
  40667. + if (instance->completion_remove ==
  40668. + instance->completion_insert)
  40669. + break;
  40670. + completion = &instance->completions[
  40671. + instance->completion_remove &
  40672. + (MAX_COMPLETIONS - 1)];
  40673. +
  40674. + service = completion->service_userdata;
  40675. + user_service = service->base.userdata;
  40676. + completion->service_userdata =
  40677. + user_service->userdata;
  40678. +
  40679. + header = completion->header;
  40680. + if (header) {
  40681. + void __user *msgbuf;
  40682. + int msglen;
  40683. +
  40684. + msglen = header->size +
  40685. + sizeof(VCHIQ_HEADER_T);
  40686. + /* This must be a VCHIQ-style service */
  40687. + if (args.msgbufsize < msglen) {
  40688. + vchiq_log_error(
  40689. + vchiq_arm_log_level,
  40690. + "header %x: msgbufsize"
  40691. + " %x < msglen %x",
  40692. + (unsigned int)header,
  40693. + args.msgbufsize,
  40694. + msglen);
  40695. + WARN(1, "invalid message "
  40696. + "size\n");
  40697. + if (ret == 0)
  40698. + ret = -EMSGSIZE;
  40699. + break;
  40700. + }
  40701. + if (msgbufcount <= 0)
  40702. + /* Stall here for lack of a
  40703. + ** buffer for the message. */
  40704. + break;
  40705. + /* Get the pointer from user space */
  40706. + msgbufcount--;
  40707. + if (copy_from_user(&msgbuf,
  40708. + (const void __user *)
  40709. + &args.msgbufs[msgbufcount],
  40710. + sizeof(msgbuf)) != 0) {
  40711. + if (ret == 0)
  40712. + ret = -EFAULT;
  40713. + break;
  40714. + }
  40715. +
  40716. + /* Copy the message to user space */
  40717. + if (copy_to_user(msgbuf, header,
  40718. + msglen) != 0) {
  40719. + if (ret == 0)
  40720. + ret = -EFAULT;
  40721. + break;
  40722. + }
  40723. +
  40724. + /* Now it has been copied, the message
  40725. + ** can be released. */
  40726. + vchiq_release_message(service->handle,
  40727. + header);
  40728. +
  40729. + /* The completion must point to the
  40730. + ** msgbuf. */
  40731. + completion->header = msgbuf;
  40732. + }
  40733. +
  40734. + if ((completion->reason ==
  40735. + VCHIQ_SERVICE_CLOSED) &&
  40736. + !instance->use_close_delivered)
  40737. + unlock_service(service);
  40738. +
  40739. + if (copy_to_user((void __user *)(
  40740. + (size_t)args.buf +
  40741. + ret * sizeof(VCHIQ_COMPLETION_DATA_T)),
  40742. + completion,
  40743. + sizeof(VCHIQ_COMPLETION_DATA_T)) != 0) {
  40744. + if (ret == 0)
  40745. + ret = -EFAULT;
  40746. + break;
  40747. + }
  40748. +
  40749. + instance->completion_remove++;
  40750. + }
  40751. +
  40752. + if (msgbufcount != args.msgbufcount) {
  40753. + if (copy_to_user((void __user *)
  40754. + &((VCHIQ_AWAIT_COMPLETION_T *)arg)->
  40755. + msgbufcount,
  40756. + &msgbufcount,
  40757. + sizeof(msgbufcount)) != 0) {
  40758. + ret = -EFAULT;
  40759. + }
  40760. + }
  40761. + }
  40762. +
  40763. + if (ret != 0)
  40764. + up(&instance->remove_event);
  40765. + mutex_unlock(&instance->completion_mutex);
  40766. + DEBUG_TRACE(AWAIT_COMPLETION_LINE);
  40767. + } break;
  40768. +
  40769. + case VCHIQ_IOC_DEQUEUE_MESSAGE: {
  40770. + VCHIQ_DEQUEUE_MESSAGE_T args;
  40771. + USER_SERVICE_T *user_service;
  40772. + VCHIQ_HEADER_T *header;
  40773. +
  40774. + DEBUG_TRACE(DEQUEUE_MESSAGE_LINE);
  40775. + if (copy_from_user
  40776. + (&args, (const void __user *)arg,
  40777. + sizeof(args)) != 0) {
  40778. + ret = -EFAULT;
  40779. + break;
  40780. + }
  40781. + service = find_service_for_instance(instance, args.handle);
  40782. + if (!service) {
  40783. + ret = -EINVAL;
  40784. + break;
  40785. + }
  40786. + user_service = (USER_SERVICE_T *)service->base.userdata;
  40787. + if (user_service->is_vchi == 0) {
  40788. + ret = -EINVAL;
  40789. + break;
  40790. + }
  40791. +
  40792. + spin_lock(&msg_queue_spinlock);
  40793. + if (user_service->msg_remove == user_service->msg_insert) {
  40794. + if (!args.blocking) {
  40795. + spin_unlock(&msg_queue_spinlock);
  40796. + DEBUG_TRACE(DEQUEUE_MESSAGE_LINE);
  40797. + ret = -EWOULDBLOCK;
  40798. + break;
  40799. + }
  40800. + user_service->dequeue_pending = 1;
  40801. + do {
  40802. + spin_unlock(&msg_queue_spinlock);
  40803. + DEBUG_TRACE(DEQUEUE_MESSAGE_LINE);
  40804. + if (down_interruptible(
  40805. + &user_service->insert_event) != 0) {
  40806. + vchiq_log_info(vchiq_arm_log_level,
  40807. + "DEQUEUE_MESSAGE interrupted");
  40808. + ret = -EINTR;
  40809. + break;
  40810. + }
  40811. + spin_lock(&msg_queue_spinlock);
  40812. + } while (user_service->msg_remove ==
  40813. + user_service->msg_insert);
  40814. +
  40815. + if (ret)
  40816. + break;
  40817. + }
  40818. +
  40819. + BUG_ON((int)(user_service->msg_insert -
  40820. + user_service->msg_remove) < 0);
  40821. +
  40822. + header = user_service->msg_queue[user_service->msg_remove &
  40823. + (MSG_QUEUE_SIZE - 1)];
  40824. + user_service->msg_remove++;
  40825. + spin_unlock(&msg_queue_spinlock);
  40826. +
  40827. + up(&user_service->remove_event);
  40828. + if (header == NULL)
  40829. + ret = -ENOTCONN;
  40830. + else if (header->size <= args.bufsize) {
  40831. + /* Copy to user space if msgbuf is not NULL */
  40832. + if ((args.buf == NULL) ||
  40833. + (copy_to_user((void __user *)args.buf,
  40834. + header->data,
  40835. + header->size) == 0)) {
  40836. + ret = header->size;
  40837. + vchiq_release_message(
  40838. + service->handle,
  40839. + header);
  40840. + } else
  40841. + ret = -EFAULT;
  40842. + } else {
  40843. + vchiq_log_error(vchiq_arm_log_level,
  40844. + "header %x: bufsize %x < size %x",
  40845. + (unsigned int)header, args.bufsize,
  40846. + header->size);
  40847. + WARN(1, "invalid size\n");
  40848. + ret = -EMSGSIZE;
  40849. + }
  40850. + DEBUG_TRACE(DEQUEUE_MESSAGE_LINE);
  40851. + } break;
  40852. +
  40853. + case VCHIQ_IOC_GET_CLIENT_ID: {
  40854. + VCHIQ_SERVICE_HANDLE_T handle = (VCHIQ_SERVICE_HANDLE_T)arg;
  40855. +
  40856. + ret = vchiq_get_client_id(handle);
  40857. + } break;
  40858. +
  40859. + case VCHIQ_IOC_GET_CONFIG: {
  40860. + VCHIQ_GET_CONFIG_T args;
  40861. + VCHIQ_CONFIG_T config;
  40862. +
  40863. + if (copy_from_user(&args, (const void __user *)arg,
  40864. + sizeof(args)) != 0) {
  40865. + ret = -EFAULT;
  40866. + break;
  40867. + }
  40868. + if (args.config_size > sizeof(config)) {
  40869. + ret = -EINVAL;
  40870. + break;
  40871. + }
  40872. + status = vchiq_get_config(instance, args.config_size, &config);
  40873. + if (status == VCHIQ_SUCCESS) {
  40874. + if (copy_to_user((void __user *)args.pconfig,
  40875. + &config, args.config_size) != 0) {
  40876. + ret = -EFAULT;
  40877. + break;
  40878. + }
  40879. + }
  40880. + } break;
  40881. +
  40882. + case VCHIQ_IOC_SET_SERVICE_OPTION: {
  40883. + VCHIQ_SET_SERVICE_OPTION_T args;
  40884. +
  40885. + if (copy_from_user(
  40886. + &args, (const void __user *)arg,
  40887. + sizeof(args)) != 0) {
  40888. + ret = -EFAULT;
  40889. + break;
  40890. + }
  40891. +
  40892. + service = find_service_for_instance(instance, args.handle);
  40893. + if (!service) {
  40894. + ret = -EINVAL;
  40895. + break;
  40896. + }
  40897. +
  40898. + status = vchiq_set_service_option(
  40899. + args.handle, args.option, args.value);
  40900. + } break;
  40901. +
  40902. + case VCHIQ_IOC_DUMP_PHYS_MEM: {
  40903. + VCHIQ_DUMP_MEM_T args;
  40904. +
  40905. + if (copy_from_user
  40906. + (&args, (const void __user *)arg,
  40907. + sizeof(args)) != 0) {
  40908. + ret = -EFAULT;
  40909. + break;
  40910. + }
  40911. + dump_phys_mem(args.virt_addr, args.num_bytes);
  40912. + } break;
  40913. +
  40914. + case VCHIQ_IOC_LIB_VERSION: {
  40915. + unsigned int lib_version = (unsigned int)arg;
  40916. +
  40917. + if (lib_version < VCHIQ_VERSION_MIN)
  40918. + ret = -EINVAL;
  40919. + else if (lib_version >= VCHIQ_VERSION_CLOSE_DELIVERED)
  40920. + instance->use_close_delivered = 1;
  40921. + } break;
  40922. +
  40923. + case VCHIQ_IOC_CLOSE_DELIVERED: {
  40924. + VCHIQ_SERVICE_HANDLE_T handle = (VCHIQ_SERVICE_HANDLE_T)arg;
  40925. +
  40926. + service = find_closed_service_for_instance(instance, handle);
  40927. + if (service != NULL) {
  40928. + USER_SERVICE_T *user_service =
  40929. + (USER_SERVICE_T *)service->base.userdata;
  40930. + close_delivered(user_service);
  40931. + }
  40932. + else
  40933. + ret = -EINVAL;
  40934. + } break;
  40935. +
  40936. + default:
  40937. + ret = -ENOTTY;
  40938. + break;
  40939. + }
  40940. +
  40941. + if (service)
  40942. + unlock_service(service);
  40943. +
  40944. + if (ret == 0) {
  40945. + if (status == VCHIQ_ERROR)
  40946. + ret = -EIO;
  40947. + else if (status == VCHIQ_RETRY)
  40948. + ret = -EINTR;
  40949. + }
  40950. +
  40951. + if ((status == VCHIQ_SUCCESS) && (ret < 0) && (ret != -EINTR) &&
  40952. + (ret != -EWOULDBLOCK))
  40953. + vchiq_log_info(vchiq_arm_log_level,
  40954. + " ioctl instance %lx, cmd %s -> status %d, %ld",
  40955. + (unsigned long)instance,
  40956. + (_IOC_NR(cmd) <= VCHIQ_IOC_MAX) ?
  40957. + ioctl_names[_IOC_NR(cmd)] :
  40958. + "<invalid>",
  40959. + status, ret);
  40960. + else
  40961. + vchiq_log_trace(vchiq_arm_log_level,
  40962. + " ioctl instance %lx, cmd %s -> status %d, %ld",
  40963. + (unsigned long)instance,
  40964. + (_IOC_NR(cmd) <= VCHIQ_IOC_MAX) ?
  40965. + ioctl_names[_IOC_NR(cmd)] :
  40966. + "<invalid>",
  40967. + status, ret);
  40968. +
  40969. + return ret;
  40970. +}
  40971. +
  40972. +/****************************************************************************
  40973. +*
  40974. +* vchiq_open
  40975. +*
  40976. +***************************************************************************/
  40977. +
  40978. +static int
  40979. +vchiq_open(struct inode *inode, struct file *file)
  40980. +{
  40981. + int dev = iminor(inode) & 0x0f;
  40982. + vchiq_log_info(vchiq_arm_log_level, "vchiq_open");
  40983. + switch (dev) {
  40984. + case VCHIQ_MINOR: {
  40985. + int ret;
  40986. + VCHIQ_STATE_T *state = vchiq_get_state();
  40987. + VCHIQ_INSTANCE_T instance;
  40988. +
  40989. + if (!state) {
  40990. + vchiq_log_error(vchiq_arm_log_level,
  40991. + "vchiq has no connection to VideoCore");
  40992. + return -ENOTCONN;
  40993. + }
  40994. +
  40995. + instance = kzalloc(sizeof(*instance), GFP_KERNEL);
  40996. + if (!instance)
  40997. + return -ENOMEM;
  40998. +
  40999. + instance->state = state;
  41000. + instance->pid = current->tgid;
  41001. +
  41002. + ret = vchiq_debugfs_add_instance(instance);
  41003. + if (ret != 0) {
  41004. + kfree(instance);
  41005. + return ret;
  41006. + }
  41007. +
  41008. + sema_init(&instance->insert_event, 0);
  41009. + sema_init(&instance->remove_event, 0);
  41010. + mutex_init(&instance->completion_mutex);
  41011. + mutex_init(&instance->bulk_waiter_list_mutex);
  41012. + INIT_LIST_HEAD(&instance->bulk_waiter_list);
  41013. +
  41014. + file->private_data = instance;
  41015. + } break;
  41016. +
  41017. + default:
  41018. + vchiq_log_error(vchiq_arm_log_level,
  41019. + "Unknown minor device: %d", dev);
  41020. + return -ENXIO;
  41021. + }
  41022. +
  41023. + return 0;
  41024. +}
  41025. +
  41026. +/****************************************************************************
  41027. +*
  41028. +* vchiq_release
  41029. +*
  41030. +***************************************************************************/
  41031. +
  41032. +static int
  41033. +vchiq_release(struct inode *inode, struct file *file)
  41034. +{
  41035. + int dev = iminor(inode) & 0x0f;
  41036. + int ret = 0;
  41037. + switch (dev) {
  41038. + case VCHIQ_MINOR: {
  41039. + VCHIQ_INSTANCE_T instance = file->private_data;
  41040. + VCHIQ_STATE_T *state = vchiq_get_state();
  41041. + VCHIQ_SERVICE_T *service;
  41042. + int i;
  41043. +
  41044. + vchiq_log_info(vchiq_arm_log_level,
  41045. + "vchiq_release: instance=%lx",
  41046. + (unsigned long)instance);
  41047. +
  41048. + if (!state) {
  41049. + ret = -EPERM;
  41050. + goto out;
  41051. + }
  41052. +
  41053. + /* Ensure videocore is awake to allow termination. */
  41054. + vchiq_use_internal(instance->state, NULL,
  41055. + USE_TYPE_VCHIQ);
  41056. +
  41057. + mutex_lock(&instance->completion_mutex);
  41058. +
  41059. + /* Wake the completion thread and ask it to exit */
  41060. + instance->closing = 1;
  41061. + up(&instance->insert_event);
  41062. +
  41063. + mutex_unlock(&instance->completion_mutex);
  41064. +
  41065. + /* Wake the slot handler if the completion queue is full. */
  41066. + up(&instance->remove_event);
  41067. +
  41068. + /* Mark all services for termination... */
  41069. + i = 0;
  41070. + while ((service = next_service_by_instance(state, instance,
  41071. + &i)) != NULL) {
  41072. + USER_SERVICE_T *user_service = service->base.userdata;
  41073. +
  41074. + /* Wake the slot handler if the msg queue is full. */
  41075. + up(&user_service->remove_event);
  41076. +
  41077. + vchiq_terminate_service_internal(service);
  41078. + unlock_service(service);
  41079. + }
  41080. +
  41081. + /* ...and wait for them to die */
  41082. + i = 0;
  41083. + while ((service = next_service_by_instance(state, instance, &i))
  41084. + != NULL) {
  41085. + USER_SERVICE_T *user_service = service->base.userdata;
  41086. +
  41087. + down(&service->remove_event);
  41088. +
  41089. + BUG_ON(service->srvstate != VCHIQ_SRVSTATE_FREE);
  41090. +
  41091. + spin_lock(&msg_queue_spinlock);
  41092. +
  41093. + while (user_service->msg_remove !=
  41094. + user_service->msg_insert) {
  41095. + VCHIQ_HEADER_T *header = user_service->
  41096. + msg_queue[user_service->msg_remove &
  41097. + (MSG_QUEUE_SIZE - 1)];
  41098. + user_service->msg_remove++;
  41099. + spin_unlock(&msg_queue_spinlock);
  41100. +
  41101. + if (header)
  41102. + vchiq_release_message(
  41103. + service->handle,
  41104. + header);
  41105. + spin_lock(&msg_queue_spinlock);
  41106. + }
  41107. +
  41108. + spin_unlock(&msg_queue_spinlock);
  41109. +
  41110. + unlock_service(service);
  41111. + }
  41112. +
  41113. + /* Release any closed services */
  41114. + while (instance->completion_remove !=
  41115. + instance->completion_insert) {
  41116. + VCHIQ_COMPLETION_DATA_T *completion;
  41117. + VCHIQ_SERVICE_T *service;
  41118. + completion = &instance->completions[
  41119. + instance->completion_remove &
  41120. + (MAX_COMPLETIONS - 1)];
  41121. + service = completion->service_userdata;
  41122. + if (completion->reason == VCHIQ_SERVICE_CLOSED)
  41123. + {
  41124. + USER_SERVICE_T *user_service =
  41125. + service->base.userdata;
  41126. +
  41127. + /* Wake any blocked user-thread */
  41128. + if (instance->use_close_delivered)
  41129. + up(&user_service->close_event);
  41130. + unlock_service(service);
  41131. + }
  41132. + instance->completion_remove++;
  41133. + }
  41134. +
  41135. + /* Release the PEER service count. */
  41136. + vchiq_release_internal(instance->state, NULL);
  41137. +
  41138. + {
  41139. + struct list_head *pos, *next;
  41140. + list_for_each_safe(pos, next,
  41141. + &instance->bulk_waiter_list) {
  41142. + struct bulk_waiter_node *waiter;
  41143. + waiter = list_entry(pos,
  41144. + struct bulk_waiter_node,
  41145. + list);
  41146. + list_del(pos);
  41147. + vchiq_log_info(vchiq_arm_log_level,
  41148. + "bulk_waiter - cleaned up %x "
  41149. + "for pid %d",
  41150. + (unsigned int)waiter, waiter->pid);
  41151. + kfree(waiter);
  41152. + }
  41153. + }
  41154. +
  41155. + vchiq_debugfs_remove_instance(instance);
  41156. +
  41157. + kfree(instance);
  41158. + file->private_data = NULL;
  41159. + } break;
  41160. +
  41161. + default:
  41162. + vchiq_log_error(vchiq_arm_log_level,
  41163. + "Unknown minor device: %d", dev);
  41164. + ret = -ENXIO;
  41165. + }
  41166. +
  41167. +out:
  41168. + return ret;
  41169. +}
  41170. +
  41171. +/****************************************************************************
  41172. +*
  41173. +* vchiq_dump
  41174. +*
  41175. +***************************************************************************/
  41176. +
  41177. +void
  41178. +vchiq_dump(void *dump_context, const char *str, int len)
  41179. +{
  41180. + DUMP_CONTEXT_T *context = (DUMP_CONTEXT_T *)dump_context;
  41181. +
  41182. + if (context->actual < context->space) {
  41183. + int copy_bytes;
  41184. + if (context->offset > 0) {
  41185. + int skip_bytes = min(len, (int)context->offset);
  41186. + str += skip_bytes;
  41187. + len -= skip_bytes;
  41188. + context->offset -= skip_bytes;
  41189. + if (context->offset > 0)
  41190. + return;
  41191. + }
  41192. + copy_bytes = min(len, (int)(context->space - context->actual));
  41193. + if (copy_bytes == 0)
  41194. + return;
  41195. + if (copy_to_user(context->buf + context->actual, str,
  41196. + copy_bytes))
  41197. + context->actual = -EFAULT;
  41198. + context->actual += copy_bytes;
  41199. + len -= copy_bytes;
  41200. +
  41201. + /* If tne terminating NUL is included in the length, then it
  41202. + ** marks the end of a line and should be replaced with a
  41203. + ** carriage return. */
  41204. + if ((len == 0) && (str[copy_bytes - 1] == '\0')) {
  41205. + char cr = '\n';
  41206. + if (copy_to_user(context->buf + context->actual - 1,
  41207. + &cr, 1))
  41208. + context->actual = -EFAULT;
  41209. + }
  41210. + }
  41211. +}
  41212. +
  41213. +/****************************************************************************
  41214. +*
  41215. +* vchiq_dump_platform_instance_state
  41216. +*
  41217. +***************************************************************************/
  41218. +
  41219. +void
  41220. +vchiq_dump_platform_instances(void *dump_context)
  41221. +{
  41222. + VCHIQ_STATE_T *state = vchiq_get_state();
  41223. + char buf[80];
  41224. + int len;
  41225. + int i;
  41226. +
  41227. + /* There is no list of instances, so instead scan all services,
  41228. + marking those that have been dumped. */
  41229. +
  41230. + for (i = 0; i < state->unused_service; i++) {
  41231. + VCHIQ_SERVICE_T *service = state->services[i];
  41232. + VCHIQ_INSTANCE_T instance;
  41233. +
  41234. + if (service && (service->base.callback == service_callback)) {
  41235. + instance = service->instance;
  41236. + if (instance)
  41237. + instance->mark = 0;
  41238. + }
  41239. + }
  41240. +
  41241. + for (i = 0; i < state->unused_service; i++) {
  41242. + VCHIQ_SERVICE_T *service = state->services[i];
  41243. + VCHIQ_INSTANCE_T instance;
  41244. +
  41245. + if (service && (service->base.callback == service_callback)) {
  41246. + instance = service->instance;
  41247. + if (instance && !instance->mark) {
  41248. + len = snprintf(buf, sizeof(buf),
  41249. + "Instance %x: pid %d,%s completions "
  41250. + "%d/%d",
  41251. + (unsigned int)instance, instance->pid,
  41252. + instance->connected ? " connected, " :
  41253. + "",
  41254. + instance->completion_insert -
  41255. + instance->completion_remove,
  41256. + MAX_COMPLETIONS);
  41257. +
  41258. + vchiq_dump(dump_context, buf, len + 1);
  41259. +
  41260. + instance->mark = 1;
  41261. + }
  41262. + }
  41263. + }
  41264. +}
  41265. +
  41266. +/****************************************************************************
  41267. +*
  41268. +* vchiq_dump_platform_service_state
  41269. +*
  41270. +***************************************************************************/
  41271. +
  41272. +void
  41273. +vchiq_dump_platform_service_state(void *dump_context, VCHIQ_SERVICE_T *service)
  41274. +{
  41275. + USER_SERVICE_T *user_service = (USER_SERVICE_T *)service->base.userdata;
  41276. + char buf[80];
  41277. + int len;
  41278. +
  41279. + len = snprintf(buf, sizeof(buf), " instance %x",
  41280. + (unsigned int)service->instance);
  41281. +
  41282. + if ((service->base.callback == service_callback) &&
  41283. + user_service->is_vchi) {
  41284. + len += snprintf(buf + len, sizeof(buf) - len,
  41285. + ", %d/%d messages",
  41286. + user_service->msg_insert - user_service->msg_remove,
  41287. + MSG_QUEUE_SIZE);
  41288. +
  41289. + if (user_service->dequeue_pending)
  41290. + len += snprintf(buf + len, sizeof(buf) - len,
  41291. + " (dequeue pending)");
  41292. + }
  41293. +
  41294. + vchiq_dump(dump_context, buf, len + 1);
  41295. +}
  41296. +
  41297. +/****************************************************************************
  41298. +*
  41299. +* dump_user_mem
  41300. +*
  41301. +***************************************************************************/
  41302. +
  41303. +static void
  41304. +dump_phys_mem(void *virt_addr, uint32_t num_bytes)
  41305. +{
  41306. + int rc;
  41307. + uint8_t *end_virt_addr = virt_addr + num_bytes;
  41308. + int num_pages;
  41309. + int offset;
  41310. + int end_offset;
  41311. + int page_idx;
  41312. + int prev_idx;
  41313. + struct page *page;
  41314. + struct page **pages;
  41315. + uint8_t *kmapped_virt_ptr;
  41316. +
  41317. + /* Align virtAddr and endVirtAddr to 16 byte boundaries. */
  41318. +
  41319. + virt_addr = (void *)((unsigned long)virt_addr & ~0x0fuL);
  41320. + end_virt_addr = (void *)(((unsigned long)end_virt_addr + 15uL) &
  41321. + ~0x0fuL);
  41322. +
  41323. + offset = (int)(long)virt_addr & (PAGE_SIZE - 1);
  41324. + end_offset = (int)(long)end_virt_addr & (PAGE_SIZE - 1);
  41325. +
  41326. + num_pages = (offset + num_bytes + PAGE_SIZE - 1) / PAGE_SIZE;
  41327. +
  41328. + pages = kmalloc(sizeof(struct page *) * num_pages, GFP_KERNEL);
  41329. + if (pages == NULL) {
  41330. + vchiq_log_error(vchiq_arm_log_level,
  41331. + "Unable to allocation memory for %d pages\n",
  41332. + num_pages);
  41333. + return;
  41334. + }
  41335. +
  41336. + down_read(&current->mm->mmap_sem);
  41337. + rc = get_user_pages(current, /* task */
  41338. + current->mm, /* mm */
  41339. + (unsigned long)virt_addr, /* start */
  41340. + num_pages, /* len */
  41341. + 0, /* write */
  41342. + 0, /* force */
  41343. + pages, /* pages (array of page pointers) */
  41344. + NULL); /* vmas */
  41345. + up_read(&current->mm->mmap_sem);
  41346. +
  41347. + prev_idx = -1;
  41348. + page = NULL;
  41349. +
  41350. + while (offset < end_offset) {
  41351. +
  41352. + int page_offset = offset % PAGE_SIZE;
  41353. + page_idx = offset / PAGE_SIZE;
  41354. +
  41355. + if (page_idx != prev_idx) {
  41356. +
  41357. + if (page != NULL)
  41358. + kunmap(page);
  41359. + page = pages[page_idx];
  41360. + kmapped_virt_ptr = kmap(page);
  41361. +
  41362. + prev_idx = page_idx;
  41363. + }
  41364. +
  41365. + if (vchiq_arm_log_level >= VCHIQ_LOG_TRACE)
  41366. + vchiq_log_dump_mem("ph",
  41367. + (uint32_t)(unsigned long)&kmapped_virt_ptr[
  41368. + page_offset],
  41369. + &kmapped_virt_ptr[page_offset], 16);
  41370. +
  41371. + offset += 16;
  41372. + }
  41373. + if (page != NULL)
  41374. + kunmap(page);
  41375. +
  41376. + for (page_idx = 0; page_idx < num_pages; page_idx++)
  41377. + page_cache_release(pages[page_idx]);
  41378. +
  41379. + kfree(pages);
  41380. +}
  41381. +
  41382. +/****************************************************************************
  41383. +*
  41384. +* vchiq_read
  41385. +*
  41386. +***************************************************************************/
  41387. +
  41388. +static ssize_t
  41389. +vchiq_read(struct file *file, char __user *buf,
  41390. + size_t count, loff_t *ppos)
  41391. +{
  41392. + DUMP_CONTEXT_T context;
  41393. + context.buf = buf;
  41394. + context.actual = 0;
  41395. + context.space = count;
  41396. + context.offset = *ppos;
  41397. +
  41398. + vchiq_dump_state(&context, &g_state);
  41399. +
  41400. + *ppos += context.actual;
  41401. +
  41402. + return context.actual;
  41403. +}
  41404. +
  41405. +VCHIQ_STATE_T *
  41406. +vchiq_get_state(void)
  41407. +{
  41408. +
  41409. + if (g_state.remote == NULL)
  41410. + printk(KERN_ERR "%s: g_state.remote == NULL\n", __func__);
  41411. + else if (g_state.remote->initialised != 1)
  41412. + printk(KERN_NOTICE "%s: g_state.remote->initialised != 1 (%d)\n",
  41413. + __func__, g_state.remote->initialised);
  41414. +
  41415. + return ((g_state.remote != NULL) &&
  41416. + (g_state.remote->initialised == 1)) ? &g_state : NULL;
  41417. +}
  41418. +
  41419. +static const struct file_operations
  41420. +vchiq_fops = {
  41421. + .owner = THIS_MODULE,
  41422. + .unlocked_ioctl = vchiq_ioctl,
  41423. + .open = vchiq_open,
  41424. + .release = vchiq_release,
  41425. + .read = vchiq_read
  41426. +};
  41427. +
  41428. +/*
  41429. + * Autosuspend related functionality
  41430. + */
  41431. +
  41432. +int
  41433. +vchiq_videocore_wanted(VCHIQ_STATE_T *state)
  41434. +{
  41435. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41436. + if (!arm_state)
  41437. + /* autosuspend not supported - always return wanted */
  41438. + return 1;
  41439. + else if (arm_state->blocked_count)
  41440. + return 1;
  41441. + else if (!arm_state->videocore_use_count)
  41442. + /* usage count zero - check for override unless we're forcing */
  41443. + if (arm_state->resume_blocked)
  41444. + return 0;
  41445. + else
  41446. + return vchiq_platform_videocore_wanted(state);
  41447. + else
  41448. + /* non-zero usage count - videocore still required */
  41449. + return 1;
  41450. +}
  41451. +
  41452. +static VCHIQ_STATUS_T
  41453. +vchiq_keepalive_vchiq_callback(VCHIQ_REASON_T reason,
  41454. + VCHIQ_HEADER_T *header,
  41455. + VCHIQ_SERVICE_HANDLE_T service_user,
  41456. + void *bulk_user)
  41457. +{
  41458. + vchiq_log_error(vchiq_susp_log_level,
  41459. + "%s callback reason %d", __func__, reason);
  41460. + return 0;
  41461. +}
  41462. +
  41463. +static int
  41464. +vchiq_keepalive_thread_func(void *v)
  41465. +{
  41466. + VCHIQ_STATE_T *state = (VCHIQ_STATE_T *) v;
  41467. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41468. +
  41469. + VCHIQ_STATUS_T status;
  41470. + VCHIQ_INSTANCE_T instance;
  41471. + VCHIQ_SERVICE_HANDLE_T ka_handle;
  41472. +
  41473. + VCHIQ_SERVICE_PARAMS_T params = {
  41474. + .fourcc = VCHIQ_MAKE_FOURCC('K', 'E', 'E', 'P'),
  41475. + .callback = vchiq_keepalive_vchiq_callback,
  41476. + .version = KEEPALIVE_VER,
  41477. + .version_min = KEEPALIVE_VER_MIN
  41478. + };
  41479. +
  41480. + status = vchiq_initialise(&instance);
  41481. + if (status != VCHIQ_SUCCESS) {
  41482. + vchiq_log_error(vchiq_susp_log_level,
  41483. + "%s vchiq_initialise failed %d", __func__, status);
  41484. + goto exit;
  41485. + }
  41486. +
  41487. + status = vchiq_connect(instance);
  41488. + if (status != VCHIQ_SUCCESS) {
  41489. + vchiq_log_error(vchiq_susp_log_level,
  41490. + "%s vchiq_connect failed %d", __func__, status);
  41491. + goto shutdown;
  41492. + }
  41493. +
  41494. + status = vchiq_add_service(instance, &params, &ka_handle);
  41495. + if (status != VCHIQ_SUCCESS) {
  41496. + vchiq_log_error(vchiq_susp_log_level,
  41497. + "%s vchiq_open_service failed %d", __func__, status);
  41498. + goto shutdown;
  41499. + }
  41500. +
  41501. + while (1) {
  41502. + long rc = 0, uc = 0;
  41503. + if (wait_for_completion_interruptible(&arm_state->ka_evt)
  41504. + != 0) {
  41505. + vchiq_log_error(vchiq_susp_log_level,
  41506. + "%s interrupted", __func__);
  41507. + flush_signals(current);
  41508. + continue;
  41509. + }
  41510. +
  41511. + /* read and clear counters. Do release_count then use_count to
  41512. + * prevent getting more releases than uses */
  41513. + rc = atomic_xchg(&arm_state->ka_release_count, 0);
  41514. + uc = atomic_xchg(&arm_state->ka_use_count, 0);
  41515. +
  41516. + /* Call use/release service the requisite number of times.
  41517. + * Process use before release so use counts don't go negative */
  41518. + while (uc--) {
  41519. + atomic_inc(&arm_state->ka_use_ack_count);
  41520. + status = vchiq_use_service(ka_handle);
  41521. + if (status != VCHIQ_SUCCESS) {
  41522. + vchiq_log_error(vchiq_susp_log_level,
  41523. + "%s vchiq_use_service error %d",
  41524. + __func__, status);
  41525. + }
  41526. + }
  41527. + while (rc--) {
  41528. + status = vchiq_release_service(ka_handle);
  41529. + if (status != VCHIQ_SUCCESS) {
  41530. + vchiq_log_error(vchiq_susp_log_level,
  41531. + "%s vchiq_release_service error %d",
  41532. + __func__, status);
  41533. + }
  41534. + }
  41535. + }
  41536. +
  41537. +shutdown:
  41538. + vchiq_shutdown(instance);
  41539. +exit:
  41540. + return 0;
  41541. +}
  41542. +
  41543. +
  41544. +
  41545. +VCHIQ_STATUS_T
  41546. +vchiq_arm_init_state(VCHIQ_STATE_T *state, VCHIQ_ARM_STATE_T *arm_state)
  41547. +{
  41548. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  41549. +
  41550. + if (arm_state) {
  41551. + rwlock_init(&arm_state->susp_res_lock);
  41552. +
  41553. + init_completion(&arm_state->ka_evt);
  41554. + atomic_set(&arm_state->ka_use_count, 0);
  41555. + atomic_set(&arm_state->ka_use_ack_count, 0);
  41556. + atomic_set(&arm_state->ka_release_count, 0);
  41557. +
  41558. + init_completion(&arm_state->vc_suspend_complete);
  41559. +
  41560. + init_completion(&arm_state->vc_resume_complete);
  41561. + /* Initialise to 'done' state. We only want to block on resume
  41562. + * completion while videocore is suspended. */
  41563. + set_resume_state(arm_state, VC_RESUME_RESUMED);
  41564. +
  41565. + init_completion(&arm_state->resume_blocker);
  41566. + /* Initialise to 'done' state. We only want to block on this
  41567. + * completion while resume is blocked */
  41568. + complete_all(&arm_state->resume_blocker);
  41569. +
  41570. + init_completion(&arm_state->blocked_blocker);
  41571. + /* Initialise to 'done' state. We only want to block on this
  41572. + * completion while things are waiting on the resume blocker */
  41573. + complete_all(&arm_state->blocked_blocker);
  41574. +
  41575. + arm_state->suspend_timer_timeout = SUSPEND_TIMER_TIMEOUT_MS;
  41576. + arm_state->suspend_timer_running = 0;
  41577. + init_timer(&arm_state->suspend_timer);
  41578. + arm_state->suspend_timer.data = (unsigned long)(state);
  41579. + arm_state->suspend_timer.function = suspend_timer_callback;
  41580. +
  41581. + arm_state->first_connect = 0;
  41582. +
  41583. + }
  41584. + return status;
  41585. +}
  41586. +
  41587. +/*
  41588. +** Functions to modify the state variables;
  41589. +** set_suspend_state
  41590. +** set_resume_state
  41591. +**
  41592. +** There are more state variables than we might like, so ensure they remain in
  41593. +** step. Suspend and resume state are maintained separately, since most of
  41594. +** these state machines can operate independently. However, there are a few
  41595. +** states where state transitions in one state machine cause a reset to the
  41596. +** other state machine. In addition, there are some completion events which
  41597. +** need to occur on state machine reset and end-state(s), so these are also
  41598. +** dealt with in these functions.
  41599. +**
  41600. +** In all states we set the state variable according to the input, but in some
  41601. +** cases we perform additional steps outlined below;
  41602. +**
  41603. +** VC_SUSPEND_IDLE - Initialise the suspend completion at the same time.
  41604. +** The suspend completion is completed after any suspend
  41605. +** attempt. When we reset the state machine we also reset
  41606. +** the completion. This reset occurs when videocore is
  41607. +** resumed, and also if we initiate suspend after a suspend
  41608. +** failure.
  41609. +**
  41610. +** VC_SUSPEND_IN_PROGRESS - This state is considered the point of no return for
  41611. +** suspend - ie from this point on we must try to suspend
  41612. +** before resuming can occur. We therefore also reset the
  41613. +** resume state machine to VC_RESUME_IDLE in this state.
  41614. +**
  41615. +** VC_SUSPEND_SUSPENDED - Suspend has completed successfully. Also call
  41616. +** complete_all on the suspend completion to notify
  41617. +** anything waiting for suspend to happen.
  41618. +**
  41619. +** VC_SUSPEND_REJECTED - Videocore rejected suspend. Videocore will also
  41620. +** initiate resume, so no need to alter resume state.
  41621. +** We call complete_all on the suspend completion to notify
  41622. +** of suspend rejection.
  41623. +**
  41624. +** VC_SUSPEND_FAILED - We failed to initiate videocore suspend. We notify the
  41625. +** suspend completion and reset the resume state machine.
  41626. +**
  41627. +** VC_RESUME_IDLE - Initialise the resume completion at the same time. The
  41628. +** resume completion is in it's 'done' state whenever
  41629. +** videcore is running. Therfore, the VC_RESUME_IDLE state
  41630. +** implies that videocore is suspended.
  41631. +** Hence, any thread which needs to wait until videocore is
  41632. +** running can wait on this completion - it will only block
  41633. +** if videocore is suspended.
  41634. +**
  41635. +** VC_RESUME_RESUMED - Resume has completed successfully. Videocore is running.
  41636. +** Call complete_all on the resume completion to unblock
  41637. +** any threads waiting for resume. Also reset the suspend
  41638. +** state machine to it's idle state.
  41639. +**
  41640. +** VC_RESUME_FAILED - Currently unused - no mechanism to fail resume exists.
  41641. +*/
  41642. +
  41643. +void
  41644. +set_suspend_state(VCHIQ_ARM_STATE_T *arm_state,
  41645. + enum vc_suspend_status new_state)
  41646. +{
  41647. + /* set the state in all cases */
  41648. + arm_state->vc_suspend_state = new_state;
  41649. +
  41650. + /* state specific additional actions */
  41651. + switch (new_state) {
  41652. + case VC_SUSPEND_FORCE_CANCELED:
  41653. + complete_all(&arm_state->vc_suspend_complete);
  41654. + break;
  41655. + case VC_SUSPEND_REJECTED:
  41656. + complete_all(&arm_state->vc_suspend_complete);
  41657. + break;
  41658. + case VC_SUSPEND_FAILED:
  41659. + complete_all(&arm_state->vc_suspend_complete);
  41660. + arm_state->vc_resume_state = VC_RESUME_RESUMED;
  41661. + complete_all(&arm_state->vc_resume_complete);
  41662. + break;
  41663. + case VC_SUSPEND_IDLE:
  41664. + reinit_completion(&arm_state->vc_suspend_complete);
  41665. + break;
  41666. + case VC_SUSPEND_REQUESTED:
  41667. + break;
  41668. + case VC_SUSPEND_IN_PROGRESS:
  41669. + set_resume_state(arm_state, VC_RESUME_IDLE);
  41670. + break;
  41671. + case VC_SUSPEND_SUSPENDED:
  41672. + complete_all(&arm_state->vc_suspend_complete);
  41673. + break;
  41674. + default:
  41675. + BUG();
  41676. + break;
  41677. + }
  41678. +}
  41679. +
  41680. +void
  41681. +set_resume_state(VCHIQ_ARM_STATE_T *arm_state,
  41682. + enum vc_resume_status new_state)
  41683. +{
  41684. + /* set the state in all cases */
  41685. + arm_state->vc_resume_state = new_state;
  41686. +
  41687. + /* state specific additional actions */
  41688. + switch (new_state) {
  41689. + case VC_RESUME_FAILED:
  41690. + break;
  41691. + case VC_RESUME_IDLE:
  41692. + reinit_completion(&arm_state->vc_resume_complete);
  41693. + break;
  41694. + case VC_RESUME_REQUESTED:
  41695. + break;
  41696. + case VC_RESUME_IN_PROGRESS:
  41697. + break;
  41698. + case VC_RESUME_RESUMED:
  41699. + complete_all(&arm_state->vc_resume_complete);
  41700. + set_suspend_state(arm_state, VC_SUSPEND_IDLE);
  41701. + break;
  41702. + default:
  41703. + BUG();
  41704. + break;
  41705. + }
  41706. +}
  41707. +
  41708. +
  41709. +/* should be called with the write lock held */
  41710. +inline void
  41711. +start_suspend_timer(VCHIQ_ARM_STATE_T *arm_state)
  41712. +{
  41713. + del_timer(&arm_state->suspend_timer);
  41714. + arm_state->suspend_timer.expires = jiffies +
  41715. + msecs_to_jiffies(arm_state->
  41716. + suspend_timer_timeout);
  41717. + add_timer(&arm_state->suspend_timer);
  41718. + arm_state->suspend_timer_running = 1;
  41719. +}
  41720. +
  41721. +/* should be called with the write lock held */
  41722. +static inline void
  41723. +stop_suspend_timer(VCHIQ_ARM_STATE_T *arm_state)
  41724. +{
  41725. + if (arm_state->suspend_timer_running) {
  41726. + del_timer(&arm_state->suspend_timer);
  41727. + arm_state->suspend_timer_running = 0;
  41728. + }
  41729. +}
  41730. +
  41731. +static inline int
  41732. +need_resume(VCHIQ_STATE_T *state)
  41733. +{
  41734. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41735. + return (arm_state->vc_suspend_state > VC_SUSPEND_IDLE) &&
  41736. + (arm_state->vc_resume_state < VC_RESUME_REQUESTED) &&
  41737. + vchiq_videocore_wanted(state);
  41738. +}
  41739. +
  41740. +static int
  41741. +block_resume(VCHIQ_ARM_STATE_T *arm_state)
  41742. +{
  41743. + int status = VCHIQ_SUCCESS;
  41744. + const unsigned long timeout_val =
  41745. + msecs_to_jiffies(FORCE_SUSPEND_TIMEOUT_MS);
  41746. + int resume_count = 0;
  41747. +
  41748. + /* Allow any threads which were blocked by the last force suspend to
  41749. + * complete if they haven't already. Only give this one shot; if
  41750. + * blocked_count is incremented after blocked_blocker is completed
  41751. + * (which only happens when blocked_count hits 0) then those threads
  41752. + * will have to wait until next time around */
  41753. + if (arm_state->blocked_count) {
  41754. + reinit_completion(&arm_state->blocked_blocker);
  41755. + write_unlock_bh(&arm_state->susp_res_lock);
  41756. + vchiq_log_info(vchiq_susp_log_level, "%s wait for previously "
  41757. + "blocked clients", __func__);
  41758. + if (wait_for_completion_interruptible_timeout(
  41759. + &arm_state->blocked_blocker, timeout_val)
  41760. + <= 0) {
  41761. + vchiq_log_error(vchiq_susp_log_level, "%s wait for "
  41762. + "previously blocked clients failed" , __func__);
  41763. + status = VCHIQ_ERROR;
  41764. + write_lock_bh(&arm_state->susp_res_lock);
  41765. + goto out;
  41766. + }
  41767. + vchiq_log_info(vchiq_susp_log_level, "%s previously blocked "
  41768. + "clients resumed", __func__);
  41769. + write_lock_bh(&arm_state->susp_res_lock);
  41770. + }
  41771. +
  41772. + /* We need to wait for resume to complete if it's in process */
  41773. + while (arm_state->vc_resume_state != VC_RESUME_RESUMED &&
  41774. + arm_state->vc_resume_state > VC_RESUME_IDLE) {
  41775. + if (resume_count > 1) {
  41776. + status = VCHIQ_ERROR;
  41777. + vchiq_log_error(vchiq_susp_log_level, "%s waited too "
  41778. + "many times for resume" , __func__);
  41779. + goto out;
  41780. + }
  41781. + write_unlock_bh(&arm_state->susp_res_lock);
  41782. + vchiq_log_info(vchiq_susp_log_level, "%s wait for resume",
  41783. + __func__);
  41784. + if (wait_for_completion_interruptible_timeout(
  41785. + &arm_state->vc_resume_complete, timeout_val)
  41786. + <= 0) {
  41787. + vchiq_log_error(vchiq_susp_log_level, "%s wait for "
  41788. + "resume failed (%s)", __func__,
  41789. + resume_state_names[arm_state->vc_resume_state +
  41790. + VC_RESUME_NUM_OFFSET]);
  41791. + status = VCHIQ_ERROR;
  41792. + write_lock_bh(&arm_state->susp_res_lock);
  41793. + goto out;
  41794. + }
  41795. + vchiq_log_info(vchiq_susp_log_level, "%s resumed", __func__);
  41796. + write_lock_bh(&arm_state->susp_res_lock);
  41797. + resume_count++;
  41798. + }
  41799. + reinit_completion(&arm_state->resume_blocker);
  41800. + arm_state->resume_blocked = 1;
  41801. +
  41802. +out:
  41803. + return status;
  41804. +}
  41805. +
  41806. +static inline void
  41807. +unblock_resume(VCHIQ_ARM_STATE_T *arm_state)
  41808. +{
  41809. + complete_all(&arm_state->resume_blocker);
  41810. + arm_state->resume_blocked = 0;
  41811. +}
  41812. +
  41813. +/* Initiate suspend via slot handler. Should be called with the write lock
  41814. + * held */
  41815. +VCHIQ_STATUS_T
  41816. +vchiq_arm_vcsuspend(VCHIQ_STATE_T *state)
  41817. +{
  41818. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  41819. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41820. +
  41821. + if (!arm_state)
  41822. + goto out;
  41823. +
  41824. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  41825. + status = VCHIQ_SUCCESS;
  41826. +
  41827. +
  41828. + switch (arm_state->vc_suspend_state) {
  41829. + case VC_SUSPEND_REQUESTED:
  41830. + vchiq_log_info(vchiq_susp_log_level, "%s: suspend already "
  41831. + "requested", __func__);
  41832. + break;
  41833. + case VC_SUSPEND_IN_PROGRESS:
  41834. + vchiq_log_info(vchiq_susp_log_level, "%s: suspend already in "
  41835. + "progress", __func__);
  41836. + break;
  41837. +
  41838. + default:
  41839. + /* We don't expect to be in other states, so log but continue
  41840. + * anyway */
  41841. + vchiq_log_error(vchiq_susp_log_level,
  41842. + "%s unexpected suspend state %s", __func__,
  41843. + suspend_state_names[arm_state->vc_suspend_state +
  41844. + VC_SUSPEND_NUM_OFFSET]);
  41845. + /* fall through */
  41846. + case VC_SUSPEND_REJECTED:
  41847. + case VC_SUSPEND_FAILED:
  41848. + /* Ensure any idle state actions have been run */
  41849. + set_suspend_state(arm_state, VC_SUSPEND_IDLE);
  41850. + /* fall through */
  41851. + case VC_SUSPEND_IDLE:
  41852. + vchiq_log_info(vchiq_susp_log_level,
  41853. + "%s: suspending", __func__);
  41854. + set_suspend_state(arm_state, VC_SUSPEND_REQUESTED);
  41855. + /* kick the slot handler thread to initiate suspend */
  41856. + request_poll(state, NULL, 0);
  41857. + break;
  41858. + }
  41859. +
  41860. +out:
  41861. + vchiq_log_trace(vchiq_susp_log_level, "%s exit %d", __func__, status);
  41862. + return status;
  41863. +}
  41864. +
  41865. +void
  41866. +vchiq_platform_check_suspend(VCHIQ_STATE_T *state)
  41867. +{
  41868. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41869. + int susp = 0;
  41870. +
  41871. + if (!arm_state)
  41872. + goto out;
  41873. +
  41874. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  41875. +
  41876. + write_lock_bh(&arm_state->susp_res_lock);
  41877. + if (arm_state->vc_suspend_state == VC_SUSPEND_REQUESTED &&
  41878. + arm_state->vc_resume_state == VC_RESUME_RESUMED) {
  41879. + set_suspend_state(arm_state, VC_SUSPEND_IN_PROGRESS);
  41880. + susp = 1;
  41881. + }
  41882. + write_unlock_bh(&arm_state->susp_res_lock);
  41883. +
  41884. + if (susp)
  41885. + vchiq_platform_suspend(state);
  41886. +
  41887. +out:
  41888. + vchiq_log_trace(vchiq_susp_log_level, "%s exit", __func__);
  41889. + return;
  41890. +}
  41891. +
  41892. +
  41893. +static void
  41894. +output_timeout_error(VCHIQ_STATE_T *state)
  41895. +{
  41896. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41897. + char service_err[50] = "";
  41898. + int vc_use_count = arm_state->videocore_use_count;
  41899. + int active_services = state->unused_service;
  41900. + int i;
  41901. +
  41902. + if (!arm_state->videocore_use_count) {
  41903. + snprintf(service_err, 50, " Videocore usecount is 0");
  41904. + goto output_msg;
  41905. + }
  41906. + for (i = 0; i < active_services; i++) {
  41907. + VCHIQ_SERVICE_T *service_ptr = state->services[i];
  41908. + if (service_ptr && service_ptr->service_use_count &&
  41909. + (service_ptr->srvstate != VCHIQ_SRVSTATE_FREE)) {
  41910. + snprintf(service_err, 50, " %c%c%c%c(%d) service has "
  41911. + "use count %d%s", VCHIQ_FOURCC_AS_4CHARS(
  41912. + service_ptr->base.fourcc),
  41913. + service_ptr->client_id,
  41914. + service_ptr->service_use_count,
  41915. + service_ptr->service_use_count ==
  41916. + vc_use_count ? "" : " (+ more)");
  41917. + break;
  41918. + }
  41919. + }
  41920. +
  41921. +output_msg:
  41922. + vchiq_log_error(vchiq_susp_log_level,
  41923. + "timed out waiting for vc suspend (%d).%s",
  41924. + arm_state->autosuspend_override, service_err);
  41925. +
  41926. +}
  41927. +
  41928. +/* Try to get videocore into suspended state, regardless of autosuspend state.
  41929. +** We don't actually force suspend, since videocore may get into a bad state
  41930. +** if we force suspend at a bad time. Instead, we wait for autosuspend to
  41931. +** determine a good point to suspend. If this doesn't happen within 100ms we
  41932. +** report failure.
  41933. +**
  41934. +** Returns VCHIQ_SUCCESS if videocore suspended successfully, VCHIQ_RETRY if
  41935. +** videocore failed to suspend in time or VCHIQ_ERROR if interrupted.
  41936. +*/
  41937. +VCHIQ_STATUS_T
  41938. +vchiq_arm_force_suspend(VCHIQ_STATE_T *state)
  41939. +{
  41940. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  41941. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  41942. + long rc = 0;
  41943. + int repeat = -1;
  41944. +
  41945. + if (!arm_state)
  41946. + goto out;
  41947. +
  41948. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  41949. +
  41950. + write_lock_bh(&arm_state->susp_res_lock);
  41951. +
  41952. + status = block_resume(arm_state);
  41953. + if (status != VCHIQ_SUCCESS)
  41954. + goto unlock;
  41955. + if (arm_state->vc_suspend_state == VC_SUSPEND_SUSPENDED) {
  41956. + /* Already suspended - just block resume and exit */
  41957. + vchiq_log_info(vchiq_susp_log_level, "%s already suspended",
  41958. + __func__);
  41959. + status = VCHIQ_SUCCESS;
  41960. + goto unlock;
  41961. + } else if (arm_state->vc_suspend_state <= VC_SUSPEND_IDLE) {
  41962. + /* initiate suspend immediately in the case that we're waiting
  41963. + * for the timeout */
  41964. + stop_suspend_timer(arm_state);
  41965. + if (!vchiq_videocore_wanted(state)) {
  41966. + vchiq_log_info(vchiq_susp_log_level, "%s videocore "
  41967. + "idle, initiating suspend", __func__);
  41968. + status = vchiq_arm_vcsuspend(state);
  41969. + } else if (arm_state->autosuspend_override <
  41970. + FORCE_SUSPEND_FAIL_MAX) {
  41971. + vchiq_log_info(vchiq_susp_log_level, "%s letting "
  41972. + "videocore go idle", __func__);
  41973. + status = VCHIQ_SUCCESS;
  41974. + } else {
  41975. + vchiq_log_warning(vchiq_susp_log_level, "%s failed too "
  41976. + "many times - attempting suspend", __func__);
  41977. + status = vchiq_arm_vcsuspend(state);
  41978. + }
  41979. + } else {
  41980. + vchiq_log_info(vchiq_susp_log_level, "%s videocore suspend "
  41981. + "in progress - wait for completion", __func__);
  41982. + status = VCHIQ_SUCCESS;
  41983. + }
  41984. +
  41985. + /* Wait for suspend to happen due to system idle (not forced..) */
  41986. + if (status != VCHIQ_SUCCESS)
  41987. + goto unblock_resume;
  41988. +
  41989. + do {
  41990. + write_unlock_bh(&arm_state->susp_res_lock);
  41991. +
  41992. + rc = wait_for_completion_interruptible_timeout(
  41993. + &arm_state->vc_suspend_complete,
  41994. + msecs_to_jiffies(FORCE_SUSPEND_TIMEOUT_MS));
  41995. +
  41996. + write_lock_bh(&arm_state->susp_res_lock);
  41997. + if (rc < 0) {
  41998. + vchiq_log_warning(vchiq_susp_log_level, "%s "
  41999. + "interrupted waiting for suspend", __func__);
  42000. + status = VCHIQ_ERROR;
  42001. + goto unblock_resume;
  42002. + } else if (rc == 0) {
  42003. + if (arm_state->vc_suspend_state > VC_SUSPEND_IDLE) {
  42004. + /* Repeat timeout once if in progress */
  42005. + if (repeat < 0) {
  42006. + repeat = 1;
  42007. + continue;
  42008. + }
  42009. + }
  42010. + arm_state->autosuspend_override++;
  42011. + output_timeout_error(state);
  42012. +
  42013. + status = VCHIQ_RETRY;
  42014. + goto unblock_resume;
  42015. + }
  42016. + } while (0 < (repeat--));
  42017. +
  42018. + /* Check and report state in case we need to abort ARM suspend */
  42019. + if (arm_state->vc_suspend_state != VC_SUSPEND_SUSPENDED) {
  42020. + status = VCHIQ_RETRY;
  42021. + vchiq_log_error(vchiq_susp_log_level,
  42022. + "%s videocore suspend failed (state %s)", __func__,
  42023. + suspend_state_names[arm_state->vc_suspend_state +
  42024. + VC_SUSPEND_NUM_OFFSET]);
  42025. + /* Reset the state only if it's still in an error state.
  42026. + * Something could have already initiated another suspend. */
  42027. + if (arm_state->vc_suspend_state < VC_SUSPEND_IDLE)
  42028. + set_suspend_state(arm_state, VC_SUSPEND_IDLE);
  42029. +
  42030. + goto unblock_resume;
  42031. + }
  42032. +
  42033. + /* successfully suspended - unlock and exit */
  42034. + goto unlock;
  42035. +
  42036. +unblock_resume:
  42037. + /* all error states need to unblock resume before exit */
  42038. + unblock_resume(arm_state);
  42039. +
  42040. +unlock:
  42041. + write_unlock_bh(&arm_state->susp_res_lock);
  42042. +
  42043. +out:
  42044. + vchiq_log_trace(vchiq_susp_log_level, "%s exit %d", __func__, status);
  42045. + return status;
  42046. +}
  42047. +
  42048. +void
  42049. +vchiq_check_suspend(VCHIQ_STATE_T *state)
  42050. +{
  42051. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42052. +
  42053. + if (!arm_state)
  42054. + goto out;
  42055. +
  42056. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42057. +
  42058. + write_lock_bh(&arm_state->susp_res_lock);
  42059. + if (arm_state->vc_suspend_state != VC_SUSPEND_SUSPENDED &&
  42060. + arm_state->first_connect &&
  42061. + !vchiq_videocore_wanted(state)) {
  42062. + vchiq_arm_vcsuspend(state);
  42063. + }
  42064. + write_unlock_bh(&arm_state->susp_res_lock);
  42065. +
  42066. +out:
  42067. + vchiq_log_trace(vchiq_susp_log_level, "%s exit", __func__);
  42068. + return;
  42069. +}
  42070. +
  42071. +
  42072. +int
  42073. +vchiq_arm_allow_resume(VCHIQ_STATE_T *state)
  42074. +{
  42075. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42076. + int resume = 0;
  42077. + int ret = -1;
  42078. +
  42079. + if (!arm_state)
  42080. + goto out;
  42081. +
  42082. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42083. +
  42084. + write_lock_bh(&arm_state->susp_res_lock);
  42085. + unblock_resume(arm_state);
  42086. + resume = vchiq_check_resume(state);
  42087. + write_unlock_bh(&arm_state->susp_res_lock);
  42088. +
  42089. + if (resume) {
  42090. + if (wait_for_completion_interruptible(
  42091. + &arm_state->vc_resume_complete) < 0) {
  42092. + vchiq_log_error(vchiq_susp_log_level,
  42093. + "%s interrupted", __func__);
  42094. + /* failed, cannot accurately derive suspend
  42095. + * state, so exit early. */
  42096. + goto out;
  42097. + }
  42098. + }
  42099. +
  42100. + read_lock_bh(&arm_state->susp_res_lock);
  42101. + if (arm_state->vc_suspend_state == VC_SUSPEND_SUSPENDED) {
  42102. + vchiq_log_info(vchiq_susp_log_level,
  42103. + "%s: Videocore remains suspended", __func__);
  42104. + } else {
  42105. + vchiq_log_info(vchiq_susp_log_level,
  42106. + "%s: Videocore resumed", __func__);
  42107. + ret = 0;
  42108. + }
  42109. + read_unlock_bh(&arm_state->susp_res_lock);
  42110. +out:
  42111. + vchiq_log_trace(vchiq_susp_log_level, "%s exit %d", __func__, ret);
  42112. + return ret;
  42113. +}
  42114. +
  42115. +/* This function should be called with the write lock held */
  42116. +int
  42117. +vchiq_check_resume(VCHIQ_STATE_T *state)
  42118. +{
  42119. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42120. + int resume = 0;
  42121. +
  42122. + if (!arm_state)
  42123. + goto out;
  42124. +
  42125. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42126. +
  42127. + if (need_resume(state)) {
  42128. + set_resume_state(arm_state, VC_RESUME_REQUESTED);
  42129. + request_poll(state, NULL, 0);
  42130. + resume = 1;
  42131. + }
  42132. +
  42133. +out:
  42134. + vchiq_log_trace(vchiq_susp_log_level, "%s exit", __func__);
  42135. + return resume;
  42136. +}
  42137. +
  42138. +void
  42139. +vchiq_platform_check_resume(VCHIQ_STATE_T *state)
  42140. +{
  42141. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42142. + int res = 0;
  42143. +
  42144. + if (!arm_state)
  42145. + goto out;
  42146. +
  42147. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42148. +
  42149. + write_lock_bh(&arm_state->susp_res_lock);
  42150. + if (arm_state->wake_address == 0) {
  42151. + vchiq_log_info(vchiq_susp_log_level,
  42152. + "%s: already awake", __func__);
  42153. + goto unlock;
  42154. + }
  42155. + if (arm_state->vc_resume_state == VC_RESUME_IN_PROGRESS) {
  42156. + vchiq_log_info(vchiq_susp_log_level,
  42157. + "%s: already resuming", __func__);
  42158. + goto unlock;
  42159. + }
  42160. +
  42161. + if (arm_state->vc_resume_state == VC_RESUME_REQUESTED) {
  42162. + set_resume_state(arm_state, VC_RESUME_IN_PROGRESS);
  42163. + res = 1;
  42164. + } else
  42165. + vchiq_log_trace(vchiq_susp_log_level,
  42166. + "%s: not resuming (resume state %s)", __func__,
  42167. + resume_state_names[arm_state->vc_resume_state +
  42168. + VC_RESUME_NUM_OFFSET]);
  42169. +
  42170. +unlock:
  42171. + write_unlock_bh(&arm_state->susp_res_lock);
  42172. +
  42173. + if (res)
  42174. + vchiq_platform_resume(state);
  42175. +
  42176. +out:
  42177. + vchiq_log_trace(vchiq_susp_log_level, "%s exit", __func__);
  42178. + return;
  42179. +
  42180. +}
  42181. +
  42182. +
  42183. +
  42184. +VCHIQ_STATUS_T
  42185. +vchiq_use_internal(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service,
  42186. + enum USE_TYPE_E use_type)
  42187. +{
  42188. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42189. + VCHIQ_STATUS_T ret = VCHIQ_SUCCESS;
  42190. + char entity[16];
  42191. + int *entity_uc;
  42192. + int local_uc, local_entity_uc;
  42193. +
  42194. + if (!arm_state)
  42195. + goto out;
  42196. +
  42197. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42198. +
  42199. + if (use_type == USE_TYPE_VCHIQ) {
  42200. + sprintf(entity, "VCHIQ: ");
  42201. + entity_uc = &arm_state->peer_use_count;
  42202. + } else if (service) {
  42203. + sprintf(entity, "%c%c%c%c:%03d",
  42204. + VCHIQ_FOURCC_AS_4CHARS(service->base.fourcc),
  42205. + service->client_id);
  42206. + entity_uc = &service->service_use_count;
  42207. + } else {
  42208. + vchiq_log_error(vchiq_susp_log_level, "%s null service "
  42209. + "ptr", __func__);
  42210. + ret = VCHIQ_ERROR;
  42211. + goto out;
  42212. + }
  42213. +
  42214. + write_lock_bh(&arm_state->susp_res_lock);
  42215. + while (arm_state->resume_blocked) {
  42216. + /* If we call 'use' while force suspend is waiting for suspend,
  42217. + * then we're about to block the thread which the force is
  42218. + * waiting to complete, so we're bound to just time out. In this
  42219. + * case, set the suspend state such that the wait will be
  42220. + * canceled, so we can complete as quickly as possible. */
  42221. + if (arm_state->resume_blocked && arm_state->vc_suspend_state ==
  42222. + VC_SUSPEND_IDLE) {
  42223. + set_suspend_state(arm_state, VC_SUSPEND_FORCE_CANCELED);
  42224. + break;
  42225. + }
  42226. + /* If suspend is already in progress then we need to block */
  42227. + if (!try_wait_for_completion(&arm_state->resume_blocker)) {
  42228. + /* Indicate that there are threads waiting on the resume
  42229. + * blocker. These need to be allowed to complete before
  42230. + * a _second_ call to force suspend can complete,
  42231. + * otherwise low priority threads might never actually
  42232. + * continue */
  42233. + arm_state->blocked_count++;
  42234. + write_unlock_bh(&arm_state->susp_res_lock);
  42235. + vchiq_log_info(vchiq_susp_log_level, "%s %s resume "
  42236. + "blocked - waiting...", __func__, entity);
  42237. + if (wait_for_completion_killable(
  42238. + &arm_state->resume_blocker) != 0) {
  42239. + vchiq_log_error(vchiq_susp_log_level, "%s %s "
  42240. + "wait for resume blocker interrupted",
  42241. + __func__, entity);
  42242. + ret = VCHIQ_ERROR;
  42243. + write_lock_bh(&arm_state->susp_res_lock);
  42244. + arm_state->blocked_count--;
  42245. + write_unlock_bh(&arm_state->susp_res_lock);
  42246. + goto out;
  42247. + }
  42248. + vchiq_log_info(vchiq_susp_log_level, "%s %s resume "
  42249. + "unblocked", __func__, entity);
  42250. + write_lock_bh(&arm_state->susp_res_lock);
  42251. + if (--arm_state->blocked_count == 0)
  42252. + complete_all(&arm_state->blocked_blocker);
  42253. + }
  42254. + }
  42255. +
  42256. + stop_suspend_timer(arm_state);
  42257. +
  42258. + local_uc = ++arm_state->videocore_use_count;
  42259. + local_entity_uc = ++(*entity_uc);
  42260. +
  42261. + /* If there's a pending request which hasn't yet been serviced then
  42262. + * just clear it. If we're past VC_SUSPEND_REQUESTED state then
  42263. + * vc_resume_complete will block until we either resume or fail to
  42264. + * suspend */
  42265. + if (arm_state->vc_suspend_state <= VC_SUSPEND_REQUESTED)
  42266. + set_suspend_state(arm_state, VC_SUSPEND_IDLE);
  42267. +
  42268. + if ((use_type != USE_TYPE_SERVICE_NO_RESUME) && need_resume(state)) {
  42269. + set_resume_state(arm_state, VC_RESUME_REQUESTED);
  42270. + vchiq_log_info(vchiq_susp_log_level,
  42271. + "%s %s count %d, state count %d",
  42272. + __func__, entity, local_entity_uc, local_uc);
  42273. + request_poll(state, NULL, 0);
  42274. + } else
  42275. + vchiq_log_trace(vchiq_susp_log_level,
  42276. + "%s %s count %d, state count %d",
  42277. + __func__, entity, *entity_uc, local_uc);
  42278. +
  42279. +
  42280. + write_unlock_bh(&arm_state->susp_res_lock);
  42281. +
  42282. + /* Completion is in a done state when we're not suspended, so this won't
  42283. + * block for the non-suspended case. */
  42284. + if (!try_wait_for_completion(&arm_state->vc_resume_complete)) {
  42285. + vchiq_log_info(vchiq_susp_log_level, "%s %s wait for resume",
  42286. + __func__, entity);
  42287. + if (wait_for_completion_killable(
  42288. + &arm_state->vc_resume_complete) != 0) {
  42289. + vchiq_log_error(vchiq_susp_log_level, "%s %s wait for "
  42290. + "resume interrupted", __func__, entity);
  42291. + ret = VCHIQ_ERROR;
  42292. + goto out;
  42293. + }
  42294. + vchiq_log_info(vchiq_susp_log_level, "%s %s resumed", __func__,
  42295. + entity);
  42296. + }
  42297. +
  42298. + if (ret == VCHIQ_SUCCESS) {
  42299. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  42300. + long ack_cnt = atomic_xchg(&arm_state->ka_use_ack_count, 0);
  42301. + while (ack_cnt && (status == VCHIQ_SUCCESS)) {
  42302. + /* Send the use notify to videocore */
  42303. + status = vchiq_send_remote_use_active(state);
  42304. + if (status == VCHIQ_SUCCESS)
  42305. + ack_cnt--;
  42306. + else
  42307. + atomic_add(ack_cnt,
  42308. + &arm_state->ka_use_ack_count);
  42309. + }
  42310. + }
  42311. +
  42312. +out:
  42313. + vchiq_log_trace(vchiq_susp_log_level, "%s exit %d", __func__, ret);
  42314. + return ret;
  42315. +}
  42316. +
  42317. +VCHIQ_STATUS_T
  42318. +vchiq_release_internal(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service)
  42319. +{
  42320. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42321. + VCHIQ_STATUS_T ret = VCHIQ_SUCCESS;
  42322. + char entity[16];
  42323. + int *entity_uc;
  42324. + int local_uc, local_entity_uc;
  42325. +
  42326. + if (!arm_state)
  42327. + goto out;
  42328. +
  42329. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42330. +
  42331. + if (service) {
  42332. + sprintf(entity, "%c%c%c%c:%03d",
  42333. + VCHIQ_FOURCC_AS_4CHARS(service->base.fourcc),
  42334. + service->client_id);
  42335. + entity_uc = &service->service_use_count;
  42336. + } else {
  42337. + sprintf(entity, "PEER: ");
  42338. + entity_uc = &arm_state->peer_use_count;
  42339. + }
  42340. +
  42341. + write_lock_bh(&arm_state->susp_res_lock);
  42342. + if (!arm_state->videocore_use_count || !(*entity_uc)) {
  42343. + /* Don't use BUG_ON - don't allow user thread to crash kernel */
  42344. + WARN_ON(!arm_state->videocore_use_count);
  42345. + WARN_ON(!(*entity_uc));
  42346. + ret = VCHIQ_ERROR;
  42347. + goto unlock;
  42348. + }
  42349. + local_uc = --arm_state->videocore_use_count;
  42350. + local_entity_uc = --(*entity_uc);
  42351. +
  42352. + if (!vchiq_videocore_wanted(state)) {
  42353. + if (vchiq_platform_use_suspend_timer() &&
  42354. + !arm_state->resume_blocked) {
  42355. + /* Only use the timer if we're not trying to force
  42356. + * suspend (=> resume_blocked) */
  42357. + start_suspend_timer(arm_state);
  42358. + } else {
  42359. + vchiq_log_info(vchiq_susp_log_level,
  42360. + "%s %s count %d, state count %d - suspending",
  42361. + __func__, entity, *entity_uc,
  42362. + arm_state->videocore_use_count);
  42363. + vchiq_arm_vcsuspend(state);
  42364. + }
  42365. + } else
  42366. + vchiq_log_trace(vchiq_susp_log_level,
  42367. + "%s %s count %d, state count %d",
  42368. + __func__, entity, *entity_uc,
  42369. + arm_state->videocore_use_count);
  42370. +
  42371. +unlock:
  42372. + write_unlock_bh(&arm_state->susp_res_lock);
  42373. +
  42374. +out:
  42375. + vchiq_log_trace(vchiq_susp_log_level, "%s exit %d", __func__, ret);
  42376. + return ret;
  42377. +}
  42378. +
  42379. +void
  42380. +vchiq_on_remote_use(VCHIQ_STATE_T *state)
  42381. +{
  42382. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42383. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42384. + atomic_inc(&arm_state->ka_use_count);
  42385. + complete(&arm_state->ka_evt);
  42386. +}
  42387. +
  42388. +void
  42389. +vchiq_on_remote_release(VCHIQ_STATE_T *state)
  42390. +{
  42391. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42392. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42393. + atomic_inc(&arm_state->ka_release_count);
  42394. + complete(&arm_state->ka_evt);
  42395. +}
  42396. +
  42397. +VCHIQ_STATUS_T
  42398. +vchiq_use_service_internal(VCHIQ_SERVICE_T *service)
  42399. +{
  42400. + return vchiq_use_internal(service->state, service, USE_TYPE_SERVICE);
  42401. +}
  42402. +
  42403. +VCHIQ_STATUS_T
  42404. +vchiq_release_service_internal(VCHIQ_SERVICE_T *service)
  42405. +{
  42406. + return vchiq_release_internal(service->state, service);
  42407. +}
  42408. +
  42409. +VCHIQ_DEBUGFS_NODE_T *
  42410. +vchiq_instance_get_debugfs_node(VCHIQ_INSTANCE_T instance)
  42411. +{
  42412. + return &instance->debugfs_node;
  42413. +}
  42414. +
  42415. +int
  42416. +vchiq_instance_get_use_count(VCHIQ_INSTANCE_T instance)
  42417. +{
  42418. + VCHIQ_SERVICE_T *service;
  42419. + int use_count = 0, i;
  42420. + i = 0;
  42421. + while ((service = next_service_by_instance(instance->state,
  42422. + instance, &i)) != NULL) {
  42423. + use_count += service->service_use_count;
  42424. + unlock_service(service);
  42425. + }
  42426. + return use_count;
  42427. +}
  42428. +
  42429. +int
  42430. +vchiq_instance_get_pid(VCHIQ_INSTANCE_T instance)
  42431. +{
  42432. + return instance->pid;
  42433. +}
  42434. +
  42435. +int
  42436. +vchiq_instance_get_trace(VCHIQ_INSTANCE_T instance)
  42437. +{
  42438. + return instance->trace;
  42439. +}
  42440. +
  42441. +void
  42442. +vchiq_instance_set_trace(VCHIQ_INSTANCE_T instance, int trace)
  42443. +{
  42444. + VCHIQ_SERVICE_T *service;
  42445. + int i;
  42446. + i = 0;
  42447. + while ((service = next_service_by_instance(instance->state,
  42448. + instance, &i)) != NULL) {
  42449. + service->trace = trace;
  42450. + unlock_service(service);
  42451. + }
  42452. + instance->trace = (trace != 0);
  42453. +}
  42454. +
  42455. +static void suspend_timer_callback(unsigned long context)
  42456. +{
  42457. + VCHIQ_STATE_T *state = (VCHIQ_STATE_T *)context;
  42458. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42459. + if (!arm_state)
  42460. + goto out;
  42461. + vchiq_log_info(vchiq_susp_log_level,
  42462. + "%s - suspend timer expired - check suspend", __func__);
  42463. + vchiq_check_suspend(state);
  42464. +out:
  42465. + return;
  42466. +}
  42467. +
  42468. +VCHIQ_STATUS_T
  42469. +vchiq_use_service_no_resume(VCHIQ_SERVICE_HANDLE_T handle)
  42470. +{
  42471. + VCHIQ_STATUS_T ret = VCHIQ_ERROR;
  42472. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  42473. + if (service) {
  42474. + ret = vchiq_use_internal(service->state, service,
  42475. + USE_TYPE_SERVICE_NO_RESUME);
  42476. + unlock_service(service);
  42477. + }
  42478. + return ret;
  42479. +}
  42480. +
  42481. +VCHIQ_STATUS_T
  42482. +vchiq_use_service(VCHIQ_SERVICE_HANDLE_T handle)
  42483. +{
  42484. + VCHIQ_STATUS_T ret = VCHIQ_ERROR;
  42485. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  42486. + if (service) {
  42487. + ret = vchiq_use_internal(service->state, service,
  42488. + USE_TYPE_SERVICE);
  42489. + unlock_service(service);
  42490. + }
  42491. + return ret;
  42492. +}
  42493. +
  42494. +VCHIQ_STATUS_T
  42495. +vchiq_release_service(VCHIQ_SERVICE_HANDLE_T handle)
  42496. +{
  42497. + VCHIQ_STATUS_T ret = VCHIQ_ERROR;
  42498. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  42499. + if (service) {
  42500. + ret = vchiq_release_internal(service->state, service);
  42501. + unlock_service(service);
  42502. + }
  42503. + return ret;
  42504. +}
  42505. +
  42506. +void
  42507. +vchiq_dump_service_use_state(VCHIQ_STATE_T *state)
  42508. +{
  42509. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42510. + int i, j = 0;
  42511. + /* Only dump 64 services */
  42512. + static const int local_max_services = 64;
  42513. + /* If there's more than 64 services, only dump ones with
  42514. + * non-zero counts */
  42515. + int only_nonzero = 0;
  42516. + static const char *nz = "<-- preventing suspend";
  42517. +
  42518. + enum vc_suspend_status vc_suspend_state;
  42519. + enum vc_resume_status vc_resume_state;
  42520. + int peer_count;
  42521. + int vc_use_count;
  42522. + int active_services;
  42523. + struct service_data_struct {
  42524. + int fourcc;
  42525. + int clientid;
  42526. + int use_count;
  42527. + } service_data[local_max_services];
  42528. +
  42529. + if (!arm_state)
  42530. + return;
  42531. +
  42532. + read_lock_bh(&arm_state->susp_res_lock);
  42533. + vc_suspend_state = arm_state->vc_suspend_state;
  42534. + vc_resume_state = arm_state->vc_resume_state;
  42535. + peer_count = arm_state->peer_use_count;
  42536. + vc_use_count = arm_state->videocore_use_count;
  42537. + active_services = state->unused_service;
  42538. + if (active_services > local_max_services)
  42539. + only_nonzero = 1;
  42540. +
  42541. + for (i = 0; (i < active_services) && (j < local_max_services); i++) {
  42542. + VCHIQ_SERVICE_T *service_ptr = state->services[i];
  42543. + if (!service_ptr)
  42544. + continue;
  42545. +
  42546. + if (only_nonzero && !service_ptr->service_use_count)
  42547. + continue;
  42548. +
  42549. + if (service_ptr->srvstate != VCHIQ_SRVSTATE_FREE) {
  42550. + service_data[j].fourcc = service_ptr->base.fourcc;
  42551. + service_data[j].clientid = service_ptr->client_id;
  42552. + service_data[j++].use_count = service_ptr->
  42553. + service_use_count;
  42554. + }
  42555. + }
  42556. +
  42557. + read_unlock_bh(&arm_state->susp_res_lock);
  42558. +
  42559. + vchiq_log_warning(vchiq_susp_log_level,
  42560. + "-- Videcore suspend state: %s --",
  42561. + suspend_state_names[vc_suspend_state + VC_SUSPEND_NUM_OFFSET]);
  42562. + vchiq_log_warning(vchiq_susp_log_level,
  42563. + "-- Videcore resume state: %s --",
  42564. + resume_state_names[vc_resume_state + VC_RESUME_NUM_OFFSET]);
  42565. +
  42566. + if (only_nonzero)
  42567. + vchiq_log_warning(vchiq_susp_log_level, "Too many active "
  42568. + "services (%d). Only dumping up to first %d services "
  42569. + "with non-zero use-count", active_services,
  42570. + local_max_services);
  42571. +
  42572. + for (i = 0; i < j; i++) {
  42573. + vchiq_log_warning(vchiq_susp_log_level,
  42574. + "----- %c%c%c%c:%d service count %d %s",
  42575. + VCHIQ_FOURCC_AS_4CHARS(service_data[i].fourcc),
  42576. + service_data[i].clientid,
  42577. + service_data[i].use_count,
  42578. + service_data[i].use_count ? nz : "");
  42579. + }
  42580. + vchiq_log_warning(vchiq_susp_log_level,
  42581. + "----- VCHIQ use count count %d", peer_count);
  42582. + vchiq_log_warning(vchiq_susp_log_level,
  42583. + "--- Overall vchiq instance use count %d", vc_use_count);
  42584. +
  42585. + vchiq_dump_platform_use_state(state);
  42586. +}
  42587. +
  42588. +VCHIQ_STATUS_T
  42589. +vchiq_check_service(VCHIQ_SERVICE_T *service)
  42590. +{
  42591. + VCHIQ_ARM_STATE_T *arm_state;
  42592. + VCHIQ_STATUS_T ret = VCHIQ_ERROR;
  42593. +
  42594. + if (!service || !service->state)
  42595. + goto out;
  42596. +
  42597. + vchiq_log_trace(vchiq_susp_log_level, "%s", __func__);
  42598. +
  42599. + arm_state = vchiq_platform_get_arm_state(service->state);
  42600. +
  42601. + read_lock_bh(&arm_state->susp_res_lock);
  42602. + if (service->service_use_count)
  42603. + ret = VCHIQ_SUCCESS;
  42604. + read_unlock_bh(&arm_state->susp_res_lock);
  42605. +
  42606. + if (ret == VCHIQ_ERROR) {
  42607. + vchiq_log_error(vchiq_susp_log_level,
  42608. + "%s ERROR - %c%c%c%c:%d service count %d, "
  42609. + "state count %d, videocore suspend state %s", __func__,
  42610. + VCHIQ_FOURCC_AS_4CHARS(service->base.fourcc),
  42611. + service->client_id, service->service_use_count,
  42612. + arm_state->videocore_use_count,
  42613. + suspend_state_names[arm_state->vc_suspend_state +
  42614. + VC_SUSPEND_NUM_OFFSET]);
  42615. + vchiq_dump_service_use_state(service->state);
  42616. + }
  42617. +out:
  42618. + return ret;
  42619. +}
  42620. +
  42621. +/* stub functions */
  42622. +void vchiq_on_remote_use_active(VCHIQ_STATE_T *state)
  42623. +{
  42624. + (void)state;
  42625. +}
  42626. +
  42627. +void vchiq_platform_conn_state_changed(VCHIQ_STATE_T *state,
  42628. + VCHIQ_CONNSTATE_T oldstate, VCHIQ_CONNSTATE_T newstate)
  42629. +{
  42630. + VCHIQ_ARM_STATE_T *arm_state = vchiq_platform_get_arm_state(state);
  42631. + vchiq_log_info(vchiq_susp_log_level, "%d: %s->%s", state->id,
  42632. + get_conn_state_name(oldstate), get_conn_state_name(newstate));
  42633. + if (state->conn_state == VCHIQ_CONNSTATE_CONNECTED) {
  42634. + write_lock_bh(&arm_state->susp_res_lock);
  42635. + if (!arm_state->first_connect) {
  42636. + char threadname[10];
  42637. + arm_state->first_connect = 1;
  42638. + write_unlock_bh(&arm_state->susp_res_lock);
  42639. + snprintf(threadname, sizeof(threadname), "VCHIQka-%d",
  42640. + state->id);
  42641. + arm_state->ka_thread = kthread_create(
  42642. + &vchiq_keepalive_thread_func,
  42643. + (void *)state,
  42644. + threadname);
  42645. + if (arm_state->ka_thread == NULL) {
  42646. + vchiq_log_error(vchiq_susp_log_level,
  42647. + "vchiq: FATAL: couldn't create thread %s",
  42648. + threadname);
  42649. + } else {
  42650. + wake_up_process(arm_state->ka_thread);
  42651. + }
  42652. + } else
  42653. + write_unlock_bh(&arm_state->susp_res_lock);
  42654. + }
  42655. +}
  42656. +
  42657. +static int vchiq_probe(struct platform_device *pdev)
  42658. +{
  42659. + struct device_node *fw_node;
  42660. + struct rpi_firmware *fw;
  42661. + int err;
  42662. + void *ptr_err;
  42663. +
  42664. + fw_node = of_parse_phandle(pdev->dev.of_node, "firmware", 0);
  42665. +/* Remove comment when booting without Device Tree is no longer supported
  42666. + if (!fw_node) {
  42667. + dev_err(&pdev->dev, "Missing firmware node\n");
  42668. + return -ENOENT;
  42669. + }
  42670. +*/
  42671. + fw = rpi_firmware_get(fw_node);
  42672. + if (!fw)
  42673. + return -EPROBE_DEFER;
  42674. +
  42675. + platform_set_drvdata(pdev, fw);
  42676. +
  42677. + /* create debugfs entries */
  42678. + err = vchiq_debugfs_init();
  42679. + if (err != 0)
  42680. + goto failed_debugfs_init;
  42681. +
  42682. + err = alloc_chrdev_region(&vchiq_devid, VCHIQ_MINOR, 1, DEVICE_NAME);
  42683. + if (err != 0) {
  42684. + vchiq_log_error(vchiq_arm_log_level,
  42685. + "Unable to allocate device number");
  42686. + goto failed_alloc_chrdev;
  42687. + }
  42688. + cdev_init(&vchiq_cdev, &vchiq_fops);
  42689. + vchiq_cdev.owner = THIS_MODULE;
  42690. + err = cdev_add(&vchiq_cdev, vchiq_devid, 1);
  42691. + if (err != 0) {
  42692. + vchiq_log_error(vchiq_arm_log_level,
  42693. + "Unable to register device");
  42694. + goto failed_cdev_add;
  42695. + }
  42696. +
  42697. + /* create sysfs entries */
  42698. + vchiq_class = class_create(THIS_MODULE, DEVICE_NAME);
  42699. + ptr_err = vchiq_class;
  42700. + if (IS_ERR(ptr_err))
  42701. + goto failed_class_create;
  42702. +
  42703. + vchiq_dev = device_create(vchiq_class, NULL,
  42704. + vchiq_devid, NULL, "vchiq");
  42705. + ptr_err = vchiq_dev;
  42706. + if (IS_ERR(ptr_err))
  42707. + goto failed_device_create;
  42708. +
  42709. + err = vchiq_platform_init(pdev, &g_state);
  42710. + if (err != 0)
  42711. + goto failed_platform_init;
  42712. +
  42713. + vchiq_log_info(vchiq_arm_log_level,
  42714. + "vchiq: initialised - version %d (min %d), device %d.%d",
  42715. + VCHIQ_VERSION, VCHIQ_VERSION_MIN,
  42716. + MAJOR(vchiq_devid), MINOR(vchiq_devid));
  42717. +
  42718. + return 0;
  42719. +
  42720. +failed_platform_init:
  42721. + device_destroy(vchiq_class, vchiq_devid);
  42722. +failed_device_create:
  42723. + class_destroy(vchiq_class);
  42724. +failed_class_create:
  42725. + cdev_del(&vchiq_cdev);
  42726. + err = PTR_ERR(ptr_err);
  42727. +failed_cdev_add:
  42728. + unregister_chrdev_region(vchiq_devid, 1);
  42729. +failed_alloc_chrdev:
  42730. + vchiq_debugfs_deinit();
  42731. +failed_debugfs_init:
  42732. + vchiq_log_warning(vchiq_arm_log_level, "could not load vchiq");
  42733. + return err;
  42734. +}
  42735. +
  42736. +static int vchiq_remove(struct platform_device *pdev)
  42737. +{
  42738. + device_destroy(vchiq_class, vchiq_devid);
  42739. + class_destroy(vchiq_class);
  42740. + cdev_del(&vchiq_cdev);
  42741. + unregister_chrdev_region(vchiq_devid, 1);
  42742. +
  42743. + return 0;
  42744. +}
  42745. +
  42746. +static const struct of_device_id vchiq_of_match[] = {
  42747. + { .compatible = "brcm,bcm2835-vchiq", },
  42748. + {},
  42749. +};
  42750. +MODULE_DEVICE_TABLE(of, vchiq_of_match);
  42751. +
  42752. +static struct platform_driver vchiq_driver = {
  42753. + .driver = {
  42754. + .name = "bcm2835_vchiq",
  42755. + .owner = THIS_MODULE,
  42756. + .of_match_table = vchiq_of_match,
  42757. + },
  42758. + .probe = vchiq_probe,
  42759. + .remove = vchiq_remove,
  42760. +};
  42761. +module_platform_driver(vchiq_driver);
  42762. +
  42763. +MODULE_LICENSE("GPL");
  42764. +MODULE_AUTHOR("Broadcom Corporation");
  42765. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.h
  42766. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.h 1970-01-01 01:00:00.000000000 +0100
  42767. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_arm.h 2015-11-29 09:42:38.071221476 +0100
  42768. @@ -0,0 +1,220 @@
  42769. +/**
  42770. + * Copyright (c) 2014 Raspberry Pi (Trading) Ltd. All rights reserved.
  42771. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  42772. + *
  42773. + * Redistribution and use in source and binary forms, with or without
  42774. + * modification, are permitted provided that the following conditions
  42775. + * are met:
  42776. + * 1. Redistributions of source code must retain the above copyright
  42777. + * notice, this list of conditions, and the following disclaimer,
  42778. + * without modification.
  42779. + * 2. Redistributions in binary form must reproduce the above copyright
  42780. + * notice, this list of conditions and the following disclaimer in the
  42781. + * documentation and/or other materials provided with the distribution.
  42782. + * 3. The names of the above-listed copyright holders may not be used
  42783. + * to endorse or promote products derived from this software without
  42784. + * specific prior written permission.
  42785. + *
  42786. + * ALTERNATIVELY, this software may be distributed under the terms of the
  42787. + * GNU General Public License ("GPL") version 2, as published by the Free
  42788. + * Software Foundation.
  42789. + *
  42790. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  42791. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  42792. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  42793. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  42794. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  42795. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  42796. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  42797. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  42798. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  42799. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  42800. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  42801. + */
  42802. +
  42803. +#ifndef VCHIQ_ARM_H
  42804. +#define VCHIQ_ARM_H
  42805. +
  42806. +#include <linux/mutex.h>
  42807. +#include <linux/platform_device.h>
  42808. +#include <linux/semaphore.h>
  42809. +#include <linux/atomic.h>
  42810. +#include "vchiq_core.h"
  42811. +#include "vchiq_debugfs.h"
  42812. +
  42813. +
  42814. +enum vc_suspend_status {
  42815. + VC_SUSPEND_FORCE_CANCELED = -3, /* Force suspend canceled, too busy */
  42816. + VC_SUSPEND_REJECTED = -2, /* Videocore rejected suspend request */
  42817. + VC_SUSPEND_FAILED = -1, /* Videocore suspend failed */
  42818. + VC_SUSPEND_IDLE = 0, /* VC active, no suspend actions */
  42819. + VC_SUSPEND_REQUESTED, /* User has requested suspend */
  42820. + VC_SUSPEND_IN_PROGRESS, /* Slot handler has recvd suspend request */
  42821. + VC_SUSPEND_SUSPENDED /* Videocore suspend succeeded */
  42822. +};
  42823. +
  42824. +enum vc_resume_status {
  42825. + VC_RESUME_FAILED = -1, /* Videocore resume failed */
  42826. + VC_RESUME_IDLE = 0, /* VC suspended, no resume actions */
  42827. + VC_RESUME_REQUESTED, /* User has requested resume */
  42828. + VC_RESUME_IN_PROGRESS, /* Slot handler has received resume request */
  42829. + VC_RESUME_RESUMED /* Videocore resumed successfully (active) */
  42830. +};
  42831. +
  42832. +
  42833. +enum USE_TYPE_E {
  42834. + USE_TYPE_SERVICE,
  42835. + USE_TYPE_SERVICE_NO_RESUME,
  42836. + USE_TYPE_VCHIQ
  42837. +};
  42838. +
  42839. +
  42840. +
  42841. +typedef struct vchiq_arm_state_struct {
  42842. + /* Keepalive-related data */
  42843. + struct task_struct *ka_thread;
  42844. + struct completion ka_evt;
  42845. + atomic_t ka_use_count;
  42846. + atomic_t ka_use_ack_count;
  42847. + atomic_t ka_release_count;
  42848. +
  42849. + struct completion vc_suspend_complete;
  42850. + struct completion vc_resume_complete;
  42851. +
  42852. + rwlock_t susp_res_lock;
  42853. + enum vc_suspend_status vc_suspend_state;
  42854. + enum vc_resume_status vc_resume_state;
  42855. +
  42856. + unsigned int wake_address;
  42857. +
  42858. + struct timer_list suspend_timer;
  42859. + int suspend_timer_timeout;
  42860. + int suspend_timer_running;
  42861. +
  42862. + /* Global use count for videocore.
  42863. + ** This is equal to the sum of the use counts for all services. When
  42864. + ** this hits zero the videocore suspend procedure will be initiated.
  42865. + */
  42866. + int videocore_use_count;
  42867. +
  42868. + /* Use count to track requests from videocore peer.
  42869. + ** This use count is not associated with a service, so needs to be
  42870. + ** tracked separately with the state.
  42871. + */
  42872. + int peer_use_count;
  42873. +
  42874. + /* Flag to indicate whether resume is blocked. This happens when the
  42875. + ** ARM is suspending
  42876. + */
  42877. + struct completion resume_blocker;
  42878. + int resume_blocked;
  42879. + struct completion blocked_blocker;
  42880. + int blocked_count;
  42881. +
  42882. + int autosuspend_override;
  42883. +
  42884. + /* Flag to indicate that the first vchiq connect has made it through.
  42885. + ** This means that both sides should be fully ready, and we should
  42886. + ** be able to suspend after this point.
  42887. + */
  42888. + int first_connect;
  42889. +
  42890. + unsigned long long suspend_start_time;
  42891. + unsigned long long sleep_start_time;
  42892. + unsigned long long resume_start_time;
  42893. + unsigned long long last_wake_time;
  42894. +
  42895. +} VCHIQ_ARM_STATE_T;
  42896. +
  42897. +extern int vchiq_arm_log_level;
  42898. +extern int vchiq_susp_log_level;
  42899. +
  42900. +int vchiq_platform_init(struct platform_device *pdev, VCHIQ_STATE_T *state);
  42901. +
  42902. +extern VCHIQ_STATE_T *
  42903. +vchiq_get_state(void);
  42904. +
  42905. +extern VCHIQ_STATUS_T
  42906. +vchiq_arm_vcsuspend(VCHIQ_STATE_T *state);
  42907. +
  42908. +extern VCHIQ_STATUS_T
  42909. +vchiq_arm_force_suspend(VCHIQ_STATE_T *state);
  42910. +
  42911. +extern int
  42912. +vchiq_arm_allow_resume(VCHIQ_STATE_T *state);
  42913. +
  42914. +extern VCHIQ_STATUS_T
  42915. +vchiq_arm_vcresume(VCHIQ_STATE_T *state);
  42916. +
  42917. +extern VCHIQ_STATUS_T
  42918. +vchiq_arm_init_state(VCHIQ_STATE_T *state, VCHIQ_ARM_STATE_T *arm_state);
  42919. +
  42920. +extern int
  42921. +vchiq_check_resume(VCHIQ_STATE_T *state);
  42922. +
  42923. +extern void
  42924. +vchiq_check_suspend(VCHIQ_STATE_T *state);
  42925. + VCHIQ_STATUS_T
  42926. +vchiq_use_service(VCHIQ_SERVICE_HANDLE_T handle);
  42927. +
  42928. +extern VCHIQ_STATUS_T
  42929. +vchiq_release_service(VCHIQ_SERVICE_HANDLE_T handle);
  42930. +
  42931. +extern VCHIQ_STATUS_T
  42932. +vchiq_check_service(VCHIQ_SERVICE_T *service);
  42933. +
  42934. +extern VCHIQ_STATUS_T
  42935. +vchiq_platform_suspend(VCHIQ_STATE_T *state);
  42936. +
  42937. +extern int
  42938. +vchiq_platform_videocore_wanted(VCHIQ_STATE_T *state);
  42939. +
  42940. +extern int
  42941. +vchiq_platform_use_suspend_timer(void);
  42942. +
  42943. +extern void
  42944. +vchiq_dump_platform_use_state(VCHIQ_STATE_T *state);
  42945. +
  42946. +extern void
  42947. +vchiq_dump_service_use_state(VCHIQ_STATE_T *state);
  42948. +
  42949. +extern VCHIQ_ARM_STATE_T*
  42950. +vchiq_platform_get_arm_state(VCHIQ_STATE_T *state);
  42951. +
  42952. +extern int
  42953. +vchiq_videocore_wanted(VCHIQ_STATE_T *state);
  42954. +
  42955. +extern VCHIQ_STATUS_T
  42956. +vchiq_use_internal(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service,
  42957. + enum USE_TYPE_E use_type);
  42958. +extern VCHIQ_STATUS_T
  42959. +vchiq_release_internal(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service);
  42960. +
  42961. +extern VCHIQ_DEBUGFS_NODE_T *
  42962. +vchiq_instance_get_debugfs_node(VCHIQ_INSTANCE_T instance);
  42963. +
  42964. +extern int
  42965. +vchiq_instance_get_use_count(VCHIQ_INSTANCE_T instance);
  42966. +
  42967. +extern int
  42968. +vchiq_instance_get_pid(VCHIQ_INSTANCE_T instance);
  42969. +
  42970. +extern int
  42971. +vchiq_instance_get_trace(VCHIQ_INSTANCE_T instance);
  42972. +
  42973. +extern void
  42974. +vchiq_instance_set_trace(VCHIQ_INSTANCE_T instance, int trace);
  42975. +
  42976. +extern void
  42977. +set_suspend_state(VCHIQ_ARM_STATE_T *arm_state,
  42978. + enum vc_suspend_status new_state);
  42979. +
  42980. +extern void
  42981. +set_resume_state(VCHIQ_ARM_STATE_T *arm_state,
  42982. + enum vc_resume_status new_state);
  42983. +
  42984. +extern void
  42985. +start_suspend_timer(VCHIQ_ARM_STATE_T *arm_state);
  42986. +
  42987. +
  42988. +#endif /* VCHIQ_ARM_H */
  42989. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_build_info.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_build_info.h
  42990. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_build_info.h 1970-01-01 01:00:00.000000000 +0100
  42991. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_build_info.h 2015-11-29 09:42:38.071221476 +0100
  42992. @@ -0,0 +1,37 @@
  42993. +/**
  42994. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  42995. + *
  42996. + * Redistribution and use in source and binary forms, with or without
  42997. + * modification, are permitted provided that the following conditions
  42998. + * are met:
  42999. + * 1. Redistributions of source code must retain the above copyright
  43000. + * notice, this list of conditions, and the following disclaimer,
  43001. + * without modification.
  43002. + * 2. Redistributions in binary form must reproduce the above copyright
  43003. + * notice, this list of conditions and the following disclaimer in the
  43004. + * documentation and/or other materials provided with the distribution.
  43005. + * 3. The names of the above-listed copyright holders may not be used
  43006. + * to endorse or promote products derived from this software without
  43007. + * specific prior written permission.
  43008. + *
  43009. + * ALTERNATIVELY, this software may be distributed under the terms of the
  43010. + * GNU General Public License ("GPL") version 2, as published by the Free
  43011. + * Software Foundation.
  43012. + *
  43013. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  43014. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  43015. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  43016. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  43017. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  43018. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  43019. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  43020. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  43021. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  43022. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  43023. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  43024. + */
  43025. +
  43026. +const char *vchiq_get_build_hostname(void);
  43027. +const char *vchiq_get_build_version(void);
  43028. +const char *vchiq_get_build_time(void);
  43029. +const char *vchiq_get_build_date(void);
  43030. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_cfg.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_cfg.h
  43031. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_cfg.h 1970-01-01 01:00:00.000000000 +0100
  43032. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_cfg.h 2015-11-29 09:42:38.071221476 +0100
  43033. @@ -0,0 +1,69 @@
  43034. +/**
  43035. + * Copyright (c) 2010-2014 Broadcom. All rights reserved.
  43036. + *
  43037. + * Redistribution and use in source and binary forms, with or without
  43038. + * modification, are permitted provided that the following conditions
  43039. + * are met:
  43040. + * 1. Redistributions of source code must retain the above copyright
  43041. + * notice, this list of conditions, and the following disclaimer,
  43042. + * without modification.
  43043. + * 2. Redistributions in binary form must reproduce the above copyright
  43044. + * notice, this list of conditions and the following disclaimer in the
  43045. + * documentation and/or other materials provided with the distribution.
  43046. + * 3. The names of the above-listed copyright holders may not be used
  43047. + * to endorse or promote products derived from this software without
  43048. + * specific prior written permission.
  43049. + *
  43050. + * ALTERNATIVELY, this software may be distributed under the terms of the
  43051. + * GNU General Public License ("GPL") version 2, as published by the Free
  43052. + * Software Foundation.
  43053. + *
  43054. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  43055. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  43056. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  43057. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  43058. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  43059. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  43060. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  43061. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  43062. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  43063. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  43064. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  43065. + */
  43066. +
  43067. +#ifndef VCHIQ_CFG_H
  43068. +#define VCHIQ_CFG_H
  43069. +
  43070. +#define VCHIQ_MAGIC VCHIQ_MAKE_FOURCC('V', 'C', 'H', 'I')
  43071. +/* The version of VCHIQ - change with any non-trivial change */
  43072. +#define VCHIQ_VERSION 8
  43073. +/* The minimum compatible version - update to match VCHIQ_VERSION with any
  43074. +** incompatible change */
  43075. +#define VCHIQ_VERSION_MIN 3
  43076. +
  43077. +/* The version that introduced the VCHIQ_IOC_LIB_VERSION ioctl */
  43078. +#define VCHIQ_VERSION_LIB_VERSION 7
  43079. +
  43080. +/* The version that introduced the VCHIQ_IOC_CLOSE_DELIVERED ioctl */
  43081. +#define VCHIQ_VERSION_CLOSE_DELIVERED 7
  43082. +
  43083. +/* The version that made it safe to use SYNCHRONOUS mode */
  43084. +#define VCHIQ_VERSION_SYNCHRONOUS_MODE 8
  43085. +
  43086. +#define VCHIQ_MAX_STATES 1
  43087. +#define VCHIQ_MAX_SERVICES 4096
  43088. +#define VCHIQ_MAX_SLOTS 128
  43089. +#define VCHIQ_MAX_SLOTS_PER_SIDE 64
  43090. +
  43091. +#define VCHIQ_NUM_CURRENT_BULKS 32
  43092. +#define VCHIQ_NUM_SERVICE_BULKS 4
  43093. +
  43094. +#ifndef VCHIQ_ENABLE_DEBUG
  43095. +#define VCHIQ_ENABLE_DEBUG 1
  43096. +#endif
  43097. +
  43098. +#ifndef VCHIQ_ENABLE_STATS
  43099. +#define VCHIQ_ENABLE_STATS 1
  43100. +#endif
  43101. +
  43102. +#endif /* VCHIQ_CFG_H */
  43103. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.c
  43104. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.c 1970-01-01 01:00:00.000000000 +0100
  43105. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.c 2015-11-29 09:42:38.071221476 +0100
  43106. @@ -0,0 +1,120 @@
  43107. +/**
  43108. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  43109. + *
  43110. + * Redistribution and use in source and binary forms, with or without
  43111. + * modification, are permitted provided that the following conditions
  43112. + * are met:
  43113. + * 1. Redistributions of source code must retain the above copyright
  43114. + * notice, this list of conditions, and the following disclaimer,
  43115. + * without modification.
  43116. + * 2. Redistributions in binary form must reproduce the above copyright
  43117. + * notice, this list of conditions and the following disclaimer in the
  43118. + * documentation and/or other materials provided with the distribution.
  43119. + * 3. The names of the above-listed copyright holders may not be used
  43120. + * to endorse or promote products derived from this software without
  43121. + * specific prior written permission.
  43122. + *
  43123. + * ALTERNATIVELY, this software may be distributed under the terms of the
  43124. + * GNU General Public License ("GPL") version 2, as published by the Free
  43125. + * Software Foundation.
  43126. + *
  43127. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  43128. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  43129. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  43130. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  43131. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  43132. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  43133. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  43134. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  43135. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  43136. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  43137. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  43138. + */
  43139. +
  43140. +#include "vchiq_connected.h"
  43141. +#include "vchiq_core.h"
  43142. +#include "vchiq_killable.h"
  43143. +#include <linux/module.h>
  43144. +#include <linux/mutex.h>
  43145. +
  43146. +#define MAX_CALLBACKS 10
  43147. +
  43148. +static int g_connected;
  43149. +static int g_num_deferred_callbacks;
  43150. +static VCHIQ_CONNECTED_CALLBACK_T g_deferred_callback[MAX_CALLBACKS];
  43151. +static int g_once_init;
  43152. +static struct mutex g_connected_mutex;
  43153. +
  43154. +/****************************************************************************
  43155. +*
  43156. +* Function to initialize our lock.
  43157. +*
  43158. +***************************************************************************/
  43159. +
  43160. +static void connected_init(void)
  43161. +{
  43162. + if (!g_once_init) {
  43163. + mutex_init(&g_connected_mutex);
  43164. + g_once_init = 1;
  43165. + }
  43166. +}
  43167. +
  43168. +/****************************************************************************
  43169. +*
  43170. +* This function is used to defer initialization until the vchiq stack is
  43171. +* initialized. If the stack is already initialized, then the callback will
  43172. +* be made immediately, otherwise it will be deferred until
  43173. +* vchiq_call_connected_callbacks is called.
  43174. +*
  43175. +***************************************************************************/
  43176. +
  43177. +void vchiq_add_connected_callback(VCHIQ_CONNECTED_CALLBACK_T callback)
  43178. +{
  43179. + connected_init();
  43180. +
  43181. + if (mutex_lock_interruptible(&g_connected_mutex) != 0)
  43182. + return;
  43183. +
  43184. + if (g_connected)
  43185. + /* We're already connected. Call the callback immediately. */
  43186. +
  43187. + callback();
  43188. + else {
  43189. + if (g_num_deferred_callbacks >= MAX_CALLBACKS)
  43190. + vchiq_log_error(vchiq_core_log_level,
  43191. + "There already %d callback registered - "
  43192. + "please increase MAX_CALLBACKS",
  43193. + g_num_deferred_callbacks);
  43194. + else {
  43195. + g_deferred_callback[g_num_deferred_callbacks] =
  43196. + callback;
  43197. + g_num_deferred_callbacks++;
  43198. + }
  43199. + }
  43200. + mutex_unlock(&g_connected_mutex);
  43201. +}
  43202. +
  43203. +/****************************************************************************
  43204. +*
  43205. +* This function is called by the vchiq stack once it has been connected to
  43206. +* the videocore and clients can start to use the stack.
  43207. +*
  43208. +***************************************************************************/
  43209. +
  43210. +void vchiq_call_connected_callbacks(void)
  43211. +{
  43212. + int i;
  43213. +
  43214. + connected_init();
  43215. +
  43216. + if (mutex_lock_interruptible(&g_connected_mutex) != 0)
  43217. + return;
  43218. +
  43219. + for (i = 0; i < g_num_deferred_callbacks; i++)
  43220. + g_deferred_callback[i]();
  43221. +
  43222. + g_num_deferred_callbacks = 0;
  43223. + g_connected = 1;
  43224. + mutex_unlock(&g_connected_mutex);
  43225. +}
  43226. +EXPORT_SYMBOL(vchiq_add_connected_callback);
  43227. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.h
  43228. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.h 1970-01-01 01:00:00.000000000 +0100
  43229. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_connected.h 2015-11-29 09:42:38.075221210 +0100
  43230. @@ -0,0 +1,50 @@
  43231. +/**
  43232. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  43233. + *
  43234. + * Redistribution and use in source and binary forms, with or without
  43235. + * modification, are permitted provided that the following conditions
  43236. + * are met:
  43237. + * 1. Redistributions of source code must retain the above copyright
  43238. + * notice, this list of conditions, and the following disclaimer,
  43239. + * without modification.
  43240. + * 2. Redistributions in binary form must reproduce the above copyright
  43241. + * notice, this list of conditions and the following disclaimer in the
  43242. + * documentation and/or other materials provided with the distribution.
  43243. + * 3. The names of the above-listed copyright holders may not be used
  43244. + * to endorse or promote products derived from this software without
  43245. + * specific prior written permission.
  43246. + *
  43247. + * ALTERNATIVELY, this software may be distributed under the terms of the
  43248. + * GNU General Public License ("GPL") version 2, as published by the Free
  43249. + * Software Foundation.
  43250. + *
  43251. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  43252. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  43253. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  43254. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  43255. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  43256. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  43257. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  43258. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  43259. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  43260. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  43261. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  43262. + */
  43263. +
  43264. +#ifndef VCHIQ_CONNECTED_H
  43265. +#define VCHIQ_CONNECTED_H
  43266. +
  43267. +/* ---- Include Files ----------------------------------------------------- */
  43268. +
  43269. +/* ---- Constants and Types ---------------------------------------------- */
  43270. +
  43271. +typedef void (*VCHIQ_CONNECTED_CALLBACK_T)(void);
  43272. +
  43273. +/* ---- Variable Externs ------------------------------------------------- */
  43274. +
  43275. +/* ---- Function Prototypes ---------------------------------------------- */
  43276. +
  43277. +void vchiq_add_connected_callback(VCHIQ_CONNECTED_CALLBACK_T callback);
  43278. +void vchiq_call_connected_callbacks(void);
  43279. +
  43280. +#endif /* VCHIQ_CONNECTED_H */
  43281. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.c
  43282. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.c 1970-01-01 01:00:00.000000000 +0100
  43283. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.c 2015-11-29 09:42:38.075221210 +0100
  43284. @@ -0,0 +1,3934 @@
  43285. +/**
  43286. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  43287. + *
  43288. + * Redistribution and use in source and binary forms, with or without
  43289. + * modification, are permitted provided that the following conditions
  43290. + * are met:
  43291. + * 1. Redistributions of source code must retain the above copyright
  43292. + * notice, this list of conditions, and the following disclaimer,
  43293. + * without modification.
  43294. + * 2. Redistributions in binary form must reproduce the above copyright
  43295. + * notice, this list of conditions and the following disclaimer in the
  43296. + * documentation and/or other materials provided with the distribution.
  43297. + * 3. The names of the above-listed copyright holders may not be used
  43298. + * to endorse or promote products derived from this software without
  43299. + * specific prior written permission.
  43300. + *
  43301. + * ALTERNATIVELY, this software may be distributed under the terms of the
  43302. + * GNU General Public License ("GPL") version 2, as published by the Free
  43303. + * Software Foundation.
  43304. + *
  43305. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  43306. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  43307. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  43308. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  43309. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  43310. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  43311. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  43312. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  43313. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  43314. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  43315. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  43316. + */
  43317. +
  43318. +#include "vchiq_core.h"
  43319. +#include "vchiq_killable.h"
  43320. +
  43321. +#define VCHIQ_SLOT_HANDLER_STACK 8192
  43322. +
  43323. +#define HANDLE_STATE_SHIFT 12
  43324. +
  43325. +#define SLOT_INFO_FROM_INDEX(state, index) (state->slot_info + (index))
  43326. +#define SLOT_DATA_FROM_INDEX(state, index) (state->slot_data + (index))
  43327. +#define SLOT_INDEX_FROM_DATA(state, data) \
  43328. + (((unsigned int)((char *)data - (char *)state->slot_data)) / \
  43329. + VCHIQ_SLOT_SIZE)
  43330. +#define SLOT_INDEX_FROM_INFO(state, info) \
  43331. + ((unsigned int)(info - state->slot_info))
  43332. +#define SLOT_QUEUE_INDEX_FROM_POS(pos) \
  43333. + ((int)((unsigned int)(pos) / VCHIQ_SLOT_SIZE))
  43334. +
  43335. +#define BULK_INDEX(x) (x & (VCHIQ_NUM_SERVICE_BULKS - 1))
  43336. +
  43337. +#define SRVTRACE_LEVEL(srv) \
  43338. + (((srv) && (srv)->trace) ? VCHIQ_LOG_TRACE : vchiq_core_msg_log_level)
  43339. +#define SRVTRACE_ENABLED(srv, lev) \
  43340. + (((srv) && (srv)->trace) || (vchiq_core_msg_log_level >= (lev)))
  43341. +
  43342. +struct vchiq_open_payload {
  43343. + int fourcc;
  43344. + int client_id;
  43345. + short version;
  43346. + short version_min;
  43347. +};
  43348. +
  43349. +struct vchiq_openack_payload {
  43350. + short version;
  43351. +};
  43352. +
  43353. +enum
  43354. +{
  43355. + QMFLAGS_IS_BLOCKING = (1 << 0),
  43356. + QMFLAGS_NO_MUTEX_LOCK = (1 << 1),
  43357. + QMFLAGS_NO_MUTEX_UNLOCK = (1 << 2)
  43358. +};
  43359. +
  43360. +/* we require this for consistency between endpoints */
  43361. +vchiq_static_assert(sizeof(VCHIQ_HEADER_T) == 8);
  43362. +vchiq_static_assert(IS_POW2(sizeof(VCHIQ_HEADER_T)));
  43363. +vchiq_static_assert(IS_POW2(VCHIQ_NUM_CURRENT_BULKS));
  43364. +vchiq_static_assert(IS_POW2(VCHIQ_NUM_SERVICE_BULKS));
  43365. +vchiq_static_assert(IS_POW2(VCHIQ_MAX_SERVICES));
  43366. +vchiq_static_assert(VCHIQ_VERSION >= VCHIQ_VERSION_MIN);
  43367. +
  43368. +/* Run time control of log level, based on KERN_XXX level. */
  43369. +int vchiq_core_log_level = VCHIQ_LOG_DEFAULT;
  43370. +int vchiq_core_msg_log_level = VCHIQ_LOG_DEFAULT;
  43371. +int vchiq_sync_log_level = VCHIQ_LOG_DEFAULT;
  43372. +
  43373. +static atomic_t pause_bulks_count = ATOMIC_INIT(0);
  43374. +
  43375. +static DEFINE_SPINLOCK(service_spinlock);
  43376. +DEFINE_SPINLOCK(bulk_waiter_spinlock);
  43377. +DEFINE_SPINLOCK(quota_spinlock);
  43378. +
  43379. +VCHIQ_STATE_T *vchiq_states[VCHIQ_MAX_STATES];
  43380. +static unsigned int handle_seq;
  43381. +
  43382. +static const char *const srvstate_names[] = {
  43383. + "FREE",
  43384. + "HIDDEN",
  43385. + "LISTENING",
  43386. + "OPENING",
  43387. + "OPEN",
  43388. + "OPENSYNC",
  43389. + "CLOSESENT",
  43390. + "CLOSERECVD",
  43391. + "CLOSEWAIT",
  43392. + "CLOSED"
  43393. +};
  43394. +
  43395. +static const char *const reason_names[] = {
  43396. + "SERVICE_OPENED",
  43397. + "SERVICE_CLOSED",
  43398. + "MESSAGE_AVAILABLE",
  43399. + "BULK_TRANSMIT_DONE",
  43400. + "BULK_RECEIVE_DONE",
  43401. + "BULK_TRANSMIT_ABORTED",
  43402. + "BULK_RECEIVE_ABORTED"
  43403. +};
  43404. +
  43405. +static const char *const conn_state_names[] = {
  43406. + "DISCONNECTED",
  43407. + "CONNECTING",
  43408. + "CONNECTED",
  43409. + "PAUSING",
  43410. + "PAUSE_SENT",
  43411. + "PAUSED",
  43412. + "RESUMING",
  43413. + "PAUSE_TIMEOUT",
  43414. + "RESUME_TIMEOUT"
  43415. +};
  43416. +
  43417. +
  43418. +static void
  43419. +release_message_sync(VCHIQ_STATE_T *state, VCHIQ_HEADER_T *header);
  43420. +
  43421. +static const char *msg_type_str(unsigned int msg_type)
  43422. +{
  43423. + switch (msg_type) {
  43424. + case VCHIQ_MSG_PADDING: return "PADDING";
  43425. + case VCHIQ_MSG_CONNECT: return "CONNECT";
  43426. + case VCHIQ_MSG_OPEN: return "OPEN";
  43427. + case VCHIQ_MSG_OPENACK: return "OPENACK";
  43428. + case VCHIQ_MSG_CLOSE: return "CLOSE";
  43429. + case VCHIQ_MSG_DATA: return "DATA";
  43430. + case VCHIQ_MSG_BULK_RX: return "BULK_RX";
  43431. + case VCHIQ_MSG_BULK_TX: return "BULK_TX";
  43432. + case VCHIQ_MSG_BULK_RX_DONE: return "BULK_RX_DONE";
  43433. + case VCHIQ_MSG_BULK_TX_DONE: return "BULK_TX_DONE";
  43434. + case VCHIQ_MSG_PAUSE: return "PAUSE";
  43435. + case VCHIQ_MSG_RESUME: return "RESUME";
  43436. + case VCHIQ_MSG_REMOTE_USE: return "REMOTE_USE";
  43437. + case VCHIQ_MSG_REMOTE_RELEASE: return "REMOTE_RELEASE";
  43438. + case VCHIQ_MSG_REMOTE_USE_ACTIVE: return "REMOTE_USE_ACTIVE";
  43439. + }
  43440. + return "???";
  43441. +}
  43442. +
  43443. +static inline void
  43444. +vchiq_set_service_state(VCHIQ_SERVICE_T *service, int newstate)
  43445. +{
  43446. + vchiq_log_info(vchiq_core_log_level, "%d: srv:%d %s->%s",
  43447. + service->state->id, service->localport,
  43448. + srvstate_names[service->srvstate],
  43449. + srvstate_names[newstate]);
  43450. + service->srvstate = newstate;
  43451. +}
  43452. +
  43453. +VCHIQ_SERVICE_T *
  43454. +find_service_by_handle(VCHIQ_SERVICE_HANDLE_T handle)
  43455. +{
  43456. + VCHIQ_SERVICE_T *service;
  43457. +
  43458. + spin_lock(&service_spinlock);
  43459. + service = handle_to_service(handle);
  43460. + if (service && (service->srvstate != VCHIQ_SRVSTATE_FREE) &&
  43461. + (service->handle == handle)) {
  43462. + BUG_ON(service->ref_count == 0);
  43463. + service->ref_count++;
  43464. + } else
  43465. + service = NULL;
  43466. + spin_unlock(&service_spinlock);
  43467. +
  43468. + if (!service)
  43469. + vchiq_log_info(vchiq_core_log_level,
  43470. + "Invalid service handle 0x%x", handle);
  43471. +
  43472. + return service;
  43473. +}
  43474. +
  43475. +VCHIQ_SERVICE_T *
  43476. +find_service_by_port(VCHIQ_STATE_T *state, int localport)
  43477. +{
  43478. + VCHIQ_SERVICE_T *service = NULL;
  43479. + if ((unsigned int)localport <= VCHIQ_PORT_MAX) {
  43480. + spin_lock(&service_spinlock);
  43481. + service = state->services[localport];
  43482. + if (service && (service->srvstate != VCHIQ_SRVSTATE_FREE)) {
  43483. + BUG_ON(service->ref_count == 0);
  43484. + service->ref_count++;
  43485. + } else
  43486. + service = NULL;
  43487. + spin_unlock(&service_spinlock);
  43488. + }
  43489. +
  43490. + if (!service)
  43491. + vchiq_log_info(vchiq_core_log_level,
  43492. + "Invalid port %d", localport);
  43493. +
  43494. + return service;
  43495. +}
  43496. +
  43497. +VCHIQ_SERVICE_T *
  43498. +find_service_for_instance(VCHIQ_INSTANCE_T instance,
  43499. + VCHIQ_SERVICE_HANDLE_T handle) {
  43500. + VCHIQ_SERVICE_T *service;
  43501. +
  43502. + spin_lock(&service_spinlock);
  43503. + service = handle_to_service(handle);
  43504. + if (service && (service->srvstate != VCHIQ_SRVSTATE_FREE) &&
  43505. + (service->handle == handle) &&
  43506. + (service->instance == instance)) {
  43507. + BUG_ON(service->ref_count == 0);
  43508. + service->ref_count++;
  43509. + } else
  43510. + service = NULL;
  43511. + spin_unlock(&service_spinlock);
  43512. +
  43513. + if (!service)
  43514. + vchiq_log_info(vchiq_core_log_level,
  43515. + "Invalid service handle 0x%x", handle);
  43516. +
  43517. + return service;
  43518. +}
  43519. +
  43520. +VCHIQ_SERVICE_T *
  43521. +find_closed_service_for_instance(VCHIQ_INSTANCE_T instance,
  43522. + VCHIQ_SERVICE_HANDLE_T handle) {
  43523. + VCHIQ_SERVICE_T *service;
  43524. +
  43525. + spin_lock(&service_spinlock);
  43526. + service = handle_to_service(handle);
  43527. + if (service &&
  43528. + ((service->srvstate == VCHIQ_SRVSTATE_FREE) ||
  43529. + (service->srvstate == VCHIQ_SRVSTATE_CLOSED)) &&
  43530. + (service->handle == handle) &&
  43531. + (service->instance == instance)) {
  43532. + BUG_ON(service->ref_count == 0);
  43533. + service->ref_count++;
  43534. + } else
  43535. + service = NULL;
  43536. + spin_unlock(&service_spinlock);
  43537. +
  43538. + if (!service)
  43539. + vchiq_log_info(vchiq_core_log_level,
  43540. + "Invalid service handle 0x%x", handle);
  43541. +
  43542. + return service;
  43543. +}
  43544. +
  43545. +VCHIQ_SERVICE_T *
  43546. +next_service_by_instance(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance,
  43547. + int *pidx)
  43548. +{
  43549. + VCHIQ_SERVICE_T *service = NULL;
  43550. + int idx = *pidx;
  43551. +
  43552. + spin_lock(&service_spinlock);
  43553. + while (idx < state->unused_service) {
  43554. + VCHIQ_SERVICE_T *srv = state->services[idx++];
  43555. + if (srv && (srv->srvstate != VCHIQ_SRVSTATE_FREE) &&
  43556. + (srv->instance == instance)) {
  43557. + service = srv;
  43558. + BUG_ON(service->ref_count == 0);
  43559. + service->ref_count++;
  43560. + break;
  43561. + }
  43562. + }
  43563. + spin_unlock(&service_spinlock);
  43564. +
  43565. + *pidx = idx;
  43566. +
  43567. + return service;
  43568. +}
  43569. +
  43570. +void
  43571. +lock_service(VCHIQ_SERVICE_T *service)
  43572. +{
  43573. + spin_lock(&service_spinlock);
  43574. + BUG_ON(!service || (service->ref_count == 0));
  43575. + if (service)
  43576. + service->ref_count++;
  43577. + spin_unlock(&service_spinlock);
  43578. +}
  43579. +
  43580. +void
  43581. +unlock_service(VCHIQ_SERVICE_T *service)
  43582. +{
  43583. + VCHIQ_STATE_T *state = service->state;
  43584. + spin_lock(&service_spinlock);
  43585. + BUG_ON(!service || (service->ref_count == 0));
  43586. + if (service && service->ref_count) {
  43587. + service->ref_count--;
  43588. + if (!service->ref_count) {
  43589. + BUG_ON(service->srvstate != VCHIQ_SRVSTATE_FREE);
  43590. + state->services[service->localport] = NULL;
  43591. + } else
  43592. + service = NULL;
  43593. + }
  43594. + spin_unlock(&service_spinlock);
  43595. +
  43596. + if (service && service->userdata_term)
  43597. + service->userdata_term(service->base.userdata);
  43598. +
  43599. + kfree(service);
  43600. +}
  43601. +
  43602. +int
  43603. +vchiq_get_client_id(VCHIQ_SERVICE_HANDLE_T handle)
  43604. +{
  43605. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  43606. + int id;
  43607. +
  43608. + id = service ? service->client_id : 0;
  43609. + if (service)
  43610. + unlock_service(service);
  43611. +
  43612. + return id;
  43613. +}
  43614. +
  43615. +void *
  43616. +vchiq_get_service_userdata(VCHIQ_SERVICE_HANDLE_T handle)
  43617. +{
  43618. + VCHIQ_SERVICE_T *service = handle_to_service(handle);
  43619. +
  43620. + return service ? service->base.userdata : NULL;
  43621. +}
  43622. +
  43623. +int
  43624. +vchiq_get_service_fourcc(VCHIQ_SERVICE_HANDLE_T handle)
  43625. +{
  43626. + VCHIQ_SERVICE_T *service = handle_to_service(handle);
  43627. +
  43628. + return service ? service->base.fourcc : 0;
  43629. +}
  43630. +
  43631. +static void
  43632. +mark_service_closing_internal(VCHIQ_SERVICE_T *service, int sh_thread)
  43633. +{
  43634. + VCHIQ_STATE_T *state = service->state;
  43635. + VCHIQ_SERVICE_QUOTA_T *service_quota;
  43636. +
  43637. + service->closing = 1;
  43638. +
  43639. + /* Synchronise with other threads. */
  43640. + mutex_lock(&state->recycle_mutex);
  43641. + mutex_unlock(&state->recycle_mutex);
  43642. + if (!sh_thread || (state->conn_state != VCHIQ_CONNSTATE_PAUSE_SENT)) {
  43643. + /* If we're pausing then the slot_mutex is held until resume
  43644. + * by the slot handler. Therefore don't try to acquire this
  43645. + * mutex if we're the slot handler and in the pause sent state.
  43646. + * We don't need to in this case anyway. */
  43647. + mutex_lock(&state->slot_mutex);
  43648. + mutex_unlock(&state->slot_mutex);
  43649. + }
  43650. +
  43651. + /* Unblock any sending thread. */
  43652. + service_quota = &state->service_quotas[service->localport];
  43653. + up(&service_quota->quota_event);
  43654. +}
  43655. +
  43656. +static void
  43657. +mark_service_closing(VCHIQ_SERVICE_T *service)
  43658. +{
  43659. + mark_service_closing_internal(service, 0);
  43660. +}
  43661. +
  43662. +static inline VCHIQ_STATUS_T
  43663. +make_service_callback(VCHIQ_SERVICE_T *service, VCHIQ_REASON_T reason,
  43664. + VCHIQ_HEADER_T *header, void *bulk_userdata)
  43665. +{
  43666. + VCHIQ_STATUS_T status;
  43667. + vchiq_log_trace(vchiq_core_log_level, "%d: callback:%d (%s, %x, %x)",
  43668. + service->state->id, service->localport, reason_names[reason],
  43669. + (unsigned int)header, (unsigned int)bulk_userdata);
  43670. + status = service->base.callback(reason, header, service->handle,
  43671. + bulk_userdata);
  43672. + if (status == VCHIQ_ERROR) {
  43673. + vchiq_log_warning(vchiq_core_log_level,
  43674. + "%d: ignoring ERROR from callback to service %x",
  43675. + service->state->id, service->handle);
  43676. + status = VCHIQ_SUCCESS;
  43677. + }
  43678. + return status;
  43679. +}
  43680. +
  43681. +inline void
  43682. +vchiq_set_conn_state(VCHIQ_STATE_T *state, VCHIQ_CONNSTATE_T newstate)
  43683. +{
  43684. + VCHIQ_CONNSTATE_T oldstate = state->conn_state;
  43685. + vchiq_log_info(vchiq_core_log_level, "%d: %s->%s", state->id,
  43686. + conn_state_names[oldstate],
  43687. + conn_state_names[newstate]);
  43688. + state->conn_state = newstate;
  43689. + vchiq_platform_conn_state_changed(state, oldstate, newstate);
  43690. +}
  43691. +
  43692. +static inline void
  43693. +remote_event_create(REMOTE_EVENT_T *event)
  43694. +{
  43695. + event->armed = 0;
  43696. + /* Don't clear the 'fired' flag because it may already have been set
  43697. + ** by the other side. */
  43698. + sema_init(event->event, 0);
  43699. +}
  43700. +
  43701. +static inline void
  43702. +remote_event_destroy(REMOTE_EVENT_T *event)
  43703. +{
  43704. + (void)event;
  43705. +}
  43706. +
  43707. +static inline int
  43708. +remote_event_wait(REMOTE_EVENT_T *event)
  43709. +{
  43710. + if (!event->fired) {
  43711. + event->armed = 1;
  43712. + dsb();
  43713. + if (!event->fired) {
  43714. + if (down_interruptible(event->event) != 0) {
  43715. + event->armed = 0;
  43716. + return 0;
  43717. + }
  43718. + }
  43719. + event->armed = 0;
  43720. + wmb();
  43721. + }
  43722. +
  43723. + event->fired = 0;
  43724. + return 1;
  43725. +}
  43726. +
  43727. +static inline void
  43728. +remote_event_signal_local(REMOTE_EVENT_T *event)
  43729. +{
  43730. + event->armed = 0;
  43731. + up(event->event);
  43732. +}
  43733. +
  43734. +static inline void
  43735. +remote_event_poll(REMOTE_EVENT_T *event)
  43736. +{
  43737. + if (event->fired && event->armed)
  43738. + remote_event_signal_local(event);
  43739. +}
  43740. +
  43741. +void
  43742. +remote_event_pollall(VCHIQ_STATE_T *state)
  43743. +{
  43744. + remote_event_poll(&state->local->sync_trigger);
  43745. + remote_event_poll(&state->local->sync_release);
  43746. + remote_event_poll(&state->local->trigger);
  43747. + remote_event_poll(&state->local->recycle);
  43748. +}
  43749. +
  43750. +/* Round up message sizes so that any space at the end of a slot is always big
  43751. +** enough for a header. This relies on header size being a power of two, which
  43752. +** has been verified earlier by a static assertion. */
  43753. +
  43754. +static inline unsigned int
  43755. +calc_stride(unsigned int size)
  43756. +{
  43757. + /* Allow room for the header */
  43758. + size += sizeof(VCHIQ_HEADER_T);
  43759. +
  43760. + /* Round up */
  43761. + return (size + sizeof(VCHIQ_HEADER_T) - 1) & ~(sizeof(VCHIQ_HEADER_T)
  43762. + - 1);
  43763. +}
  43764. +
  43765. +/* Called by the slot handler thread */
  43766. +static VCHIQ_SERVICE_T *
  43767. +get_listening_service(VCHIQ_STATE_T *state, int fourcc)
  43768. +{
  43769. + int i;
  43770. +
  43771. + WARN_ON(fourcc == VCHIQ_FOURCC_INVALID);
  43772. +
  43773. + for (i = 0; i < state->unused_service; i++) {
  43774. + VCHIQ_SERVICE_T *service = state->services[i];
  43775. + if (service &&
  43776. + (service->public_fourcc == fourcc) &&
  43777. + ((service->srvstate == VCHIQ_SRVSTATE_LISTENING) ||
  43778. + ((service->srvstate == VCHIQ_SRVSTATE_OPEN) &&
  43779. + (service->remoteport == VCHIQ_PORT_FREE)))) {
  43780. + lock_service(service);
  43781. + return service;
  43782. + }
  43783. + }
  43784. +
  43785. + return NULL;
  43786. +}
  43787. +
  43788. +/* Called by the slot handler thread */
  43789. +static VCHIQ_SERVICE_T *
  43790. +get_connected_service(VCHIQ_STATE_T *state, unsigned int port)
  43791. +{
  43792. + int i;
  43793. + for (i = 0; i < state->unused_service; i++) {
  43794. + VCHIQ_SERVICE_T *service = state->services[i];
  43795. + if (service && (service->srvstate == VCHIQ_SRVSTATE_OPEN)
  43796. + && (service->remoteport == port)) {
  43797. + lock_service(service);
  43798. + return service;
  43799. + }
  43800. + }
  43801. + return NULL;
  43802. +}
  43803. +
  43804. +inline void
  43805. +request_poll(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service, int poll_type)
  43806. +{
  43807. + uint32_t value;
  43808. +
  43809. + if (service) {
  43810. + do {
  43811. + value = atomic_read(&service->poll_flags);
  43812. + } while (atomic_cmpxchg(&service->poll_flags, value,
  43813. + value | (1 << poll_type)) != value);
  43814. +
  43815. + do {
  43816. + value = atomic_read(&state->poll_services[
  43817. + service->localport>>5]);
  43818. + } while (atomic_cmpxchg(
  43819. + &state->poll_services[service->localport>>5],
  43820. + value, value | (1 << (service->localport & 0x1f)))
  43821. + != value);
  43822. + }
  43823. +
  43824. + state->poll_needed = 1;
  43825. + wmb();
  43826. +
  43827. + /* ... and ensure the slot handler runs. */
  43828. + remote_event_signal_local(&state->local->trigger);
  43829. +}
  43830. +
  43831. +/* Called from queue_message, by the slot handler and application threads,
  43832. +** with slot_mutex held */
  43833. +static VCHIQ_HEADER_T *
  43834. +reserve_space(VCHIQ_STATE_T *state, int space, int is_blocking)
  43835. +{
  43836. + VCHIQ_SHARED_STATE_T *local = state->local;
  43837. + int tx_pos = state->local_tx_pos;
  43838. + int slot_space = VCHIQ_SLOT_SIZE - (tx_pos & VCHIQ_SLOT_MASK);
  43839. +
  43840. + if (space > slot_space) {
  43841. + VCHIQ_HEADER_T *header;
  43842. + /* Fill the remaining space with padding */
  43843. + WARN_ON(state->tx_data == NULL);
  43844. + header = (VCHIQ_HEADER_T *)
  43845. + (state->tx_data + (tx_pos & VCHIQ_SLOT_MASK));
  43846. + header->msgid = VCHIQ_MSGID_PADDING;
  43847. + header->size = slot_space - sizeof(VCHIQ_HEADER_T);
  43848. +
  43849. + tx_pos += slot_space;
  43850. + }
  43851. +
  43852. + /* If necessary, get the next slot. */
  43853. + if ((tx_pos & VCHIQ_SLOT_MASK) == 0) {
  43854. + int slot_index;
  43855. +
  43856. + /* If there is no free slot... */
  43857. +
  43858. + if (down_trylock(&state->slot_available_event) != 0) {
  43859. + /* ...wait for one. */
  43860. +
  43861. + VCHIQ_STATS_INC(state, slot_stalls);
  43862. +
  43863. + /* But first, flush through the last slot. */
  43864. + state->local_tx_pos = tx_pos;
  43865. + local->tx_pos = tx_pos;
  43866. + remote_event_signal(&state->remote->trigger);
  43867. +
  43868. + if (!is_blocking ||
  43869. + (down_interruptible(
  43870. + &state->slot_available_event) != 0))
  43871. + return NULL; /* No space available */
  43872. + }
  43873. +
  43874. + BUG_ON(tx_pos ==
  43875. + (state->slot_queue_available * VCHIQ_SLOT_SIZE));
  43876. +
  43877. + slot_index = local->slot_queue[
  43878. + SLOT_QUEUE_INDEX_FROM_POS(tx_pos) &
  43879. + VCHIQ_SLOT_QUEUE_MASK];
  43880. + state->tx_data =
  43881. + (char *)SLOT_DATA_FROM_INDEX(state, slot_index);
  43882. + }
  43883. +
  43884. + state->local_tx_pos = tx_pos + space;
  43885. +
  43886. + return (VCHIQ_HEADER_T *)(state->tx_data + (tx_pos & VCHIQ_SLOT_MASK));
  43887. +}
  43888. +
  43889. +/* Called by the recycle thread. */
  43890. +static void
  43891. +process_free_queue(VCHIQ_STATE_T *state)
  43892. +{
  43893. + VCHIQ_SHARED_STATE_T *local = state->local;
  43894. + BITSET_T service_found[BITSET_SIZE(VCHIQ_MAX_SERVICES)];
  43895. + int slot_queue_available;
  43896. +
  43897. + /* Use a read memory barrier to ensure that any state that may have
  43898. + ** been modified by another thread is not masked by stale prefetched
  43899. + ** values. */
  43900. + rmb();
  43901. +
  43902. + /* Find slots which have been freed by the other side, and return them
  43903. + ** to the available queue. */
  43904. + slot_queue_available = state->slot_queue_available;
  43905. +
  43906. + while (slot_queue_available != local->slot_queue_recycle) {
  43907. + unsigned int pos;
  43908. + int slot_index = local->slot_queue[slot_queue_available++ &
  43909. + VCHIQ_SLOT_QUEUE_MASK];
  43910. + char *data = (char *)SLOT_DATA_FROM_INDEX(state, slot_index);
  43911. + int data_found = 0;
  43912. +
  43913. + vchiq_log_trace(vchiq_core_log_level, "%d: pfq %d=%x %x %x",
  43914. + state->id, slot_index, (unsigned int)data,
  43915. + local->slot_queue_recycle, slot_queue_available);
  43916. +
  43917. + /* Initialise the bitmask for services which have used this
  43918. + ** slot */
  43919. + BITSET_ZERO(service_found);
  43920. +
  43921. + pos = 0;
  43922. +
  43923. + while (pos < VCHIQ_SLOT_SIZE) {
  43924. + VCHIQ_HEADER_T *header =
  43925. + (VCHIQ_HEADER_T *)(data + pos);
  43926. + int msgid = header->msgid;
  43927. + if (VCHIQ_MSG_TYPE(msgid) == VCHIQ_MSG_DATA) {
  43928. + int port = VCHIQ_MSG_SRCPORT(msgid);
  43929. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  43930. + &state->service_quotas[port];
  43931. + int count;
  43932. + spin_lock(&quota_spinlock);
  43933. + count = service_quota->message_use_count;
  43934. + if (count > 0)
  43935. + service_quota->message_use_count =
  43936. + count - 1;
  43937. + spin_unlock(&quota_spinlock);
  43938. +
  43939. + if (count == service_quota->message_quota)
  43940. + /* Signal the service that it
  43941. + ** has dropped below its quota
  43942. + */
  43943. + up(&service_quota->quota_event);
  43944. + else if (count == 0) {
  43945. + vchiq_log_error(vchiq_core_log_level,
  43946. + "service %d "
  43947. + "message_use_count=%d "
  43948. + "(header %x, msgid %x, "
  43949. + "header->msgid %x, "
  43950. + "header->size %x)",
  43951. + port,
  43952. + service_quota->
  43953. + message_use_count,
  43954. + (unsigned int)header, msgid,
  43955. + header->msgid,
  43956. + header->size);
  43957. + WARN(1, "invalid message use count\n");
  43958. + }
  43959. + if (!BITSET_IS_SET(service_found, port)) {
  43960. + /* Set the found bit for this service */
  43961. + BITSET_SET(service_found, port);
  43962. +
  43963. + spin_lock(&quota_spinlock);
  43964. + count = service_quota->slot_use_count;
  43965. + if (count > 0)
  43966. + service_quota->slot_use_count =
  43967. + count - 1;
  43968. + spin_unlock(&quota_spinlock);
  43969. +
  43970. + if (count > 0) {
  43971. + /* Signal the service in case
  43972. + ** it has dropped below its
  43973. + ** quota */
  43974. + up(&service_quota->quota_event);
  43975. + vchiq_log_trace(
  43976. + vchiq_core_log_level,
  43977. + "%d: pfq:%d %x@%x - "
  43978. + "slot_use->%d",
  43979. + state->id, port,
  43980. + header->size,
  43981. + (unsigned int)header,
  43982. + count - 1);
  43983. + } else {
  43984. + vchiq_log_error(
  43985. + vchiq_core_log_level,
  43986. + "service %d "
  43987. + "slot_use_count"
  43988. + "=%d (header %x"
  43989. + ", msgid %x, "
  43990. + "header->msgid"
  43991. + " %x, header->"
  43992. + "size %x)",
  43993. + port, count,
  43994. + (unsigned int)header,
  43995. + msgid,
  43996. + header->msgid,
  43997. + header->size);
  43998. + WARN(1, "bad slot use count\n");
  43999. + }
  44000. + }
  44001. +
  44002. + data_found = 1;
  44003. + }
  44004. +
  44005. + pos += calc_stride(header->size);
  44006. + if (pos > VCHIQ_SLOT_SIZE) {
  44007. + vchiq_log_error(vchiq_core_log_level,
  44008. + "pfq - pos %x: header %x, msgid %x, "
  44009. + "header->msgid %x, header->size %x",
  44010. + pos, (unsigned int)header, msgid,
  44011. + header->msgid, header->size);
  44012. + WARN(1, "invalid slot position\n");
  44013. + }
  44014. + }
  44015. +
  44016. + if (data_found) {
  44017. + int count;
  44018. + spin_lock(&quota_spinlock);
  44019. + count = state->data_use_count;
  44020. + if (count > 0)
  44021. + state->data_use_count =
  44022. + count - 1;
  44023. + spin_unlock(&quota_spinlock);
  44024. + if (count == state->data_quota)
  44025. + up(&state->data_quota_event);
  44026. + }
  44027. +
  44028. + state->slot_queue_available = slot_queue_available;
  44029. + up(&state->slot_available_event);
  44030. + }
  44031. +}
  44032. +
  44033. +/* Called by the slot handler and application threads */
  44034. +static VCHIQ_STATUS_T
  44035. +queue_message(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service,
  44036. + int msgid, const VCHIQ_ELEMENT_T *elements,
  44037. + int count, int size, int flags)
  44038. +{
  44039. + VCHIQ_SHARED_STATE_T *local;
  44040. + VCHIQ_SERVICE_QUOTA_T *service_quota = NULL;
  44041. + VCHIQ_HEADER_T *header;
  44042. + int type = VCHIQ_MSG_TYPE(msgid);
  44043. +
  44044. + unsigned int stride;
  44045. +
  44046. + local = state->local;
  44047. +
  44048. + stride = calc_stride(size);
  44049. +
  44050. + WARN_ON(!(stride <= VCHIQ_SLOT_SIZE));
  44051. +
  44052. + if (!(flags & QMFLAGS_NO_MUTEX_LOCK) &&
  44053. + (mutex_lock_interruptible(&state->slot_mutex) != 0))
  44054. + return VCHIQ_RETRY;
  44055. +
  44056. + if (type == VCHIQ_MSG_DATA) {
  44057. + int tx_end_index;
  44058. +
  44059. + BUG_ON(!service);
  44060. + BUG_ON((flags & (QMFLAGS_NO_MUTEX_LOCK |
  44061. + QMFLAGS_NO_MUTEX_UNLOCK)) != 0);
  44062. +
  44063. + if (service->closing) {
  44064. + /* The service has been closed */
  44065. + mutex_unlock(&state->slot_mutex);
  44066. + return VCHIQ_ERROR;
  44067. + }
  44068. +
  44069. + service_quota = &state->service_quotas[service->localport];
  44070. +
  44071. + spin_lock(&quota_spinlock);
  44072. +
  44073. + /* Ensure this service doesn't use more than its quota of
  44074. + ** messages or slots */
  44075. + tx_end_index = SLOT_QUEUE_INDEX_FROM_POS(
  44076. + state->local_tx_pos + stride - 1);
  44077. +
  44078. + /* Ensure data messages don't use more than their quota of
  44079. + ** slots */
  44080. + while ((tx_end_index != state->previous_data_index) &&
  44081. + (state->data_use_count == state->data_quota)) {
  44082. + VCHIQ_STATS_INC(state, data_stalls);
  44083. + spin_unlock(&quota_spinlock);
  44084. + mutex_unlock(&state->slot_mutex);
  44085. +
  44086. + if (down_interruptible(&state->data_quota_event)
  44087. + != 0)
  44088. + return VCHIQ_RETRY;
  44089. +
  44090. + mutex_lock(&state->slot_mutex);
  44091. + spin_lock(&quota_spinlock);
  44092. + tx_end_index = SLOT_QUEUE_INDEX_FROM_POS(
  44093. + state->local_tx_pos + stride - 1);
  44094. + if ((tx_end_index == state->previous_data_index) ||
  44095. + (state->data_use_count < state->data_quota)) {
  44096. + /* Pass the signal on to other waiters */
  44097. + up(&state->data_quota_event);
  44098. + break;
  44099. + }
  44100. + }
  44101. +
  44102. + while ((service_quota->message_use_count ==
  44103. + service_quota->message_quota) ||
  44104. + ((tx_end_index != service_quota->previous_tx_index) &&
  44105. + (service_quota->slot_use_count ==
  44106. + service_quota->slot_quota))) {
  44107. + spin_unlock(&quota_spinlock);
  44108. + vchiq_log_trace(vchiq_core_log_level,
  44109. + "%d: qm:%d %s,%x - quota stall "
  44110. + "(msg %d, slot %d)",
  44111. + state->id, service->localport,
  44112. + msg_type_str(type), size,
  44113. + service_quota->message_use_count,
  44114. + service_quota->slot_use_count);
  44115. + VCHIQ_SERVICE_STATS_INC(service, quota_stalls);
  44116. + mutex_unlock(&state->slot_mutex);
  44117. + if (down_interruptible(&service_quota->quota_event)
  44118. + != 0)
  44119. + return VCHIQ_RETRY;
  44120. + if (service->closing)
  44121. + return VCHIQ_ERROR;
  44122. + if (mutex_lock_interruptible(&state->slot_mutex) != 0)
  44123. + return VCHIQ_RETRY;
  44124. + if (service->srvstate != VCHIQ_SRVSTATE_OPEN) {
  44125. + /* The service has been closed */
  44126. + mutex_unlock(&state->slot_mutex);
  44127. + return VCHIQ_ERROR;
  44128. + }
  44129. + spin_lock(&quota_spinlock);
  44130. + tx_end_index = SLOT_QUEUE_INDEX_FROM_POS(
  44131. + state->local_tx_pos + stride - 1);
  44132. + }
  44133. +
  44134. + spin_unlock(&quota_spinlock);
  44135. + }
  44136. +
  44137. + header = reserve_space(state, stride, flags & QMFLAGS_IS_BLOCKING);
  44138. +
  44139. + if (!header) {
  44140. + if (service)
  44141. + VCHIQ_SERVICE_STATS_INC(service, slot_stalls);
  44142. + /* In the event of a failure, return the mutex to the
  44143. + state it was in */
  44144. + if (!(flags & QMFLAGS_NO_MUTEX_LOCK))
  44145. + mutex_unlock(&state->slot_mutex);
  44146. + return VCHIQ_RETRY;
  44147. + }
  44148. +
  44149. + if (type == VCHIQ_MSG_DATA) {
  44150. + int i, pos;
  44151. + int tx_end_index;
  44152. + int slot_use_count;
  44153. +
  44154. + vchiq_log_info(vchiq_core_log_level,
  44155. + "%d: qm %s@%x,%x (%d->%d)",
  44156. + state->id,
  44157. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44158. + (unsigned int)header, size,
  44159. + VCHIQ_MSG_SRCPORT(msgid),
  44160. + VCHIQ_MSG_DSTPORT(msgid));
  44161. +
  44162. + BUG_ON(!service);
  44163. + BUG_ON((flags & (QMFLAGS_NO_MUTEX_LOCK |
  44164. + QMFLAGS_NO_MUTEX_UNLOCK)) != 0);
  44165. +
  44166. + for (i = 0, pos = 0; i < (unsigned int)count;
  44167. + pos += elements[i++].size)
  44168. + if (elements[i].size) {
  44169. + if (vchiq_copy_from_user
  44170. + (header->data + pos, elements[i].data,
  44171. + (size_t) elements[i].size) !=
  44172. + VCHIQ_SUCCESS) {
  44173. + mutex_unlock(&state->slot_mutex);
  44174. + VCHIQ_SERVICE_STATS_INC(service,
  44175. + error_count);
  44176. + return VCHIQ_ERROR;
  44177. + }
  44178. + if (i == 0) {
  44179. + if (SRVTRACE_ENABLED(service,
  44180. + VCHIQ_LOG_INFO))
  44181. + vchiq_log_dump_mem("Sent", 0,
  44182. + header->data + pos,
  44183. + min(64u,
  44184. + elements[0].size));
  44185. + }
  44186. + }
  44187. +
  44188. + spin_lock(&quota_spinlock);
  44189. + service_quota->message_use_count++;
  44190. +
  44191. + tx_end_index =
  44192. + SLOT_QUEUE_INDEX_FROM_POS(state->local_tx_pos - 1);
  44193. +
  44194. + /* If this transmission can't fit in the last slot used by any
  44195. + ** service, the data_use_count must be increased. */
  44196. + if (tx_end_index != state->previous_data_index) {
  44197. + state->previous_data_index = tx_end_index;
  44198. + state->data_use_count++;
  44199. + }
  44200. +
  44201. + /* If this isn't the same slot last used by this service,
  44202. + ** the service's slot_use_count must be increased. */
  44203. + if (tx_end_index != service_quota->previous_tx_index) {
  44204. + service_quota->previous_tx_index = tx_end_index;
  44205. + slot_use_count = ++service_quota->slot_use_count;
  44206. + } else {
  44207. + slot_use_count = 0;
  44208. + }
  44209. +
  44210. + spin_unlock(&quota_spinlock);
  44211. +
  44212. + if (slot_use_count)
  44213. + vchiq_log_trace(vchiq_core_log_level,
  44214. + "%d: qm:%d %s,%x - slot_use->%d (hdr %p)",
  44215. + state->id, service->localport,
  44216. + msg_type_str(VCHIQ_MSG_TYPE(msgid)), size,
  44217. + slot_use_count, header);
  44218. +
  44219. + VCHIQ_SERVICE_STATS_INC(service, ctrl_tx_count);
  44220. + VCHIQ_SERVICE_STATS_ADD(service, ctrl_tx_bytes, size);
  44221. + } else {
  44222. + vchiq_log_info(vchiq_core_log_level,
  44223. + "%d: qm %s@%x,%x (%d->%d)", state->id,
  44224. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44225. + (unsigned int)header, size,
  44226. + VCHIQ_MSG_SRCPORT(msgid),
  44227. + VCHIQ_MSG_DSTPORT(msgid));
  44228. + if (size != 0) {
  44229. + WARN_ON(!((count == 1) && (size == elements[0].size)));
  44230. + memcpy(header->data, elements[0].data,
  44231. + elements[0].size);
  44232. + }
  44233. + VCHIQ_STATS_INC(state, ctrl_tx_count);
  44234. + }
  44235. +
  44236. + header->msgid = msgid;
  44237. + header->size = size;
  44238. +
  44239. + {
  44240. + int svc_fourcc;
  44241. +
  44242. + svc_fourcc = service
  44243. + ? service->base.fourcc
  44244. + : VCHIQ_MAKE_FOURCC('?', '?', '?', '?');
  44245. +
  44246. + vchiq_log_info(SRVTRACE_LEVEL(service),
  44247. + "Sent Msg %s(%u) to %c%c%c%c s:%u d:%d len:%d",
  44248. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44249. + VCHIQ_MSG_TYPE(msgid),
  44250. + VCHIQ_FOURCC_AS_4CHARS(svc_fourcc),
  44251. + VCHIQ_MSG_SRCPORT(msgid),
  44252. + VCHIQ_MSG_DSTPORT(msgid),
  44253. + size);
  44254. + }
  44255. +
  44256. + /* Make sure the new header is visible to the peer. */
  44257. + wmb();
  44258. +
  44259. + /* Make the new tx_pos visible to the peer. */
  44260. + local->tx_pos = state->local_tx_pos;
  44261. + wmb();
  44262. +
  44263. + if (service && (type == VCHIQ_MSG_CLOSE))
  44264. + vchiq_set_service_state(service, VCHIQ_SRVSTATE_CLOSESENT);
  44265. +
  44266. + if (!(flags & QMFLAGS_NO_MUTEX_UNLOCK))
  44267. + mutex_unlock(&state->slot_mutex);
  44268. +
  44269. + remote_event_signal(&state->remote->trigger);
  44270. +
  44271. + return VCHIQ_SUCCESS;
  44272. +}
  44273. +
  44274. +/* Called by the slot handler and application threads */
  44275. +static VCHIQ_STATUS_T
  44276. +queue_message_sync(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service,
  44277. + int msgid, const VCHIQ_ELEMENT_T *elements,
  44278. + int count, int size, int is_blocking)
  44279. +{
  44280. + VCHIQ_SHARED_STATE_T *local;
  44281. + VCHIQ_HEADER_T *header;
  44282. +
  44283. + local = state->local;
  44284. +
  44285. + if ((VCHIQ_MSG_TYPE(msgid) != VCHIQ_MSG_RESUME) &&
  44286. + (mutex_lock_interruptible(&state->sync_mutex) != 0))
  44287. + return VCHIQ_RETRY;
  44288. +
  44289. + remote_event_wait(&local->sync_release);
  44290. +
  44291. + rmb();
  44292. +
  44293. + header = (VCHIQ_HEADER_T *)SLOT_DATA_FROM_INDEX(state,
  44294. + local->slot_sync);
  44295. +
  44296. + {
  44297. + int oldmsgid = header->msgid;
  44298. + if (oldmsgid != VCHIQ_MSGID_PADDING)
  44299. + vchiq_log_error(vchiq_core_log_level,
  44300. + "%d: qms - msgid %x, not PADDING",
  44301. + state->id, oldmsgid);
  44302. + }
  44303. +
  44304. + if (service) {
  44305. + int i, pos;
  44306. +
  44307. + vchiq_log_info(vchiq_sync_log_level,
  44308. + "%d: qms %s@%x,%x (%d->%d)", state->id,
  44309. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44310. + (unsigned int)header, size,
  44311. + VCHIQ_MSG_SRCPORT(msgid),
  44312. + VCHIQ_MSG_DSTPORT(msgid));
  44313. +
  44314. + for (i = 0, pos = 0; i < (unsigned int)count;
  44315. + pos += elements[i++].size)
  44316. + if (elements[i].size) {
  44317. + if (vchiq_copy_from_user
  44318. + (header->data + pos, elements[i].data,
  44319. + (size_t) elements[i].size) !=
  44320. + VCHIQ_SUCCESS) {
  44321. + mutex_unlock(&state->sync_mutex);
  44322. + VCHIQ_SERVICE_STATS_INC(service,
  44323. + error_count);
  44324. + return VCHIQ_ERROR;
  44325. + }
  44326. + if (i == 0) {
  44327. + if (vchiq_sync_log_level >=
  44328. + VCHIQ_LOG_TRACE)
  44329. + vchiq_log_dump_mem("Sent Sync",
  44330. + 0, header->data + pos,
  44331. + min(64u,
  44332. + elements[0].size));
  44333. + }
  44334. + }
  44335. +
  44336. + VCHIQ_SERVICE_STATS_INC(service, ctrl_tx_count);
  44337. + VCHIQ_SERVICE_STATS_ADD(service, ctrl_tx_bytes, size);
  44338. + } else {
  44339. + vchiq_log_info(vchiq_sync_log_level,
  44340. + "%d: qms %s@%x,%x (%d->%d)", state->id,
  44341. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44342. + (unsigned int)header, size,
  44343. + VCHIQ_MSG_SRCPORT(msgid),
  44344. + VCHIQ_MSG_DSTPORT(msgid));
  44345. + if (size != 0) {
  44346. + WARN_ON(!((count == 1) && (size == elements[0].size)));
  44347. + memcpy(header->data, elements[0].data,
  44348. + elements[0].size);
  44349. + }
  44350. + VCHIQ_STATS_INC(state, ctrl_tx_count);
  44351. + }
  44352. +
  44353. + header->size = size;
  44354. + header->msgid = msgid;
  44355. +
  44356. + if (vchiq_sync_log_level >= VCHIQ_LOG_TRACE) {
  44357. + int svc_fourcc;
  44358. +
  44359. + svc_fourcc = service
  44360. + ? service->base.fourcc
  44361. + : VCHIQ_MAKE_FOURCC('?', '?', '?', '?');
  44362. +
  44363. + vchiq_log_trace(vchiq_sync_log_level,
  44364. + "Sent Sync Msg %s(%u) to %c%c%c%c s:%u d:%d len:%d",
  44365. + msg_type_str(VCHIQ_MSG_TYPE(msgid)),
  44366. + VCHIQ_MSG_TYPE(msgid),
  44367. + VCHIQ_FOURCC_AS_4CHARS(svc_fourcc),
  44368. + VCHIQ_MSG_SRCPORT(msgid),
  44369. + VCHIQ_MSG_DSTPORT(msgid),
  44370. + size);
  44371. + }
  44372. +
  44373. + /* Make sure the new header is visible to the peer. */
  44374. + wmb();
  44375. +
  44376. + remote_event_signal(&state->remote->sync_trigger);
  44377. +
  44378. + if (VCHIQ_MSG_TYPE(msgid) != VCHIQ_MSG_PAUSE)
  44379. + mutex_unlock(&state->sync_mutex);
  44380. +
  44381. + return VCHIQ_SUCCESS;
  44382. +}
  44383. +
  44384. +static inline void
  44385. +claim_slot(VCHIQ_SLOT_INFO_T *slot)
  44386. +{
  44387. + slot->use_count++;
  44388. +}
  44389. +
  44390. +static void
  44391. +release_slot(VCHIQ_STATE_T *state, VCHIQ_SLOT_INFO_T *slot_info,
  44392. + VCHIQ_HEADER_T *header, VCHIQ_SERVICE_T *service)
  44393. +{
  44394. + int release_count;
  44395. +
  44396. + mutex_lock(&state->recycle_mutex);
  44397. +
  44398. + if (header) {
  44399. + int msgid = header->msgid;
  44400. + if (((msgid & VCHIQ_MSGID_CLAIMED) == 0) ||
  44401. + (service && service->closing)) {
  44402. + mutex_unlock(&state->recycle_mutex);
  44403. + return;
  44404. + }
  44405. +
  44406. + /* Rewrite the message header to prevent a double
  44407. + ** release */
  44408. + header->msgid = msgid & ~VCHIQ_MSGID_CLAIMED;
  44409. + }
  44410. +
  44411. + release_count = slot_info->release_count;
  44412. + slot_info->release_count = ++release_count;
  44413. +
  44414. + if (release_count == slot_info->use_count) {
  44415. + int slot_queue_recycle;
  44416. + /* Add to the freed queue */
  44417. +
  44418. + /* A read barrier is necessary here to prevent speculative
  44419. + ** fetches of remote->slot_queue_recycle from overtaking the
  44420. + ** mutex. */
  44421. + rmb();
  44422. +
  44423. + slot_queue_recycle = state->remote->slot_queue_recycle;
  44424. + state->remote->slot_queue[slot_queue_recycle &
  44425. + VCHIQ_SLOT_QUEUE_MASK] =
  44426. + SLOT_INDEX_FROM_INFO(state, slot_info);
  44427. + state->remote->slot_queue_recycle = slot_queue_recycle + 1;
  44428. + vchiq_log_info(vchiq_core_log_level,
  44429. + "%d: release_slot %d - recycle->%x",
  44430. + state->id, SLOT_INDEX_FROM_INFO(state, slot_info),
  44431. + state->remote->slot_queue_recycle);
  44432. +
  44433. + /* A write barrier is necessary, but remote_event_signal
  44434. + ** contains one. */
  44435. + remote_event_signal(&state->remote->recycle);
  44436. + }
  44437. +
  44438. + mutex_unlock(&state->recycle_mutex);
  44439. +}
  44440. +
  44441. +/* Called by the slot handler - don't hold the bulk mutex */
  44442. +static VCHIQ_STATUS_T
  44443. +notify_bulks(VCHIQ_SERVICE_T *service, VCHIQ_BULK_QUEUE_T *queue,
  44444. + int retry_poll)
  44445. +{
  44446. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  44447. +
  44448. + vchiq_log_trace(vchiq_core_log_level,
  44449. + "%d: nb:%d %cx - p=%x rn=%x r=%x",
  44450. + service->state->id, service->localport,
  44451. + (queue == &service->bulk_tx) ? 't' : 'r',
  44452. + queue->process, queue->remote_notify, queue->remove);
  44453. +
  44454. + if (service->state->is_master) {
  44455. + while (queue->remote_notify != queue->process) {
  44456. + VCHIQ_BULK_T *bulk =
  44457. + &queue->bulks[BULK_INDEX(queue->remote_notify)];
  44458. + int msgtype = (bulk->dir == VCHIQ_BULK_TRANSMIT) ?
  44459. + VCHIQ_MSG_BULK_RX_DONE : VCHIQ_MSG_BULK_TX_DONE;
  44460. + int msgid = VCHIQ_MAKE_MSG(msgtype, service->localport,
  44461. + service->remoteport);
  44462. + VCHIQ_ELEMENT_T element = { &bulk->actual, 4 };
  44463. + /* Only reply to non-dummy bulk requests */
  44464. + if (bulk->remote_data) {
  44465. + status = queue_message(service->state, NULL,
  44466. + msgid, &element, 1, 4, 0);
  44467. + if (status != VCHIQ_SUCCESS)
  44468. + break;
  44469. + }
  44470. + queue->remote_notify++;
  44471. + }
  44472. + } else {
  44473. + queue->remote_notify = queue->process;
  44474. + }
  44475. +
  44476. + if (status == VCHIQ_SUCCESS) {
  44477. + while (queue->remove != queue->remote_notify) {
  44478. + VCHIQ_BULK_T *bulk =
  44479. + &queue->bulks[BULK_INDEX(queue->remove)];
  44480. +
  44481. + /* Only generate callbacks for non-dummy bulk
  44482. + ** requests, and non-terminated services */
  44483. + if (bulk->data && service->instance) {
  44484. + if (bulk->actual != VCHIQ_BULK_ACTUAL_ABORTED) {
  44485. + if (bulk->dir == VCHIQ_BULK_TRANSMIT) {
  44486. + VCHIQ_SERVICE_STATS_INC(service,
  44487. + bulk_tx_count);
  44488. + VCHIQ_SERVICE_STATS_ADD(service,
  44489. + bulk_tx_bytes,
  44490. + bulk->actual);
  44491. + } else {
  44492. + VCHIQ_SERVICE_STATS_INC(service,
  44493. + bulk_rx_count);
  44494. + VCHIQ_SERVICE_STATS_ADD(service,
  44495. + bulk_rx_bytes,
  44496. + bulk->actual);
  44497. + }
  44498. + } else {
  44499. + VCHIQ_SERVICE_STATS_INC(service,
  44500. + bulk_aborted_count);
  44501. + }
  44502. + if (bulk->mode == VCHIQ_BULK_MODE_BLOCKING) {
  44503. + struct bulk_waiter *waiter;
  44504. + spin_lock(&bulk_waiter_spinlock);
  44505. + waiter = bulk->userdata;
  44506. + if (waiter) {
  44507. + waiter->actual = bulk->actual;
  44508. + up(&waiter->event);
  44509. + }
  44510. + spin_unlock(&bulk_waiter_spinlock);
  44511. + } else if (bulk->mode ==
  44512. + VCHIQ_BULK_MODE_CALLBACK) {
  44513. + VCHIQ_REASON_T reason = (bulk->dir ==
  44514. + VCHIQ_BULK_TRANSMIT) ?
  44515. + ((bulk->actual ==
  44516. + VCHIQ_BULK_ACTUAL_ABORTED) ?
  44517. + VCHIQ_BULK_TRANSMIT_ABORTED :
  44518. + VCHIQ_BULK_TRANSMIT_DONE) :
  44519. + ((bulk->actual ==
  44520. + VCHIQ_BULK_ACTUAL_ABORTED) ?
  44521. + VCHIQ_BULK_RECEIVE_ABORTED :
  44522. + VCHIQ_BULK_RECEIVE_DONE);
  44523. + status = make_service_callback(service,
  44524. + reason, NULL, bulk->userdata);
  44525. + if (status == VCHIQ_RETRY)
  44526. + break;
  44527. + }
  44528. + }
  44529. +
  44530. + queue->remove++;
  44531. + up(&service->bulk_remove_event);
  44532. + }
  44533. + if (!retry_poll)
  44534. + status = VCHIQ_SUCCESS;
  44535. + }
  44536. +
  44537. + if (status == VCHIQ_RETRY)
  44538. + request_poll(service->state, service,
  44539. + (queue == &service->bulk_tx) ?
  44540. + VCHIQ_POLL_TXNOTIFY : VCHIQ_POLL_RXNOTIFY);
  44541. +
  44542. + return status;
  44543. +}
  44544. +
  44545. +/* Called by the slot handler thread */
  44546. +static void
  44547. +poll_services(VCHIQ_STATE_T *state)
  44548. +{
  44549. + int group, i;
  44550. +
  44551. + for (group = 0; group < BITSET_SIZE(state->unused_service); group++) {
  44552. + uint32_t flags;
  44553. + flags = atomic_xchg(&state->poll_services[group], 0);
  44554. + for (i = 0; flags; i++) {
  44555. + if (flags & (1 << i)) {
  44556. + VCHIQ_SERVICE_T *service =
  44557. + find_service_by_port(state,
  44558. + (group<<5) + i);
  44559. + uint32_t service_flags;
  44560. + flags &= ~(1 << i);
  44561. + if (!service)
  44562. + continue;
  44563. + service_flags =
  44564. + atomic_xchg(&service->poll_flags, 0);
  44565. + if (service_flags &
  44566. + (1 << VCHIQ_POLL_REMOVE)) {
  44567. + vchiq_log_info(vchiq_core_log_level,
  44568. + "%d: ps - remove %d<->%d",
  44569. + state->id, service->localport,
  44570. + service->remoteport);
  44571. +
  44572. + /* Make it look like a client, because
  44573. + it must be removed and not left in
  44574. + the LISTENING state. */
  44575. + service->public_fourcc =
  44576. + VCHIQ_FOURCC_INVALID;
  44577. +
  44578. + if (vchiq_close_service_internal(
  44579. + service, 0/*!close_recvd*/) !=
  44580. + VCHIQ_SUCCESS)
  44581. + request_poll(state, service,
  44582. + VCHIQ_POLL_REMOVE);
  44583. + } else if (service_flags &
  44584. + (1 << VCHIQ_POLL_TERMINATE)) {
  44585. + vchiq_log_info(vchiq_core_log_level,
  44586. + "%d: ps - terminate %d<->%d",
  44587. + state->id, service->localport,
  44588. + service->remoteport);
  44589. + if (vchiq_close_service_internal(
  44590. + service, 0/*!close_recvd*/) !=
  44591. + VCHIQ_SUCCESS)
  44592. + request_poll(state, service,
  44593. + VCHIQ_POLL_TERMINATE);
  44594. + }
  44595. + if (service_flags & (1 << VCHIQ_POLL_TXNOTIFY))
  44596. + notify_bulks(service,
  44597. + &service->bulk_tx,
  44598. + 1/*retry_poll*/);
  44599. + if (service_flags & (1 << VCHIQ_POLL_RXNOTIFY))
  44600. + notify_bulks(service,
  44601. + &service->bulk_rx,
  44602. + 1/*retry_poll*/);
  44603. + unlock_service(service);
  44604. + }
  44605. + }
  44606. + }
  44607. +}
  44608. +
  44609. +/* Called by the slot handler or application threads, holding the bulk mutex. */
  44610. +static int
  44611. +resolve_bulks(VCHIQ_SERVICE_T *service, VCHIQ_BULK_QUEUE_T *queue)
  44612. +{
  44613. + VCHIQ_STATE_T *state = service->state;
  44614. + int resolved = 0;
  44615. + int rc;
  44616. +
  44617. + while ((queue->process != queue->local_insert) &&
  44618. + (queue->process != queue->remote_insert)) {
  44619. + VCHIQ_BULK_T *bulk = &queue->bulks[BULK_INDEX(queue->process)];
  44620. +
  44621. + vchiq_log_trace(vchiq_core_log_level,
  44622. + "%d: rb:%d %cx - li=%x ri=%x p=%x",
  44623. + state->id, service->localport,
  44624. + (queue == &service->bulk_tx) ? 't' : 'r',
  44625. + queue->local_insert, queue->remote_insert,
  44626. + queue->process);
  44627. +
  44628. + WARN_ON(!((int)(queue->local_insert - queue->process) > 0));
  44629. + WARN_ON(!((int)(queue->remote_insert - queue->process) > 0));
  44630. +
  44631. + rc = mutex_lock_interruptible(&state->bulk_transfer_mutex);
  44632. + if (rc != 0)
  44633. + break;
  44634. +
  44635. + vchiq_transfer_bulk(bulk);
  44636. + mutex_unlock(&state->bulk_transfer_mutex);
  44637. +
  44638. + if (SRVTRACE_ENABLED(service, VCHIQ_LOG_INFO)) {
  44639. + const char *header = (queue == &service->bulk_tx) ?
  44640. + "Send Bulk to" : "Recv Bulk from";
  44641. + if (bulk->actual != VCHIQ_BULK_ACTUAL_ABORTED)
  44642. + vchiq_log_info(SRVTRACE_LEVEL(service),
  44643. + "%s %c%c%c%c d:%d len:%d %x<->%x",
  44644. + header,
  44645. + VCHIQ_FOURCC_AS_4CHARS(
  44646. + service->base.fourcc),
  44647. + service->remoteport,
  44648. + bulk->size,
  44649. + (unsigned int)bulk->data,
  44650. + (unsigned int)bulk->remote_data);
  44651. + else
  44652. + vchiq_log_info(SRVTRACE_LEVEL(service),
  44653. + "%s %c%c%c%c d:%d ABORTED - tx len:%d,"
  44654. + " rx len:%d %x<->%x",
  44655. + header,
  44656. + VCHIQ_FOURCC_AS_4CHARS(
  44657. + service->base.fourcc),
  44658. + service->remoteport,
  44659. + bulk->size,
  44660. + bulk->remote_size,
  44661. + (unsigned int)bulk->data,
  44662. + (unsigned int)bulk->remote_data);
  44663. + }
  44664. +
  44665. + vchiq_complete_bulk(bulk);
  44666. + queue->process++;
  44667. + resolved++;
  44668. + }
  44669. + return resolved;
  44670. +}
  44671. +
  44672. +/* Called with the bulk_mutex held */
  44673. +static void
  44674. +abort_outstanding_bulks(VCHIQ_SERVICE_T *service, VCHIQ_BULK_QUEUE_T *queue)
  44675. +{
  44676. + int is_tx = (queue == &service->bulk_tx);
  44677. + vchiq_log_trace(vchiq_core_log_level,
  44678. + "%d: aob:%d %cx - li=%x ri=%x p=%x",
  44679. + service->state->id, service->localport, is_tx ? 't' : 'r',
  44680. + queue->local_insert, queue->remote_insert, queue->process);
  44681. +
  44682. + WARN_ON(!((int)(queue->local_insert - queue->process) >= 0));
  44683. + WARN_ON(!((int)(queue->remote_insert - queue->process) >= 0));
  44684. +
  44685. + while ((queue->process != queue->local_insert) ||
  44686. + (queue->process != queue->remote_insert)) {
  44687. + VCHIQ_BULK_T *bulk = &queue->bulks[BULK_INDEX(queue->process)];
  44688. +
  44689. + if (queue->process == queue->remote_insert) {
  44690. + /* fabricate a matching dummy bulk */
  44691. + bulk->remote_data = NULL;
  44692. + bulk->remote_size = 0;
  44693. + queue->remote_insert++;
  44694. + }
  44695. +
  44696. + if (queue->process != queue->local_insert) {
  44697. + vchiq_complete_bulk(bulk);
  44698. +
  44699. + vchiq_log_info(SRVTRACE_LEVEL(service),
  44700. + "%s %c%c%c%c d:%d ABORTED - tx len:%d, "
  44701. + "rx len:%d",
  44702. + is_tx ? "Send Bulk to" : "Recv Bulk from",
  44703. + VCHIQ_FOURCC_AS_4CHARS(service->base.fourcc),
  44704. + service->remoteport,
  44705. + bulk->size,
  44706. + bulk->remote_size);
  44707. + } else {
  44708. + /* fabricate a matching dummy bulk */
  44709. + bulk->data = NULL;
  44710. + bulk->size = 0;
  44711. + bulk->actual = VCHIQ_BULK_ACTUAL_ABORTED;
  44712. + bulk->dir = is_tx ? VCHIQ_BULK_TRANSMIT :
  44713. + VCHIQ_BULK_RECEIVE;
  44714. + queue->local_insert++;
  44715. + }
  44716. +
  44717. + queue->process++;
  44718. + }
  44719. +}
  44720. +
  44721. +/* Called from the slot handler thread */
  44722. +static void
  44723. +pause_bulks(VCHIQ_STATE_T *state)
  44724. +{
  44725. + if (unlikely(atomic_inc_return(&pause_bulks_count) != 1)) {
  44726. + WARN_ON_ONCE(1);
  44727. + atomic_set(&pause_bulks_count, 1);
  44728. + return;
  44729. + }
  44730. +
  44731. + /* Block bulk transfers from all services */
  44732. + mutex_lock(&state->bulk_transfer_mutex);
  44733. +}
  44734. +
  44735. +/* Called from the slot handler thread */
  44736. +static void
  44737. +resume_bulks(VCHIQ_STATE_T *state)
  44738. +{
  44739. + int i;
  44740. + if (unlikely(atomic_dec_return(&pause_bulks_count) != 0)) {
  44741. + WARN_ON_ONCE(1);
  44742. + atomic_set(&pause_bulks_count, 0);
  44743. + return;
  44744. + }
  44745. +
  44746. + /* Allow bulk transfers from all services */
  44747. + mutex_unlock(&state->bulk_transfer_mutex);
  44748. +
  44749. + if (state->deferred_bulks == 0)
  44750. + return;
  44751. +
  44752. + /* Deal with any bulks which had to be deferred due to being in
  44753. + * paused state. Don't try to match up to number of deferred bulks
  44754. + * in case we've had something come and close the service in the
  44755. + * interim - just process all bulk queues for all services */
  44756. + vchiq_log_info(vchiq_core_log_level, "%s: processing %d deferred bulks",
  44757. + __func__, state->deferred_bulks);
  44758. +
  44759. + for (i = 0; i < state->unused_service; i++) {
  44760. + VCHIQ_SERVICE_T *service = state->services[i];
  44761. + int resolved_rx = 0;
  44762. + int resolved_tx = 0;
  44763. + if (!service || (service->srvstate != VCHIQ_SRVSTATE_OPEN))
  44764. + continue;
  44765. +
  44766. + mutex_lock(&service->bulk_mutex);
  44767. + resolved_rx = resolve_bulks(service, &service->bulk_rx);
  44768. + resolved_tx = resolve_bulks(service, &service->bulk_tx);
  44769. + mutex_unlock(&service->bulk_mutex);
  44770. + if (resolved_rx)
  44771. + notify_bulks(service, &service->bulk_rx, 1);
  44772. + if (resolved_tx)
  44773. + notify_bulks(service, &service->bulk_tx, 1);
  44774. + }
  44775. + state->deferred_bulks = 0;
  44776. +}
  44777. +
  44778. +static int
  44779. +parse_open(VCHIQ_STATE_T *state, VCHIQ_HEADER_T *header)
  44780. +{
  44781. + VCHIQ_SERVICE_T *service = NULL;
  44782. + int msgid, size;
  44783. + int type;
  44784. + unsigned int localport, remoteport;
  44785. +
  44786. + msgid = header->msgid;
  44787. + size = header->size;
  44788. + type = VCHIQ_MSG_TYPE(msgid);
  44789. + localport = VCHIQ_MSG_DSTPORT(msgid);
  44790. + remoteport = VCHIQ_MSG_SRCPORT(msgid);
  44791. + if (size >= sizeof(struct vchiq_open_payload)) {
  44792. + const struct vchiq_open_payload *payload =
  44793. + (struct vchiq_open_payload *)header->data;
  44794. + unsigned int fourcc;
  44795. +
  44796. + fourcc = payload->fourcc;
  44797. + vchiq_log_info(vchiq_core_log_level,
  44798. + "%d: prs OPEN@%x (%d->'%c%c%c%c')",
  44799. + state->id, (unsigned int)header,
  44800. + localport,
  44801. + VCHIQ_FOURCC_AS_4CHARS(fourcc));
  44802. +
  44803. + service = get_listening_service(state, fourcc);
  44804. +
  44805. + if (service) {
  44806. + /* A matching service exists */
  44807. + short version = payload->version;
  44808. + short version_min = payload->version_min;
  44809. + if ((service->version < version_min) ||
  44810. + (version < service->version_min)) {
  44811. + /* Version mismatch */
  44812. + vchiq_loud_error_header();
  44813. + vchiq_loud_error("%d: service %d (%c%c%c%c) "
  44814. + "version mismatch - local (%d, min %d)"
  44815. + " vs. remote (%d, min %d)",
  44816. + state->id, service->localport,
  44817. + VCHIQ_FOURCC_AS_4CHARS(fourcc),
  44818. + service->version, service->version_min,
  44819. + version, version_min);
  44820. + vchiq_loud_error_footer();
  44821. + unlock_service(service);
  44822. + service = NULL;
  44823. + goto fail_open;
  44824. + }
  44825. + service->peer_version = version;
  44826. +
  44827. + if (service->srvstate == VCHIQ_SRVSTATE_LISTENING) {
  44828. + struct vchiq_openack_payload ack_payload = {
  44829. + service->version
  44830. + };
  44831. + VCHIQ_ELEMENT_T body = {
  44832. + &ack_payload,
  44833. + sizeof(ack_payload)
  44834. + };
  44835. +
  44836. + if (state->version_common <
  44837. + VCHIQ_VERSION_SYNCHRONOUS_MODE)
  44838. + service->sync = 0;
  44839. +
  44840. + /* Acknowledge the OPEN */
  44841. + if (service->sync &&
  44842. + (state->version_common >=
  44843. + VCHIQ_VERSION_SYNCHRONOUS_MODE)) {
  44844. + if (queue_message_sync(state, NULL,
  44845. + VCHIQ_MAKE_MSG(
  44846. + VCHIQ_MSG_OPENACK,
  44847. + service->localport,
  44848. + remoteport),
  44849. + &body, 1, sizeof(ack_payload),
  44850. + 0) == VCHIQ_RETRY)
  44851. + goto bail_not_ready;
  44852. + } else {
  44853. + if (queue_message(state, NULL,
  44854. + VCHIQ_MAKE_MSG(
  44855. + VCHIQ_MSG_OPENACK,
  44856. + service->localport,
  44857. + remoteport),
  44858. + &body, 1, sizeof(ack_payload),
  44859. + 0) == VCHIQ_RETRY)
  44860. + goto bail_not_ready;
  44861. + }
  44862. +
  44863. + /* The service is now open */
  44864. + vchiq_set_service_state(service,
  44865. + service->sync ? VCHIQ_SRVSTATE_OPENSYNC
  44866. + : VCHIQ_SRVSTATE_OPEN);
  44867. + }
  44868. +
  44869. + service->remoteport = remoteport;
  44870. + service->client_id = ((int *)header->data)[1];
  44871. + if (make_service_callback(service, VCHIQ_SERVICE_OPENED,
  44872. + NULL, NULL) == VCHIQ_RETRY) {
  44873. + /* Bail out if not ready */
  44874. + service->remoteport = VCHIQ_PORT_FREE;
  44875. + goto bail_not_ready;
  44876. + }
  44877. +
  44878. + /* Success - the message has been dealt with */
  44879. + unlock_service(service);
  44880. + return 1;
  44881. + }
  44882. + }
  44883. +
  44884. +fail_open:
  44885. + /* No available service, or an invalid request - send a CLOSE */
  44886. + if (queue_message(state, NULL,
  44887. + VCHIQ_MAKE_MSG(VCHIQ_MSG_CLOSE, 0, VCHIQ_MSG_SRCPORT(msgid)),
  44888. + NULL, 0, 0, 0) == VCHIQ_RETRY)
  44889. + goto bail_not_ready;
  44890. +
  44891. + return 1;
  44892. +
  44893. +bail_not_ready:
  44894. + if (service)
  44895. + unlock_service(service);
  44896. +
  44897. + return 0;
  44898. +}
  44899. +
  44900. +/* Called by the slot handler thread */
  44901. +static void
  44902. +parse_rx_slots(VCHIQ_STATE_T *state)
  44903. +{
  44904. + VCHIQ_SHARED_STATE_T *remote = state->remote;
  44905. + VCHIQ_SERVICE_T *service = NULL;
  44906. + int tx_pos;
  44907. + DEBUG_INITIALISE(state->local)
  44908. +
  44909. + tx_pos = remote->tx_pos;
  44910. +
  44911. + while (state->rx_pos != tx_pos) {
  44912. + VCHIQ_HEADER_T *header;
  44913. + int msgid, size;
  44914. + int type;
  44915. + unsigned int localport, remoteport;
  44916. +
  44917. + DEBUG_TRACE(PARSE_LINE);
  44918. + if (!state->rx_data) {
  44919. + int rx_index;
  44920. + WARN_ON(!((state->rx_pos & VCHIQ_SLOT_MASK) == 0));
  44921. + rx_index = remote->slot_queue[
  44922. + SLOT_QUEUE_INDEX_FROM_POS(state->rx_pos) &
  44923. + VCHIQ_SLOT_QUEUE_MASK];
  44924. + state->rx_data = (char *)SLOT_DATA_FROM_INDEX(state,
  44925. + rx_index);
  44926. + state->rx_info = SLOT_INFO_FROM_INDEX(state, rx_index);
  44927. +
  44928. + /* Initialise use_count to one, and increment
  44929. + ** release_count at the end of the slot to avoid
  44930. + ** releasing the slot prematurely. */
  44931. + state->rx_info->use_count = 1;
  44932. + state->rx_info->release_count = 0;
  44933. + }
  44934. +
  44935. + header = (VCHIQ_HEADER_T *)(state->rx_data +
  44936. + (state->rx_pos & VCHIQ_SLOT_MASK));
  44937. + DEBUG_VALUE(PARSE_HEADER, (int)header);
  44938. + msgid = header->msgid;
  44939. + DEBUG_VALUE(PARSE_MSGID, msgid);
  44940. + size = header->size;
  44941. + type = VCHIQ_MSG_TYPE(msgid);
  44942. + localport = VCHIQ_MSG_DSTPORT(msgid);
  44943. + remoteport = VCHIQ_MSG_SRCPORT(msgid);
  44944. +
  44945. + if (type != VCHIQ_MSG_DATA)
  44946. + VCHIQ_STATS_INC(state, ctrl_rx_count);
  44947. +
  44948. + switch (type) {
  44949. + case VCHIQ_MSG_OPENACK:
  44950. + case VCHIQ_MSG_CLOSE:
  44951. + case VCHIQ_MSG_DATA:
  44952. + case VCHIQ_MSG_BULK_RX:
  44953. + case VCHIQ_MSG_BULK_TX:
  44954. + case VCHIQ_MSG_BULK_RX_DONE:
  44955. + case VCHIQ_MSG_BULK_TX_DONE:
  44956. + service = find_service_by_port(state, localport);
  44957. + if ((!service ||
  44958. + ((service->remoteport != remoteport) &&
  44959. + (service->remoteport != VCHIQ_PORT_FREE))) &&
  44960. + (localport == 0) &&
  44961. + (type == VCHIQ_MSG_CLOSE)) {
  44962. + /* This could be a CLOSE from a client which
  44963. + hadn't yet received the OPENACK - look for
  44964. + the connected service */
  44965. + if (service)
  44966. + unlock_service(service);
  44967. + service = get_connected_service(state,
  44968. + remoteport);
  44969. + if (service)
  44970. + vchiq_log_warning(vchiq_core_log_level,
  44971. + "%d: prs %s@%x (%d->%d) - "
  44972. + "found connected service %d",
  44973. + state->id, msg_type_str(type),
  44974. + (unsigned int)header,
  44975. + remoteport, localport,
  44976. + service->localport);
  44977. + }
  44978. +
  44979. + if (!service) {
  44980. + vchiq_log_error(vchiq_core_log_level,
  44981. + "%d: prs %s@%x (%d->%d) - "
  44982. + "invalid/closed service %d",
  44983. + state->id, msg_type_str(type),
  44984. + (unsigned int)header,
  44985. + remoteport, localport, localport);
  44986. + goto skip_message;
  44987. + }
  44988. + break;
  44989. + default:
  44990. + break;
  44991. + }
  44992. +
  44993. + if (SRVTRACE_ENABLED(service, VCHIQ_LOG_INFO)) {
  44994. + int svc_fourcc;
  44995. +
  44996. + svc_fourcc = service
  44997. + ? service->base.fourcc
  44998. + : VCHIQ_MAKE_FOURCC('?', '?', '?', '?');
  44999. + vchiq_log_info(SRVTRACE_LEVEL(service),
  45000. + "Rcvd Msg %s(%u) from %c%c%c%c s:%d d:%d "
  45001. + "len:%d",
  45002. + msg_type_str(type), type,
  45003. + VCHIQ_FOURCC_AS_4CHARS(svc_fourcc),
  45004. + remoteport, localport, size);
  45005. + if (size > 0)
  45006. + vchiq_log_dump_mem("Rcvd", 0, header->data,
  45007. + min(64, size));
  45008. + }
  45009. +
  45010. + if (((unsigned int)header & VCHIQ_SLOT_MASK) + calc_stride(size)
  45011. + > VCHIQ_SLOT_SIZE) {
  45012. + vchiq_log_error(vchiq_core_log_level,
  45013. + "header %x (msgid %x) - size %x too big for "
  45014. + "slot",
  45015. + (unsigned int)header, (unsigned int)msgid,
  45016. + (unsigned int)size);
  45017. + WARN(1, "oversized for slot\n");
  45018. + }
  45019. +
  45020. + switch (type) {
  45021. + case VCHIQ_MSG_OPEN:
  45022. + WARN_ON(!(VCHIQ_MSG_DSTPORT(msgid) == 0));
  45023. + if (!parse_open(state, header))
  45024. + goto bail_not_ready;
  45025. + break;
  45026. + case VCHIQ_MSG_OPENACK:
  45027. + if (size >= sizeof(struct vchiq_openack_payload)) {
  45028. + const struct vchiq_openack_payload *payload =
  45029. + (struct vchiq_openack_payload *)
  45030. + header->data;
  45031. + service->peer_version = payload->version;
  45032. + }
  45033. + vchiq_log_info(vchiq_core_log_level,
  45034. + "%d: prs OPENACK@%x,%x (%d->%d) v:%d",
  45035. + state->id, (unsigned int)header, size,
  45036. + remoteport, localport, service->peer_version);
  45037. + if (service->srvstate ==
  45038. + VCHIQ_SRVSTATE_OPENING) {
  45039. + service->remoteport = remoteport;
  45040. + vchiq_set_service_state(service,
  45041. + VCHIQ_SRVSTATE_OPEN);
  45042. + up(&service->remove_event);
  45043. + } else
  45044. + vchiq_log_error(vchiq_core_log_level,
  45045. + "OPENACK received in state %s",
  45046. + srvstate_names[service->srvstate]);
  45047. + break;
  45048. + case VCHIQ_MSG_CLOSE:
  45049. + WARN_ON(size != 0); /* There should be no data */
  45050. +
  45051. + vchiq_log_info(vchiq_core_log_level,
  45052. + "%d: prs CLOSE@%x (%d->%d)",
  45053. + state->id, (unsigned int)header,
  45054. + remoteport, localport);
  45055. +
  45056. + mark_service_closing_internal(service, 1);
  45057. +
  45058. + if (vchiq_close_service_internal(service,
  45059. + 1/*close_recvd*/) == VCHIQ_RETRY)
  45060. + goto bail_not_ready;
  45061. +
  45062. + vchiq_log_info(vchiq_core_log_level,
  45063. + "Close Service %c%c%c%c s:%u d:%d",
  45064. + VCHIQ_FOURCC_AS_4CHARS(service->base.fourcc),
  45065. + service->localport,
  45066. + service->remoteport);
  45067. + break;
  45068. + case VCHIQ_MSG_DATA:
  45069. + vchiq_log_info(vchiq_core_log_level,
  45070. + "%d: prs DATA@%x,%x (%d->%d)",
  45071. + state->id, (unsigned int)header, size,
  45072. + remoteport, localport);
  45073. +
  45074. + if ((service->remoteport == remoteport)
  45075. + && (service->srvstate ==
  45076. + VCHIQ_SRVSTATE_OPEN)) {
  45077. + header->msgid = msgid | VCHIQ_MSGID_CLAIMED;
  45078. + claim_slot(state->rx_info);
  45079. + DEBUG_TRACE(PARSE_LINE);
  45080. + if (make_service_callback(service,
  45081. + VCHIQ_MESSAGE_AVAILABLE, header,
  45082. + NULL) == VCHIQ_RETRY) {
  45083. + DEBUG_TRACE(PARSE_LINE);
  45084. + goto bail_not_ready;
  45085. + }
  45086. + VCHIQ_SERVICE_STATS_INC(service, ctrl_rx_count);
  45087. + VCHIQ_SERVICE_STATS_ADD(service, ctrl_rx_bytes,
  45088. + size);
  45089. + } else {
  45090. + VCHIQ_STATS_INC(state, error_count);
  45091. + }
  45092. + break;
  45093. + case VCHIQ_MSG_CONNECT:
  45094. + vchiq_log_info(vchiq_core_log_level,
  45095. + "%d: prs CONNECT@%x",
  45096. + state->id, (unsigned int)header);
  45097. + state->version_common = ((VCHIQ_SLOT_ZERO_T *)
  45098. + state->slot_data)->version;
  45099. + up(&state->connect);
  45100. + break;
  45101. + case VCHIQ_MSG_BULK_RX:
  45102. + case VCHIQ_MSG_BULK_TX: {
  45103. + VCHIQ_BULK_QUEUE_T *queue;
  45104. + WARN_ON(!state->is_master);
  45105. + queue = (type == VCHIQ_MSG_BULK_RX) ?
  45106. + &service->bulk_tx : &service->bulk_rx;
  45107. + if ((service->remoteport == remoteport)
  45108. + && (service->srvstate ==
  45109. + VCHIQ_SRVSTATE_OPEN)) {
  45110. + VCHIQ_BULK_T *bulk;
  45111. + int resolved = 0;
  45112. +
  45113. + DEBUG_TRACE(PARSE_LINE);
  45114. + if (mutex_lock_interruptible(
  45115. + &service->bulk_mutex) != 0) {
  45116. + DEBUG_TRACE(PARSE_LINE);
  45117. + goto bail_not_ready;
  45118. + }
  45119. +
  45120. + WARN_ON(!(queue->remote_insert < queue->remove +
  45121. + VCHIQ_NUM_SERVICE_BULKS));
  45122. + bulk = &queue->bulks[
  45123. + BULK_INDEX(queue->remote_insert)];
  45124. + bulk->remote_data =
  45125. + (void *)((int *)header->data)[0];
  45126. + bulk->remote_size = ((int *)header->data)[1];
  45127. + wmb();
  45128. +
  45129. + vchiq_log_info(vchiq_core_log_level,
  45130. + "%d: prs %s@%x (%d->%d) %x@%x",
  45131. + state->id, msg_type_str(type),
  45132. + (unsigned int)header,
  45133. + remoteport, localport,
  45134. + bulk->remote_size,
  45135. + (unsigned int)bulk->remote_data);
  45136. +
  45137. + queue->remote_insert++;
  45138. +
  45139. + if (atomic_read(&pause_bulks_count)) {
  45140. + state->deferred_bulks++;
  45141. + vchiq_log_info(vchiq_core_log_level,
  45142. + "%s: deferring bulk (%d)",
  45143. + __func__,
  45144. + state->deferred_bulks);
  45145. + if (state->conn_state !=
  45146. + VCHIQ_CONNSTATE_PAUSE_SENT)
  45147. + vchiq_log_error(
  45148. + vchiq_core_log_level,
  45149. + "%s: bulks paused in "
  45150. + "unexpected state %s",
  45151. + __func__,
  45152. + conn_state_names[
  45153. + state->conn_state]);
  45154. + } else if (state->conn_state ==
  45155. + VCHIQ_CONNSTATE_CONNECTED) {
  45156. + DEBUG_TRACE(PARSE_LINE);
  45157. + resolved = resolve_bulks(service,
  45158. + queue);
  45159. + }
  45160. +
  45161. + mutex_unlock(&service->bulk_mutex);
  45162. + if (resolved)
  45163. + notify_bulks(service, queue,
  45164. + 1/*retry_poll*/);
  45165. + }
  45166. + } break;
  45167. + case VCHIQ_MSG_BULK_RX_DONE:
  45168. + case VCHIQ_MSG_BULK_TX_DONE:
  45169. + WARN_ON(state->is_master);
  45170. + if ((service->remoteport == remoteport)
  45171. + && (service->srvstate !=
  45172. + VCHIQ_SRVSTATE_FREE)) {
  45173. + VCHIQ_BULK_QUEUE_T *queue;
  45174. + VCHIQ_BULK_T *bulk;
  45175. +
  45176. + queue = (type == VCHIQ_MSG_BULK_RX_DONE) ?
  45177. + &service->bulk_rx : &service->bulk_tx;
  45178. +
  45179. + DEBUG_TRACE(PARSE_LINE);
  45180. + if (mutex_lock_interruptible(
  45181. + &service->bulk_mutex) != 0) {
  45182. + DEBUG_TRACE(PARSE_LINE);
  45183. + goto bail_not_ready;
  45184. + }
  45185. + if ((int)(queue->remote_insert -
  45186. + queue->local_insert) >= 0) {
  45187. + vchiq_log_error(vchiq_core_log_level,
  45188. + "%d: prs %s@%x (%d->%d) "
  45189. + "unexpected (ri=%d,li=%d)",
  45190. + state->id, msg_type_str(type),
  45191. + (unsigned int)header,
  45192. + remoteport, localport,
  45193. + queue->remote_insert,
  45194. + queue->local_insert);
  45195. + mutex_unlock(&service->bulk_mutex);
  45196. + break;
  45197. + }
  45198. +
  45199. + BUG_ON(queue->process == queue->local_insert);
  45200. + BUG_ON(queue->process != queue->remote_insert);
  45201. +
  45202. + bulk = &queue->bulks[
  45203. + BULK_INDEX(queue->remote_insert)];
  45204. + bulk->actual = *(int *)header->data;
  45205. + queue->remote_insert++;
  45206. +
  45207. + vchiq_log_info(vchiq_core_log_level,
  45208. + "%d: prs %s@%x (%d->%d) %x@%x",
  45209. + state->id, msg_type_str(type),
  45210. + (unsigned int)header,
  45211. + remoteport, localport,
  45212. + bulk->actual, (unsigned int)bulk->data);
  45213. +
  45214. + vchiq_log_trace(vchiq_core_log_level,
  45215. + "%d: prs:%d %cx li=%x ri=%x p=%x",
  45216. + state->id, localport,
  45217. + (type == VCHIQ_MSG_BULK_RX_DONE) ?
  45218. + 'r' : 't',
  45219. + queue->local_insert,
  45220. + queue->remote_insert, queue->process);
  45221. +
  45222. + DEBUG_TRACE(PARSE_LINE);
  45223. + WARN_ON(queue->process == queue->local_insert);
  45224. + vchiq_complete_bulk(bulk);
  45225. + queue->process++;
  45226. + mutex_unlock(&service->bulk_mutex);
  45227. + DEBUG_TRACE(PARSE_LINE);
  45228. + notify_bulks(service, queue, 1/*retry_poll*/);
  45229. + DEBUG_TRACE(PARSE_LINE);
  45230. + }
  45231. + break;
  45232. + case VCHIQ_MSG_PADDING:
  45233. + vchiq_log_trace(vchiq_core_log_level,
  45234. + "%d: prs PADDING@%x,%x",
  45235. + state->id, (unsigned int)header, size);
  45236. + break;
  45237. + case VCHIQ_MSG_PAUSE:
  45238. + /* If initiated, signal the application thread */
  45239. + vchiq_log_trace(vchiq_core_log_level,
  45240. + "%d: prs PAUSE@%x,%x",
  45241. + state->id, (unsigned int)header, size);
  45242. + if (state->conn_state == VCHIQ_CONNSTATE_PAUSED) {
  45243. + vchiq_log_error(vchiq_core_log_level,
  45244. + "%d: PAUSE received in state PAUSED",
  45245. + state->id);
  45246. + break;
  45247. + }
  45248. + if (state->conn_state != VCHIQ_CONNSTATE_PAUSE_SENT) {
  45249. + /* Send a PAUSE in response */
  45250. + if (queue_message(state, NULL,
  45251. + VCHIQ_MAKE_MSG(VCHIQ_MSG_PAUSE, 0, 0),
  45252. + NULL, 0, 0, QMFLAGS_NO_MUTEX_UNLOCK)
  45253. + == VCHIQ_RETRY)
  45254. + goto bail_not_ready;
  45255. + if (state->is_master)
  45256. + pause_bulks(state);
  45257. + }
  45258. + /* At this point slot_mutex is held */
  45259. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_PAUSED);
  45260. + vchiq_platform_paused(state);
  45261. + break;
  45262. + case VCHIQ_MSG_RESUME:
  45263. + vchiq_log_trace(vchiq_core_log_level,
  45264. + "%d: prs RESUME@%x,%x",
  45265. + state->id, (unsigned int)header, size);
  45266. + /* Release the slot mutex */
  45267. + mutex_unlock(&state->slot_mutex);
  45268. + if (state->is_master)
  45269. + resume_bulks(state);
  45270. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_CONNECTED);
  45271. + vchiq_platform_resumed(state);
  45272. + break;
  45273. +
  45274. + case VCHIQ_MSG_REMOTE_USE:
  45275. + vchiq_on_remote_use(state);
  45276. + break;
  45277. + case VCHIQ_MSG_REMOTE_RELEASE:
  45278. + vchiq_on_remote_release(state);
  45279. + break;
  45280. + case VCHIQ_MSG_REMOTE_USE_ACTIVE:
  45281. + vchiq_on_remote_use_active(state);
  45282. + break;
  45283. +
  45284. + default:
  45285. + vchiq_log_error(vchiq_core_log_level,
  45286. + "%d: prs invalid msgid %x@%x,%x",
  45287. + state->id, msgid, (unsigned int)header, size);
  45288. + WARN(1, "invalid message\n");
  45289. + break;
  45290. + }
  45291. +
  45292. +skip_message:
  45293. + if (service) {
  45294. + unlock_service(service);
  45295. + service = NULL;
  45296. + }
  45297. +
  45298. + state->rx_pos += calc_stride(size);
  45299. +
  45300. + DEBUG_TRACE(PARSE_LINE);
  45301. + /* Perform some housekeeping when the end of the slot is
  45302. + ** reached. */
  45303. + if ((state->rx_pos & VCHIQ_SLOT_MASK) == 0) {
  45304. + /* Remove the extra reference count. */
  45305. + release_slot(state, state->rx_info, NULL, NULL);
  45306. + state->rx_data = NULL;
  45307. + }
  45308. + }
  45309. +
  45310. +bail_not_ready:
  45311. + if (service)
  45312. + unlock_service(service);
  45313. +}
  45314. +
  45315. +/* Called by the slot handler thread */
  45316. +static int
  45317. +slot_handler_func(void *v)
  45318. +{
  45319. + VCHIQ_STATE_T *state = (VCHIQ_STATE_T *) v;
  45320. + VCHIQ_SHARED_STATE_T *local = state->local;
  45321. + DEBUG_INITIALISE(local)
  45322. +
  45323. + while (1) {
  45324. + DEBUG_COUNT(SLOT_HANDLER_COUNT);
  45325. + DEBUG_TRACE(SLOT_HANDLER_LINE);
  45326. + remote_event_wait(&local->trigger);
  45327. +
  45328. + rmb();
  45329. +
  45330. + DEBUG_TRACE(SLOT_HANDLER_LINE);
  45331. + if (state->poll_needed) {
  45332. + /* Check if we need to suspend - may change our
  45333. + * conn_state */
  45334. + vchiq_platform_check_suspend(state);
  45335. +
  45336. + state->poll_needed = 0;
  45337. +
  45338. + /* Handle service polling and other rare conditions here
  45339. + ** out of the mainline code */
  45340. + switch (state->conn_state) {
  45341. + case VCHIQ_CONNSTATE_CONNECTED:
  45342. + /* Poll the services as requested */
  45343. + poll_services(state);
  45344. + break;
  45345. +
  45346. + case VCHIQ_CONNSTATE_PAUSING:
  45347. + if (state->is_master)
  45348. + pause_bulks(state);
  45349. + if (queue_message(state, NULL,
  45350. + VCHIQ_MAKE_MSG(VCHIQ_MSG_PAUSE, 0, 0),
  45351. + NULL, 0, 0,
  45352. + QMFLAGS_NO_MUTEX_UNLOCK)
  45353. + != VCHIQ_RETRY) {
  45354. + vchiq_set_conn_state(state,
  45355. + VCHIQ_CONNSTATE_PAUSE_SENT);
  45356. + } else {
  45357. + if (state->is_master)
  45358. + resume_bulks(state);
  45359. + /* Retry later */
  45360. + state->poll_needed = 1;
  45361. + }
  45362. + break;
  45363. +
  45364. + case VCHIQ_CONNSTATE_PAUSED:
  45365. + vchiq_platform_resume(state);
  45366. + break;
  45367. +
  45368. + case VCHIQ_CONNSTATE_RESUMING:
  45369. + if (queue_message(state, NULL,
  45370. + VCHIQ_MAKE_MSG(VCHIQ_MSG_RESUME, 0, 0),
  45371. + NULL, 0, 0, QMFLAGS_NO_MUTEX_LOCK)
  45372. + != VCHIQ_RETRY) {
  45373. + if (state->is_master)
  45374. + resume_bulks(state);
  45375. + vchiq_set_conn_state(state,
  45376. + VCHIQ_CONNSTATE_CONNECTED);
  45377. + vchiq_platform_resumed(state);
  45378. + } else {
  45379. + /* This should really be impossible,
  45380. + ** since the PAUSE should have flushed
  45381. + ** through outstanding messages. */
  45382. + vchiq_log_error(vchiq_core_log_level,
  45383. + "Failed to send RESUME "
  45384. + "message");
  45385. + BUG();
  45386. + }
  45387. + break;
  45388. +
  45389. + case VCHIQ_CONNSTATE_PAUSE_TIMEOUT:
  45390. + case VCHIQ_CONNSTATE_RESUME_TIMEOUT:
  45391. + vchiq_platform_handle_timeout(state);
  45392. + break;
  45393. + default:
  45394. + break;
  45395. + }
  45396. +
  45397. +
  45398. + }
  45399. +
  45400. + DEBUG_TRACE(SLOT_HANDLER_LINE);
  45401. + parse_rx_slots(state);
  45402. + }
  45403. + return 0;
  45404. +}
  45405. +
  45406. +
  45407. +/* Called by the recycle thread */
  45408. +static int
  45409. +recycle_func(void *v)
  45410. +{
  45411. + VCHIQ_STATE_T *state = (VCHIQ_STATE_T *) v;
  45412. + VCHIQ_SHARED_STATE_T *local = state->local;
  45413. +
  45414. + while (1) {
  45415. + remote_event_wait(&local->recycle);
  45416. +
  45417. + process_free_queue(state);
  45418. + }
  45419. + return 0;
  45420. +}
  45421. +
  45422. +
  45423. +/* Called by the sync thread */
  45424. +static int
  45425. +sync_func(void *v)
  45426. +{
  45427. + VCHIQ_STATE_T *state = (VCHIQ_STATE_T *) v;
  45428. + VCHIQ_SHARED_STATE_T *local = state->local;
  45429. + VCHIQ_HEADER_T *header = (VCHIQ_HEADER_T *)SLOT_DATA_FROM_INDEX(state,
  45430. + state->remote->slot_sync);
  45431. +
  45432. + while (1) {
  45433. + VCHIQ_SERVICE_T *service;
  45434. + int msgid, size;
  45435. + int type;
  45436. + unsigned int localport, remoteport;
  45437. +
  45438. + remote_event_wait(&local->sync_trigger);
  45439. +
  45440. + rmb();
  45441. +
  45442. + msgid = header->msgid;
  45443. + size = header->size;
  45444. + type = VCHIQ_MSG_TYPE(msgid);
  45445. + localport = VCHIQ_MSG_DSTPORT(msgid);
  45446. + remoteport = VCHIQ_MSG_SRCPORT(msgid);
  45447. +
  45448. + service = find_service_by_port(state, localport);
  45449. +
  45450. + if (!service) {
  45451. + vchiq_log_error(vchiq_sync_log_level,
  45452. + "%d: sf %s@%x (%d->%d) - "
  45453. + "invalid/closed service %d",
  45454. + state->id, msg_type_str(type),
  45455. + (unsigned int)header,
  45456. + remoteport, localport, localport);
  45457. + release_message_sync(state, header);
  45458. + continue;
  45459. + }
  45460. +
  45461. + if (vchiq_sync_log_level >= VCHIQ_LOG_TRACE) {
  45462. + int svc_fourcc;
  45463. +
  45464. + svc_fourcc = service
  45465. + ? service->base.fourcc
  45466. + : VCHIQ_MAKE_FOURCC('?', '?', '?', '?');
  45467. + vchiq_log_trace(vchiq_sync_log_level,
  45468. + "Rcvd Msg %s from %c%c%c%c s:%d d:%d len:%d",
  45469. + msg_type_str(type),
  45470. + VCHIQ_FOURCC_AS_4CHARS(svc_fourcc),
  45471. + remoteport, localport, size);
  45472. + if (size > 0)
  45473. + vchiq_log_dump_mem("Rcvd", 0, header->data,
  45474. + min(64, size));
  45475. + }
  45476. +
  45477. + switch (type) {
  45478. + case VCHIQ_MSG_OPENACK:
  45479. + if (size >= sizeof(struct vchiq_openack_payload)) {
  45480. + const struct vchiq_openack_payload *payload =
  45481. + (struct vchiq_openack_payload *)
  45482. + header->data;
  45483. + service->peer_version = payload->version;
  45484. + }
  45485. + vchiq_log_info(vchiq_sync_log_level,
  45486. + "%d: sf OPENACK@%x,%x (%d->%d) v:%d",
  45487. + state->id, (unsigned int)header, size,
  45488. + remoteport, localport, service->peer_version);
  45489. + if (service->srvstate == VCHIQ_SRVSTATE_OPENING) {
  45490. + service->remoteport = remoteport;
  45491. + vchiq_set_service_state(service,
  45492. + VCHIQ_SRVSTATE_OPENSYNC);
  45493. + service->sync = 1;
  45494. + up(&service->remove_event);
  45495. + }
  45496. + release_message_sync(state, header);
  45497. + break;
  45498. +
  45499. + case VCHIQ_MSG_DATA:
  45500. + vchiq_log_trace(vchiq_sync_log_level,
  45501. + "%d: sf DATA@%x,%x (%d->%d)",
  45502. + state->id, (unsigned int)header, size,
  45503. + remoteport, localport);
  45504. +
  45505. + if ((service->remoteport == remoteport) &&
  45506. + (service->srvstate ==
  45507. + VCHIQ_SRVSTATE_OPENSYNC)) {
  45508. + if (make_service_callback(service,
  45509. + VCHIQ_MESSAGE_AVAILABLE, header,
  45510. + NULL) == VCHIQ_RETRY)
  45511. + vchiq_log_error(vchiq_sync_log_level,
  45512. + "synchronous callback to "
  45513. + "service %d returns "
  45514. + "VCHIQ_RETRY",
  45515. + localport);
  45516. + }
  45517. + break;
  45518. +
  45519. + default:
  45520. + vchiq_log_error(vchiq_sync_log_level,
  45521. + "%d: sf unexpected msgid %x@%x,%x",
  45522. + state->id, msgid, (unsigned int)header, size);
  45523. + release_message_sync(state, header);
  45524. + break;
  45525. + }
  45526. +
  45527. + unlock_service(service);
  45528. + }
  45529. +
  45530. + return 0;
  45531. +}
  45532. +
  45533. +
  45534. +static void
  45535. +init_bulk_queue(VCHIQ_BULK_QUEUE_T *queue)
  45536. +{
  45537. + queue->local_insert = 0;
  45538. + queue->remote_insert = 0;
  45539. + queue->process = 0;
  45540. + queue->remote_notify = 0;
  45541. + queue->remove = 0;
  45542. +}
  45543. +
  45544. +
  45545. +inline const char *
  45546. +get_conn_state_name(VCHIQ_CONNSTATE_T conn_state)
  45547. +{
  45548. + return conn_state_names[conn_state];
  45549. +}
  45550. +
  45551. +
  45552. +VCHIQ_SLOT_ZERO_T *
  45553. +vchiq_init_slots(void *mem_base, int mem_size)
  45554. +{
  45555. + int mem_align = (VCHIQ_SLOT_SIZE - (int)mem_base) & VCHIQ_SLOT_MASK;
  45556. + VCHIQ_SLOT_ZERO_T *slot_zero =
  45557. + (VCHIQ_SLOT_ZERO_T *)((char *)mem_base + mem_align);
  45558. + int num_slots = (mem_size - mem_align)/VCHIQ_SLOT_SIZE;
  45559. + int first_data_slot = VCHIQ_SLOT_ZERO_SLOTS;
  45560. +
  45561. + /* Ensure there is enough memory to run an absolutely minimum system */
  45562. + num_slots -= first_data_slot;
  45563. +
  45564. + if (num_slots < 4) {
  45565. + vchiq_log_error(vchiq_core_log_level,
  45566. + "vchiq_init_slots - insufficient memory %x bytes",
  45567. + mem_size);
  45568. + return NULL;
  45569. + }
  45570. +
  45571. + memset(slot_zero, 0, sizeof(VCHIQ_SLOT_ZERO_T));
  45572. +
  45573. + slot_zero->magic = VCHIQ_MAGIC;
  45574. + slot_zero->version = VCHIQ_VERSION;
  45575. + slot_zero->version_min = VCHIQ_VERSION_MIN;
  45576. + slot_zero->slot_zero_size = sizeof(VCHIQ_SLOT_ZERO_T);
  45577. + slot_zero->slot_size = VCHIQ_SLOT_SIZE;
  45578. + slot_zero->max_slots = VCHIQ_MAX_SLOTS;
  45579. + slot_zero->max_slots_per_side = VCHIQ_MAX_SLOTS_PER_SIDE;
  45580. +
  45581. + slot_zero->master.slot_sync = first_data_slot;
  45582. + slot_zero->master.slot_first = first_data_slot + 1;
  45583. + slot_zero->master.slot_last = first_data_slot + (num_slots/2) - 1;
  45584. + slot_zero->slave.slot_sync = first_data_slot + (num_slots/2);
  45585. + slot_zero->slave.slot_first = first_data_slot + (num_slots/2) + 1;
  45586. + slot_zero->slave.slot_last = first_data_slot + num_slots - 1;
  45587. +
  45588. + return slot_zero;
  45589. +}
  45590. +
  45591. +VCHIQ_STATUS_T
  45592. +vchiq_init_state(VCHIQ_STATE_T *state, VCHIQ_SLOT_ZERO_T *slot_zero,
  45593. + int is_master)
  45594. +{
  45595. + VCHIQ_SHARED_STATE_T *local;
  45596. + VCHIQ_SHARED_STATE_T *remote;
  45597. + VCHIQ_STATUS_T status;
  45598. + char threadname[10];
  45599. + static int id;
  45600. + int i;
  45601. +
  45602. + vchiq_log_warning(vchiq_core_log_level,
  45603. + "%s: slot_zero = 0x%08lx, is_master = %d",
  45604. + __func__, (unsigned long)slot_zero, is_master);
  45605. +
  45606. + /* Check the input configuration */
  45607. +
  45608. + if (slot_zero->magic != VCHIQ_MAGIC) {
  45609. + vchiq_loud_error_header();
  45610. + vchiq_loud_error("Invalid VCHIQ magic value found.");
  45611. + vchiq_loud_error("slot_zero=%x: magic=%x (expected %x)",
  45612. + (unsigned int)slot_zero, slot_zero->magic, VCHIQ_MAGIC);
  45613. + vchiq_loud_error_footer();
  45614. + return VCHIQ_ERROR;
  45615. + }
  45616. +
  45617. + if (slot_zero->version < VCHIQ_VERSION_MIN) {
  45618. + vchiq_loud_error_header();
  45619. + vchiq_loud_error("Incompatible VCHIQ versions found.");
  45620. + vchiq_loud_error("slot_zero=%x: VideoCore version=%d "
  45621. + "(minimum %d)",
  45622. + (unsigned int)slot_zero, slot_zero->version,
  45623. + VCHIQ_VERSION_MIN);
  45624. + vchiq_loud_error("Restart with a newer VideoCore image.");
  45625. + vchiq_loud_error_footer();
  45626. + return VCHIQ_ERROR;
  45627. + }
  45628. +
  45629. + if (VCHIQ_VERSION < slot_zero->version_min) {
  45630. + vchiq_loud_error_header();
  45631. + vchiq_loud_error("Incompatible VCHIQ versions found.");
  45632. + vchiq_loud_error("slot_zero=%x: version=%d (VideoCore "
  45633. + "minimum %d)",
  45634. + (unsigned int)slot_zero, VCHIQ_VERSION,
  45635. + slot_zero->version_min);
  45636. + vchiq_loud_error("Restart with a newer kernel.");
  45637. + vchiq_loud_error_footer();
  45638. + return VCHIQ_ERROR;
  45639. + }
  45640. +
  45641. + if ((slot_zero->slot_zero_size != sizeof(VCHIQ_SLOT_ZERO_T)) ||
  45642. + (slot_zero->slot_size != VCHIQ_SLOT_SIZE) ||
  45643. + (slot_zero->max_slots != VCHIQ_MAX_SLOTS) ||
  45644. + (slot_zero->max_slots_per_side != VCHIQ_MAX_SLOTS_PER_SIDE)) {
  45645. + vchiq_loud_error_header();
  45646. + if (slot_zero->slot_zero_size != sizeof(VCHIQ_SLOT_ZERO_T))
  45647. + vchiq_loud_error("slot_zero=%x: slot_zero_size=%x "
  45648. + "(expected %x)",
  45649. + (unsigned int)slot_zero,
  45650. + slot_zero->slot_zero_size,
  45651. + sizeof(VCHIQ_SLOT_ZERO_T));
  45652. + if (slot_zero->slot_size != VCHIQ_SLOT_SIZE)
  45653. + vchiq_loud_error("slot_zero=%x: slot_size=%d "
  45654. + "(expected %d",
  45655. + (unsigned int)slot_zero, slot_zero->slot_size,
  45656. + VCHIQ_SLOT_SIZE);
  45657. + if (slot_zero->max_slots != VCHIQ_MAX_SLOTS)
  45658. + vchiq_loud_error("slot_zero=%x: max_slots=%d "
  45659. + "(expected %d)",
  45660. + (unsigned int)slot_zero, slot_zero->max_slots,
  45661. + VCHIQ_MAX_SLOTS);
  45662. + if (slot_zero->max_slots_per_side != VCHIQ_MAX_SLOTS_PER_SIDE)
  45663. + vchiq_loud_error("slot_zero=%x: max_slots_per_side=%d "
  45664. + "(expected %d)",
  45665. + (unsigned int)slot_zero,
  45666. + slot_zero->max_slots_per_side,
  45667. + VCHIQ_MAX_SLOTS_PER_SIDE);
  45668. + vchiq_loud_error_footer();
  45669. + return VCHIQ_ERROR;
  45670. + }
  45671. +
  45672. + if (VCHIQ_VERSION < slot_zero->version)
  45673. + slot_zero->version = VCHIQ_VERSION;
  45674. +
  45675. + if (is_master) {
  45676. + local = &slot_zero->master;
  45677. + remote = &slot_zero->slave;
  45678. + } else {
  45679. + local = &slot_zero->slave;
  45680. + remote = &slot_zero->master;
  45681. + }
  45682. +
  45683. + if (local->initialised) {
  45684. + vchiq_loud_error_header();
  45685. + if (remote->initialised)
  45686. + vchiq_loud_error("local state has already been "
  45687. + "initialised");
  45688. + else
  45689. + vchiq_loud_error("master/slave mismatch - two %ss",
  45690. + is_master ? "master" : "slave");
  45691. + vchiq_loud_error_footer();
  45692. + return VCHIQ_ERROR;
  45693. + }
  45694. +
  45695. + memset(state, 0, sizeof(VCHIQ_STATE_T));
  45696. +
  45697. + state->id = id++;
  45698. + state->is_master = is_master;
  45699. +
  45700. + /*
  45701. + initialize shared state pointers
  45702. + */
  45703. +
  45704. + state->local = local;
  45705. + state->remote = remote;
  45706. + state->slot_data = (VCHIQ_SLOT_T *)slot_zero;
  45707. +
  45708. + /*
  45709. + initialize events and mutexes
  45710. + */
  45711. +
  45712. + sema_init(&state->connect, 0);
  45713. + mutex_init(&state->mutex);
  45714. + sema_init(&state->trigger_event, 0);
  45715. + sema_init(&state->recycle_event, 0);
  45716. + sema_init(&state->sync_trigger_event, 0);
  45717. + sema_init(&state->sync_release_event, 0);
  45718. +
  45719. + mutex_init(&state->slot_mutex);
  45720. + mutex_init(&state->recycle_mutex);
  45721. + mutex_init(&state->sync_mutex);
  45722. + mutex_init(&state->bulk_transfer_mutex);
  45723. +
  45724. + sema_init(&state->slot_available_event, 0);
  45725. + sema_init(&state->slot_remove_event, 0);
  45726. + sema_init(&state->data_quota_event, 0);
  45727. +
  45728. + state->slot_queue_available = 0;
  45729. +
  45730. + for (i = 0; i < VCHIQ_MAX_SERVICES; i++) {
  45731. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  45732. + &state->service_quotas[i];
  45733. + sema_init(&service_quota->quota_event, 0);
  45734. + }
  45735. +
  45736. + for (i = local->slot_first; i <= local->slot_last; i++) {
  45737. + local->slot_queue[state->slot_queue_available++] = i;
  45738. + up(&state->slot_available_event);
  45739. + }
  45740. +
  45741. + state->default_slot_quota = state->slot_queue_available/2;
  45742. + state->default_message_quota =
  45743. + min((unsigned short)(state->default_slot_quota * 256),
  45744. + (unsigned short)~0);
  45745. +
  45746. + state->previous_data_index = -1;
  45747. + state->data_use_count = 0;
  45748. + state->data_quota = state->slot_queue_available - 1;
  45749. +
  45750. + local->trigger.event = &state->trigger_event;
  45751. + remote_event_create(&local->trigger);
  45752. + local->tx_pos = 0;
  45753. +
  45754. + local->recycle.event = &state->recycle_event;
  45755. + remote_event_create(&local->recycle);
  45756. + local->slot_queue_recycle = state->slot_queue_available;
  45757. +
  45758. + local->sync_trigger.event = &state->sync_trigger_event;
  45759. + remote_event_create(&local->sync_trigger);
  45760. +
  45761. + local->sync_release.event = &state->sync_release_event;
  45762. + remote_event_create(&local->sync_release);
  45763. +
  45764. + /* At start-of-day, the slot is empty and available */
  45765. + ((VCHIQ_HEADER_T *)SLOT_DATA_FROM_INDEX(state, local->slot_sync))->msgid
  45766. + = VCHIQ_MSGID_PADDING;
  45767. + remote_event_signal_local(&local->sync_release);
  45768. +
  45769. + local->debug[DEBUG_ENTRIES] = DEBUG_MAX;
  45770. +
  45771. + status = vchiq_platform_init_state(state);
  45772. +
  45773. + /*
  45774. + bring up slot handler thread
  45775. + */
  45776. + snprintf(threadname, sizeof(threadname), "VCHIQ-%d", state->id);
  45777. + state->slot_handler_thread = kthread_create(&slot_handler_func,
  45778. + (void *)state,
  45779. + threadname);
  45780. +
  45781. + if (state->slot_handler_thread == NULL) {
  45782. + vchiq_loud_error_header();
  45783. + vchiq_loud_error("couldn't create thread %s", threadname);
  45784. + vchiq_loud_error_footer();
  45785. + return VCHIQ_ERROR;
  45786. + }
  45787. + set_user_nice(state->slot_handler_thread, -19);
  45788. + wake_up_process(state->slot_handler_thread);
  45789. +
  45790. + snprintf(threadname, sizeof(threadname), "VCHIQr-%d", state->id);
  45791. + state->recycle_thread = kthread_create(&recycle_func,
  45792. + (void *)state,
  45793. + threadname);
  45794. + if (state->recycle_thread == NULL) {
  45795. + vchiq_loud_error_header();
  45796. + vchiq_loud_error("couldn't create thread %s", threadname);
  45797. + vchiq_loud_error_footer();
  45798. + return VCHIQ_ERROR;
  45799. + }
  45800. + set_user_nice(state->recycle_thread, -19);
  45801. + wake_up_process(state->recycle_thread);
  45802. +
  45803. + snprintf(threadname, sizeof(threadname), "VCHIQs-%d", state->id);
  45804. + state->sync_thread = kthread_create(&sync_func,
  45805. + (void *)state,
  45806. + threadname);
  45807. + if (state->sync_thread == NULL) {
  45808. + vchiq_loud_error_header();
  45809. + vchiq_loud_error("couldn't create thread %s", threadname);
  45810. + vchiq_loud_error_footer();
  45811. + return VCHIQ_ERROR;
  45812. + }
  45813. + set_user_nice(state->sync_thread, -20);
  45814. + wake_up_process(state->sync_thread);
  45815. +
  45816. + BUG_ON(state->id >= VCHIQ_MAX_STATES);
  45817. + vchiq_states[state->id] = state;
  45818. +
  45819. + /* Indicate readiness to the other side */
  45820. + local->initialised = 1;
  45821. +
  45822. + return status;
  45823. +}
  45824. +
  45825. +/* Called from application thread when a client or server service is created. */
  45826. +VCHIQ_SERVICE_T *
  45827. +vchiq_add_service_internal(VCHIQ_STATE_T *state,
  45828. + const VCHIQ_SERVICE_PARAMS_T *params, int srvstate,
  45829. + VCHIQ_INSTANCE_T instance, VCHIQ_USERDATA_TERM_T userdata_term)
  45830. +{
  45831. + VCHIQ_SERVICE_T *service;
  45832. +
  45833. + service = kmalloc(sizeof(VCHIQ_SERVICE_T), GFP_KERNEL);
  45834. + if (service) {
  45835. + service->base.fourcc = params->fourcc;
  45836. + service->base.callback = params->callback;
  45837. + service->base.userdata = params->userdata;
  45838. + service->handle = VCHIQ_SERVICE_HANDLE_INVALID;
  45839. + service->ref_count = 1;
  45840. + service->srvstate = VCHIQ_SRVSTATE_FREE;
  45841. + service->userdata_term = userdata_term;
  45842. + service->localport = VCHIQ_PORT_FREE;
  45843. + service->remoteport = VCHIQ_PORT_FREE;
  45844. +
  45845. + service->public_fourcc = (srvstate == VCHIQ_SRVSTATE_OPENING) ?
  45846. + VCHIQ_FOURCC_INVALID : params->fourcc;
  45847. + service->client_id = 0;
  45848. + service->auto_close = 1;
  45849. + service->sync = 0;
  45850. + service->closing = 0;
  45851. + service->trace = 0;
  45852. + atomic_set(&service->poll_flags, 0);
  45853. + service->version = params->version;
  45854. + service->version_min = params->version_min;
  45855. + service->state = state;
  45856. + service->instance = instance;
  45857. + service->service_use_count = 0;
  45858. + init_bulk_queue(&service->bulk_tx);
  45859. + init_bulk_queue(&service->bulk_rx);
  45860. + sema_init(&service->remove_event, 0);
  45861. + sema_init(&service->bulk_remove_event, 0);
  45862. + mutex_init(&service->bulk_mutex);
  45863. + memset(&service->stats, 0, sizeof(service->stats));
  45864. + } else {
  45865. + vchiq_log_error(vchiq_core_log_level,
  45866. + "Out of memory");
  45867. + }
  45868. +
  45869. + if (service) {
  45870. + VCHIQ_SERVICE_T **pservice = NULL;
  45871. + int i;
  45872. +
  45873. + /* Although it is perfectly possible to use service_spinlock
  45874. + ** to protect the creation of services, it is overkill as it
  45875. + ** disables interrupts while the array is searched.
  45876. + ** The only danger is of another thread trying to create a
  45877. + ** service - service deletion is safe.
  45878. + ** Therefore it is preferable to use state->mutex which,
  45879. + ** although slower to claim, doesn't block interrupts while
  45880. + ** it is held.
  45881. + */
  45882. +
  45883. + mutex_lock(&state->mutex);
  45884. +
  45885. + /* Prepare to use a previously unused service */
  45886. + if (state->unused_service < VCHIQ_MAX_SERVICES)
  45887. + pservice = &state->services[state->unused_service];
  45888. +
  45889. + if (srvstate == VCHIQ_SRVSTATE_OPENING) {
  45890. + for (i = 0; i < state->unused_service; i++) {
  45891. + VCHIQ_SERVICE_T *srv = state->services[i];
  45892. + if (!srv) {
  45893. + pservice = &state->services[i];
  45894. + break;
  45895. + }
  45896. + }
  45897. + } else {
  45898. + for (i = (state->unused_service - 1); i >= 0; i--) {
  45899. + VCHIQ_SERVICE_T *srv = state->services[i];
  45900. + if (!srv)
  45901. + pservice = &state->services[i];
  45902. + else if ((srv->public_fourcc == params->fourcc)
  45903. + && ((srv->instance != instance) ||
  45904. + (srv->base.callback !=
  45905. + params->callback))) {
  45906. + /* There is another server using this
  45907. + ** fourcc which doesn't match. */
  45908. + pservice = NULL;
  45909. + break;
  45910. + }
  45911. + }
  45912. + }
  45913. +
  45914. + if (pservice) {
  45915. + service->localport = (pservice - state->services);
  45916. + if (!handle_seq)
  45917. + handle_seq = VCHIQ_MAX_STATES *
  45918. + VCHIQ_MAX_SERVICES;
  45919. + service->handle = handle_seq |
  45920. + (state->id * VCHIQ_MAX_SERVICES) |
  45921. + service->localport;
  45922. + handle_seq += VCHIQ_MAX_STATES * VCHIQ_MAX_SERVICES;
  45923. + *pservice = service;
  45924. + if (pservice == &state->services[state->unused_service])
  45925. + state->unused_service++;
  45926. + }
  45927. +
  45928. + mutex_unlock(&state->mutex);
  45929. +
  45930. + if (!pservice) {
  45931. + kfree(service);
  45932. + service = NULL;
  45933. + }
  45934. + }
  45935. +
  45936. + if (service) {
  45937. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  45938. + &state->service_quotas[service->localport];
  45939. + service_quota->slot_quota = state->default_slot_quota;
  45940. + service_quota->message_quota = state->default_message_quota;
  45941. + if (service_quota->slot_use_count == 0)
  45942. + service_quota->previous_tx_index =
  45943. + SLOT_QUEUE_INDEX_FROM_POS(state->local_tx_pos)
  45944. + - 1;
  45945. +
  45946. + /* Bring this service online */
  45947. + vchiq_set_service_state(service, srvstate);
  45948. +
  45949. + vchiq_log_info(vchiq_core_msg_log_level,
  45950. + "%s Service %c%c%c%c SrcPort:%d",
  45951. + (srvstate == VCHIQ_SRVSTATE_OPENING)
  45952. + ? "Open" : "Add",
  45953. + VCHIQ_FOURCC_AS_4CHARS(params->fourcc),
  45954. + service->localport);
  45955. + }
  45956. +
  45957. + /* Don't unlock the service - leave it with a ref_count of 1. */
  45958. +
  45959. + return service;
  45960. +}
  45961. +
  45962. +VCHIQ_STATUS_T
  45963. +vchiq_open_service_internal(VCHIQ_SERVICE_T *service, int client_id)
  45964. +{
  45965. + struct vchiq_open_payload payload = {
  45966. + service->base.fourcc,
  45967. + client_id,
  45968. + service->version,
  45969. + service->version_min
  45970. + };
  45971. + VCHIQ_ELEMENT_T body = { &payload, sizeof(payload) };
  45972. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  45973. +
  45974. + service->client_id = client_id;
  45975. + vchiq_use_service_internal(service);
  45976. + status = queue_message(service->state, NULL,
  45977. + VCHIQ_MAKE_MSG(VCHIQ_MSG_OPEN, service->localport, 0),
  45978. + &body, 1, sizeof(payload), QMFLAGS_IS_BLOCKING);
  45979. + if (status == VCHIQ_SUCCESS) {
  45980. + /* Wait for the ACK/NAK */
  45981. + if (down_interruptible(&service->remove_event) != 0) {
  45982. + status = VCHIQ_RETRY;
  45983. + vchiq_release_service_internal(service);
  45984. + } else if ((service->srvstate != VCHIQ_SRVSTATE_OPEN) &&
  45985. + (service->srvstate != VCHIQ_SRVSTATE_OPENSYNC)) {
  45986. + if (service->srvstate != VCHIQ_SRVSTATE_CLOSEWAIT)
  45987. + vchiq_log_error(vchiq_core_log_level,
  45988. + "%d: osi - srvstate = %s (ref %d)",
  45989. + service->state->id,
  45990. + srvstate_names[service->srvstate],
  45991. + service->ref_count);
  45992. + status = VCHIQ_ERROR;
  45993. + VCHIQ_SERVICE_STATS_INC(service, error_count);
  45994. + vchiq_release_service_internal(service);
  45995. + }
  45996. + }
  45997. + return status;
  45998. +}
  45999. +
  46000. +static void
  46001. +release_service_messages(VCHIQ_SERVICE_T *service)
  46002. +{
  46003. + VCHIQ_STATE_T *state = service->state;
  46004. + int slot_last = state->remote->slot_last;
  46005. + int i;
  46006. +
  46007. + /* Release any claimed messages aimed at this service */
  46008. +
  46009. + if (service->sync) {
  46010. + VCHIQ_HEADER_T *header =
  46011. + (VCHIQ_HEADER_T *)SLOT_DATA_FROM_INDEX(state,
  46012. + state->remote->slot_sync);
  46013. + if (VCHIQ_MSG_DSTPORT(header->msgid) == service->localport)
  46014. + release_message_sync(state, header);
  46015. +
  46016. + return;
  46017. + }
  46018. +
  46019. + for (i = state->remote->slot_first; i <= slot_last; i++) {
  46020. + VCHIQ_SLOT_INFO_T *slot_info =
  46021. + SLOT_INFO_FROM_INDEX(state, i);
  46022. + if (slot_info->release_count != slot_info->use_count) {
  46023. + char *data =
  46024. + (char *)SLOT_DATA_FROM_INDEX(state, i);
  46025. + unsigned int pos, end;
  46026. +
  46027. + end = VCHIQ_SLOT_SIZE;
  46028. + if (data == state->rx_data)
  46029. + /* This buffer is still being read from - stop
  46030. + ** at the current read position */
  46031. + end = state->rx_pos & VCHIQ_SLOT_MASK;
  46032. +
  46033. + pos = 0;
  46034. +
  46035. + while (pos < end) {
  46036. + VCHIQ_HEADER_T *header =
  46037. + (VCHIQ_HEADER_T *)(data + pos);
  46038. + int msgid = header->msgid;
  46039. + int port = VCHIQ_MSG_DSTPORT(msgid);
  46040. + if ((port == service->localport) &&
  46041. + (msgid & VCHIQ_MSGID_CLAIMED)) {
  46042. + vchiq_log_info(vchiq_core_log_level,
  46043. + " fsi - hdr %x",
  46044. + (unsigned int)header);
  46045. + release_slot(state, slot_info, header,
  46046. + NULL);
  46047. + }
  46048. + pos += calc_stride(header->size);
  46049. + if (pos > VCHIQ_SLOT_SIZE) {
  46050. + vchiq_log_error(vchiq_core_log_level,
  46051. + "fsi - pos %x: header %x, "
  46052. + "msgid %x, header->msgid %x, "
  46053. + "header->size %x",
  46054. + pos, (unsigned int)header,
  46055. + msgid, header->msgid,
  46056. + header->size);
  46057. + WARN(1, "invalid slot position\n");
  46058. + }
  46059. + }
  46060. + }
  46061. + }
  46062. +}
  46063. +
  46064. +static int
  46065. +do_abort_bulks(VCHIQ_SERVICE_T *service)
  46066. +{
  46067. + VCHIQ_STATUS_T status;
  46068. +
  46069. + /* Abort any outstanding bulk transfers */
  46070. + if (mutex_lock_interruptible(&service->bulk_mutex) != 0)
  46071. + return 0;
  46072. + abort_outstanding_bulks(service, &service->bulk_tx);
  46073. + abort_outstanding_bulks(service, &service->bulk_rx);
  46074. + mutex_unlock(&service->bulk_mutex);
  46075. +
  46076. + status = notify_bulks(service, &service->bulk_tx, 0/*!retry_poll*/);
  46077. + if (status == VCHIQ_SUCCESS)
  46078. + status = notify_bulks(service, &service->bulk_rx,
  46079. + 0/*!retry_poll*/);
  46080. + return (status == VCHIQ_SUCCESS);
  46081. +}
  46082. +
  46083. +static VCHIQ_STATUS_T
  46084. +close_service_complete(VCHIQ_SERVICE_T *service, int failstate)
  46085. +{
  46086. + VCHIQ_STATUS_T status;
  46087. + int is_server = (service->public_fourcc != VCHIQ_FOURCC_INVALID);
  46088. + int newstate;
  46089. +
  46090. + switch (service->srvstate) {
  46091. + case VCHIQ_SRVSTATE_OPEN:
  46092. + case VCHIQ_SRVSTATE_CLOSESENT:
  46093. + case VCHIQ_SRVSTATE_CLOSERECVD:
  46094. + if (is_server) {
  46095. + if (service->auto_close) {
  46096. + service->client_id = 0;
  46097. + service->remoteport = VCHIQ_PORT_FREE;
  46098. + newstate = VCHIQ_SRVSTATE_LISTENING;
  46099. + } else
  46100. + newstate = VCHIQ_SRVSTATE_CLOSEWAIT;
  46101. + } else
  46102. + newstate = VCHIQ_SRVSTATE_CLOSED;
  46103. + vchiq_set_service_state(service, newstate);
  46104. + break;
  46105. + case VCHIQ_SRVSTATE_LISTENING:
  46106. + break;
  46107. + default:
  46108. + vchiq_log_error(vchiq_core_log_level,
  46109. + "close_service_complete(%x) called in state %s",
  46110. + service->handle, srvstate_names[service->srvstate]);
  46111. + WARN(1, "close_service_complete in unexpected state\n");
  46112. + return VCHIQ_ERROR;
  46113. + }
  46114. +
  46115. + status = make_service_callback(service,
  46116. + VCHIQ_SERVICE_CLOSED, NULL, NULL);
  46117. +
  46118. + if (status != VCHIQ_RETRY) {
  46119. + int uc = service->service_use_count;
  46120. + int i;
  46121. + /* Complete the close process */
  46122. + for (i = 0; i < uc; i++)
  46123. + /* cater for cases where close is forced and the
  46124. + ** client may not close all it's handles */
  46125. + vchiq_release_service_internal(service);
  46126. +
  46127. + service->client_id = 0;
  46128. + service->remoteport = VCHIQ_PORT_FREE;
  46129. +
  46130. + if (service->srvstate == VCHIQ_SRVSTATE_CLOSED)
  46131. + vchiq_free_service_internal(service);
  46132. + else if (service->srvstate != VCHIQ_SRVSTATE_CLOSEWAIT) {
  46133. + if (is_server)
  46134. + service->closing = 0;
  46135. +
  46136. + up(&service->remove_event);
  46137. + }
  46138. + } else
  46139. + vchiq_set_service_state(service, failstate);
  46140. +
  46141. + return status;
  46142. +}
  46143. +
  46144. +/* Called by the slot handler */
  46145. +VCHIQ_STATUS_T
  46146. +vchiq_close_service_internal(VCHIQ_SERVICE_T *service, int close_recvd)
  46147. +{
  46148. + VCHIQ_STATE_T *state = service->state;
  46149. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  46150. + int is_server = (service->public_fourcc != VCHIQ_FOURCC_INVALID);
  46151. +
  46152. + vchiq_log_info(vchiq_core_log_level, "%d: csi:%d,%d (%s)",
  46153. + service->state->id, service->localport, close_recvd,
  46154. + srvstate_names[service->srvstate]);
  46155. +
  46156. + switch (service->srvstate) {
  46157. + case VCHIQ_SRVSTATE_CLOSED:
  46158. + case VCHIQ_SRVSTATE_HIDDEN:
  46159. + case VCHIQ_SRVSTATE_LISTENING:
  46160. + case VCHIQ_SRVSTATE_CLOSEWAIT:
  46161. + if (close_recvd)
  46162. + vchiq_log_error(vchiq_core_log_level,
  46163. + "vchiq_close_service_internal(1) called "
  46164. + "in state %s",
  46165. + srvstate_names[service->srvstate]);
  46166. + else if (is_server) {
  46167. + if (service->srvstate == VCHIQ_SRVSTATE_LISTENING) {
  46168. + status = VCHIQ_ERROR;
  46169. + } else {
  46170. + service->client_id = 0;
  46171. + service->remoteport = VCHIQ_PORT_FREE;
  46172. + if (service->srvstate ==
  46173. + VCHIQ_SRVSTATE_CLOSEWAIT)
  46174. + vchiq_set_service_state(service,
  46175. + VCHIQ_SRVSTATE_LISTENING);
  46176. + }
  46177. + up(&service->remove_event);
  46178. + } else
  46179. + vchiq_free_service_internal(service);
  46180. + break;
  46181. + case VCHIQ_SRVSTATE_OPENING:
  46182. + if (close_recvd) {
  46183. + /* The open was rejected - tell the user */
  46184. + vchiq_set_service_state(service,
  46185. + VCHIQ_SRVSTATE_CLOSEWAIT);
  46186. + up(&service->remove_event);
  46187. + } else {
  46188. + /* Shutdown mid-open - let the other side know */
  46189. + status = queue_message(state, service,
  46190. + VCHIQ_MAKE_MSG
  46191. + (VCHIQ_MSG_CLOSE,
  46192. + service->localport,
  46193. + VCHIQ_MSG_DSTPORT(service->remoteport)),
  46194. + NULL, 0, 0, 0);
  46195. + }
  46196. + break;
  46197. +
  46198. + case VCHIQ_SRVSTATE_OPENSYNC:
  46199. + mutex_lock(&state->sync_mutex);
  46200. + /* Drop through */
  46201. +
  46202. + case VCHIQ_SRVSTATE_OPEN:
  46203. + if (state->is_master || close_recvd) {
  46204. + if (!do_abort_bulks(service))
  46205. + status = VCHIQ_RETRY;
  46206. + }
  46207. +
  46208. + release_service_messages(service);
  46209. +
  46210. + if (status == VCHIQ_SUCCESS)
  46211. + status = queue_message(state, service,
  46212. + VCHIQ_MAKE_MSG
  46213. + (VCHIQ_MSG_CLOSE,
  46214. + service->localport,
  46215. + VCHIQ_MSG_DSTPORT(service->remoteport)),
  46216. + NULL, 0, 0, QMFLAGS_NO_MUTEX_UNLOCK);
  46217. +
  46218. + if (status == VCHIQ_SUCCESS) {
  46219. + if (!close_recvd) {
  46220. + /* Change the state while the mutex is
  46221. + still held */
  46222. + vchiq_set_service_state(service,
  46223. + VCHIQ_SRVSTATE_CLOSESENT);
  46224. + mutex_unlock(&state->slot_mutex);
  46225. + if (service->sync)
  46226. + mutex_unlock(&state->sync_mutex);
  46227. + break;
  46228. + }
  46229. + } else if (service->srvstate == VCHIQ_SRVSTATE_OPENSYNC) {
  46230. + mutex_unlock(&state->sync_mutex);
  46231. + break;
  46232. + } else
  46233. + break;
  46234. +
  46235. + /* Change the state while the mutex is still held */
  46236. + vchiq_set_service_state(service, VCHIQ_SRVSTATE_CLOSERECVD);
  46237. + mutex_unlock(&state->slot_mutex);
  46238. + if (service->sync)
  46239. + mutex_unlock(&state->sync_mutex);
  46240. +
  46241. + status = close_service_complete(service,
  46242. + VCHIQ_SRVSTATE_CLOSERECVD);
  46243. + break;
  46244. +
  46245. + case VCHIQ_SRVSTATE_CLOSESENT:
  46246. + if (!close_recvd)
  46247. + /* This happens when a process is killed mid-close */
  46248. + break;
  46249. +
  46250. + if (!state->is_master) {
  46251. + if (!do_abort_bulks(service)) {
  46252. + status = VCHIQ_RETRY;
  46253. + break;
  46254. + }
  46255. + }
  46256. +
  46257. + if (status == VCHIQ_SUCCESS)
  46258. + status = close_service_complete(service,
  46259. + VCHIQ_SRVSTATE_CLOSERECVD);
  46260. + break;
  46261. +
  46262. + case VCHIQ_SRVSTATE_CLOSERECVD:
  46263. + if (!close_recvd && is_server)
  46264. + /* Force into LISTENING mode */
  46265. + vchiq_set_service_state(service,
  46266. + VCHIQ_SRVSTATE_LISTENING);
  46267. + status = close_service_complete(service,
  46268. + VCHIQ_SRVSTATE_CLOSERECVD);
  46269. + break;
  46270. +
  46271. + default:
  46272. + vchiq_log_error(vchiq_core_log_level,
  46273. + "vchiq_close_service_internal(%d) called in state %s",
  46274. + close_recvd, srvstate_names[service->srvstate]);
  46275. + break;
  46276. + }
  46277. +
  46278. + return status;
  46279. +}
  46280. +
  46281. +/* Called from the application process upon process death */
  46282. +void
  46283. +vchiq_terminate_service_internal(VCHIQ_SERVICE_T *service)
  46284. +{
  46285. + VCHIQ_STATE_T *state = service->state;
  46286. +
  46287. + vchiq_log_info(vchiq_core_log_level, "%d: tsi - (%d<->%d)",
  46288. + state->id, service->localport, service->remoteport);
  46289. +
  46290. + mark_service_closing(service);
  46291. +
  46292. + /* Mark the service for removal by the slot handler */
  46293. + request_poll(state, service, VCHIQ_POLL_REMOVE);
  46294. +}
  46295. +
  46296. +/* Called from the slot handler */
  46297. +void
  46298. +vchiq_free_service_internal(VCHIQ_SERVICE_T *service)
  46299. +{
  46300. + VCHIQ_STATE_T *state = service->state;
  46301. +
  46302. + vchiq_log_info(vchiq_core_log_level, "%d: fsi - (%d)",
  46303. + state->id, service->localport);
  46304. +
  46305. + switch (service->srvstate) {
  46306. + case VCHIQ_SRVSTATE_OPENING:
  46307. + case VCHIQ_SRVSTATE_CLOSED:
  46308. + case VCHIQ_SRVSTATE_HIDDEN:
  46309. + case VCHIQ_SRVSTATE_LISTENING:
  46310. + case VCHIQ_SRVSTATE_CLOSEWAIT:
  46311. + break;
  46312. + default:
  46313. + vchiq_log_error(vchiq_core_log_level,
  46314. + "%d: fsi - (%d) in state %s",
  46315. + state->id, service->localport,
  46316. + srvstate_names[service->srvstate]);
  46317. + return;
  46318. + }
  46319. +
  46320. + vchiq_set_service_state(service, VCHIQ_SRVSTATE_FREE);
  46321. +
  46322. + up(&service->remove_event);
  46323. +
  46324. + /* Release the initial lock */
  46325. + unlock_service(service);
  46326. +}
  46327. +
  46328. +VCHIQ_STATUS_T
  46329. +vchiq_connect_internal(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance)
  46330. +{
  46331. + VCHIQ_SERVICE_T *service;
  46332. + int i;
  46333. +
  46334. + /* Find all services registered to this client and enable them. */
  46335. + i = 0;
  46336. + while ((service = next_service_by_instance(state, instance,
  46337. + &i)) != NULL) {
  46338. + if (service->srvstate == VCHIQ_SRVSTATE_HIDDEN)
  46339. + vchiq_set_service_state(service,
  46340. + VCHIQ_SRVSTATE_LISTENING);
  46341. + unlock_service(service);
  46342. + }
  46343. +
  46344. + if (state->conn_state == VCHIQ_CONNSTATE_DISCONNECTED) {
  46345. + if (queue_message(state, NULL,
  46346. + VCHIQ_MAKE_MSG(VCHIQ_MSG_CONNECT, 0, 0), NULL, 0,
  46347. + 0, QMFLAGS_IS_BLOCKING) == VCHIQ_RETRY)
  46348. + return VCHIQ_RETRY;
  46349. +
  46350. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_CONNECTING);
  46351. + }
  46352. +
  46353. + if (state->conn_state == VCHIQ_CONNSTATE_CONNECTING) {
  46354. + if (down_interruptible(&state->connect) != 0)
  46355. + return VCHIQ_RETRY;
  46356. +
  46357. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_CONNECTED);
  46358. + up(&state->connect);
  46359. + }
  46360. +
  46361. + return VCHIQ_SUCCESS;
  46362. +}
  46363. +
  46364. +VCHIQ_STATUS_T
  46365. +vchiq_shutdown_internal(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance)
  46366. +{
  46367. + VCHIQ_SERVICE_T *service;
  46368. + int i;
  46369. +
  46370. + /* Find all services registered to this client and enable them. */
  46371. + i = 0;
  46372. + while ((service = next_service_by_instance(state, instance,
  46373. + &i)) != NULL) {
  46374. + (void)vchiq_remove_service(service->handle);
  46375. + unlock_service(service);
  46376. + }
  46377. +
  46378. + return VCHIQ_SUCCESS;
  46379. +}
  46380. +
  46381. +VCHIQ_STATUS_T
  46382. +vchiq_pause_internal(VCHIQ_STATE_T *state)
  46383. +{
  46384. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  46385. +
  46386. + switch (state->conn_state) {
  46387. + case VCHIQ_CONNSTATE_CONNECTED:
  46388. + /* Request a pause */
  46389. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_PAUSING);
  46390. + request_poll(state, NULL, 0);
  46391. + break;
  46392. + default:
  46393. + vchiq_log_error(vchiq_core_log_level,
  46394. + "vchiq_pause_internal in state %s\n",
  46395. + conn_state_names[state->conn_state]);
  46396. + status = VCHIQ_ERROR;
  46397. + VCHIQ_STATS_INC(state, error_count);
  46398. + break;
  46399. + }
  46400. +
  46401. + return status;
  46402. +}
  46403. +
  46404. +VCHIQ_STATUS_T
  46405. +vchiq_resume_internal(VCHIQ_STATE_T *state)
  46406. +{
  46407. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  46408. +
  46409. + if (state->conn_state == VCHIQ_CONNSTATE_PAUSED) {
  46410. + vchiq_set_conn_state(state, VCHIQ_CONNSTATE_RESUMING);
  46411. + request_poll(state, NULL, 0);
  46412. + } else {
  46413. + status = VCHIQ_ERROR;
  46414. + VCHIQ_STATS_INC(state, error_count);
  46415. + }
  46416. +
  46417. + return status;
  46418. +}
  46419. +
  46420. +VCHIQ_STATUS_T
  46421. +vchiq_close_service(VCHIQ_SERVICE_HANDLE_T handle)
  46422. +{
  46423. + /* Unregister the service */
  46424. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46425. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  46426. +
  46427. + if (!service)
  46428. + return VCHIQ_ERROR;
  46429. +
  46430. + vchiq_log_info(vchiq_core_log_level,
  46431. + "%d: close_service:%d",
  46432. + service->state->id, service->localport);
  46433. +
  46434. + if ((service->srvstate == VCHIQ_SRVSTATE_FREE) ||
  46435. + (service->srvstate == VCHIQ_SRVSTATE_LISTENING) ||
  46436. + (service->srvstate == VCHIQ_SRVSTATE_HIDDEN)) {
  46437. + unlock_service(service);
  46438. + return VCHIQ_ERROR;
  46439. + }
  46440. +
  46441. + mark_service_closing(service);
  46442. +
  46443. + if (current == service->state->slot_handler_thread) {
  46444. + status = vchiq_close_service_internal(service,
  46445. + 0/*!close_recvd*/);
  46446. + BUG_ON(status == VCHIQ_RETRY);
  46447. + } else {
  46448. + /* Mark the service for termination by the slot handler */
  46449. + request_poll(service->state, service, VCHIQ_POLL_TERMINATE);
  46450. + }
  46451. +
  46452. + while (1) {
  46453. + if (down_interruptible(&service->remove_event) != 0) {
  46454. + status = VCHIQ_RETRY;
  46455. + break;
  46456. + }
  46457. +
  46458. + if ((service->srvstate == VCHIQ_SRVSTATE_FREE) ||
  46459. + (service->srvstate == VCHIQ_SRVSTATE_LISTENING) ||
  46460. + (service->srvstate == VCHIQ_SRVSTATE_OPEN))
  46461. + break;
  46462. +
  46463. + vchiq_log_warning(vchiq_core_log_level,
  46464. + "%d: close_service:%d - waiting in state %s",
  46465. + service->state->id, service->localport,
  46466. + srvstate_names[service->srvstate]);
  46467. + }
  46468. +
  46469. + if ((status == VCHIQ_SUCCESS) &&
  46470. + (service->srvstate != VCHIQ_SRVSTATE_FREE) &&
  46471. + (service->srvstate != VCHIQ_SRVSTATE_LISTENING))
  46472. + status = VCHIQ_ERROR;
  46473. +
  46474. + unlock_service(service);
  46475. +
  46476. + return status;
  46477. +}
  46478. +
  46479. +VCHIQ_STATUS_T
  46480. +vchiq_remove_service(VCHIQ_SERVICE_HANDLE_T handle)
  46481. +{
  46482. + /* Unregister the service */
  46483. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46484. + VCHIQ_STATUS_T status = VCHIQ_SUCCESS;
  46485. +
  46486. + if (!service)
  46487. + return VCHIQ_ERROR;
  46488. +
  46489. + vchiq_log_info(vchiq_core_log_level,
  46490. + "%d: remove_service:%d",
  46491. + service->state->id, service->localport);
  46492. +
  46493. + if (service->srvstate == VCHIQ_SRVSTATE_FREE) {
  46494. + unlock_service(service);
  46495. + return VCHIQ_ERROR;
  46496. + }
  46497. +
  46498. + mark_service_closing(service);
  46499. +
  46500. + if ((service->srvstate == VCHIQ_SRVSTATE_HIDDEN) ||
  46501. + (current == service->state->slot_handler_thread)) {
  46502. + /* Make it look like a client, because it must be removed and
  46503. + not left in the LISTENING state. */
  46504. + service->public_fourcc = VCHIQ_FOURCC_INVALID;
  46505. +
  46506. + status = vchiq_close_service_internal(service,
  46507. + 0/*!close_recvd*/);
  46508. + BUG_ON(status == VCHIQ_RETRY);
  46509. + } else {
  46510. + /* Mark the service for removal by the slot handler */
  46511. + request_poll(service->state, service, VCHIQ_POLL_REMOVE);
  46512. + }
  46513. + while (1) {
  46514. + if (down_interruptible(&service->remove_event) != 0) {
  46515. + status = VCHIQ_RETRY;
  46516. + break;
  46517. + }
  46518. +
  46519. + if ((service->srvstate == VCHIQ_SRVSTATE_FREE) ||
  46520. + (service->srvstate == VCHIQ_SRVSTATE_OPEN))
  46521. + break;
  46522. +
  46523. + vchiq_log_warning(vchiq_core_log_level,
  46524. + "%d: remove_service:%d - waiting in state %s",
  46525. + service->state->id, service->localport,
  46526. + srvstate_names[service->srvstate]);
  46527. + }
  46528. +
  46529. + if ((status == VCHIQ_SUCCESS) &&
  46530. + (service->srvstate != VCHIQ_SRVSTATE_FREE))
  46531. + status = VCHIQ_ERROR;
  46532. +
  46533. + unlock_service(service);
  46534. +
  46535. + return status;
  46536. +}
  46537. +
  46538. +
  46539. +/* This function may be called by kernel threads or user threads.
  46540. + * User threads may receive VCHIQ_RETRY to indicate that a signal has been
  46541. + * received and the call should be retried after being returned to user
  46542. + * context.
  46543. + * When called in blocking mode, the userdata field points to a bulk_waiter
  46544. + * structure.
  46545. + */
  46546. +VCHIQ_STATUS_T
  46547. +vchiq_bulk_transfer(VCHIQ_SERVICE_HANDLE_T handle,
  46548. + VCHI_MEM_HANDLE_T memhandle, void *offset, int size, void *userdata,
  46549. + VCHIQ_BULK_MODE_T mode, VCHIQ_BULK_DIR_T dir)
  46550. +{
  46551. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46552. + VCHIQ_BULK_QUEUE_T *queue;
  46553. + VCHIQ_BULK_T *bulk;
  46554. + VCHIQ_STATE_T *state;
  46555. + struct bulk_waiter *bulk_waiter = NULL;
  46556. + const char dir_char = (dir == VCHIQ_BULK_TRANSMIT) ? 't' : 'r';
  46557. + const int dir_msgtype = (dir == VCHIQ_BULK_TRANSMIT) ?
  46558. + VCHIQ_MSG_BULK_TX : VCHIQ_MSG_BULK_RX;
  46559. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  46560. +
  46561. + if (!service ||
  46562. + (service->srvstate != VCHIQ_SRVSTATE_OPEN) ||
  46563. + ((memhandle == VCHI_MEM_HANDLE_INVALID) && (offset == NULL)) ||
  46564. + (vchiq_check_service(service) != VCHIQ_SUCCESS))
  46565. + goto error_exit;
  46566. +
  46567. + switch (mode) {
  46568. + case VCHIQ_BULK_MODE_NOCALLBACK:
  46569. + case VCHIQ_BULK_MODE_CALLBACK:
  46570. + break;
  46571. + case VCHIQ_BULK_MODE_BLOCKING:
  46572. + bulk_waiter = (struct bulk_waiter *)userdata;
  46573. + sema_init(&bulk_waiter->event, 0);
  46574. + bulk_waiter->actual = 0;
  46575. + bulk_waiter->bulk = NULL;
  46576. + break;
  46577. + case VCHIQ_BULK_MODE_WAITING:
  46578. + bulk_waiter = (struct bulk_waiter *)userdata;
  46579. + bulk = bulk_waiter->bulk;
  46580. + goto waiting;
  46581. + default:
  46582. + goto error_exit;
  46583. + }
  46584. +
  46585. + state = service->state;
  46586. +
  46587. + queue = (dir == VCHIQ_BULK_TRANSMIT) ?
  46588. + &service->bulk_tx : &service->bulk_rx;
  46589. +
  46590. + if (mutex_lock_interruptible(&service->bulk_mutex) != 0) {
  46591. + status = VCHIQ_RETRY;
  46592. + goto error_exit;
  46593. + }
  46594. +
  46595. + if (queue->local_insert == queue->remove + VCHIQ_NUM_SERVICE_BULKS) {
  46596. + VCHIQ_SERVICE_STATS_INC(service, bulk_stalls);
  46597. + do {
  46598. + mutex_unlock(&service->bulk_mutex);
  46599. + if (down_interruptible(&service->bulk_remove_event)
  46600. + != 0) {
  46601. + status = VCHIQ_RETRY;
  46602. + goto error_exit;
  46603. + }
  46604. + if (mutex_lock_interruptible(&service->bulk_mutex)
  46605. + != 0) {
  46606. + status = VCHIQ_RETRY;
  46607. + goto error_exit;
  46608. + }
  46609. + } while (queue->local_insert == queue->remove +
  46610. + VCHIQ_NUM_SERVICE_BULKS);
  46611. + }
  46612. +
  46613. + bulk = &queue->bulks[BULK_INDEX(queue->local_insert)];
  46614. +
  46615. + bulk->mode = mode;
  46616. + bulk->dir = dir;
  46617. + bulk->userdata = userdata;
  46618. + bulk->size = size;
  46619. + bulk->actual = VCHIQ_BULK_ACTUAL_ABORTED;
  46620. +
  46621. + if (vchiq_prepare_bulk_data(bulk, memhandle, offset, size, dir) !=
  46622. + VCHIQ_SUCCESS)
  46623. + goto unlock_error_exit;
  46624. +
  46625. + wmb();
  46626. +
  46627. + vchiq_log_info(vchiq_core_log_level,
  46628. + "%d: bt (%d->%d) %cx %x@%x %x",
  46629. + state->id,
  46630. + service->localport, service->remoteport, dir_char,
  46631. + size, (unsigned int)bulk->data, (unsigned int)userdata);
  46632. +
  46633. + /* The slot mutex must be held when the service is being closed, so
  46634. + claim it here to ensure that isn't happening */
  46635. + if (mutex_lock_interruptible(&state->slot_mutex) != 0) {
  46636. + status = VCHIQ_RETRY;
  46637. + goto cancel_bulk_error_exit;
  46638. + }
  46639. +
  46640. + if (service->srvstate != VCHIQ_SRVSTATE_OPEN)
  46641. + goto unlock_both_error_exit;
  46642. +
  46643. + if (state->is_master) {
  46644. + queue->local_insert++;
  46645. + if (resolve_bulks(service, queue))
  46646. + request_poll(state, service,
  46647. + (dir == VCHIQ_BULK_TRANSMIT) ?
  46648. + VCHIQ_POLL_TXNOTIFY : VCHIQ_POLL_RXNOTIFY);
  46649. + } else {
  46650. + int payload[2] = { (int)bulk->data, bulk->size };
  46651. + VCHIQ_ELEMENT_T element = { payload, sizeof(payload) };
  46652. +
  46653. + status = queue_message(state, NULL,
  46654. + VCHIQ_MAKE_MSG(dir_msgtype,
  46655. + service->localport, service->remoteport),
  46656. + &element, 1, sizeof(payload),
  46657. + QMFLAGS_IS_BLOCKING |
  46658. + QMFLAGS_NO_MUTEX_LOCK |
  46659. + QMFLAGS_NO_MUTEX_UNLOCK);
  46660. + if (status != VCHIQ_SUCCESS) {
  46661. + goto unlock_both_error_exit;
  46662. + }
  46663. + queue->local_insert++;
  46664. + }
  46665. +
  46666. + mutex_unlock(&state->slot_mutex);
  46667. + mutex_unlock(&service->bulk_mutex);
  46668. +
  46669. + vchiq_log_trace(vchiq_core_log_level,
  46670. + "%d: bt:%d %cx li=%x ri=%x p=%x",
  46671. + state->id,
  46672. + service->localport, dir_char,
  46673. + queue->local_insert, queue->remote_insert, queue->process);
  46674. +
  46675. +waiting:
  46676. + unlock_service(service);
  46677. +
  46678. + status = VCHIQ_SUCCESS;
  46679. +
  46680. + if (bulk_waiter) {
  46681. + bulk_waiter->bulk = bulk;
  46682. + if (down_interruptible(&bulk_waiter->event) != 0)
  46683. + status = VCHIQ_RETRY;
  46684. + else if (bulk_waiter->actual == VCHIQ_BULK_ACTUAL_ABORTED)
  46685. + status = VCHIQ_ERROR;
  46686. + }
  46687. +
  46688. + return status;
  46689. +
  46690. +unlock_both_error_exit:
  46691. + mutex_unlock(&state->slot_mutex);
  46692. +cancel_bulk_error_exit:
  46693. + vchiq_complete_bulk(bulk);
  46694. +unlock_error_exit:
  46695. + mutex_unlock(&service->bulk_mutex);
  46696. +
  46697. +error_exit:
  46698. + if (service)
  46699. + unlock_service(service);
  46700. + return status;
  46701. +}
  46702. +
  46703. +VCHIQ_STATUS_T
  46704. +vchiq_queue_message(VCHIQ_SERVICE_HANDLE_T handle,
  46705. + const VCHIQ_ELEMENT_T *elements, unsigned int count)
  46706. +{
  46707. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46708. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  46709. +
  46710. + unsigned int size = 0;
  46711. + unsigned int i;
  46712. +
  46713. + if (!service ||
  46714. + (vchiq_check_service(service) != VCHIQ_SUCCESS))
  46715. + goto error_exit;
  46716. +
  46717. + for (i = 0; i < (unsigned int)count; i++) {
  46718. + if (elements[i].size) {
  46719. + if (elements[i].data == NULL) {
  46720. + VCHIQ_SERVICE_STATS_INC(service, error_count);
  46721. + goto error_exit;
  46722. + }
  46723. + size += elements[i].size;
  46724. + }
  46725. + }
  46726. +
  46727. + if (size > VCHIQ_MAX_MSG_SIZE) {
  46728. + VCHIQ_SERVICE_STATS_INC(service, error_count);
  46729. + goto error_exit;
  46730. + }
  46731. +
  46732. + switch (service->srvstate) {
  46733. + case VCHIQ_SRVSTATE_OPEN:
  46734. + status = queue_message(service->state, service,
  46735. + VCHIQ_MAKE_MSG(VCHIQ_MSG_DATA,
  46736. + service->localport,
  46737. + service->remoteport),
  46738. + elements, count, size, 1);
  46739. + break;
  46740. + case VCHIQ_SRVSTATE_OPENSYNC:
  46741. + status = queue_message_sync(service->state, service,
  46742. + VCHIQ_MAKE_MSG(VCHIQ_MSG_DATA,
  46743. + service->localport,
  46744. + service->remoteport),
  46745. + elements, count, size, 1);
  46746. + break;
  46747. + default:
  46748. + status = VCHIQ_ERROR;
  46749. + break;
  46750. + }
  46751. +
  46752. +error_exit:
  46753. + if (service)
  46754. + unlock_service(service);
  46755. +
  46756. + return status;
  46757. +}
  46758. +
  46759. +void
  46760. +vchiq_release_message(VCHIQ_SERVICE_HANDLE_T handle, VCHIQ_HEADER_T *header)
  46761. +{
  46762. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46763. + VCHIQ_SHARED_STATE_T *remote;
  46764. + VCHIQ_STATE_T *state;
  46765. + int slot_index;
  46766. +
  46767. + if (!service)
  46768. + return;
  46769. +
  46770. + state = service->state;
  46771. + remote = state->remote;
  46772. +
  46773. + slot_index = SLOT_INDEX_FROM_DATA(state, (void *)header);
  46774. +
  46775. + if ((slot_index >= remote->slot_first) &&
  46776. + (slot_index <= remote->slot_last)) {
  46777. + int msgid = header->msgid;
  46778. + if (msgid & VCHIQ_MSGID_CLAIMED) {
  46779. + VCHIQ_SLOT_INFO_T *slot_info =
  46780. + SLOT_INFO_FROM_INDEX(state, slot_index);
  46781. +
  46782. + release_slot(state, slot_info, header, service);
  46783. + }
  46784. + } else if (slot_index == remote->slot_sync)
  46785. + release_message_sync(state, header);
  46786. +
  46787. + unlock_service(service);
  46788. +}
  46789. +
  46790. +static void
  46791. +release_message_sync(VCHIQ_STATE_T *state, VCHIQ_HEADER_T *header)
  46792. +{
  46793. + header->msgid = VCHIQ_MSGID_PADDING;
  46794. + wmb();
  46795. + remote_event_signal(&state->remote->sync_release);
  46796. +}
  46797. +
  46798. +VCHIQ_STATUS_T
  46799. +vchiq_get_peer_version(VCHIQ_SERVICE_HANDLE_T handle, short *peer_version)
  46800. +{
  46801. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  46802. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46803. +
  46804. + if (!service ||
  46805. + (vchiq_check_service(service) != VCHIQ_SUCCESS) ||
  46806. + !peer_version)
  46807. + goto exit;
  46808. + *peer_version = service->peer_version;
  46809. + status = VCHIQ_SUCCESS;
  46810. +
  46811. +exit:
  46812. + if (service)
  46813. + unlock_service(service);
  46814. + return status;
  46815. +}
  46816. +
  46817. +VCHIQ_STATUS_T
  46818. +vchiq_get_config(VCHIQ_INSTANCE_T instance,
  46819. + int config_size, VCHIQ_CONFIG_T *pconfig)
  46820. +{
  46821. + VCHIQ_CONFIG_T config;
  46822. +
  46823. + (void)instance;
  46824. +
  46825. + config.max_msg_size = VCHIQ_MAX_MSG_SIZE;
  46826. + config.bulk_threshold = VCHIQ_MAX_MSG_SIZE;
  46827. + config.max_outstanding_bulks = VCHIQ_NUM_SERVICE_BULKS;
  46828. + config.max_services = VCHIQ_MAX_SERVICES;
  46829. + config.version = VCHIQ_VERSION;
  46830. + config.version_min = VCHIQ_VERSION_MIN;
  46831. +
  46832. + if (config_size > sizeof(VCHIQ_CONFIG_T))
  46833. + return VCHIQ_ERROR;
  46834. +
  46835. + memcpy(pconfig, &config,
  46836. + min(config_size, (int)(sizeof(VCHIQ_CONFIG_T))));
  46837. +
  46838. + return VCHIQ_SUCCESS;
  46839. +}
  46840. +
  46841. +VCHIQ_STATUS_T
  46842. +vchiq_set_service_option(VCHIQ_SERVICE_HANDLE_T handle,
  46843. + VCHIQ_SERVICE_OPTION_T option, int value)
  46844. +{
  46845. + VCHIQ_SERVICE_T *service = find_service_by_handle(handle);
  46846. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  46847. +
  46848. + if (service) {
  46849. + switch (option) {
  46850. + case VCHIQ_SERVICE_OPTION_AUTOCLOSE:
  46851. + service->auto_close = value;
  46852. + status = VCHIQ_SUCCESS;
  46853. + break;
  46854. +
  46855. + case VCHIQ_SERVICE_OPTION_SLOT_QUOTA: {
  46856. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  46857. + &service->state->service_quotas[
  46858. + service->localport];
  46859. + if (value == 0)
  46860. + value = service->state->default_slot_quota;
  46861. + if ((value >= service_quota->slot_use_count) &&
  46862. + (value < (unsigned short)~0)) {
  46863. + service_quota->slot_quota = value;
  46864. + if ((value >= service_quota->slot_use_count) &&
  46865. + (service_quota->message_quota >=
  46866. + service_quota->message_use_count)) {
  46867. + /* Signal the service that it may have
  46868. + ** dropped below its quota */
  46869. + up(&service_quota->quota_event);
  46870. + }
  46871. + status = VCHIQ_SUCCESS;
  46872. + }
  46873. + } break;
  46874. +
  46875. + case VCHIQ_SERVICE_OPTION_MESSAGE_QUOTA: {
  46876. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  46877. + &service->state->service_quotas[
  46878. + service->localport];
  46879. + if (value == 0)
  46880. + value = service->state->default_message_quota;
  46881. + if ((value >= service_quota->message_use_count) &&
  46882. + (value < (unsigned short)~0)) {
  46883. + service_quota->message_quota = value;
  46884. + if ((value >=
  46885. + service_quota->message_use_count) &&
  46886. + (service_quota->slot_quota >=
  46887. + service_quota->slot_use_count))
  46888. + /* Signal the service that it may have
  46889. + ** dropped below its quota */
  46890. + up(&service_quota->quota_event);
  46891. + status = VCHIQ_SUCCESS;
  46892. + }
  46893. + } break;
  46894. +
  46895. + case VCHIQ_SERVICE_OPTION_SYNCHRONOUS:
  46896. + if ((service->srvstate == VCHIQ_SRVSTATE_HIDDEN) ||
  46897. + (service->srvstate ==
  46898. + VCHIQ_SRVSTATE_LISTENING)) {
  46899. + service->sync = value;
  46900. + status = VCHIQ_SUCCESS;
  46901. + }
  46902. + break;
  46903. +
  46904. + case VCHIQ_SERVICE_OPTION_TRACE:
  46905. + service->trace = value;
  46906. + status = VCHIQ_SUCCESS;
  46907. + break;
  46908. +
  46909. + default:
  46910. + break;
  46911. + }
  46912. + unlock_service(service);
  46913. + }
  46914. +
  46915. + return status;
  46916. +}
  46917. +
  46918. +void
  46919. +vchiq_dump_shared_state(void *dump_context, VCHIQ_STATE_T *state,
  46920. + VCHIQ_SHARED_STATE_T *shared, const char *label)
  46921. +{
  46922. + static const char *const debug_names[] = {
  46923. + "<entries>",
  46924. + "SLOT_HANDLER_COUNT",
  46925. + "SLOT_HANDLER_LINE",
  46926. + "PARSE_LINE",
  46927. + "PARSE_HEADER",
  46928. + "PARSE_MSGID",
  46929. + "AWAIT_COMPLETION_LINE",
  46930. + "DEQUEUE_MESSAGE_LINE",
  46931. + "SERVICE_CALLBACK_LINE",
  46932. + "MSG_QUEUE_FULL_COUNT",
  46933. + "COMPLETION_QUEUE_FULL_COUNT"
  46934. + };
  46935. + int i;
  46936. +
  46937. + char buf[80];
  46938. + int len;
  46939. + len = snprintf(buf, sizeof(buf),
  46940. + " %s: slots %d-%d tx_pos=%x recycle=%x",
  46941. + label, shared->slot_first, shared->slot_last,
  46942. + shared->tx_pos, shared->slot_queue_recycle);
  46943. + vchiq_dump(dump_context, buf, len + 1);
  46944. +
  46945. + len = snprintf(buf, sizeof(buf),
  46946. + " Slots claimed:");
  46947. + vchiq_dump(dump_context, buf, len + 1);
  46948. +
  46949. + for (i = shared->slot_first; i <= shared->slot_last; i++) {
  46950. + VCHIQ_SLOT_INFO_T slot_info = *SLOT_INFO_FROM_INDEX(state, i);
  46951. + if (slot_info.use_count != slot_info.release_count) {
  46952. + len = snprintf(buf, sizeof(buf),
  46953. + " %d: %d/%d", i, slot_info.use_count,
  46954. + slot_info.release_count);
  46955. + vchiq_dump(dump_context, buf, len + 1);
  46956. + }
  46957. + }
  46958. +
  46959. + for (i = 1; i < shared->debug[DEBUG_ENTRIES]; i++) {
  46960. + len = snprintf(buf, sizeof(buf), " DEBUG: %s = %d(%x)",
  46961. + debug_names[i], shared->debug[i], shared->debug[i]);
  46962. + vchiq_dump(dump_context, buf, len + 1);
  46963. + }
  46964. +}
  46965. +
  46966. +void
  46967. +vchiq_dump_state(void *dump_context, VCHIQ_STATE_T *state)
  46968. +{
  46969. + char buf[80];
  46970. + int len;
  46971. + int i;
  46972. +
  46973. + len = snprintf(buf, sizeof(buf), "State %d: %s", state->id,
  46974. + conn_state_names[state->conn_state]);
  46975. + vchiq_dump(dump_context, buf, len + 1);
  46976. +
  46977. + len = snprintf(buf, sizeof(buf),
  46978. + " tx_pos=%x(@%x), rx_pos=%x(@%x)",
  46979. + state->local->tx_pos,
  46980. + (uint32_t)state->tx_data +
  46981. + (state->local_tx_pos & VCHIQ_SLOT_MASK),
  46982. + state->rx_pos,
  46983. + (uint32_t)state->rx_data +
  46984. + (state->rx_pos & VCHIQ_SLOT_MASK));
  46985. + vchiq_dump(dump_context, buf, len + 1);
  46986. +
  46987. + len = snprintf(buf, sizeof(buf),
  46988. + " Version: %d (min %d)",
  46989. + VCHIQ_VERSION, VCHIQ_VERSION_MIN);
  46990. + vchiq_dump(dump_context, buf, len + 1);
  46991. +
  46992. + if (VCHIQ_ENABLE_STATS) {
  46993. + len = snprintf(buf, sizeof(buf),
  46994. + " Stats: ctrl_tx_count=%d, ctrl_rx_count=%d, "
  46995. + "error_count=%d",
  46996. + state->stats.ctrl_tx_count, state->stats.ctrl_rx_count,
  46997. + state->stats.error_count);
  46998. + vchiq_dump(dump_context, buf, len + 1);
  46999. + }
  47000. +
  47001. + len = snprintf(buf, sizeof(buf),
  47002. + " Slots: %d available (%d data), %d recyclable, %d stalls "
  47003. + "(%d data)",
  47004. + ((state->slot_queue_available * VCHIQ_SLOT_SIZE) -
  47005. + state->local_tx_pos) / VCHIQ_SLOT_SIZE,
  47006. + state->data_quota - state->data_use_count,
  47007. + state->local->slot_queue_recycle - state->slot_queue_available,
  47008. + state->stats.slot_stalls, state->stats.data_stalls);
  47009. + vchiq_dump(dump_context, buf, len + 1);
  47010. +
  47011. + vchiq_dump_platform_state(dump_context);
  47012. +
  47013. + vchiq_dump_shared_state(dump_context, state, state->local, "Local");
  47014. + vchiq_dump_shared_state(dump_context, state, state->remote, "Remote");
  47015. +
  47016. + vchiq_dump_platform_instances(dump_context);
  47017. +
  47018. + for (i = 0; i < state->unused_service; i++) {
  47019. + VCHIQ_SERVICE_T *service = find_service_by_port(state, i);
  47020. +
  47021. + if (service) {
  47022. + vchiq_dump_service_state(dump_context, service);
  47023. + unlock_service(service);
  47024. + }
  47025. + }
  47026. +}
  47027. +
  47028. +void
  47029. +vchiq_dump_service_state(void *dump_context, VCHIQ_SERVICE_T *service)
  47030. +{
  47031. + char buf[80];
  47032. + int len;
  47033. +
  47034. + len = snprintf(buf, sizeof(buf), "Service %d: %s (ref %u)",
  47035. + service->localport, srvstate_names[service->srvstate],
  47036. + service->ref_count - 1); /*Don't include the lock just taken*/
  47037. +
  47038. + if (service->srvstate != VCHIQ_SRVSTATE_FREE) {
  47039. + char remoteport[30];
  47040. + VCHIQ_SERVICE_QUOTA_T *service_quota =
  47041. + &service->state->service_quotas[service->localport];
  47042. + int fourcc = service->base.fourcc;
  47043. + int tx_pending, rx_pending;
  47044. + if (service->remoteport != VCHIQ_PORT_FREE) {
  47045. + int len2 = snprintf(remoteport, sizeof(remoteport),
  47046. + "%d", service->remoteport);
  47047. + if (service->public_fourcc != VCHIQ_FOURCC_INVALID)
  47048. + snprintf(remoteport + len2,
  47049. + sizeof(remoteport) - len2,
  47050. + " (client %x)", service->client_id);
  47051. + } else
  47052. + strcpy(remoteport, "n/a");
  47053. +
  47054. + len += snprintf(buf + len, sizeof(buf) - len,
  47055. + " '%c%c%c%c' remote %s (msg use %d/%d, slot use %d/%d)",
  47056. + VCHIQ_FOURCC_AS_4CHARS(fourcc),
  47057. + remoteport,
  47058. + service_quota->message_use_count,
  47059. + service_quota->message_quota,
  47060. + service_quota->slot_use_count,
  47061. + service_quota->slot_quota);
  47062. +
  47063. + vchiq_dump(dump_context, buf, len + 1);
  47064. +
  47065. + tx_pending = service->bulk_tx.local_insert -
  47066. + service->bulk_tx.remote_insert;
  47067. +
  47068. + rx_pending = service->bulk_rx.local_insert -
  47069. + service->bulk_rx.remote_insert;
  47070. +
  47071. + len = snprintf(buf, sizeof(buf),
  47072. + " Bulk: tx_pending=%d (size %d),"
  47073. + " rx_pending=%d (size %d)",
  47074. + tx_pending,
  47075. + tx_pending ? service->bulk_tx.bulks[
  47076. + BULK_INDEX(service->bulk_tx.remove)].size : 0,
  47077. + rx_pending,
  47078. + rx_pending ? service->bulk_rx.bulks[
  47079. + BULK_INDEX(service->bulk_rx.remove)].size : 0);
  47080. +
  47081. + if (VCHIQ_ENABLE_STATS) {
  47082. + vchiq_dump(dump_context, buf, len + 1);
  47083. +
  47084. + len = snprintf(buf, sizeof(buf),
  47085. + " Ctrl: tx_count=%d, tx_bytes=%llu, "
  47086. + "rx_count=%d, rx_bytes=%llu",
  47087. + service->stats.ctrl_tx_count,
  47088. + service->stats.ctrl_tx_bytes,
  47089. + service->stats.ctrl_rx_count,
  47090. + service->stats.ctrl_rx_bytes);
  47091. + vchiq_dump(dump_context, buf, len + 1);
  47092. +
  47093. + len = snprintf(buf, sizeof(buf),
  47094. + " Bulk: tx_count=%d, tx_bytes=%llu, "
  47095. + "rx_count=%d, rx_bytes=%llu",
  47096. + service->stats.bulk_tx_count,
  47097. + service->stats.bulk_tx_bytes,
  47098. + service->stats.bulk_rx_count,
  47099. + service->stats.bulk_rx_bytes);
  47100. + vchiq_dump(dump_context, buf, len + 1);
  47101. +
  47102. + len = snprintf(buf, sizeof(buf),
  47103. + " %d quota stalls, %d slot stalls, "
  47104. + "%d bulk stalls, %d aborted, %d errors",
  47105. + service->stats.quota_stalls,
  47106. + service->stats.slot_stalls,
  47107. + service->stats.bulk_stalls,
  47108. + service->stats.bulk_aborted_count,
  47109. + service->stats.error_count);
  47110. + }
  47111. + }
  47112. +
  47113. + vchiq_dump(dump_context, buf, len + 1);
  47114. +
  47115. + if (service->srvstate != VCHIQ_SRVSTATE_FREE)
  47116. + vchiq_dump_platform_service_state(dump_context, service);
  47117. +}
  47118. +
  47119. +
  47120. +void
  47121. +vchiq_loud_error_header(void)
  47122. +{
  47123. + vchiq_log_error(vchiq_core_log_level,
  47124. + "============================================================"
  47125. + "================");
  47126. + vchiq_log_error(vchiq_core_log_level,
  47127. + "============================================================"
  47128. + "================");
  47129. + vchiq_log_error(vchiq_core_log_level, "=====");
  47130. +}
  47131. +
  47132. +void
  47133. +vchiq_loud_error_footer(void)
  47134. +{
  47135. + vchiq_log_error(vchiq_core_log_level, "=====");
  47136. + vchiq_log_error(vchiq_core_log_level,
  47137. + "============================================================"
  47138. + "================");
  47139. + vchiq_log_error(vchiq_core_log_level,
  47140. + "============================================================"
  47141. + "================");
  47142. +}
  47143. +
  47144. +
  47145. +VCHIQ_STATUS_T vchiq_send_remote_use(VCHIQ_STATE_T *state)
  47146. +{
  47147. + VCHIQ_STATUS_T status = VCHIQ_RETRY;
  47148. + if (state->conn_state != VCHIQ_CONNSTATE_DISCONNECTED)
  47149. + status = queue_message(state, NULL,
  47150. + VCHIQ_MAKE_MSG(VCHIQ_MSG_REMOTE_USE, 0, 0),
  47151. + NULL, 0, 0, 0);
  47152. + return status;
  47153. +}
  47154. +
  47155. +VCHIQ_STATUS_T vchiq_send_remote_release(VCHIQ_STATE_T *state)
  47156. +{
  47157. + VCHIQ_STATUS_T status = VCHIQ_RETRY;
  47158. + if (state->conn_state != VCHIQ_CONNSTATE_DISCONNECTED)
  47159. + status = queue_message(state, NULL,
  47160. + VCHIQ_MAKE_MSG(VCHIQ_MSG_REMOTE_RELEASE, 0, 0),
  47161. + NULL, 0, 0, 0);
  47162. + return status;
  47163. +}
  47164. +
  47165. +VCHIQ_STATUS_T vchiq_send_remote_use_active(VCHIQ_STATE_T *state)
  47166. +{
  47167. + VCHIQ_STATUS_T status = VCHIQ_RETRY;
  47168. + if (state->conn_state != VCHIQ_CONNSTATE_DISCONNECTED)
  47169. + status = queue_message(state, NULL,
  47170. + VCHIQ_MAKE_MSG(VCHIQ_MSG_REMOTE_USE_ACTIVE, 0, 0),
  47171. + NULL, 0, 0, 0);
  47172. + return status;
  47173. +}
  47174. +
  47175. +void vchiq_log_dump_mem(const char *label, uint32_t addr, const void *voidMem,
  47176. + size_t numBytes)
  47177. +{
  47178. + const uint8_t *mem = (const uint8_t *)voidMem;
  47179. + size_t offset;
  47180. + char lineBuf[100];
  47181. + char *s;
  47182. +
  47183. + while (numBytes > 0) {
  47184. + s = lineBuf;
  47185. +
  47186. + for (offset = 0; offset < 16; offset++) {
  47187. + if (offset < numBytes)
  47188. + s += snprintf(s, 4, "%02x ", mem[offset]);
  47189. + else
  47190. + s += snprintf(s, 4, " ");
  47191. + }
  47192. +
  47193. + for (offset = 0; offset < 16; offset++) {
  47194. + if (offset < numBytes) {
  47195. + uint8_t ch = mem[offset];
  47196. +
  47197. + if ((ch < ' ') || (ch > '~'))
  47198. + ch = '.';
  47199. + *s++ = (char)ch;
  47200. + }
  47201. + }
  47202. + *s++ = '\0';
  47203. +
  47204. + if ((label != NULL) && (*label != '\0'))
  47205. + vchiq_log_trace(VCHIQ_LOG_TRACE,
  47206. + "%s: %08x: %s", label, addr, lineBuf);
  47207. + else
  47208. + vchiq_log_trace(VCHIQ_LOG_TRACE,
  47209. + "%08x: %s", addr, lineBuf);
  47210. +
  47211. + addr += 16;
  47212. + mem += 16;
  47213. + if (numBytes > 16)
  47214. + numBytes -= 16;
  47215. + else
  47216. + numBytes = 0;
  47217. + }
  47218. +}
  47219. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.h
  47220. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.h 1970-01-01 01:00:00.000000000 +0100
  47221. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_core.h 2015-11-29 09:42:38.075221210 +0100
  47222. @@ -0,0 +1,712 @@
  47223. +/**
  47224. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  47225. + *
  47226. + * Redistribution and use in source and binary forms, with or without
  47227. + * modification, are permitted provided that the following conditions
  47228. + * are met:
  47229. + * 1. Redistributions of source code must retain the above copyright
  47230. + * notice, this list of conditions, and the following disclaimer,
  47231. + * without modification.
  47232. + * 2. Redistributions in binary form must reproduce the above copyright
  47233. + * notice, this list of conditions and the following disclaimer in the
  47234. + * documentation and/or other materials provided with the distribution.
  47235. + * 3. The names of the above-listed copyright holders may not be used
  47236. + * to endorse or promote products derived from this software without
  47237. + * specific prior written permission.
  47238. + *
  47239. + * ALTERNATIVELY, this software may be distributed under the terms of the
  47240. + * GNU General Public License ("GPL") version 2, as published by the Free
  47241. + * Software Foundation.
  47242. + *
  47243. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  47244. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  47245. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  47246. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  47247. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  47248. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  47249. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  47250. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  47251. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  47252. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  47253. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  47254. + */
  47255. +
  47256. +#ifndef VCHIQ_CORE_H
  47257. +#define VCHIQ_CORE_H
  47258. +
  47259. +#include <linux/mutex.h>
  47260. +#include <linux/semaphore.h>
  47261. +#include <linux/kthread.h>
  47262. +
  47263. +#include "vchiq_cfg.h"
  47264. +
  47265. +#include "vchiq.h"
  47266. +
  47267. +/* Run time control of log level, based on KERN_XXX level. */
  47268. +#define VCHIQ_LOG_DEFAULT 4
  47269. +#define VCHIQ_LOG_ERROR 3
  47270. +#define VCHIQ_LOG_WARNING 4
  47271. +#define VCHIQ_LOG_INFO 6
  47272. +#define VCHIQ_LOG_TRACE 7
  47273. +
  47274. +#define VCHIQ_LOG_PREFIX KERN_INFO "vchiq: "
  47275. +
  47276. +#ifndef vchiq_log_error
  47277. +#define vchiq_log_error(cat, fmt, ...) \
  47278. + do { if (cat >= VCHIQ_LOG_ERROR) \
  47279. + printk(VCHIQ_LOG_PREFIX fmt "\n", ##__VA_ARGS__); } while (0)
  47280. +#endif
  47281. +#ifndef vchiq_log_warning
  47282. +#define vchiq_log_warning(cat, fmt, ...) \
  47283. + do { if (cat >= VCHIQ_LOG_WARNING) \
  47284. + printk(VCHIQ_LOG_PREFIX fmt "\n", ##__VA_ARGS__); } while (0)
  47285. +#endif
  47286. +#ifndef vchiq_log_info
  47287. +#define vchiq_log_info(cat, fmt, ...) \
  47288. + do { if (cat >= VCHIQ_LOG_INFO) \
  47289. + printk(VCHIQ_LOG_PREFIX fmt "\n", ##__VA_ARGS__); } while (0)
  47290. +#endif
  47291. +#ifndef vchiq_log_trace
  47292. +#define vchiq_log_trace(cat, fmt, ...) \
  47293. + do { if (cat >= VCHIQ_LOG_TRACE) \
  47294. + printk(VCHIQ_LOG_PREFIX fmt "\n", ##__VA_ARGS__); } while (0)
  47295. +#endif
  47296. +
  47297. +#define vchiq_loud_error(...) \
  47298. + vchiq_log_error(vchiq_core_log_level, "===== " __VA_ARGS__)
  47299. +
  47300. +#ifndef vchiq_static_assert
  47301. +#define vchiq_static_assert(cond) __attribute__((unused)) \
  47302. + extern int vchiq_static_assert[(cond) ? 1 : -1]
  47303. +#endif
  47304. +
  47305. +#define IS_POW2(x) (x && ((x & (x - 1)) == 0))
  47306. +
  47307. +/* Ensure that the slot size and maximum number of slots are powers of 2 */
  47308. +vchiq_static_assert(IS_POW2(VCHIQ_SLOT_SIZE));
  47309. +vchiq_static_assert(IS_POW2(VCHIQ_MAX_SLOTS));
  47310. +vchiq_static_assert(IS_POW2(VCHIQ_MAX_SLOTS_PER_SIDE));
  47311. +
  47312. +#define VCHIQ_SLOT_MASK (VCHIQ_SLOT_SIZE - 1)
  47313. +#define VCHIQ_SLOT_QUEUE_MASK (VCHIQ_MAX_SLOTS_PER_SIDE - 1)
  47314. +#define VCHIQ_SLOT_ZERO_SLOTS ((sizeof(VCHIQ_SLOT_ZERO_T) + \
  47315. + VCHIQ_SLOT_SIZE - 1) / VCHIQ_SLOT_SIZE)
  47316. +
  47317. +#define VCHIQ_MSG_PADDING 0 /* - */
  47318. +#define VCHIQ_MSG_CONNECT 1 /* - */
  47319. +#define VCHIQ_MSG_OPEN 2 /* + (srcport, -), fourcc, client_id */
  47320. +#define VCHIQ_MSG_OPENACK 3 /* + (srcport, dstport) */
  47321. +#define VCHIQ_MSG_CLOSE 4 /* + (srcport, dstport) */
  47322. +#define VCHIQ_MSG_DATA 5 /* + (srcport, dstport) */
  47323. +#define VCHIQ_MSG_BULK_RX 6 /* + (srcport, dstport), data, size */
  47324. +#define VCHIQ_MSG_BULK_TX 7 /* + (srcport, dstport), data, size */
  47325. +#define VCHIQ_MSG_BULK_RX_DONE 8 /* + (srcport, dstport), actual */
  47326. +#define VCHIQ_MSG_BULK_TX_DONE 9 /* + (srcport, dstport), actual */
  47327. +#define VCHIQ_MSG_PAUSE 10 /* - */
  47328. +#define VCHIQ_MSG_RESUME 11 /* - */
  47329. +#define VCHIQ_MSG_REMOTE_USE 12 /* - */
  47330. +#define VCHIQ_MSG_REMOTE_RELEASE 13 /* - */
  47331. +#define VCHIQ_MSG_REMOTE_USE_ACTIVE 14 /* - */
  47332. +
  47333. +#define VCHIQ_PORT_MAX (VCHIQ_MAX_SERVICES - 1)
  47334. +#define VCHIQ_PORT_FREE 0x1000
  47335. +#define VCHIQ_PORT_IS_VALID(port) (port < VCHIQ_PORT_FREE)
  47336. +#define VCHIQ_MAKE_MSG(type, srcport, dstport) \
  47337. + ((type<<24) | (srcport<<12) | (dstport<<0))
  47338. +#define VCHIQ_MSG_TYPE(msgid) ((unsigned int)msgid >> 24)
  47339. +#define VCHIQ_MSG_SRCPORT(msgid) \
  47340. + (unsigned short)(((unsigned int)msgid >> 12) & 0xfff)
  47341. +#define VCHIQ_MSG_DSTPORT(msgid) \
  47342. + ((unsigned short)msgid & 0xfff)
  47343. +
  47344. +#define VCHIQ_FOURCC_AS_4CHARS(fourcc) \
  47345. + ((fourcc) >> 24) & 0xff, \
  47346. + ((fourcc) >> 16) & 0xff, \
  47347. + ((fourcc) >> 8) & 0xff, \
  47348. + (fourcc) & 0xff
  47349. +
  47350. +/* Ensure the fields are wide enough */
  47351. +vchiq_static_assert(VCHIQ_MSG_SRCPORT(VCHIQ_MAKE_MSG(0, 0, VCHIQ_PORT_MAX))
  47352. + == 0);
  47353. +vchiq_static_assert(VCHIQ_MSG_TYPE(VCHIQ_MAKE_MSG(0, VCHIQ_PORT_MAX, 0)) == 0);
  47354. +vchiq_static_assert((unsigned int)VCHIQ_PORT_MAX <
  47355. + (unsigned int)VCHIQ_PORT_FREE);
  47356. +
  47357. +#define VCHIQ_MSGID_PADDING VCHIQ_MAKE_MSG(VCHIQ_MSG_PADDING, 0, 0)
  47358. +#define VCHIQ_MSGID_CLAIMED 0x40000000
  47359. +
  47360. +#define VCHIQ_FOURCC_INVALID 0x00000000
  47361. +#define VCHIQ_FOURCC_IS_LEGAL(fourcc) (fourcc != VCHIQ_FOURCC_INVALID)
  47362. +
  47363. +#define VCHIQ_BULK_ACTUAL_ABORTED -1
  47364. +
  47365. +typedef uint32_t BITSET_T;
  47366. +
  47367. +vchiq_static_assert((sizeof(BITSET_T) * 8) == 32);
  47368. +
  47369. +#define BITSET_SIZE(b) ((b + 31) >> 5)
  47370. +#define BITSET_WORD(b) (b >> 5)
  47371. +#define BITSET_BIT(b) (1 << (b & 31))
  47372. +#define BITSET_ZERO(bs) memset(bs, 0, sizeof(bs))
  47373. +#define BITSET_IS_SET(bs, b) (bs[BITSET_WORD(b)] & BITSET_BIT(b))
  47374. +#define BITSET_SET(bs, b) (bs[BITSET_WORD(b)] |= BITSET_BIT(b))
  47375. +#define BITSET_CLR(bs, b) (bs[BITSET_WORD(b)] &= ~BITSET_BIT(b))
  47376. +
  47377. +#if VCHIQ_ENABLE_STATS
  47378. +#define VCHIQ_STATS_INC(state, stat) (state->stats. stat++)
  47379. +#define VCHIQ_SERVICE_STATS_INC(service, stat) (service->stats. stat++)
  47380. +#define VCHIQ_SERVICE_STATS_ADD(service, stat, addend) \
  47381. + (service->stats. stat += addend)
  47382. +#else
  47383. +#define VCHIQ_STATS_INC(state, stat) ((void)0)
  47384. +#define VCHIQ_SERVICE_STATS_INC(service, stat) ((void)0)
  47385. +#define VCHIQ_SERVICE_STATS_ADD(service, stat, addend) ((void)0)
  47386. +#endif
  47387. +
  47388. +enum {
  47389. + DEBUG_ENTRIES,
  47390. +#if VCHIQ_ENABLE_DEBUG
  47391. + DEBUG_SLOT_HANDLER_COUNT,
  47392. + DEBUG_SLOT_HANDLER_LINE,
  47393. + DEBUG_PARSE_LINE,
  47394. + DEBUG_PARSE_HEADER,
  47395. + DEBUG_PARSE_MSGID,
  47396. + DEBUG_AWAIT_COMPLETION_LINE,
  47397. + DEBUG_DEQUEUE_MESSAGE_LINE,
  47398. + DEBUG_SERVICE_CALLBACK_LINE,
  47399. + DEBUG_MSG_QUEUE_FULL_COUNT,
  47400. + DEBUG_COMPLETION_QUEUE_FULL_COUNT,
  47401. +#endif
  47402. + DEBUG_MAX
  47403. +};
  47404. +
  47405. +#if VCHIQ_ENABLE_DEBUG
  47406. +
  47407. +#define DEBUG_INITIALISE(local) int *debug_ptr = (local)->debug;
  47408. +#define DEBUG_TRACE(d) \
  47409. + do { debug_ptr[DEBUG_ ## d] = __LINE__; dsb(); } while (0)
  47410. +#define DEBUG_VALUE(d, v) \
  47411. + do { debug_ptr[DEBUG_ ## d] = (v); dsb(); } while (0)
  47412. +#define DEBUG_COUNT(d) \
  47413. + do { debug_ptr[DEBUG_ ## d]++; dsb(); } while (0)
  47414. +
  47415. +#else /* VCHIQ_ENABLE_DEBUG */
  47416. +
  47417. +#define DEBUG_INITIALISE(local)
  47418. +#define DEBUG_TRACE(d)
  47419. +#define DEBUG_VALUE(d, v)
  47420. +#define DEBUG_COUNT(d)
  47421. +
  47422. +#endif /* VCHIQ_ENABLE_DEBUG */
  47423. +
  47424. +typedef enum {
  47425. + VCHIQ_CONNSTATE_DISCONNECTED,
  47426. + VCHIQ_CONNSTATE_CONNECTING,
  47427. + VCHIQ_CONNSTATE_CONNECTED,
  47428. + VCHIQ_CONNSTATE_PAUSING,
  47429. + VCHIQ_CONNSTATE_PAUSE_SENT,
  47430. + VCHIQ_CONNSTATE_PAUSED,
  47431. + VCHIQ_CONNSTATE_RESUMING,
  47432. + VCHIQ_CONNSTATE_PAUSE_TIMEOUT,
  47433. + VCHIQ_CONNSTATE_RESUME_TIMEOUT
  47434. +} VCHIQ_CONNSTATE_T;
  47435. +
  47436. +enum {
  47437. + VCHIQ_SRVSTATE_FREE,
  47438. + VCHIQ_SRVSTATE_HIDDEN,
  47439. + VCHIQ_SRVSTATE_LISTENING,
  47440. + VCHIQ_SRVSTATE_OPENING,
  47441. + VCHIQ_SRVSTATE_OPEN,
  47442. + VCHIQ_SRVSTATE_OPENSYNC,
  47443. + VCHIQ_SRVSTATE_CLOSESENT,
  47444. + VCHIQ_SRVSTATE_CLOSERECVD,
  47445. + VCHIQ_SRVSTATE_CLOSEWAIT,
  47446. + VCHIQ_SRVSTATE_CLOSED
  47447. +};
  47448. +
  47449. +enum {
  47450. + VCHIQ_POLL_TERMINATE,
  47451. + VCHIQ_POLL_REMOVE,
  47452. + VCHIQ_POLL_TXNOTIFY,
  47453. + VCHIQ_POLL_RXNOTIFY,
  47454. + VCHIQ_POLL_COUNT
  47455. +};
  47456. +
  47457. +typedef enum {
  47458. + VCHIQ_BULK_TRANSMIT,
  47459. + VCHIQ_BULK_RECEIVE
  47460. +} VCHIQ_BULK_DIR_T;
  47461. +
  47462. +typedef void (*VCHIQ_USERDATA_TERM_T)(void *userdata);
  47463. +
  47464. +typedef struct vchiq_bulk_struct {
  47465. + short mode;
  47466. + short dir;
  47467. + void *userdata;
  47468. + VCHI_MEM_HANDLE_T handle;
  47469. + void *data;
  47470. + int size;
  47471. + void *remote_data;
  47472. + int remote_size;
  47473. + int actual;
  47474. +} VCHIQ_BULK_T;
  47475. +
  47476. +typedef struct vchiq_bulk_queue_struct {
  47477. + int local_insert; /* Where to insert the next local bulk */
  47478. + int remote_insert; /* Where to insert the next remote bulk (master) */
  47479. + int process; /* Bulk to transfer next */
  47480. + int remote_notify; /* Bulk to notify the remote client of next (mstr) */
  47481. + int remove; /* Bulk to notify the local client of, and remove,
  47482. + ** next */
  47483. + VCHIQ_BULK_T bulks[VCHIQ_NUM_SERVICE_BULKS];
  47484. +} VCHIQ_BULK_QUEUE_T;
  47485. +
  47486. +typedef struct remote_event_struct {
  47487. + int armed;
  47488. + int fired;
  47489. + struct semaphore *event;
  47490. +} REMOTE_EVENT_T;
  47491. +
  47492. +typedef struct opaque_platform_state_t *VCHIQ_PLATFORM_STATE_T;
  47493. +
  47494. +typedef struct vchiq_state_struct VCHIQ_STATE_T;
  47495. +
  47496. +typedef struct vchiq_slot_struct {
  47497. + char data[VCHIQ_SLOT_SIZE];
  47498. +} VCHIQ_SLOT_T;
  47499. +
  47500. +typedef struct vchiq_slot_info_struct {
  47501. + /* Use two counters rather than one to avoid the need for a mutex. */
  47502. + short use_count;
  47503. + short release_count;
  47504. +} VCHIQ_SLOT_INFO_T;
  47505. +
  47506. +typedef struct vchiq_service_struct {
  47507. + VCHIQ_SERVICE_BASE_T base;
  47508. + VCHIQ_SERVICE_HANDLE_T handle;
  47509. + unsigned int ref_count;
  47510. + int srvstate;
  47511. + VCHIQ_USERDATA_TERM_T userdata_term;
  47512. + unsigned int localport;
  47513. + unsigned int remoteport;
  47514. + int public_fourcc;
  47515. + int client_id;
  47516. + char auto_close;
  47517. + char sync;
  47518. + char closing;
  47519. + char trace;
  47520. + atomic_t poll_flags;
  47521. + short version;
  47522. + short version_min;
  47523. + short peer_version;
  47524. +
  47525. + VCHIQ_STATE_T *state;
  47526. + VCHIQ_INSTANCE_T instance;
  47527. +
  47528. + int service_use_count;
  47529. +
  47530. + VCHIQ_BULK_QUEUE_T bulk_tx;
  47531. + VCHIQ_BULK_QUEUE_T bulk_rx;
  47532. +
  47533. + struct semaphore remove_event;
  47534. + struct semaphore bulk_remove_event;
  47535. + struct mutex bulk_mutex;
  47536. +
  47537. + struct service_stats_struct {
  47538. + int quota_stalls;
  47539. + int slot_stalls;
  47540. + int bulk_stalls;
  47541. + int error_count;
  47542. + int ctrl_tx_count;
  47543. + int ctrl_rx_count;
  47544. + int bulk_tx_count;
  47545. + int bulk_rx_count;
  47546. + int bulk_aborted_count;
  47547. + uint64_t ctrl_tx_bytes;
  47548. + uint64_t ctrl_rx_bytes;
  47549. + uint64_t bulk_tx_bytes;
  47550. + uint64_t bulk_rx_bytes;
  47551. + } stats;
  47552. +} VCHIQ_SERVICE_T;
  47553. +
  47554. +/* The quota information is outside VCHIQ_SERVICE_T so that it can be
  47555. + statically allocated, since for accounting reasons a service's slot
  47556. + usage is carried over between users of the same port number.
  47557. + */
  47558. +typedef struct vchiq_service_quota_struct {
  47559. + unsigned short slot_quota;
  47560. + unsigned short slot_use_count;
  47561. + unsigned short message_quota;
  47562. + unsigned short message_use_count;
  47563. + struct semaphore quota_event;
  47564. + int previous_tx_index;
  47565. +} VCHIQ_SERVICE_QUOTA_T;
  47566. +
  47567. +typedef struct vchiq_shared_state_struct {
  47568. +
  47569. + /* A non-zero value here indicates that the content is valid. */
  47570. + int initialised;
  47571. +
  47572. + /* The first and last (inclusive) slots allocated to the owner. */
  47573. + int slot_first;
  47574. + int slot_last;
  47575. +
  47576. + /* The slot allocated to synchronous messages from the owner. */
  47577. + int slot_sync;
  47578. +
  47579. + /* Signalling this event indicates that owner's slot handler thread
  47580. + ** should run. */
  47581. + REMOTE_EVENT_T trigger;
  47582. +
  47583. + /* Indicates the byte position within the stream where the next message
  47584. + ** will be written. The least significant bits are an index into the
  47585. + ** slot. The next bits are the index of the slot in slot_queue. */
  47586. + int tx_pos;
  47587. +
  47588. + /* This event should be signalled when a slot is recycled. */
  47589. + REMOTE_EVENT_T recycle;
  47590. +
  47591. + /* The slot_queue index where the next recycled slot will be written. */
  47592. + int slot_queue_recycle;
  47593. +
  47594. + /* This event should be signalled when a synchronous message is sent. */
  47595. + REMOTE_EVENT_T sync_trigger;
  47596. +
  47597. + /* This event should be signalled when a synchronous message has been
  47598. + ** released. */
  47599. + REMOTE_EVENT_T sync_release;
  47600. +
  47601. + /* A circular buffer of slot indexes. */
  47602. + int slot_queue[VCHIQ_MAX_SLOTS_PER_SIDE];
  47603. +
  47604. + /* Debugging state */
  47605. + int debug[DEBUG_MAX];
  47606. +} VCHIQ_SHARED_STATE_T;
  47607. +
  47608. +typedef struct vchiq_slot_zero_struct {
  47609. + int magic;
  47610. + short version;
  47611. + short version_min;
  47612. + int slot_zero_size;
  47613. + int slot_size;
  47614. + int max_slots;
  47615. + int max_slots_per_side;
  47616. + int platform_data[2];
  47617. + VCHIQ_SHARED_STATE_T master;
  47618. + VCHIQ_SHARED_STATE_T slave;
  47619. + VCHIQ_SLOT_INFO_T slots[VCHIQ_MAX_SLOTS];
  47620. +} VCHIQ_SLOT_ZERO_T;
  47621. +
  47622. +struct vchiq_state_struct {
  47623. + int id;
  47624. + int initialised;
  47625. + VCHIQ_CONNSTATE_T conn_state;
  47626. + int is_master;
  47627. + short version_common;
  47628. +
  47629. + VCHIQ_SHARED_STATE_T *local;
  47630. + VCHIQ_SHARED_STATE_T *remote;
  47631. + VCHIQ_SLOT_T *slot_data;
  47632. +
  47633. + unsigned short default_slot_quota;
  47634. + unsigned short default_message_quota;
  47635. +
  47636. + /* Event indicating connect message received */
  47637. + struct semaphore connect;
  47638. +
  47639. + /* Mutex protecting services */
  47640. + struct mutex mutex;
  47641. + VCHIQ_INSTANCE_T *instance;
  47642. +
  47643. + /* Processes incoming messages */
  47644. + struct task_struct *slot_handler_thread;
  47645. +
  47646. + /* Processes recycled slots */
  47647. + struct task_struct *recycle_thread;
  47648. +
  47649. + /* Processes synchronous messages */
  47650. + struct task_struct *sync_thread;
  47651. +
  47652. + /* Local implementation of the trigger remote event */
  47653. + struct semaphore trigger_event;
  47654. +
  47655. + /* Local implementation of the recycle remote event */
  47656. + struct semaphore recycle_event;
  47657. +
  47658. + /* Local implementation of the sync trigger remote event */
  47659. + struct semaphore sync_trigger_event;
  47660. +
  47661. + /* Local implementation of the sync release remote event */
  47662. + struct semaphore sync_release_event;
  47663. +
  47664. + char *tx_data;
  47665. + char *rx_data;
  47666. + VCHIQ_SLOT_INFO_T *rx_info;
  47667. +
  47668. + struct mutex slot_mutex;
  47669. +
  47670. + struct mutex recycle_mutex;
  47671. +
  47672. + struct mutex sync_mutex;
  47673. +
  47674. + struct mutex bulk_transfer_mutex;
  47675. +
  47676. + /* Indicates the byte position within the stream from where the next
  47677. + ** message will be read. The least significant bits are an index into
  47678. + ** the slot.The next bits are the index of the slot in
  47679. + ** remote->slot_queue. */
  47680. + int rx_pos;
  47681. +
  47682. + /* A cached copy of local->tx_pos. Only write to local->tx_pos, and read
  47683. + from remote->tx_pos. */
  47684. + int local_tx_pos;
  47685. +
  47686. + /* The slot_queue index of the slot to become available next. */
  47687. + int slot_queue_available;
  47688. +
  47689. + /* A flag to indicate if any poll has been requested */
  47690. + int poll_needed;
  47691. +
  47692. + /* Ths index of the previous slot used for data messages. */
  47693. + int previous_data_index;
  47694. +
  47695. + /* The number of slots occupied by data messages. */
  47696. + unsigned short data_use_count;
  47697. +
  47698. + /* The maximum number of slots to be occupied by data messages. */
  47699. + unsigned short data_quota;
  47700. +
  47701. + /* An array of bit sets indicating which services must be polled. */
  47702. + atomic_t poll_services[BITSET_SIZE(VCHIQ_MAX_SERVICES)];
  47703. +
  47704. + /* The number of the first unused service */
  47705. + int unused_service;
  47706. +
  47707. + /* Signalled when a free slot becomes available. */
  47708. + struct semaphore slot_available_event;
  47709. +
  47710. + struct semaphore slot_remove_event;
  47711. +
  47712. + /* Signalled when a free data slot becomes available. */
  47713. + struct semaphore data_quota_event;
  47714. +
  47715. + /* Incremented when there are bulk transfers which cannot be processed
  47716. + * whilst paused and must be processed on resume */
  47717. + int deferred_bulks;
  47718. +
  47719. + struct state_stats_struct {
  47720. + int slot_stalls;
  47721. + int data_stalls;
  47722. + int ctrl_tx_count;
  47723. + int ctrl_rx_count;
  47724. + int error_count;
  47725. + } stats;
  47726. +
  47727. + VCHIQ_SERVICE_T * services[VCHIQ_MAX_SERVICES];
  47728. + VCHIQ_SERVICE_QUOTA_T service_quotas[VCHIQ_MAX_SERVICES];
  47729. + VCHIQ_SLOT_INFO_T slot_info[VCHIQ_MAX_SLOTS];
  47730. +
  47731. + VCHIQ_PLATFORM_STATE_T platform_state;
  47732. +};
  47733. +
  47734. +struct bulk_waiter {
  47735. + VCHIQ_BULK_T *bulk;
  47736. + struct semaphore event;
  47737. + int actual;
  47738. +};
  47739. +
  47740. +extern spinlock_t bulk_waiter_spinlock;
  47741. +
  47742. +extern int vchiq_core_log_level;
  47743. +extern int vchiq_core_msg_log_level;
  47744. +extern int vchiq_sync_log_level;
  47745. +
  47746. +extern VCHIQ_STATE_T *vchiq_states[VCHIQ_MAX_STATES];
  47747. +
  47748. +extern const char *
  47749. +get_conn_state_name(VCHIQ_CONNSTATE_T conn_state);
  47750. +
  47751. +extern VCHIQ_SLOT_ZERO_T *
  47752. +vchiq_init_slots(void *mem_base, int mem_size);
  47753. +
  47754. +extern VCHIQ_STATUS_T
  47755. +vchiq_init_state(VCHIQ_STATE_T *state, VCHIQ_SLOT_ZERO_T *slot_zero,
  47756. + int is_master);
  47757. +
  47758. +extern VCHIQ_STATUS_T
  47759. +vchiq_connect_internal(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance);
  47760. +
  47761. +extern VCHIQ_SERVICE_T *
  47762. +vchiq_add_service_internal(VCHIQ_STATE_T *state,
  47763. + const VCHIQ_SERVICE_PARAMS_T *params, int srvstate,
  47764. + VCHIQ_INSTANCE_T instance, VCHIQ_USERDATA_TERM_T userdata_term);
  47765. +
  47766. +extern VCHIQ_STATUS_T
  47767. +vchiq_open_service_internal(VCHIQ_SERVICE_T *service, int client_id);
  47768. +
  47769. +extern VCHIQ_STATUS_T
  47770. +vchiq_close_service_internal(VCHIQ_SERVICE_T *service, int close_recvd);
  47771. +
  47772. +extern void
  47773. +vchiq_terminate_service_internal(VCHIQ_SERVICE_T *service);
  47774. +
  47775. +extern void
  47776. +vchiq_free_service_internal(VCHIQ_SERVICE_T *service);
  47777. +
  47778. +extern VCHIQ_STATUS_T
  47779. +vchiq_shutdown_internal(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance);
  47780. +
  47781. +extern VCHIQ_STATUS_T
  47782. +vchiq_pause_internal(VCHIQ_STATE_T *state);
  47783. +
  47784. +extern VCHIQ_STATUS_T
  47785. +vchiq_resume_internal(VCHIQ_STATE_T *state);
  47786. +
  47787. +extern void
  47788. +remote_event_pollall(VCHIQ_STATE_T *state);
  47789. +
  47790. +extern VCHIQ_STATUS_T
  47791. +vchiq_bulk_transfer(VCHIQ_SERVICE_HANDLE_T handle,
  47792. + VCHI_MEM_HANDLE_T memhandle, void *offset, int size, void *userdata,
  47793. + VCHIQ_BULK_MODE_T mode, VCHIQ_BULK_DIR_T dir);
  47794. +
  47795. +extern void
  47796. +vchiq_dump_state(void *dump_context, VCHIQ_STATE_T *state);
  47797. +
  47798. +extern void
  47799. +vchiq_dump_service_state(void *dump_context, VCHIQ_SERVICE_T *service);
  47800. +
  47801. +extern void
  47802. +vchiq_loud_error_header(void);
  47803. +
  47804. +extern void
  47805. +vchiq_loud_error_footer(void);
  47806. +
  47807. +extern void
  47808. +request_poll(VCHIQ_STATE_T *state, VCHIQ_SERVICE_T *service, int poll_type);
  47809. +
  47810. +static inline VCHIQ_SERVICE_T *
  47811. +handle_to_service(VCHIQ_SERVICE_HANDLE_T handle)
  47812. +{
  47813. + VCHIQ_STATE_T *state = vchiq_states[(handle / VCHIQ_MAX_SERVICES) &
  47814. + (VCHIQ_MAX_STATES - 1)];
  47815. + if (!state)
  47816. + return NULL;
  47817. +
  47818. + return state->services[handle & (VCHIQ_MAX_SERVICES - 1)];
  47819. +}
  47820. +
  47821. +extern VCHIQ_SERVICE_T *
  47822. +find_service_by_handle(VCHIQ_SERVICE_HANDLE_T handle);
  47823. +
  47824. +extern VCHIQ_SERVICE_T *
  47825. +find_service_by_port(VCHIQ_STATE_T *state, int localport);
  47826. +
  47827. +extern VCHIQ_SERVICE_T *
  47828. +find_service_for_instance(VCHIQ_INSTANCE_T instance,
  47829. + VCHIQ_SERVICE_HANDLE_T handle);
  47830. +
  47831. +extern VCHIQ_SERVICE_T *
  47832. +find_closed_service_for_instance(VCHIQ_INSTANCE_T instance,
  47833. + VCHIQ_SERVICE_HANDLE_T handle);
  47834. +
  47835. +extern VCHIQ_SERVICE_T *
  47836. +next_service_by_instance(VCHIQ_STATE_T *state, VCHIQ_INSTANCE_T instance,
  47837. + int *pidx);
  47838. +
  47839. +extern void
  47840. +lock_service(VCHIQ_SERVICE_T *service);
  47841. +
  47842. +extern void
  47843. +unlock_service(VCHIQ_SERVICE_T *service);
  47844. +
  47845. +/* The following functions are called from vchiq_core, and external
  47846. +** implementations must be provided. */
  47847. +
  47848. +extern VCHIQ_STATUS_T
  47849. +vchiq_prepare_bulk_data(VCHIQ_BULK_T *bulk,
  47850. + VCHI_MEM_HANDLE_T memhandle, void *offset, int size, int dir);
  47851. +
  47852. +extern void
  47853. +vchiq_transfer_bulk(VCHIQ_BULK_T *bulk);
  47854. +
  47855. +extern void
  47856. +vchiq_complete_bulk(VCHIQ_BULK_T *bulk);
  47857. +
  47858. +extern VCHIQ_STATUS_T
  47859. +vchiq_copy_from_user(void *dst, const void *src, int size);
  47860. +
  47861. +extern void
  47862. +remote_event_signal(REMOTE_EVENT_T *event);
  47863. +
  47864. +void
  47865. +vchiq_platform_check_suspend(VCHIQ_STATE_T *state);
  47866. +
  47867. +extern void
  47868. +vchiq_platform_paused(VCHIQ_STATE_T *state);
  47869. +
  47870. +extern VCHIQ_STATUS_T
  47871. +vchiq_platform_resume(VCHIQ_STATE_T *state);
  47872. +
  47873. +extern void
  47874. +vchiq_platform_resumed(VCHIQ_STATE_T *state);
  47875. +
  47876. +extern void
  47877. +vchiq_dump(void *dump_context, const char *str, int len);
  47878. +
  47879. +extern void
  47880. +vchiq_dump_platform_state(void *dump_context);
  47881. +
  47882. +extern void
  47883. +vchiq_dump_platform_instances(void *dump_context);
  47884. +
  47885. +extern void
  47886. +vchiq_dump_platform_service_state(void *dump_context,
  47887. + VCHIQ_SERVICE_T *service);
  47888. +
  47889. +extern VCHIQ_STATUS_T
  47890. +vchiq_use_service_internal(VCHIQ_SERVICE_T *service);
  47891. +
  47892. +extern VCHIQ_STATUS_T
  47893. +vchiq_release_service_internal(VCHIQ_SERVICE_T *service);
  47894. +
  47895. +extern void
  47896. +vchiq_on_remote_use(VCHIQ_STATE_T *state);
  47897. +
  47898. +extern void
  47899. +vchiq_on_remote_release(VCHIQ_STATE_T *state);
  47900. +
  47901. +extern VCHIQ_STATUS_T
  47902. +vchiq_platform_init_state(VCHIQ_STATE_T *state);
  47903. +
  47904. +extern VCHIQ_STATUS_T
  47905. +vchiq_check_service(VCHIQ_SERVICE_T *service);
  47906. +
  47907. +extern void
  47908. +vchiq_on_remote_use_active(VCHIQ_STATE_T *state);
  47909. +
  47910. +extern VCHIQ_STATUS_T
  47911. +vchiq_send_remote_use(VCHIQ_STATE_T *state);
  47912. +
  47913. +extern VCHIQ_STATUS_T
  47914. +vchiq_send_remote_release(VCHIQ_STATE_T *state);
  47915. +
  47916. +extern VCHIQ_STATUS_T
  47917. +vchiq_send_remote_use_active(VCHIQ_STATE_T *state);
  47918. +
  47919. +extern void
  47920. +vchiq_platform_conn_state_changed(VCHIQ_STATE_T *state,
  47921. + VCHIQ_CONNSTATE_T oldstate, VCHIQ_CONNSTATE_T newstate);
  47922. +
  47923. +extern void
  47924. +vchiq_platform_handle_timeout(VCHIQ_STATE_T *state);
  47925. +
  47926. +extern void
  47927. +vchiq_set_conn_state(VCHIQ_STATE_T *state, VCHIQ_CONNSTATE_T newstate);
  47928. +
  47929. +
  47930. +extern void
  47931. +vchiq_log_dump_mem(const char *label, uint32_t addr, const void *voidMem,
  47932. + size_t numBytes);
  47933. +
  47934. +#endif
  47935. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.c
  47936. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.c 1970-01-01 01:00:00.000000000 +0100
  47937. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.c 2015-11-29 09:42:38.075221210 +0100
  47938. @@ -0,0 +1,383 @@
  47939. +/**
  47940. + * Copyright (c) 2014 Raspberry Pi (Trading) Ltd. All rights reserved.
  47941. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  47942. + *
  47943. + * Redistribution and use in source and binary forms, with or without
  47944. + * modification, are permitted provided that the following conditions
  47945. + * are met:
  47946. + * 1. Redistributions of source code must retain the above copyright
  47947. + * notice, this list of conditions, and the following disclaimer,
  47948. + * without modification.
  47949. + * 2. Redistributions in binary form must reproduce the above copyright
  47950. + * notice, this list of conditions and the following disclaimer in the
  47951. + * documentation and/or other materials provided with the distribution.
  47952. + * 3. The names of the above-listed copyright holders may not be used
  47953. + * to endorse or promote products derived from this software without
  47954. + * specific prior written permission.
  47955. + *
  47956. + * ALTERNATIVELY, this software may be distributed under the terms of the
  47957. + * GNU General Public License ("GPL") version 2, as published by the Free
  47958. + * Software Foundation.
  47959. + *
  47960. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  47961. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  47962. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  47963. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  47964. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  47965. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  47966. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  47967. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  47968. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  47969. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  47970. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  47971. + */
  47972. +
  47973. +
  47974. +#include <linux/debugfs.h>
  47975. +#include "vchiq_core.h"
  47976. +#include "vchiq_arm.h"
  47977. +#include "vchiq_debugfs.h"
  47978. +
  47979. +#ifdef CONFIG_DEBUG_FS
  47980. +
  47981. +/****************************************************************************
  47982. +*
  47983. +* log category entries
  47984. +*
  47985. +***************************************************************************/
  47986. +#define DEBUGFS_WRITE_BUF_SIZE 256
  47987. +
  47988. +#define VCHIQ_LOG_ERROR_STR "error"
  47989. +#define VCHIQ_LOG_WARNING_STR "warning"
  47990. +#define VCHIQ_LOG_INFO_STR "info"
  47991. +#define VCHIQ_LOG_TRACE_STR "trace"
  47992. +
  47993. +
  47994. +/* Top-level debug info */
  47995. +struct vchiq_debugfs_info {
  47996. + /* Global 'vchiq' debugfs entry used by all instances */
  47997. + struct dentry *vchiq_cfg_dir;
  47998. +
  47999. + /* one entry per client process */
  48000. + struct dentry *clients;
  48001. +
  48002. + /* log categories */
  48003. + struct dentry *log_categories;
  48004. +};
  48005. +
  48006. +static struct vchiq_debugfs_info debugfs_info;
  48007. +
  48008. +/* Log category debugfs entries */
  48009. +struct vchiq_debugfs_log_entry {
  48010. + const char *name;
  48011. + int *plevel;
  48012. + struct dentry *dir;
  48013. +};
  48014. +
  48015. +static struct vchiq_debugfs_log_entry vchiq_debugfs_log_entries[] = {
  48016. + { "core", &vchiq_core_log_level },
  48017. + { "msg", &vchiq_core_msg_log_level },
  48018. + { "sync", &vchiq_sync_log_level },
  48019. + { "susp", &vchiq_susp_log_level },
  48020. + { "arm", &vchiq_arm_log_level },
  48021. +};
  48022. +static int n_log_entries =
  48023. + sizeof(vchiq_debugfs_log_entries)/sizeof(vchiq_debugfs_log_entries[0]);
  48024. +
  48025. +
  48026. +static struct dentry *vchiq_clients_top(void);
  48027. +static struct dentry *vchiq_debugfs_top(void);
  48028. +
  48029. +static int debugfs_log_show(struct seq_file *f, void *offset)
  48030. +{
  48031. + int *levp = f->private;
  48032. + char *log_value = NULL;
  48033. +
  48034. + switch (*levp) {
  48035. + case VCHIQ_LOG_ERROR:
  48036. + log_value = VCHIQ_LOG_ERROR_STR;
  48037. + break;
  48038. + case VCHIQ_LOG_WARNING:
  48039. + log_value = VCHIQ_LOG_WARNING_STR;
  48040. + break;
  48041. + case VCHIQ_LOG_INFO:
  48042. + log_value = VCHIQ_LOG_INFO_STR;
  48043. + break;
  48044. + case VCHIQ_LOG_TRACE:
  48045. + log_value = VCHIQ_LOG_TRACE_STR;
  48046. + break;
  48047. + default:
  48048. + break;
  48049. + }
  48050. +
  48051. + seq_printf(f, "%s\n", log_value ? log_value : "(null)");
  48052. +
  48053. + return 0;
  48054. +}
  48055. +
  48056. +static int debugfs_log_open(struct inode *inode, struct file *file)
  48057. +{
  48058. + return single_open(file, debugfs_log_show, inode->i_private);
  48059. +}
  48060. +
  48061. +static int debugfs_log_write(struct file *file,
  48062. + const char __user *buffer,
  48063. + size_t count, loff_t *ppos)
  48064. +{
  48065. + struct seq_file *f = (struct seq_file *)file->private_data;
  48066. + int *levp = f->private;
  48067. + char kbuf[DEBUGFS_WRITE_BUF_SIZE + 1];
  48068. +
  48069. + memset(kbuf, 0, DEBUGFS_WRITE_BUF_SIZE + 1);
  48070. + if (count >= DEBUGFS_WRITE_BUF_SIZE)
  48071. + count = DEBUGFS_WRITE_BUF_SIZE;
  48072. +
  48073. + if (copy_from_user(kbuf, buffer, count) != 0)
  48074. + return -EFAULT;
  48075. + kbuf[count - 1] = 0;
  48076. +
  48077. + if (strncmp("error", kbuf, strlen("error")) == 0)
  48078. + *levp = VCHIQ_LOG_ERROR;
  48079. + else if (strncmp("warning", kbuf, strlen("warning")) == 0)
  48080. + *levp = VCHIQ_LOG_WARNING;
  48081. + else if (strncmp("info", kbuf, strlen("info")) == 0)
  48082. + *levp = VCHIQ_LOG_INFO;
  48083. + else if (strncmp("trace", kbuf, strlen("trace")) == 0)
  48084. + *levp = VCHIQ_LOG_TRACE;
  48085. + else
  48086. + *levp = VCHIQ_LOG_DEFAULT;
  48087. +
  48088. + *ppos += count;
  48089. +
  48090. + return count;
  48091. +}
  48092. +
  48093. +static const struct file_operations debugfs_log_fops = {
  48094. + .owner = THIS_MODULE,
  48095. + .open = debugfs_log_open,
  48096. + .write = debugfs_log_write,
  48097. + .read = seq_read,
  48098. + .llseek = seq_lseek,
  48099. + .release = single_release,
  48100. +};
  48101. +
  48102. +/* create an entry under <debugfs>/vchiq/log for each log category */
  48103. +static int vchiq_debugfs_create_log_entries(struct dentry *top)
  48104. +{
  48105. + struct dentry *dir;
  48106. + size_t i;
  48107. + int ret = 0;
  48108. + dir = debugfs_create_dir("log", vchiq_debugfs_top());
  48109. + if (!dir)
  48110. + return -ENOMEM;
  48111. + debugfs_info.log_categories = dir;
  48112. +
  48113. + for (i = 0; i < n_log_entries; i++) {
  48114. + void *levp = (void *)vchiq_debugfs_log_entries[i].plevel;
  48115. + dir = debugfs_create_file(vchiq_debugfs_log_entries[i].name,
  48116. + 0644,
  48117. + debugfs_info.log_categories,
  48118. + levp,
  48119. + &debugfs_log_fops);
  48120. + if (!dir) {
  48121. + ret = -ENOMEM;
  48122. + break;
  48123. + }
  48124. +
  48125. + vchiq_debugfs_log_entries[i].dir = dir;
  48126. + }
  48127. + return ret;
  48128. +}
  48129. +
  48130. +static int debugfs_usecount_show(struct seq_file *f, void *offset)
  48131. +{
  48132. + VCHIQ_INSTANCE_T instance = f->private;
  48133. + int use_count;
  48134. +
  48135. + use_count = vchiq_instance_get_use_count(instance);
  48136. + seq_printf(f, "%d\n", use_count);
  48137. +
  48138. + return 0;
  48139. +}
  48140. +
  48141. +static int debugfs_usecount_open(struct inode *inode, struct file *file)
  48142. +{
  48143. + return single_open(file, debugfs_usecount_show, inode->i_private);
  48144. +}
  48145. +
  48146. +static const struct file_operations debugfs_usecount_fops = {
  48147. + .owner = THIS_MODULE,
  48148. + .open = debugfs_usecount_open,
  48149. + .read = seq_read,
  48150. + .llseek = seq_lseek,
  48151. + .release = single_release,
  48152. +};
  48153. +
  48154. +static int debugfs_trace_show(struct seq_file *f, void *offset)
  48155. +{
  48156. + VCHIQ_INSTANCE_T instance = f->private;
  48157. + int trace;
  48158. +
  48159. + trace = vchiq_instance_get_trace(instance);
  48160. + seq_printf(f, "%s\n", trace ? "Y" : "N");
  48161. +
  48162. + return 0;
  48163. +}
  48164. +
  48165. +static int debugfs_trace_open(struct inode *inode, struct file *file)
  48166. +{
  48167. + return single_open(file, debugfs_trace_show, inode->i_private);
  48168. +}
  48169. +
  48170. +static int debugfs_trace_write(struct file *file,
  48171. + const char __user *buffer,
  48172. + size_t count, loff_t *ppos)
  48173. +{
  48174. + struct seq_file *f = (struct seq_file *)file->private_data;
  48175. + VCHIQ_INSTANCE_T instance = f->private;
  48176. + char firstchar;
  48177. +
  48178. + if (copy_from_user(&firstchar, buffer, 1) != 0)
  48179. + return -EFAULT;
  48180. +
  48181. + switch (firstchar) {
  48182. + case 'Y':
  48183. + case 'y':
  48184. + case '1':
  48185. + vchiq_instance_set_trace(instance, 1);
  48186. + break;
  48187. + case 'N':
  48188. + case 'n':
  48189. + case '0':
  48190. + vchiq_instance_set_trace(instance, 0);
  48191. + break;
  48192. + default:
  48193. + break;
  48194. + }
  48195. +
  48196. + *ppos += count;
  48197. +
  48198. + return count;
  48199. +}
  48200. +
  48201. +static const struct file_operations debugfs_trace_fops = {
  48202. + .owner = THIS_MODULE,
  48203. + .open = debugfs_trace_open,
  48204. + .write = debugfs_trace_write,
  48205. + .read = seq_read,
  48206. + .llseek = seq_lseek,
  48207. + .release = single_release,
  48208. +};
  48209. +
  48210. +/* add an instance (process) to the debugfs entries */
  48211. +int vchiq_debugfs_add_instance(VCHIQ_INSTANCE_T instance)
  48212. +{
  48213. + char pidstr[16];
  48214. + struct dentry *top, *use_count, *trace;
  48215. + struct dentry *clients = vchiq_clients_top();
  48216. +
  48217. + snprintf(pidstr, sizeof(pidstr), "%d",
  48218. + vchiq_instance_get_pid(instance));
  48219. +
  48220. + top = debugfs_create_dir(pidstr, clients);
  48221. + if (!top)
  48222. + goto fail_top;
  48223. +
  48224. + use_count = debugfs_create_file("use_count",
  48225. + 0444, top,
  48226. + instance,
  48227. + &debugfs_usecount_fops);
  48228. + if (!use_count)
  48229. + goto fail_use_count;
  48230. +
  48231. + trace = debugfs_create_file("trace",
  48232. + 0644, top,
  48233. + instance,
  48234. + &debugfs_trace_fops);
  48235. + if (!trace)
  48236. + goto fail_trace;
  48237. +
  48238. + vchiq_instance_get_debugfs_node(instance)->dentry = top;
  48239. +
  48240. + return 0;
  48241. +
  48242. +fail_trace:
  48243. + debugfs_remove(use_count);
  48244. +fail_use_count:
  48245. + debugfs_remove(top);
  48246. +fail_top:
  48247. + return -ENOMEM;
  48248. +}
  48249. +
  48250. +void vchiq_debugfs_remove_instance(VCHIQ_INSTANCE_T instance)
  48251. +{
  48252. + VCHIQ_DEBUGFS_NODE_T *node = vchiq_instance_get_debugfs_node(instance);
  48253. + debugfs_remove_recursive(node->dentry);
  48254. +}
  48255. +
  48256. +
  48257. +int vchiq_debugfs_init(void)
  48258. +{
  48259. + BUG_ON(debugfs_info.vchiq_cfg_dir != NULL);
  48260. +
  48261. + debugfs_info.vchiq_cfg_dir = debugfs_create_dir("vchiq", NULL);
  48262. + if (debugfs_info.vchiq_cfg_dir == NULL)
  48263. + goto fail;
  48264. +
  48265. + debugfs_info.clients = debugfs_create_dir("clients",
  48266. + vchiq_debugfs_top());
  48267. + if (!debugfs_info.clients)
  48268. + goto fail;
  48269. +
  48270. + if (vchiq_debugfs_create_log_entries(vchiq_debugfs_top()) != 0)
  48271. + goto fail;
  48272. +
  48273. + return 0;
  48274. +
  48275. +fail:
  48276. + vchiq_debugfs_deinit();
  48277. + vchiq_log_error(vchiq_arm_log_level,
  48278. + "%s: failed to create debugfs directory",
  48279. + __func__);
  48280. +
  48281. + return -ENOMEM;
  48282. +}
  48283. +
  48284. +/* remove all the debugfs entries */
  48285. +void vchiq_debugfs_deinit(void)
  48286. +{
  48287. + debugfs_remove_recursive(vchiq_debugfs_top());
  48288. +}
  48289. +
  48290. +static struct dentry *vchiq_clients_top(void)
  48291. +{
  48292. + return debugfs_info.clients;
  48293. +}
  48294. +
  48295. +static struct dentry *vchiq_debugfs_top(void)
  48296. +{
  48297. + BUG_ON(debugfs_info.vchiq_cfg_dir == NULL);
  48298. + return debugfs_info.vchiq_cfg_dir;
  48299. +}
  48300. +
  48301. +#else /* CONFIG_DEBUG_FS */
  48302. +
  48303. +int vchiq_debugfs_init(void)
  48304. +{
  48305. + return 0;
  48306. +}
  48307. +
  48308. +void vchiq_debugfs_deinit(void)
  48309. +{
  48310. +}
  48311. +
  48312. +int vchiq_debugfs_add_instance(VCHIQ_INSTANCE_T instance)
  48313. +{
  48314. + return 0;
  48315. +}
  48316. +
  48317. +void vchiq_debugfs_remove_instance(VCHIQ_INSTANCE_T instance)
  48318. +{
  48319. +}
  48320. +
  48321. +#endif /* CONFIG_DEBUG_FS */
  48322. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.h
  48323. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.h 1970-01-01 01:00:00.000000000 +0100
  48324. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_debugfs.h 2015-11-29 09:42:38.075221210 +0100
  48325. @@ -0,0 +1,52 @@
  48326. +/**
  48327. + * Copyright (c) 2014 Raspberry Pi (Trading) Ltd. All rights reserved.
  48328. + *
  48329. + * Redistribution and use in source and binary forms, with or without
  48330. + * modification, are permitted provided that the following conditions
  48331. + * are met:
  48332. + * 1. Redistributions of source code must retain the above copyright
  48333. + * notice, this list of conditions, and the following disclaimer,
  48334. + * without modification.
  48335. + * 2. Redistributions in binary form must reproduce the above copyright
  48336. + * notice, this list of conditions and the following disclaimer in the
  48337. + * documentation and/or other materials provided with the distribution.
  48338. + * 3. The names of the above-listed copyright holders may not be used
  48339. + * to endorse or promote products derived from this software without
  48340. + * specific prior written permission.
  48341. + *
  48342. + * ALTERNATIVELY, this software may be distributed under the terms of the
  48343. + * GNU General Public License ("GPL") version 2, as published by the Free
  48344. + * Software Foundation.
  48345. + *
  48346. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  48347. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  48348. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  48349. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  48350. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  48351. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  48352. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  48353. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  48354. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  48355. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48356. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  48357. + */
  48358. +
  48359. +#ifndef VCHIQ_DEBUGFS_H
  48360. +#define VCHIQ_DEBUGFS_H
  48361. +
  48362. +#include "vchiq_core.h"
  48363. +
  48364. +typedef struct vchiq_debugfs_node_struct
  48365. +{
  48366. + struct dentry *dentry;
  48367. +} VCHIQ_DEBUGFS_NODE_T;
  48368. +
  48369. +int vchiq_debugfs_init(void);
  48370. +
  48371. +void vchiq_debugfs_deinit(void);
  48372. +
  48373. +int vchiq_debugfs_add_instance(VCHIQ_INSTANCE_T instance);
  48374. +
  48375. +void vchiq_debugfs_remove_instance(VCHIQ_INSTANCE_T instance);
  48376. +
  48377. +#endif /* VCHIQ_DEBUGFS_H */
  48378. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_genversion linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_genversion
  48379. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_genversion 1970-01-01 01:00:00.000000000 +0100
  48380. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_genversion 2015-11-29 09:42:38.075221210 +0100
  48381. @@ -0,0 +1,87 @@
  48382. +#!/usr/bin/perl -w
  48383. +
  48384. +use strict;
  48385. +
  48386. +#
  48387. +# Generate a version from available information
  48388. +#
  48389. +
  48390. +my $prefix = shift @ARGV;
  48391. +my $root = shift @ARGV;
  48392. +
  48393. +
  48394. +if ( not defined $root ) {
  48395. + die "usage: $0 prefix root-dir\n";
  48396. +}
  48397. +
  48398. +if ( ! -d $root ) {
  48399. + die "root directory $root not found\n";
  48400. +}
  48401. +
  48402. +my $version = "unknown";
  48403. +my $tainted = "";
  48404. +
  48405. +if ( -d "$root/.git" ) {
  48406. + # attempt to work out git version. only do so
  48407. + # on a linux build host, as cygwin builds are
  48408. + # already slow enough
  48409. +
  48410. + if ( -f "/usr/bin/git" || -f "/usr/local/bin/git" ) {
  48411. + if (not open(F, "git --git-dir $root/.git rev-parse --verify HEAD|")) {
  48412. + $version = "no git version";
  48413. + }
  48414. + else {
  48415. + $version = <F>;
  48416. + $version =~ s/[ \r\n]*$//; # chomp may not be enough (cygwin).
  48417. + $version =~ s/^[ \r\n]*//; # chomp may not be enough (cygwin).
  48418. + }
  48419. +
  48420. + if (open(G, "git --git-dir $root/.git status --porcelain|")) {
  48421. + $tainted = <G>;
  48422. + $tainted =~ s/[ \r\n]*$//; # chomp may not be enough (cygwin).
  48423. + $tainted =~ s/^[ \r\n]*//; # chomp may not be enough (cygwin).
  48424. + if (length $tainted) {
  48425. + $version = join ' ', $version, "(tainted)";
  48426. + }
  48427. + else {
  48428. + $version = join ' ', $version, "(clean)";
  48429. + }
  48430. + }
  48431. + }
  48432. +}
  48433. +
  48434. +my $hostname = `hostname`;
  48435. +$hostname =~ s/[ \r\n]*$//; # chomp may not be enough (cygwin).
  48436. +$hostname =~ s/^[ \r\n]*//; # chomp may not be enough (cygwin).
  48437. +
  48438. +
  48439. +print STDERR "Version $version\n";
  48440. +print <<EOF;
  48441. +#include "${prefix}_build_info.h"
  48442. +#include <linux/broadcom/vc_debug_sym.h>
  48443. +
  48444. +VC_DEBUG_DECLARE_STRING_VAR( ${prefix}_build_hostname, "$hostname" );
  48445. +VC_DEBUG_DECLARE_STRING_VAR( ${prefix}_build_version, "$version" );
  48446. +VC_DEBUG_DECLARE_STRING_VAR( ${prefix}_build_time, __TIME__ );
  48447. +VC_DEBUG_DECLARE_STRING_VAR( ${prefix}_build_date, __DATE__ );
  48448. +
  48449. +const char *vchiq_get_build_hostname( void )
  48450. +{
  48451. + return vchiq_build_hostname;
  48452. +}
  48453. +
  48454. +const char *vchiq_get_build_version( void )
  48455. +{
  48456. + return vchiq_build_version;
  48457. +}
  48458. +
  48459. +const char *vchiq_get_build_date( void )
  48460. +{
  48461. + return vchiq_build_date;
  48462. +}
  48463. +
  48464. +const char *vchiq_get_build_time( void )
  48465. +{
  48466. + return vchiq_build_time;
  48467. +}
  48468. +EOF
  48469. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq.h
  48470. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq.h 1970-01-01 01:00:00.000000000 +0100
  48471. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq.h 2015-11-29 09:42:38.059222273 +0100
  48472. @@ -0,0 +1,40 @@
  48473. +/**
  48474. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  48475. + *
  48476. + * Redistribution and use in source and binary forms, with or without
  48477. + * modification, are permitted provided that the following conditions
  48478. + * are met:
  48479. + * 1. Redistributions of source code must retain the above copyright
  48480. + * notice, this list of conditions, and the following disclaimer,
  48481. + * without modification.
  48482. + * 2. Redistributions in binary form must reproduce the above copyright
  48483. + * notice, this list of conditions and the following disclaimer in the
  48484. + * documentation and/or other materials provided with the distribution.
  48485. + * 3. The names of the above-listed copyright holders may not be used
  48486. + * to endorse or promote products derived from this software without
  48487. + * specific prior written permission.
  48488. + *
  48489. + * ALTERNATIVELY, this software may be distributed under the terms of the
  48490. + * GNU General Public License ("GPL") version 2, as published by the Free
  48491. + * Software Foundation.
  48492. + *
  48493. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  48494. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  48495. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  48496. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  48497. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  48498. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  48499. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  48500. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  48501. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  48502. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48503. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  48504. + */
  48505. +
  48506. +#ifndef VCHIQ_VCHIQ_H
  48507. +#define VCHIQ_VCHIQ_H
  48508. +
  48509. +#include "vchiq_if.h"
  48510. +#include "vchiq_util.h"
  48511. +
  48512. +#endif
  48513. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_if.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_if.h
  48514. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_if.h 1970-01-01 01:00:00.000000000 +0100
  48515. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_if.h 2015-11-29 09:42:38.075221210 +0100
  48516. @@ -0,0 +1,189 @@
  48517. +/**
  48518. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  48519. + *
  48520. + * Redistribution and use in source and binary forms, with or without
  48521. + * modification, are permitted provided that the following conditions
  48522. + * are met:
  48523. + * 1. Redistributions of source code must retain the above copyright
  48524. + * notice, this list of conditions, and the following disclaimer,
  48525. + * without modification.
  48526. + * 2. Redistributions in binary form must reproduce the above copyright
  48527. + * notice, this list of conditions and the following disclaimer in the
  48528. + * documentation and/or other materials provided with the distribution.
  48529. + * 3. The names of the above-listed copyright holders may not be used
  48530. + * to endorse or promote products derived from this software without
  48531. + * specific prior written permission.
  48532. + *
  48533. + * ALTERNATIVELY, this software may be distributed under the terms of the
  48534. + * GNU General Public License ("GPL") version 2, as published by the Free
  48535. + * Software Foundation.
  48536. + *
  48537. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  48538. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  48539. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  48540. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  48541. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  48542. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  48543. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  48544. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  48545. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  48546. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48547. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  48548. + */
  48549. +
  48550. +#ifndef VCHIQ_IF_H
  48551. +#define VCHIQ_IF_H
  48552. +
  48553. +#include "interface/vchi/vchi_mh.h"
  48554. +
  48555. +#define VCHIQ_SERVICE_HANDLE_INVALID 0
  48556. +
  48557. +#define VCHIQ_SLOT_SIZE 4096
  48558. +#define VCHIQ_MAX_MSG_SIZE (VCHIQ_SLOT_SIZE - sizeof(VCHIQ_HEADER_T))
  48559. +#define VCHIQ_CHANNEL_SIZE VCHIQ_MAX_MSG_SIZE /* For backwards compatibility */
  48560. +
  48561. +#define VCHIQ_MAKE_FOURCC(x0, x1, x2, x3) \
  48562. + (((x0) << 24) | ((x1) << 16) | ((x2) << 8) | (x3))
  48563. +#define VCHIQ_GET_SERVICE_USERDATA(service) vchiq_get_service_userdata(service)
  48564. +#define VCHIQ_GET_SERVICE_FOURCC(service) vchiq_get_service_fourcc(service)
  48565. +
  48566. +typedef enum {
  48567. + VCHIQ_SERVICE_OPENED, /* service, -, - */
  48568. + VCHIQ_SERVICE_CLOSED, /* service, -, - */
  48569. + VCHIQ_MESSAGE_AVAILABLE, /* service, header, - */
  48570. + VCHIQ_BULK_TRANSMIT_DONE, /* service, -, bulk_userdata */
  48571. + VCHIQ_BULK_RECEIVE_DONE, /* service, -, bulk_userdata */
  48572. + VCHIQ_BULK_TRANSMIT_ABORTED, /* service, -, bulk_userdata */
  48573. + VCHIQ_BULK_RECEIVE_ABORTED /* service, -, bulk_userdata */
  48574. +} VCHIQ_REASON_T;
  48575. +
  48576. +typedef enum {
  48577. + VCHIQ_ERROR = -1,
  48578. + VCHIQ_SUCCESS = 0,
  48579. + VCHIQ_RETRY = 1
  48580. +} VCHIQ_STATUS_T;
  48581. +
  48582. +typedef enum {
  48583. + VCHIQ_BULK_MODE_CALLBACK,
  48584. + VCHIQ_BULK_MODE_BLOCKING,
  48585. + VCHIQ_BULK_MODE_NOCALLBACK,
  48586. + VCHIQ_BULK_MODE_WAITING /* Reserved for internal use */
  48587. +} VCHIQ_BULK_MODE_T;
  48588. +
  48589. +typedef enum {
  48590. + VCHIQ_SERVICE_OPTION_AUTOCLOSE,
  48591. + VCHIQ_SERVICE_OPTION_SLOT_QUOTA,
  48592. + VCHIQ_SERVICE_OPTION_MESSAGE_QUOTA,
  48593. + VCHIQ_SERVICE_OPTION_SYNCHRONOUS,
  48594. + VCHIQ_SERVICE_OPTION_TRACE
  48595. +} VCHIQ_SERVICE_OPTION_T;
  48596. +
  48597. +typedef struct vchiq_header_struct {
  48598. + /* The message identifier - opaque to applications. */
  48599. + int msgid;
  48600. +
  48601. + /* Size of message data. */
  48602. + unsigned int size;
  48603. +
  48604. + char data[0]; /* message */
  48605. +} VCHIQ_HEADER_T;
  48606. +
  48607. +typedef struct {
  48608. + const void *data;
  48609. + unsigned int size;
  48610. +} VCHIQ_ELEMENT_T;
  48611. +
  48612. +typedef unsigned int VCHIQ_SERVICE_HANDLE_T;
  48613. +
  48614. +typedef VCHIQ_STATUS_T (*VCHIQ_CALLBACK_T)(VCHIQ_REASON_T, VCHIQ_HEADER_T *,
  48615. + VCHIQ_SERVICE_HANDLE_T, void *);
  48616. +
  48617. +typedef struct vchiq_service_base_struct {
  48618. + int fourcc;
  48619. + VCHIQ_CALLBACK_T callback;
  48620. + void *userdata;
  48621. +} VCHIQ_SERVICE_BASE_T;
  48622. +
  48623. +typedef struct vchiq_service_params_struct {
  48624. + int fourcc;
  48625. + VCHIQ_CALLBACK_T callback;
  48626. + void *userdata;
  48627. + short version; /* Increment for non-trivial changes */
  48628. + short version_min; /* Update for incompatible changes */
  48629. +} VCHIQ_SERVICE_PARAMS_T;
  48630. +
  48631. +typedef struct vchiq_config_struct {
  48632. + unsigned int max_msg_size;
  48633. + unsigned int bulk_threshold; /* The message size above which it
  48634. + is better to use a bulk transfer
  48635. + (<= max_msg_size) */
  48636. + unsigned int max_outstanding_bulks;
  48637. + unsigned int max_services;
  48638. + short version; /* The version of VCHIQ */
  48639. + short version_min; /* The minimum compatible version of VCHIQ */
  48640. +} VCHIQ_CONFIG_T;
  48641. +
  48642. +typedef struct vchiq_instance_struct *VCHIQ_INSTANCE_T;
  48643. +typedef void (*VCHIQ_REMOTE_USE_CALLBACK_T)(void *cb_arg);
  48644. +
  48645. +extern VCHIQ_STATUS_T vchiq_initialise(VCHIQ_INSTANCE_T *pinstance);
  48646. +extern VCHIQ_STATUS_T vchiq_shutdown(VCHIQ_INSTANCE_T instance);
  48647. +extern VCHIQ_STATUS_T vchiq_connect(VCHIQ_INSTANCE_T instance);
  48648. +extern VCHIQ_STATUS_T vchiq_add_service(VCHIQ_INSTANCE_T instance,
  48649. + const VCHIQ_SERVICE_PARAMS_T *params,
  48650. + VCHIQ_SERVICE_HANDLE_T *pservice);
  48651. +extern VCHIQ_STATUS_T vchiq_open_service(VCHIQ_INSTANCE_T instance,
  48652. + const VCHIQ_SERVICE_PARAMS_T *params,
  48653. + VCHIQ_SERVICE_HANDLE_T *pservice);
  48654. +extern VCHIQ_STATUS_T vchiq_close_service(VCHIQ_SERVICE_HANDLE_T service);
  48655. +extern VCHIQ_STATUS_T vchiq_remove_service(VCHIQ_SERVICE_HANDLE_T service);
  48656. +extern VCHIQ_STATUS_T vchiq_use_service(VCHIQ_SERVICE_HANDLE_T service);
  48657. +extern VCHIQ_STATUS_T vchiq_use_service_no_resume(
  48658. + VCHIQ_SERVICE_HANDLE_T service);
  48659. +extern VCHIQ_STATUS_T vchiq_release_service(VCHIQ_SERVICE_HANDLE_T service);
  48660. +
  48661. +extern VCHIQ_STATUS_T vchiq_queue_message(VCHIQ_SERVICE_HANDLE_T service,
  48662. + const VCHIQ_ELEMENT_T *elements, unsigned int count);
  48663. +extern void vchiq_release_message(VCHIQ_SERVICE_HANDLE_T service,
  48664. + VCHIQ_HEADER_T *header);
  48665. +extern VCHIQ_STATUS_T vchiq_queue_bulk_transmit(VCHIQ_SERVICE_HANDLE_T service,
  48666. + const void *data, unsigned int size, void *userdata);
  48667. +extern VCHIQ_STATUS_T vchiq_queue_bulk_receive(VCHIQ_SERVICE_HANDLE_T service,
  48668. + void *data, unsigned int size, void *userdata);
  48669. +extern VCHIQ_STATUS_T vchiq_queue_bulk_transmit_handle(
  48670. + VCHIQ_SERVICE_HANDLE_T service, VCHI_MEM_HANDLE_T handle,
  48671. + const void *offset, unsigned int size, void *userdata);
  48672. +extern VCHIQ_STATUS_T vchiq_queue_bulk_receive_handle(
  48673. + VCHIQ_SERVICE_HANDLE_T service, VCHI_MEM_HANDLE_T handle,
  48674. + void *offset, unsigned int size, void *userdata);
  48675. +extern VCHIQ_STATUS_T vchiq_bulk_transmit(VCHIQ_SERVICE_HANDLE_T service,
  48676. + const void *data, unsigned int size, void *userdata,
  48677. + VCHIQ_BULK_MODE_T mode);
  48678. +extern VCHIQ_STATUS_T vchiq_bulk_receive(VCHIQ_SERVICE_HANDLE_T service,
  48679. + void *data, unsigned int size, void *userdata,
  48680. + VCHIQ_BULK_MODE_T mode);
  48681. +extern VCHIQ_STATUS_T vchiq_bulk_transmit_handle(VCHIQ_SERVICE_HANDLE_T service,
  48682. + VCHI_MEM_HANDLE_T handle, const void *offset, unsigned int size,
  48683. + void *userdata, VCHIQ_BULK_MODE_T mode);
  48684. +extern VCHIQ_STATUS_T vchiq_bulk_receive_handle(VCHIQ_SERVICE_HANDLE_T service,
  48685. + VCHI_MEM_HANDLE_T handle, void *offset, unsigned int size,
  48686. + void *userdata, VCHIQ_BULK_MODE_T mode);
  48687. +extern int vchiq_get_client_id(VCHIQ_SERVICE_HANDLE_T service);
  48688. +extern void *vchiq_get_service_userdata(VCHIQ_SERVICE_HANDLE_T service);
  48689. +extern int vchiq_get_service_fourcc(VCHIQ_SERVICE_HANDLE_T service);
  48690. +extern VCHIQ_STATUS_T vchiq_get_config(VCHIQ_INSTANCE_T instance,
  48691. + int config_size, VCHIQ_CONFIG_T *pconfig);
  48692. +extern VCHIQ_STATUS_T vchiq_set_service_option(VCHIQ_SERVICE_HANDLE_T service,
  48693. + VCHIQ_SERVICE_OPTION_T option, int value);
  48694. +
  48695. +extern VCHIQ_STATUS_T vchiq_remote_use(VCHIQ_INSTANCE_T instance,
  48696. + VCHIQ_REMOTE_USE_CALLBACK_T callback, void *cb_arg);
  48697. +extern VCHIQ_STATUS_T vchiq_remote_release(VCHIQ_INSTANCE_T instance);
  48698. +
  48699. +extern VCHIQ_STATUS_T vchiq_dump_phys_mem(VCHIQ_SERVICE_HANDLE_T service,
  48700. + void *ptr, size_t num_bytes);
  48701. +
  48702. +extern VCHIQ_STATUS_T vchiq_get_peer_version(VCHIQ_SERVICE_HANDLE_T handle,
  48703. + short *peer_version);
  48704. +
  48705. +#endif /* VCHIQ_IF_H */
  48706. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_ioctl.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_ioctl.h
  48707. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_ioctl.h 1970-01-01 01:00:00.000000000 +0100
  48708. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_ioctl.h 2015-11-29 09:42:38.075221210 +0100
  48709. @@ -0,0 +1,131 @@
  48710. +/**
  48711. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  48712. + *
  48713. + * Redistribution and use in source and binary forms, with or without
  48714. + * modification, are permitted provided that the following conditions
  48715. + * are met:
  48716. + * 1. Redistributions of source code must retain the above copyright
  48717. + * notice, this list of conditions, and the following disclaimer,
  48718. + * without modification.
  48719. + * 2. Redistributions in binary form must reproduce the above copyright
  48720. + * notice, this list of conditions and the following disclaimer in the
  48721. + * documentation and/or other materials provided with the distribution.
  48722. + * 3. The names of the above-listed copyright holders may not be used
  48723. + * to endorse or promote products derived from this software without
  48724. + * specific prior written permission.
  48725. + *
  48726. + * ALTERNATIVELY, this software may be distributed under the terms of the
  48727. + * GNU General Public License ("GPL") version 2, as published by the Free
  48728. + * Software Foundation.
  48729. + *
  48730. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  48731. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  48732. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  48733. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  48734. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  48735. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  48736. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  48737. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  48738. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  48739. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48740. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  48741. + */
  48742. +
  48743. +#ifndef VCHIQ_IOCTLS_H
  48744. +#define VCHIQ_IOCTLS_H
  48745. +
  48746. +#include <linux/ioctl.h>
  48747. +#include "vchiq_if.h"
  48748. +
  48749. +#define VCHIQ_IOC_MAGIC 0xc4
  48750. +#define VCHIQ_INVALID_HANDLE (~0)
  48751. +
  48752. +typedef struct {
  48753. + VCHIQ_SERVICE_PARAMS_T params;
  48754. + int is_open;
  48755. + int is_vchi;
  48756. + unsigned int handle; /* OUT */
  48757. +} VCHIQ_CREATE_SERVICE_T;
  48758. +
  48759. +typedef struct {
  48760. + unsigned int handle;
  48761. + unsigned int count;
  48762. + const VCHIQ_ELEMENT_T *elements;
  48763. +} VCHIQ_QUEUE_MESSAGE_T;
  48764. +
  48765. +typedef struct {
  48766. + unsigned int handle;
  48767. + void *data;
  48768. + unsigned int size;
  48769. + void *userdata;
  48770. + VCHIQ_BULK_MODE_T mode;
  48771. +} VCHIQ_QUEUE_BULK_TRANSFER_T;
  48772. +
  48773. +typedef struct {
  48774. + VCHIQ_REASON_T reason;
  48775. + VCHIQ_HEADER_T *header;
  48776. + void *service_userdata;
  48777. + void *bulk_userdata;
  48778. +} VCHIQ_COMPLETION_DATA_T;
  48779. +
  48780. +typedef struct {
  48781. + unsigned int count;
  48782. + VCHIQ_COMPLETION_DATA_T *buf;
  48783. + unsigned int msgbufsize;
  48784. + unsigned int msgbufcount; /* IN/OUT */
  48785. + void **msgbufs;
  48786. +} VCHIQ_AWAIT_COMPLETION_T;
  48787. +
  48788. +typedef struct {
  48789. + unsigned int handle;
  48790. + int blocking;
  48791. + unsigned int bufsize;
  48792. + void *buf;
  48793. +} VCHIQ_DEQUEUE_MESSAGE_T;
  48794. +
  48795. +typedef struct {
  48796. + unsigned int config_size;
  48797. + VCHIQ_CONFIG_T *pconfig;
  48798. +} VCHIQ_GET_CONFIG_T;
  48799. +
  48800. +typedef struct {
  48801. + unsigned int handle;
  48802. + VCHIQ_SERVICE_OPTION_T option;
  48803. + int value;
  48804. +} VCHIQ_SET_SERVICE_OPTION_T;
  48805. +
  48806. +typedef struct {
  48807. + void *virt_addr;
  48808. + size_t num_bytes;
  48809. +} VCHIQ_DUMP_MEM_T;
  48810. +
  48811. +#define VCHIQ_IOC_CONNECT _IO(VCHIQ_IOC_MAGIC, 0)
  48812. +#define VCHIQ_IOC_SHUTDOWN _IO(VCHIQ_IOC_MAGIC, 1)
  48813. +#define VCHIQ_IOC_CREATE_SERVICE \
  48814. + _IOWR(VCHIQ_IOC_MAGIC, 2, VCHIQ_CREATE_SERVICE_T)
  48815. +#define VCHIQ_IOC_REMOVE_SERVICE _IO(VCHIQ_IOC_MAGIC, 3)
  48816. +#define VCHIQ_IOC_QUEUE_MESSAGE \
  48817. + _IOW(VCHIQ_IOC_MAGIC, 4, VCHIQ_QUEUE_MESSAGE_T)
  48818. +#define VCHIQ_IOC_QUEUE_BULK_TRANSMIT \
  48819. + _IOWR(VCHIQ_IOC_MAGIC, 5, VCHIQ_QUEUE_BULK_TRANSFER_T)
  48820. +#define VCHIQ_IOC_QUEUE_BULK_RECEIVE \
  48821. + _IOWR(VCHIQ_IOC_MAGIC, 6, VCHIQ_QUEUE_BULK_TRANSFER_T)
  48822. +#define VCHIQ_IOC_AWAIT_COMPLETION \
  48823. + _IOWR(VCHIQ_IOC_MAGIC, 7, VCHIQ_AWAIT_COMPLETION_T)
  48824. +#define VCHIQ_IOC_DEQUEUE_MESSAGE \
  48825. + _IOWR(VCHIQ_IOC_MAGIC, 8, VCHIQ_DEQUEUE_MESSAGE_T)
  48826. +#define VCHIQ_IOC_GET_CLIENT_ID _IO(VCHIQ_IOC_MAGIC, 9)
  48827. +#define VCHIQ_IOC_GET_CONFIG \
  48828. + _IOWR(VCHIQ_IOC_MAGIC, 10, VCHIQ_GET_CONFIG_T)
  48829. +#define VCHIQ_IOC_CLOSE_SERVICE _IO(VCHIQ_IOC_MAGIC, 11)
  48830. +#define VCHIQ_IOC_USE_SERVICE _IO(VCHIQ_IOC_MAGIC, 12)
  48831. +#define VCHIQ_IOC_RELEASE_SERVICE _IO(VCHIQ_IOC_MAGIC, 13)
  48832. +#define VCHIQ_IOC_SET_SERVICE_OPTION \
  48833. + _IOW(VCHIQ_IOC_MAGIC, 14, VCHIQ_SET_SERVICE_OPTION_T)
  48834. +#define VCHIQ_IOC_DUMP_PHYS_MEM \
  48835. + _IOW(VCHIQ_IOC_MAGIC, 15, VCHIQ_DUMP_MEM_T)
  48836. +#define VCHIQ_IOC_LIB_VERSION _IO(VCHIQ_IOC_MAGIC, 16)
  48837. +#define VCHIQ_IOC_CLOSE_DELIVERED _IO(VCHIQ_IOC_MAGIC, 17)
  48838. +#define VCHIQ_IOC_MAX 17
  48839. +
  48840. +#endif
  48841. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_kern_lib.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_kern_lib.c
  48842. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_kern_lib.c 1970-01-01 01:00:00.000000000 +0100
  48843. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_kern_lib.c 2015-11-29 09:42:38.075221210 +0100
  48844. @@ -0,0 +1,458 @@
  48845. +/**
  48846. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  48847. + *
  48848. + * Redistribution and use in source and binary forms, with or without
  48849. + * modification, are permitted provided that the following conditions
  48850. + * are met:
  48851. + * 1. Redistributions of source code must retain the above copyright
  48852. + * notice, this list of conditions, and the following disclaimer,
  48853. + * without modification.
  48854. + * 2. Redistributions in binary form must reproduce the above copyright
  48855. + * notice, this list of conditions and the following disclaimer in the
  48856. + * documentation and/or other materials provided with the distribution.
  48857. + * 3. The names of the above-listed copyright holders may not be used
  48858. + * to endorse or promote products derived from this software without
  48859. + * specific prior written permission.
  48860. + *
  48861. + * ALTERNATIVELY, this software may be distributed under the terms of the
  48862. + * GNU General Public License ("GPL") version 2, as published by the Free
  48863. + * Software Foundation.
  48864. + *
  48865. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  48866. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  48867. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  48868. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  48869. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  48870. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  48871. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  48872. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  48873. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  48874. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  48875. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  48876. + */
  48877. +
  48878. +/* ---- Include Files ---------------------------------------------------- */
  48879. +
  48880. +#include <linux/kernel.h>
  48881. +#include <linux/module.h>
  48882. +#include <linux/mutex.h>
  48883. +
  48884. +#include "vchiq_core.h"
  48885. +#include "vchiq_arm.h"
  48886. +#include "vchiq_killable.h"
  48887. +
  48888. +/* ---- Public Variables ------------------------------------------------- */
  48889. +
  48890. +/* ---- Private Constants and Types -------------------------------------- */
  48891. +
  48892. +struct bulk_waiter_node {
  48893. + struct bulk_waiter bulk_waiter;
  48894. + int pid;
  48895. + struct list_head list;
  48896. +};
  48897. +
  48898. +struct vchiq_instance_struct {
  48899. + VCHIQ_STATE_T *state;
  48900. +
  48901. + int connected;
  48902. +
  48903. + struct list_head bulk_waiter_list;
  48904. + struct mutex bulk_waiter_list_mutex;
  48905. +};
  48906. +
  48907. +static VCHIQ_STATUS_T
  48908. +vchiq_blocking_bulk_transfer(VCHIQ_SERVICE_HANDLE_T handle, void *data,
  48909. + unsigned int size, VCHIQ_BULK_DIR_T dir);
  48910. +
  48911. +/****************************************************************************
  48912. +*
  48913. +* vchiq_initialise
  48914. +*
  48915. +***************************************************************************/
  48916. +#define VCHIQ_INIT_RETRIES 10
  48917. +VCHIQ_STATUS_T vchiq_initialise(VCHIQ_INSTANCE_T *instanceOut)
  48918. +{
  48919. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  48920. + VCHIQ_STATE_T *state;
  48921. + VCHIQ_INSTANCE_T instance = NULL;
  48922. + int i;
  48923. +
  48924. + vchiq_log_trace(vchiq_core_log_level, "%s called", __func__);
  48925. +
  48926. + /* VideoCore may not be ready due to boot up timing.
  48927. + It may never be ready if kernel and firmware are mismatched, so don't block forever. */
  48928. + for (i=0; i<VCHIQ_INIT_RETRIES; i++) {
  48929. + state = vchiq_get_state();
  48930. + if (state)
  48931. + break;
  48932. + udelay(500);
  48933. + }
  48934. + if (i==VCHIQ_INIT_RETRIES) {
  48935. + vchiq_log_error(vchiq_core_log_level,
  48936. + "%s: videocore not initialized\n", __func__);
  48937. + goto failed;
  48938. + } else if (i>0) {
  48939. + vchiq_log_warning(vchiq_core_log_level,
  48940. + "%s: videocore initialized after %d retries\n", __func__, i);
  48941. + }
  48942. +
  48943. + instance = kzalloc(sizeof(*instance), GFP_KERNEL);
  48944. + if (!instance) {
  48945. + vchiq_log_error(vchiq_core_log_level,
  48946. + "%s: error allocating vchiq instance\n", __func__);
  48947. + goto failed;
  48948. + }
  48949. +
  48950. + instance->connected = 0;
  48951. + instance->state = state;
  48952. + mutex_init(&instance->bulk_waiter_list_mutex);
  48953. + INIT_LIST_HEAD(&instance->bulk_waiter_list);
  48954. +
  48955. + *instanceOut = instance;
  48956. +
  48957. + status = VCHIQ_SUCCESS;
  48958. +
  48959. +failed:
  48960. + vchiq_log_trace(vchiq_core_log_level,
  48961. + "%s(%p): returning %d", __func__, instance, status);
  48962. +
  48963. + return status;
  48964. +}
  48965. +EXPORT_SYMBOL(vchiq_initialise);
  48966. +
  48967. +/****************************************************************************
  48968. +*
  48969. +* vchiq_shutdown
  48970. +*
  48971. +***************************************************************************/
  48972. +
  48973. +VCHIQ_STATUS_T vchiq_shutdown(VCHIQ_INSTANCE_T instance)
  48974. +{
  48975. + VCHIQ_STATUS_T status;
  48976. + VCHIQ_STATE_T *state = instance->state;
  48977. +
  48978. + vchiq_log_trace(vchiq_core_log_level,
  48979. + "%s(%p) called", __func__, instance);
  48980. +
  48981. + if (mutex_lock_interruptible(&state->mutex) != 0)
  48982. + return VCHIQ_RETRY;
  48983. +
  48984. + /* Remove all services */
  48985. + status = vchiq_shutdown_internal(state, instance);
  48986. +
  48987. + mutex_unlock(&state->mutex);
  48988. +
  48989. + vchiq_log_trace(vchiq_core_log_level,
  48990. + "%s(%p): returning %d", __func__, instance, status);
  48991. +
  48992. + if (status == VCHIQ_SUCCESS) {
  48993. + struct list_head *pos, *next;
  48994. + list_for_each_safe(pos, next,
  48995. + &instance->bulk_waiter_list) {
  48996. + struct bulk_waiter_node *waiter;
  48997. + waiter = list_entry(pos,
  48998. + struct bulk_waiter_node,
  48999. + list);
  49000. + list_del(pos);
  49001. + vchiq_log_info(vchiq_arm_log_level,
  49002. + "bulk_waiter - cleaned up %x "
  49003. + "for pid %d",
  49004. + (unsigned int)waiter, waiter->pid);
  49005. + kfree(waiter);
  49006. + }
  49007. + kfree(instance);
  49008. + }
  49009. +
  49010. + return status;
  49011. +}
  49012. +EXPORT_SYMBOL(vchiq_shutdown);
  49013. +
  49014. +/****************************************************************************
  49015. +*
  49016. +* vchiq_is_connected
  49017. +*
  49018. +***************************************************************************/
  49019. +
  49020. +int vchiq_is_connected(VCHIQ_INSTANCE_T instance)
  49021. +{
  49022. + return instance->connected;
  49023. +}
  49024. +
  49025. +/****************************************************************************
  49026. +*
  49027. +* vchiq_connect
  49028. +*
  49029. +***************************************************************************/
  49030. +
  49031. +VCHIQ_STATUS_T vchiq_connect(VCHIQ_INSTANCE_T instance)
  49032. +{
  49033. + VCHIQ_STATUS_T status;
  49034. + VCHIQ_STATE_T *state = instance->state;
  49035. +
  49036. + vchiq_log_trace(vchiq_core_log_level,
  49037. + "%s(%p) called", __func__, instance);
  49038. +
  49039. + if (mutex_lock_interruptible(&state->mutex) != 0) {
  49040. + vchiq_log_trace(vchiq_core_log_level,
  49041. + "%s: call to mutex_lock failed", __func__);
  49042. + status = VCHIQ_RETRY;
  49043. + goto failed;
  49044. + }
  49045. + status = vchiq_connect_internal(state, instance);
  49046. +
  49047. + if (status == VCHIQ_SUCCESS)
  49048. + instance->connected = 1;
  49049. +
  49050. + mutex_unlock(&state->mutex);
  49051. +
  49052. +failed:
  49053. + vchiq_log_trace(vchiq_core_log_level,
  49054. + "%s(%p): returning %d", __func__, instance, status);
  49055. +
  49056. + return status;
  49057. +}
  49058. +EXPORT_SYMBOL(vchiq_connect);
  49059. +
  49060. +/****************************************************************************
  49061. +*
  49062. +* vchiq_add_service
  49063. +*
  49064. +***************************************************************************/
  49065. +
  49066. +VCHIQ_STATUS_T vchiq_add_service(
  49067. + VCHIQ_INSTANCE_T instance,
  49068. + const VCHIQ_SERVICE_PARAMS_T *params,
  49069. + VCHIQ_SERVICE_HANDLE_T *phandle)
  49070. +{
  49071. + VCHIQ_STATUS_T status;
  49072. + VCHIQ_STATE_T *state = instance->state;
  49073. + VCHIQ_SERVICE_T *service = NULL;
  49074. + int srvstate;
  49075. +
  49076. + vchiq_log_trace(vchiq_core_log_level,
  49077. + "%s(%p) called", __func__, instance);
  49078. +
  49079. + *phandle = VCHIQ_SERVICE_HANDLE_INVALID;
  49080. +
  49081. + srvstate = vchiq_is_connected(instance)
  49082. + ? VCHIQ_SRVSTATE_LISTENING
  49083. + : VCHIQ_SRVSTATE_HIDDEN;
  49084. +
  49085. + service = vchiq_add_service_internal(
  49086. + state,
  49087. + params,
  49088. + srvstate,
  49089. + instance,
  49090. + NULL);
  49091. +
  49092. + if (service) {
  49093. + *phandle = service->handle;
  49094. + status = VCHIQ_SUCCESS;
  49095. + } else
  49096. + status = VCHIQ_ERROR;
  49097. +
  49098. + vchiq_log_trace(vchiq_core_log_level,
  49099. + "%s(%p): returning %d", __func__, instance, status);
  49100. +
  49101. + return status;
  49102. +}
  49103. +EXPORT_SYMBOL(vchiq_add_service);
  49104. +
  49105. +/****************************************************************************
  49106. +*
  49107. +* vchiq_open_service
  49108. +*
  49109. +***************************************************************************/
  49110. +
  49111. +VCHIQ_STATUS_T vchiq_open_service(
  49112. + VCHIQ_INSTANCE_T instance,
  49113. + const VCHIQ_SERVICE_PARAMS_T *params,
  49114. + VCHIQ_SERVICE_HANDLE_T *phandle)
  49115. +{
  49116. + VCHIQ_STATUS_T status = VCHIQ_ERROR;
  49117. + VCHIQ_STATE_T *state = instance->state;
  49118. + VCHIQ_SERVICE_T *service = NULL;
  49119. +
  49120. + vchiq_log_trace(vchiq_core_log_level,
  49121. + "%s(%p) called", __func__, instance);
  49122. +
  49123. + *phandle = VCHIQ_SERVICE_HANDLE_INVALID;
  49124. +
  49125. + if (!vchiq_is_connected(instance))
  49126. + goto failed;
  49127. +
  49128. + service = vchiq_add_service_internal(state,
  49129. + params,
  49130. + VCHIQ_SRVSTATE_OPENING,
  49131. + instance,
  49132. + NULL);
  49133. +
  49134. + if (service) {
  49135. + *phandle = service->handle;
  49136. + status = vchiq_open_service_internal(service, current->pid);
  49137. + if (status != VCHIQ_SUCCESS) {
  49138. + vchiq_remove_service(service->handle);
  49139. + *phandle = VCHIQ_SERVICE_HANDLE_INVALID;
  49140. + }
  49141. + }
  49142. +
  49143. +failed:
  49144. + vchiq_log_trace(vchiq_core_log_level,
  49145. + "%s(%p): returning %d", __func__, instance, status);
  49146. +
  49147. + return status;
  49148. +}
  49149. +EXPORT_SYMBOL(vchiq_open_service);
  49150. +
  49151. +VCHIQ_STATUS_T
  49152. +vchiq_queue_bulk_transmit(VCHIQ_SERVICE_HANDLE_T handle,
  49153. + const void *data, unsigned int size, void *userdata)
  49154. +{
  49155. + return vchiq_bulk_transfer(handle,
  49156. + VCHI_MEM_HANDLE_INVALID, (void *)data, size, userdata,
  49157. + VCHIQ_BULK_MODE_CALLBACK, VCHIQ_BULK_TRANSMIT);
  49158. +}
  49159. +EXPORT_SYMBOL(vchiq_queue_bulk_transmit);
  49160. +
  49161. +VCHIQ_STATUS_T
  49162. +vchiq_queue_bulk_receive(VCHIQ_SERVICE_HANDLE_T handle, void *data,
  49163. + unsigned int size, void *userdata)
  49164. +{
  49165. + return vchiq_bulk_transfer(handle,
  49166. + VCHI_MEM_HANDLE_INVALID, data, size, userdata,
  49167. + VCHIQ_BULK_MODE_CALLBACK, VCHIQ_BULK_RECEIVE);
  49168. +}
  49169. +EXPORT_SYMBOL(vchiq_queue_bulk_receive);
  49170. +
  49171. +VCHIQ_STATUS_T
  49172. +vchiq_bulk_transmit(VCHIQ_SERVICE_HANDLE_T handle, const void *data,
  49173. + unsigned int size, void *userdata, VCHIQ_BULK_MODE_T mode)
  49174. +{
  49175. + VCHIQ_STATUS_T status;
  49176. +
  49177. + switch (mode) {
  49178. + case VCHIQ_BULK_MODE_NOCALLBACK:
  49179. + case VCHIQ_BULK_MODE_CALLBACK:
  49180. + status = vchiq_bulk_transfer(handle,
  49181. + VCHI_MEM_HANDLE_INVALID, (void *)data, size, userdata,
  49182. + mode, VCHIQ_BULK_TRANSMIT);
  49183. + break;
  49184. + case VCHIQ_BULK_MODE_BLOCKING:
  49185. + status = vchiq_blocking_bulk_transfer(handle,
  49186. + (void *)data, size, VCHIQ_BULK_TRANSMIT);
  49187. + break;
  49188. + default:
  49189. + return VCHIQ_ERROR;
  49190. + }
  49191. +
  49192. + return status;
  49193. +}
  49194. +EXPORT_SYMBOL(vchiq_bulk_transmit);
  49195. +
  49196. +VCHIQ_STATUS_T
  49197. +vchiq_bulk_receive(VCHIQ_SERVICE_HANDLE_T handle, void *data,
  49198. + unsigned int size, void *userdata, VCHIQ_BULK_MODE_T mode)
  49199. +{
  49200. + VCHIQ_STATUS_T status;
  49201. +
  49202. + switch (mode) {
  49203. + case VCHIQ_BULK_MODE_NOCALLBACK:
  49204. + case VCHIQ_BULK_MODE_CALLBACK:
  49205. + status = vchiq_bulk_transfer(handle,
  49206. + VCHI_MEM_HANDLE_INVALID, data, size, userdata,
  49207. + mode, VCHIQ_BULK_RECEIVE);
  49208. + break;
  49209. + case VCHIQ_BULK_MODE_BLOCKING:
  49210. + status = vchiq_blocking_bulk_transfer(handle,
  49211. + (void *)data, size, VCHIQ_BULK_RECEIVE);
  49212. + break;
  49213. + default:
  49214. + return VCHIQ_ERROR;
  49215. + }
  49216. +
  49217. + return status;
  49218. +}
  49219. +EXPORT_SYMBOL(vchiq_bulk_receive);
  49220. +
  49221. +static VCHIQ_STATUS_T
  49222. +vchiq_blocking_bulk_transfer(VCHIQ_SERVICE_HANDLE_T handle, void *data,
  49223. + unsigned int size, VCHIQ_BULK_DIR_T dir)
  49224. +{
  49225. + VCHIQ_INSTANCE_T instance;
  49226. + VCHIQ_SERVICE_T *service;
  49227. + VCHIQ_STATUS_T status;
  49228. + struct bulk_waiter_node *waiter = NULL;
  49229. + struct list_head *pos;
  49230. +
  49231. + service = find_service_by_handle(handle);
  49232. + if (!service)
  49233. + return VCHIQ_ERROR;
  49234. +
  49235. + instance = service->instance;
  49236. +
  49237. + unlock_service(service);
  49238. +
  49239. + mutex_lock(&instance->bulk_waiter_list_mutex);
  49240. + list_for_each(pos, &instance->bulk_waiter_list) {
  49241. + if (list_entry(pos, struct bulk_waiter_node,
  49242. + list)->pid == current->pid) {
  49243. + waiter = list_entry(pos,
  49244. + struct bulk_waiter_node,
  49245. + list);
  49246. + list_del(pos);
  49247. + break;
  49248. + }
  49249. + }
  49250. + mutex_unlock(&instance->bulk_waiter_list_mutex);
  49251. +
  49252. + if (waiter) {
  49253. + VCHIQ_BULK_T *bulk = waiter->bulk_waiter.bulk;
  49254. + if (bulk) {
  49255. + /* This thread has an outstanding bulk transfer. */
  49256. + if ((bulk->data != data) ||
  49257. + (bulk->size != size)) {
  49258. + /* This is not a retry of the previous one.
  49259. + ** Cancel the signal when the transfer
  49260. + ** completes. */
  49261. + spin_lock(&bulk_waiter_spinlock);
  49262. + bulk->userdata = NULL;
  49263. + spin_unlock(&bulk_waiter_spinlock);
  49264. + }
  49265. + }
  49266. + }
  49267. +
  49268. + if (!waiter) {
  49269. + waiter = kzalloc(sizeof(struct bulk_waiter_node), GFP_KERNEL);
  49270. + if (!waiter) {
  49271. + vchiq_log_error(vchiq_core_log_level,
  49272. + "%s - out of memory", __func__);
  49273. + return VCHIQ_ERROR;
  49274. + }
  49275. + }
  49276. +
  49277. + status = vchiq_bulk_transfer(handle, VCHI_MEM_HANDLE_INVALID,
  49278. + data, size, &waiter->bulk_waiter, VCHIQ_BULK_MODE_BLOCKING,
  49279. + dir);
  49280. + if ((status != VCHIQ_RETRY) || fatal_signal_pending(current) ||
  49281. + !waiter->bulk_waiter.bulk) {
  49282. + VCHIQ_BULK_T *bulk = waiter->bulk_waiter.bulk;
  49283. + if (bulk) {
  49284. + /* Cancel the signal when the transfer
  49285. + ** completes. */
  49286. + spin_lock(&bulk_waiter_spinlock);
  49287. + bulk->userdata = NULL;
  49288. + spin_unlock(&bulk_waiter_spinlock);
  49289. + }
  49290. + kfree(waiter);
  49291. + } else {
  49292. + waiter->pid = current->pid;
  49293. + mutex_lock(&instance->bulk_waiter_list_mutex);
  49294. + list_add(&waiter->list, &instance->bulk_waiter_list);
  49295. + mutex_unlock(&instance->bulk_waiter_list_mutex);
  49296. + vchiq_log_info(vchiq_arm_log_level,
  49297. + "saved bulk_waiter %x for pid %d",
  49298. + (unsigned int)waiter, current->pid);
  49299. + }
  49300. +
  49301. + return status;
  49302. +}
  49303. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_killable.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_killable.h
  49304. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_killable.h 1970-01-01 01:00:00.000000000 +0100
  49305. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_killable.h 2015-11-29 09:42:38.075221210 +0100
  49306. @@ -0,0 +1,69 @@
  49307. +/**
  49308. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  49309. + *
  49310. + * Redistribution and use in source and binary forms, with or without
  49311. + * modification, are permitted provided that the following conditions
  49312. + * are met:
  49313. + * 1. Redistributions of source code must retain the above copyright
  49314. + * notice, this list of conditions, and the following disclaimer,
  49315. + * without modification.
  49316. + * 2. Redistributions in binary form must reproduce the above copyright
  49317. + * notice, this list of conditions and the following disclaimer in the
  49318. + * documentation and/or other materials provided with the distribution.
  49319. + * 3. The names of the above-listed copyright holders may not be used
  49320. + * to endorse or promote products derived from this software without
  49321. + * specific prior written permission.
  49322. + *
  49323. + * ALTERNATIVELY, this software may be distributed under the terms of the
  49324. + * GNU General Public License ("GPL") version 2, as published by the Free
  49325. + * Software Foundation.
  49326. + *
  49327. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  49328. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  49329. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  49330. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  49331. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  49332. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  49333. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  49334. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  49335. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  49336. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  49337. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  49338. + */
  49339. +
  49340. +#ifndef VCHIQ_KILLABLE_H
  49341. +#define VCHIQ_KILLABLE_H
  49342. +
  49343. +#include <linux/mutex.h>
  49344. +#include <linux/semaphore.h>
  49345. +
  49346. +#define SHUTDOWN_SIGS (sigmask(SIGKILL) | sigmask(SIGINT) | sigmask(SIGQUIT) | sigmask(SIGTRAP) | sigmask(SIGSTOP) | sigmask(SIGCONT))
  49347. +
  49348. +static inline int __must_check down_interruptible_killable(struct semaphore *sem)
  49349. +{
  49350. + /* Allow interception of killable signals only. We don't want to be interrupted by harmless signals like SIGALRM */
  49351. + int ret;
  49352. + sigset_t blocked, oldset;
  49353. + siginitsetinv(&blocked, SHUTDOWN_SIGS);
  49354. + sigprocmask(SIG_SETMASK, &blocked, &oldset);
  49355. + ret = down_interruptible(sem);
  49356. + sigprocmask(SIG_SETMASK, &oldset, NULL);
  49357. + return ret;
  49358. +}
  49359. +#define down_interruptible down_interruptible_killable
  49360. +
  49361. +
  49362. +static inline int __must_check mutex_lock_interruptible_killable(struct mutex *lock)
  49363. +{
  49364. + /* Allow interception of killable signals only. We don't want to be interrupted by harmless signals like SIGALRM */
  49365. + int ret;
  49366. + sigset_t blocked, oldset;
  49367. + siginitsetinv(&blocked, SHUTDOWN_SIGS);
  49368. + sigprocmask(SIG_SETMASK, &blocked, &oldset);
  49369. + ret = mutex_lock_interruptible(lock);
  49370. + sigprocmask(SIG_SETMASK, &oldset, NULL);
  49371. + return ret;
  49372. +}
  49373. +#define mutex_lock_interruptible mutex_lock_interruptible_killable
  49374. +
  49375. +#endif
  49376. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_memdrv.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_memdrv.h
  49377. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_memdrv.h 1970-01-01 01:00:00.000000000 +0100
  49378. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_memdrv.h 2015-11-29 09:42:38.075221210 +0100
  49379. @@ -0,0 +1,71 @@
  49380. +/**
  49381. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  49382. + *
  49383. + * Redistribution and use in source and binary forms, with or without
  49384. + * modification, are permitted provided that the following conditions
  49385. + * are met:
  49386. + * 1. Redistributions of source code must retain the above copyright
  49387. + * notice, this list of conditions, and the following disclaimer,
  49388. + * without modification.
  49389. + * 2. Redistributions in binary form must reproduce the above copyright
  49390. + * notice, this list of conditions and the following disclaimer in the
  49391. + * documentation and/or other materials provided with the distribution.
  49392. + * 3. The names of the above-listed copyright holders may not be used
  49393. + * to endorse or promote products derived from this software without
  49394. + * specific prior written permission.
  49395. + *
  49396. + * ALTERNATIVELY, this software may be distributed under the terms of the
  49397. + * GNU General Public License ("GPL") version 2, as published by the Free
  49398. + * Software Foundation.
  49399. + *
  49400. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  49401. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  49402. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  49403. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  49404. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  49405. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  49406. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  49407. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  49408. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  49409. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  49410. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  49411. + */
  49412. +
  49413. +#ifndef VCHIQ_MEMDRV_H
  49414. +#define VCHIQ_MEMDRV_H
  49415. +
  49416. +/* ---- Include Files ----------------------------------------------------- */
  49417. +
  49418. +#include <linux/kernel.h>
  49419. +#include "vchiq_if.h"
  49420. +
  49421. +/* ---- Constants and Types ---------------------------------------------- */
  49422. +
  49423. +typedef struct {
  49424. + void *armSharedMemVirt;
  49425. + dma_addr_t armSharedMemPhys;
  49426. + size_t armSharedMemSize;
  49427. +
  49428. + void *vcSharedMemVirt;
  49429. + dma_addr_t vcSharedMemPhys;
  49430. + size_t vcSharedMemSize;
  49431. +} VCHIQ_SHARED_MEM_INFO_T;
  49432. +
  49433. +/* ---- Variable Externs ------------------------------------------------- */
  49434. +
  49435. +/* ---- Function Prototypes ---------------------------------------------- */
  49436. +
  49437. +void vchiq_get_shared_mem_info(VCHIQ_SHARED_MEM_INFO_T *info);
  49438. +
  49439. +VCHIQ_STATUS_T vchiq_memdrv_initialise(void);
  49440. +
  49441. +VCHIQ_STATUS_T vchiq_userdrv_create_instance(
  49442. + const VCHIQ_PLATFORM_DATA_T * platform_data);
  49443. +
  49444. +VCHIQ_STATUS_T vchiq_userdrv_suspend(
  49445. + const VCHIQ_PLATFORM_DATA_T * platform_data);
  49446. +
  49447. +VCHIQ_STATUS_T vchiq_userdrv_resume(
  49448. + const VCHIQ_PLATFORM_DATA_T * platform_data);
  49449. +
  49450. +#endif
  49451. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_pagelist.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_pagelist.h
  49452. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_pagelist.h 1970-01-01 01:00:00.000000000 +0100
  49453. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_pagelist.h 2015-11-29 09:42:38.075221210 +0100
  49454. @@ -0,0 +1,58 @@
  49455. +/**
  49456. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  49457. + *
  49458. + * Redistribution and use in source and binary forms, with or without
  49459. + * modification, are permitted provided that the following conditions
  49460. + * are met:
  49461. + * 1. Redistributions of source code must retain the above copyright
  49462. + * notice, this list of conditions, and the following disclaimer,
  49463. + * without modification.
  49464. + * 2. Redistributions in binary form must reproduce the above copyright
  49465. + * notice, this list of conditions and the following disclaimer in the
  49466. + * documentation and/or other materials provided with the distribution.
  49467. + * 3. The names of the above-listed copyright holders may not be used
  49468. + * to endorse or promote products derived from this software without
  49469. + * specific prior written permission.
  49470. + *
  49471. + * ALTERNATIVELY, this software may be distributed under the terms of the
  49472. + * GNU General Public License ("GPL") version 2, as published by the Free
  49473. + * Software Foundation.
  49474. + *
  49475. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  49476. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  49477. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  49478. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  49479. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  49480. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  49481. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  49482. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  49483. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  49484. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  49485. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  49486. + */
  49487. +
  49488. +#ifndef VCHIQ_PAGELIST_H
  49489. +#define VCHIQ_PAGELIST_H
  49490. +
  49491. +#ifndef PAGE_SIZE
  49492. +#define PAGE_SIZE 4096
  49493. +#endif
  49494. +#define CACHE_LINE_SIZE 32
  49495. +#define PAGELIST_WRITE 0
  49496. +#define PAGELIST_READ 1
  49497. +#define PAGELIST_READ_WITH_FRAGMENTS 2
  49498. +
  49499. +typedef struct pagelist_struct {
  49500. + unsigned long length;
  49501. + unsigned short type;
  49502. + unsigned short offset;
  49503. + unsigned long addrs[1]; /* N.B. 12 LSBs hold the number of following
  49504. + pages at consecutive addresses. */
  49505. +} PAGELIST_T;
  49506. +
  49507. +typedef struct fragments_struct {
  49508. + char headbuf[CACHE_LINE_SIZE];
  49509. + char tailbuf[CACHE_LINE_SIZE];
  49510. +} FRAGMENTS_T;
  49511. +
  49512. +#endif /* VCHIQ_PAGELIST_H */
  49513. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_shim.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_shim.c
  49514. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_shim.c 1970-01-01 01:00:00.000000000 +0100
  49515. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_shim.c 2015-11-29 09:42:38.075221210 +0100
  49516. @@ -0,0 +1,860 @@
  49517. +/**
  49518. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  49519. + *
  49520. + * Redistribution and use in source and binary forms, with or without
  49521. + * modification, are permitted provided that the following conditions
  49522. + * are met:
  49523. + * 1. Redistributions of source code must retain the above copyright
  49524. + * notice, this list of conditions, and the following disclaimer,
  49525. + * without modification.
  49526. + * 2. Redistributions in binary form must reproduce the above copyright
  49527. + * notice, this list of conditions and the following disclaimer in the
  49528. + * documentation and/or other materials provided with the distribution.
  49529. + * 3. The names of the above-listed copyright holders may not be used
  49530. + * to endorse or promote products derived from this software without
  49531. + * specific prior written permission.
  49532. + *
  49533. + * ALTERNATIVELY, this software may be distributed under the terms of the
  49534. + * GNU General Public License ("GPL") version 2, as published by the Free
  49535. + * Software Foundation.
  49536. + *
  49537. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  49538. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  49539. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  49540. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  49541. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  49542. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  49543. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  49544. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  49545. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  49546. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  49547. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  49548. + */
  49549. +#include <linux/module.h>
  49550. +#include <linux/types.h>
  49551. +
  49552. +#include "interface/vchi/vchi.h"
  49553. +#include "vchiq.h"
  49554. +#include "vchiq_core.h"
  49555. +
  49556. +#include "vchiq_util.h"
  49557. +
  49558. +#include <stddef.h>
  49559. +
  49560. +#define vchiq_status_to_vchi(status) ((int32_t)status)
  49561. +
  49562. +typedef struct {
  49563. + VCHIQ_SERVICE_HANDLE_T handle;
  49564. +
  49565. + VCHIU_QUEUE_T queue;
  49566. +
  49567. + VCHI_CALLBACK_T callback;
  49568. + void *callback_param;
  49569. +} SHIM_SERVICE_T;
  49570. +
  49571. +/* ----------------------------------------------------------------------
  49572. + * return pointer to the mphi message driver function table
  49573. + * -------------------------------------------------------------------- */
  49574. +const VCHI_MESSAGE_DRIVER_T *
  49575. +vchi_mphi_message_driver_func_table(void)
  49576. +{
  49577. + return NULL;
  49578. +}
  49579. +
  49580. +/* ----------------------------------------------------------------------
  49581. + * return a pointer to the 'single' connection driver fops
  49582. + * -------------------------------------------------------------------- */
  49583. +const VCHI_CONNECTION_API_T *
  49584. +single_get_func_table(void)
  49585. +{
  49586. + return NULL;
  49587. +}
  49588. +
  49589. +VCHI_CONNECTION_T *vchi_create_connection(
  49590. + const VCHI_CONNECTION_API_T *function_table,
  49591. + const VCHI_MESSAGE_DRIVER_T *low_level)
  49592. +{
  49593. + (void)function_table;
  49594. + (void)low_level;
  49595. + return NULL;
  49596. +}
  49597. +
  49598. +/***********************************************************
  49599. + * Name: vchi_msg_peek
  49600. + *
  49601. + * Arguments: const VCHI_SERVICE_HANDLE_T handle,
  49602. + * void **data,
  49603. + * uint32_t *msg_size,
  49604. +
  49605. +
  49606. + * VCHI_FLAGS_T flags
  49607. + *
  49608. + * Description: Routine to return a pointer to the current message (to allow in
  49609. + * place processing). The message can be removed using
  49610. + * vchi_msg_remove when you're finished
  49611. + *
  49612. + * Returns: int32_t - success == 0
  49613. + *
  49614. + ***********************************************************/
  49615. +int32_t vchi_msg_peek(VCHI_SERVICE_HANDLE_T handle,
  49616. + void **data,
  49617. + uint32_t *msg_size,
  49618. + VCHI_FLAGS_T flags)
  49619. +{
  49620. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49621. + VCHIQ_HEADER_T *header;
  49622. +
  49623. + WARN_ON((flags != VCHI_FLAGS_NONE) &&
  49624. + (flags != VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE));
  49625. +
  49626. + if (flags == VCHI_FLAGS_NONE)
  49627. + if (vchiu_queue_is_empty(&service->queue))
  49628. + return -1;
  49629. +
  49630. + header = vchiu_queue_peek(&service->queue);
  49631. +
  49632. + *data = header->data;
  49633. + *msg_size = header->size;
  49634. +
  49635. + return 0;
  49636. +}
  49637. +EXPORT_SYMBOL(vchi_msg_peek);
  49638. +
  49639. +/***********************************************************
  49640. + * Name: vchi_msg_remove
  49641. + *
  49642. + * Arguments: const VCHI_SERVICE_HANDLE_T handle,
  49643. + *
  49644. + * Description: Routine to remove a message (after it has been read with
  49645. + * vchi_msg_peek)
  49646. + *
  49647. + * Returns: int32_t - success == 0
  49648. + *
  49649. + ***********************************************************/
  49650. +int32_t vchi_msg_remove(VCHI_SERVICE_HANDLE_T handle)
  49651. +{
  49652. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49653. + VCHIQ_HEADER_T *header;
  49654. +
  49655. + header = vchiu_queue_pop(&service->queue);
  49656. +
  49657. + vchiq_release_message(service->handle, header);
  49658. +
  49659. + return 0;
  49660. +}
  49661. +EXPORT_SYMBOL(vchi_msg_remove);
  49662. +
  49663. +/***********************************************************
  49664. + * Name: vchi_msg_queue
  49665. + *
  49666. + * Arguments: VCHI_SERVICE_HANDLE_T handle,
  49667. + * const void *data,
  49668. + * uint32_t data_size,
  49669. + * VCHI_FLAGS_T flags,
  49670. + * void *msg_handle,
  49671. + *
  49672. + * Description: Thin wrapper to queue a message onto a connection
  49673. + *
  49674. + * Returns: int32_t - success == 0
  49675. + *
  49676. + ***********************************************************/
  49677. +int32_t vchi_msg_queue(VCHI_SERVICE_HANDLE_T handle,
  49678. + const void *data,
  49679. + uint32_t data_size,
  49680. + VCHI_FLAGS_T flags,
  49681. + void *msg_handle)
  49682. +{
  49683. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49684. + VCHIQ_ELEMENT_T element = {data, data_size};
  49685. + VCHIQ_STATUS_T status;
  49686. +
  49687. + (void)msg_handle;
  49688. +
  49689. + WARN_ON(flags != VCHI_FLAGS_BLOCK_UNTIL_QUEUED);
  49690. +
  49691. + status = vchiq_queue_message(service->handle, &element, 1);
  49692. +
  49693. + /* vchiq_queue_message() may return VCHIQ_RETRY, so we need to
  49694. + ** implement a retry mechanism since this function is supposed
  49695. + ** to block until queued
  49696. + */
  49697. + while (status == VCHIQ_RETRY) {
  49698. + msleep(1);
  49699. + status = vchiq_queue_message(service->handle, &element, 1);
  49700. + }
  49701. +
  49702. + return vchiq_status_to_vchi(status);
  49703. +}
  49704. +EXPORT_SYMBOL(vchi_msg_queue);
  49705. +
  49706. +/***********************************************************
  49707. + * Name: vchi_bulk_queue_receive
  49708. + *
  49709. + * Arguments: VCHI_BULK_HANDLE_T handle,
  49710. + * void *data_dst,
  49711. + * const uint32_t data_size,
  49712. + * VCHI_FLAGS_T flags
  49713. + * void *bulk_handle
  49714. + *
  49715. + * Description: Routine to setup a rcv buffer
  49716. + *
  49717. + * Returns: int32_t - success == 0
  49718. + *
  49719. + ***********************************************************/
  49720. +int32_t vchi_bulk_queue_receive(VCHI_SERVICE_HANDLE_T handle,
  49721. + void *data_dst,
  49722. + uint32_t data_size,
  49723. + VCHI_FLAGS_T flags,
  49724. + void *bulk_handle)
  49725. +{
  49726. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49727. + VCHIQ_BULK_MODE_T mode;
  49728. + VCHIQ_STATUS_T status;
  49729. +
  49730. + switch ((int)flags) {
  49731. + case VCHI_FLAGS_CALLBACK_WHEN_OP_COMPLETE
  49732. + | VCHI_FLAGS_BLOCK_UNTIL_QUEUED:
  49733. + WARN_ON(!service->callback);
  49734. + mode = VCHIQ_BULK_MODE_CALLBACK;
  49735. + break;
  49736. + case VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE:
  49737. + mode = VCHIQ_BULK_MODE_BLOCKING;
  49738. + break;
  49739. + case VCHI_FLAGS_BLOCK_UNTIL_QUEUED:
  49740. + case VCHI_FLAGS_NONE:
  49741. + mode = VCHIQ_BULK_MODE_NOCALLBACK;
  49742. + break;
  49743. + default:
  49744. + WARN(1, "unsupported message\n");
  49745. + return vchiq_status_to_vchi(VCHIQ_ERROR);
  49746. + }
  49747. +
  49748. + status = vchiq_bulk_receive(service->handle, data_dst, data_size,
  49749. + bulk_handle, mode);
  49750. +
  49751. + /* vchiq_bulk_receive() may return VCHIQ_RETRY, so we need to
  49752. + ** implement a retry mechanism since this function is supposed
  49753. + ** to block until queued
  49754. + */
  49755. + while (status == VCHIQ_RETRY) {
  49756. + msleep(1);
  49757. + status = vchiq_bulk_receive(service->handle, data_dst,
  49758. + data_size, bulk_handle, mode);
  49759. + }
  49760. +
  49761. + return vchiq_status_to_vchi(status);
  49762. +}
  49763. +EXPORT_SYMBOL(vchi_bulk_queue_receive);
  49764. +
  49765. +/***********************************************************
  49766. + * Name: vchi_bulk_queue_transmit
  49767. + *
  49768. + * Arguments: VCHI_BULK_HANDLE_T handle,
  49769. + * const void *data_src,
  49770. + * uint32_t data_size,
  49771. + * VCHI_FLAGS_T flags,
  49772. + * void *bulk_handle
  49773. + *
  49774. + * Description: Routine to transmit some data
  49775. + *
  49776. + * Returns: int32_t - success == 0
  49777. + *
  49778. + ***********************************************************/
  49779. +int32_t vchi_bulk_queue_transmit(VCHI_SERVICE_HANDLE_T handle,
  49780. + const void *data_src,
  49781. + uint32_t data_size,
  49782. + VCHI_FLAGS_T flags,
  49783. + void *bulk_handle)
  49784. +{
  49785. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49786. + VCHIQ_BULK_MODE_T mode;
  49787. + VCHIQ_STATUS_T status;
  49788. +
  49789. + switch ((int)flags) {
  49790. + case VCHI_FLAGS_CALLBACK_WHEN_OP_COMPLETE
  49791. + | VCHI_FLAGS_BLOCK_UNTIL_QUEUED:
  49792. + WARN_ON(!service->callback);
  49793. + mode = VCHIQ_BULK_MODE_CALLBACK;
  49794. + break;
  49795. + case VCHI_FLAGS_BLOCK_UNTIL_DATA_READ:
  49796. + case VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE:
  49797. + mode = VCHIQ_BULK_MODE_BLOCKING;
  49798. + break;
  49799. + case VCHI_FLAGS_BLOCK_UNTIL_QUEUED:
  49800. + case VCHI_FLAGS_NONE:
  49801. + mode = VCHIQ_BULK_MODE_NOCALLBACK;
  49802. + break;
  49803. + default:
  49804. + WARN(1, "unsupported message\n");
  49805. + return vchiq_status_to_vchi(VCHIQ_ERROR);
  49806. + }
  49807. +
  49808. + status = vchiq_bulk_transmit(service->handle, data_src, data_size,
  49809. + bulk_handle, mode);
  49810. +
  49811. + /* vchiq_bulk_transmit() may return VCHIQ_RETRY, so we need to
  49812. + ** implement a retry mechanism since this function is supposed
  49813. + ** to block until queued
  49814. + */
  49815. + while (status == VCHIQ_RETRY) {
  49816. + msleep(1);
  49817. + status = vchiq_bulk_transmit(service->handle, data_src,
  49818. + data_size, bulk_handle, mode);
  49819. + }
  49820. +
  49821. + return vchiq_status_to_vchi(status);
  49822. +}
  49823. +EXPORT_SYMBOL(vchi_bulk_queue_transmit);
  49824. +
  49825. +/***********************************************************
  49826. + * Name: vchi_msg_dequeue
  49827. + *
  49828. + * Arguments: VCHI_SERVICE_HANDLE_T handle,
  49829. + * void *data,
  49830. + * uint32_t max_data_size_to_read,
  49831. + * uint32_t *actual_msg_size
  49832. + * VCHI_FLAGS_T flags
  49833. + *
  49834. + * Description: Routine to dequeue a message into the supplied buffer
  49835. + *
  49836. + * Returns: int32_t - success == 0
  49837. + *
  49838. + ***********************************************************/
  49839. +int32_t vchi_msg_dequeue(VCHI_SERVICE_HANDLE_T handle,
  49840. + void *data,
  49841. + uint32_t max_data_size_to_read,
  49842. + uint32_t *actual_msg_size,
  49843. + VCHI_FLAGS_T flags)
  49844. +{
  49845. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49846. + VCHIQ_HEADER_T *header;
  49847. +
  49848. + WARN_ON((flags != VCHI_FLAGS_NONE) &&
  49849. + (flags != VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE));
  49850. +
  49851. + if (flags == VCHI_FLAGS_NONE)
  49852. + if (vchiu_queue_is_empty(&service->queue))
  49853. + return -1;
  49854. +
  49855. + header = vchiu_queue_pop(&service->queue);
  49856. +
  49857. + memcpy(data, header->data, header->size < max_data_size_to_read ?
  49858. + header->size : max_data_size_to_read);
  49859. +
  49860. + *actual_msg_size = header->size;
  49861. +
  49862. + vchiq_release_message(service->handle, header);
  49863. +
  49864. + return 0;
  49865. +}
  49866. +EXPORT_SYMBOL(vchi_msg_dequeue);
  49867. +
  49868. +/***********************************************************
  49869. + * Name: vchi_msg_queuev
  49870. + *
  49871. + * Arguments: VCHI_SERVICE_HANDLE_T handle,
  49872. + * VCHI_MSG_VECTOR_T *vector,
  49873. + * uint32_t count,
  49874. + * VCHI_FLAGS_T flags,
  49875. + * void *msg_handle
  49876. + *
  49877. + * Description: Thin wrapper to queue a message onto a connection
  49878. + *
  49879. + * Returns: int32_t - success == 0
  49880. + *
  49881. + ***********************************************************/
  49882. +
  49883. +vchiq_static_assert(sizeof(VCHI_MSG_VECTOR_T) == sizeof(VCHIQ_ELEMENT_T));
  49884. +vchiq_static_assert(offsetof(VCHI_MSG_VECTOR_T, vec_base) ==
  49885. + offsetof(VCHIQ_ELEMENT_T, data));
  49886. +vchiq_static_assert(offsetof(VCHI_MSG_VECTOR_T, vec_len) ==
  49887. + offsetof(VCHIQ_ELEMENT_T, size));
  49888. +
  49889. +int32_t vchi_msg_queuev(VCHI_SERVICE_HANDLE_T handle,
  49890. + VCHI_MSG_VECTOR_T *vector,
  49891. + uint32_t count,
  49892. + VCHI_FLAGS_T flags,
  49893. + void *msg_handle)
  49894. +{
  49895. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49896. +
  49897. + (void)msg_handle;
  49898. +
  49899. + WARN_ON(flags != VCHI_FLAGS_BLOCK_UNTIL_QUEUED);
  49900. +
  49901. + return vchiq_status_to_vchi(vchiq_queue_message(service->handle,
  49902. + (const VCHIQ_ELEMENT_T *)vector, count));
  49903. +}
  49904. +EXPORT_SYMBOL(vchi_msg_queuev);
  49905. +
  49906. +/***********************************************************
  49907. + * Name: vchi_held_msg_release
  49908. + *
  49909. + * Arguments: VCHI_HELD_MSG_T *message
  49910. + *
  49911. + * Description: Routine to release a held message (after it has been read with
  49912. + * vchi_msg_hold)
  49913. + *
  49914. + * Returns: int32_t - success == 0
  49915. + *
  49916. + ***********************************************************/
  49917. +int32_t vchi_held_msg_release(VCHI_HELD_MSG_T *message)
  49918. +{
  49919. + vchiq_release_message((VCHIQ_SERVICE_HANDLE_T)message->service,
  49920. + (VCHIQ_HEADER_T *)message->message);
  49921. +
  49922. + return 0;
  49923. +}
  49924. +EXPORT_SYMBOL(vchi_held_msg_release);
  49925. +
  49926. +/***********************************************************
  49927. + * Name: vchi_msg_hold
  49928. + *
  49929. + * Arguments: VCHI_SERVICE_HANDLE_T handle,
  49930. + * void **data,
  49931. + * uint32_t *msg_size,
  49932. + * VCHI_FLAGS_T flags,
  49933. + * VCHI_HELD_MSG_T *message_handle
  49934. + *
  49935. + * Description: Routine to return a pointer to the current message (to allow
  49936. + * in place processing). The message is dequeued - don't forget
  49937. + * to release the message using vchi_held_msg_release when you're
  49938. + * finished.
  49939. + *
  49940. + * Returns: int32_t - success == 0
  49941. + *
  49942. + ***********************************************************/
  49943. +int32_t vchi_msg_hold(VCHI_SERVICE_HANDLE_T handle,
  49944. + void **data,
  49945. + uint32_t *msg_size,
  49946. + VCHI_FLAGS_T flags,
  49947. + VCHI_HELD_MSG_T *message_handle)
  49948. +{
  49949. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  49950. + VCHIQ_HEADER_T *header;
  49951. +
  49952. + WARN_ON((flags != VCHI_FLAGS_NONE) &&
  49953. + (flags != VCHI_FLAGS_BLOCK_UNTIL_OP_COMPLETE));
  49954. +
  49955. + if (flags == VCHI_FLAGS_NONE)
  49956. + if (vchiu_queue_is_empty(&service->queue))
  49957. + return -1;
  49958. +
  49959. + header = vchiu_queue_pop(&service->queue);
  49960. +
  49961. + *data = header->data;
  49962. + *msg_size = header->size;
  49963. +
  49964. + message_handle->service =
  49965. + (struct opaque_vchi_service_t *)service->handle;
  49966. + message_handle->message = header;
  49967. +
  49968. + return 0;
  49969. +}
  49970. +EXPORT_SYMBOL(vchi_msg_hold);
  49971. +
  49972. +/***********************************************************
  49973. + * Name: vchi_initialise
  49974. + *
  49975. + * Arguments: VCHI_INSTANCE_T *instance_handle
  49976. + *
  49977. + * Description: Initialises the hardware but does not transmit anything
  49978. + * When run as a Host App this will be called twice hence the need
  49979. + * to malloc the state information
  49980. + *
  49981. + * Returns: 0 if successful, failure otherwise
  49982. + *
  49983. + ***********************************************************/
  49984. +
  49985. +int32_t vchi_initialise(VCHI_INSTANCE_T *instance_handle)
  49986. +{
  49987. + VCHIQ_INSTANCE_T instance;
  49988. + VCHIQ_STATUS_T status;
  49989. +
  49990. + status = vchiq_initialise(&instance);
  49991. +
  49992. + *instance_handle = (VCHI_INSTANCE_T)instance;
  49993. +
  49994. + return vchiq_status_to_vchi(status);
  49995. +}
  49996. +EXPORT_SYMBOL(vchi_initialise);
  49997. +
  49998. +/***********************************************************
  49999. + * Name: vchi_connect
  50000. + *
  50001. + * Arguments: VCHI_CONNECTION_T **connections
  50002. + * const uint32_t num_connections
  50003. + * VCHI_INSTANCE_T instance_handle)
  50004. + *
  50005. + * Description: Starts the command service on each connection,
  50006. + * causing INIT messages to be pinged back and forth
  50007. + *
  50008. + * Returns: 0 if successful, failure otherwise
  50009. + *
  50010. + ***********************************************************/
  50011. +int32_t vchi_connect(VCHI_CONNECTION_T **connections,
  50012. + const uint32_t num_connections,
  50013. + VCHI_INSTANCE_T instance_handle)
  50014. +{
  50015. + VCHIQ_INSTANCE_T instance = (VCHIQ_INSTANCE_T)instance_handle;
  50016. +
  50017. + (void)connections;
  50018. + (void)num_connections;
  50019. +
  50020. + return vchiq_connect(instance);
  50021. +}
  50022. +EXPORT_SYMBOL(vchi_connect);
  50023. +
  50024. +
  50025. +/***********************************************************
  50026. + * Name: vchi_disconnect
  50027. + *
  50028. + * Arguments: VCHI_INSTANCE_T instance_handle
  50029. + *
  50030. + * Description: Stops the command service on each connection,
  50031. + * causing DE-INIT messages to be pinged back and forth
  50032. + *
  50033. + * Returns: 0 if successful, failure otherwise
  50034. + *
  50035. + ***********************************************************/
  50036. +int32_t vchi_disconnect(VCHI_INSTANCE_T instance_handle)
  50037. +{
  50038. + VCHIQ_INSTANCE_T instance = (VCHIQ_INSTANCE_T)instance_handle;
  50039. + return vchiq_status_to_vchi(vchiq_shutdown(instance));
  50040. +}
  50041. +EXPORT_SYMBOL(vchi_disconnect);
  50042. +
  50043. +
  50044. +/***********************************************************
  50045. + * Name: vchi_service_open
  50046. + * Name: vchi_service_create
  50047. + *
  50048. + * Arguments: VCHI_INSTANCE_T *instance_handle
  50049. + * SERVICE_CREATION_T *setup,
  50050. + * VCHI_SERVICE_HANDLE_T *handle
  50051. + *
  50052. + * Description: Routine to open a service
  50053. + *
  50054. + * Returns: int32_t - success == 0
  50055. + *
  50056. + ***********************************************************/
  50057. +
  50058. +static VCHIQ_STATUS_T shim_callback(VCHIQ_REASON_T reason,
  50059. + VCHIQ_HEADER_T *header, VCHIQ_SERVICE_HANDLE_T handle, void *bulk_user)
  50060. +{
  50061. + SHIM_SERVICE_T *service =
  50062. + (SHIM_SERVICE_T *)VCHIQ_GET_SERVICE_USERDATA(handle);
  50063. +
  50064. + if (!service->callback)
  50065. + goto release;
  50066. +
  50067. + switch (reason) {
  50068. + case VCHIQ_MESSAGE_AVAILABLE:
  50069. + vchiu_queue_push(&service->queue, header);
  50070. +
  50071. + service->callback(service->callback_param,
  50072. + VCHI_CALLBACK_MSG_AVAILABLE, NULL);
  50073. +
  50074. + goto done;
  50075. + break;
  50076. +
  50077. + case VCHIQ_BULK_TRANSMIT_DONE:
  50078. + service->callback(service->callback_param,
  50079. + VCHI_CALLBACK_BULK_SENT, bulk_user);
  50080. + break;
  50081. +
  50082. + case VCHIQ_BULK_RECEIVE_DONE:
  50083. + service->callback(service->callback_param,
  50084. + VCHI_CALLBACK_BULK_RECEIVED, bulk_user);
  50085. + break;
  50086. +
  50087. + case VCHIQ_SERVICE_CLOSED:
  50088. + service->callback(service->callback_param,
  50089. + VCHI_CALLBACK_SERVICE_CLOSED, NULL);
  50090. + break;
  50091. +
  50092. + case VCHIQ_SERVICE_OPENED:
  50093. + /* No equivalent VCHI reason */
  50094. + break;
  50095. +
  50096. + case VCHIQ_BULK_TRANSMIT_ABORTED:
  50097. + service->callback(service->callback_param,
  50098. + VCHI_CALLBACK_BULK_TRANSMIT_ABORTED,
  50099. + bulk_user);
  50100. + break;
  50101. +
  50102. + case VCHIQ_BULK_RECEIVE_ABORTED:
  50103. + service->callback(service->callback_param,
  50104. + VCHI_CALLBACK_BULK_RECEIVE_ABORTED,
  50105. + bulk_user);
  50106. + break;
  50107. +
  50108. + default:
  50109. + WARN(1, "not supported\n");
  50110. + break;
  50111. + }
  50112. +
  50113. +release:
  50114. + vchiq_release_message(service->handle, header);
  50115. +done:
  50116. + return VCHIQ_SUCCESS;
  50117. +}
  50118. +
  50119. +static SHIM_SERVICE_T *service_alloc(VCHIQ_INSTANCE_T instance,
  50120. + SERVICE_CREATION_T *setup)
  50121. +{
  50122. + SHIM_SERVICE_T *service = kzalloc(sizeof(SHIM_SERVICE_T), GFP_KERNEL);
  50123. +
  50124. + (void)instance;
  50125. +
  50126. + if (service) {
  50127. + if (vchiu_queue_init(&service->queue, 64)) {
  50128. + service->callback = setup->callback;
  50129. + service->callback_param = setup->callback_param;
  50130. + } else {
  50131. + kfree(service);
  50132. + service = NULL;
  50133. + }
  50134. + }
  50135. +
  50136. + return service;
  50137. +}
  50138. +
  50139. +static void service_free(SHIM_SERVICE_T *service)
  50140. +{
  50141. + if (service) {
  50142. + vchiu_queue_delete(&service->queue);
  50143. + kfree(service);
  50144. + }
  50145. +}
  50146. +
  50147. +int32_t vchi_service_open(VCHI_INSTANCE_T instance_handle,
  50148. + SERVICE_CREATION_T *setup,
  50149. + VCHI_SERVICE_HANDLE_T *handle)
  50150. +{
  50151. + VCHIQ_INSTANCE_T instance = (VCHIQ_INSTANCE_T)instance_handle;
  50152. + SHIM_SERVICE_T *service = service_alloc(instance, setup);
  50153. +
  50154. + *handle = (VCHI_SERVICE_HANDLE_T)service;
  50155. +
  50156. + if (service) {
  50157. + VCHIQ_SERVICE_PARAMS_T params;
  50158. + VCHIQ_STATUS_T status;
  50159. +
  50160. + memset(&params, 0, sizeof(params));
  50161. + params.fourcc = setup->service_id;
  50162. + params.callback = shim_callback;
  50163. + params.userdata = service;
  50164. + params.version = setup->version.version;
  50165. + params.version_min = setup->version.version_min;
  50166. +
  50167. + status = vchiq_open_service(instance, &params,
  50168. + &service->handle);
  50169. + if (status != VCHIQ_SUCCESS) {
  50170. + service_free(service);
  50171. + service = NULL;
  50172. + *handle = NULL;
  50173. + }
  50174. + }
  50175. +
  50176. + return (service != NULL) ? 0 : -1;
  50177. +}
  50178. +EXPORT_SYMBOL(vchi_service_open);
  50179. +
  50180. +int32_t vchi_service_create(VCHI_INSTANCE_T instance_handle,
  50181. + SERVICE_CREATION_T *setup,
  50182. + VCHI_SERVICE_HANDLE_T *handle)
  50183. +{
  50184. + VCHIQ_INSTANCE_T instance = (VCHIQ_INSTANCE_T)instance_handle;
  50185. + SHIM_SERVICE_T *service = service_alloc(instance, setup);
  50186. +
  50187. + *handle = (VCHI_SERVICE_HANDLE_T)service;
  50188. +
  50189. + if (service) {
  50190. + VCHIQ_SERVICE_PARAMS_T params;
  50191. + VCHIQ_STATUS_T status;
  50192. +
  50193. + memset(&params, 0, sizeof(params));
  50194. + params.fourcc = setup->service_id;
  50195. + params.callback = shim_callback;
  50196. + params.userdata = service;
  50197. + params.version = setup->version.version;
  50198. + params.version_min = setup->version.version_min;
  50199. + status = vchiq_add_service(instance, &params, &service->handle);
  50200. +
  50201. + if (status != VCHIQ_SUCCESS) {
  50202. + service_free(service);
  50203. + service = NULL;
  50204. + *handle = NULL;
  50205. + }
  50206. + }
  50207. +
  50208. + return (service != NULL) ? 0 : -1;
  50209. +}
  50210. +EXPORT_SYMBOL(vchi_service_create);
  50211. +
  50212. +int32_t vchi_service_close(const VCHI_SERVICE_HANDLE_T handle)
  50213. +{
  50214. + int32_t ret = -1;
  50215. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50216. + if (service) {
  50217. + VCHIQ_STATUS_T status = vchiq_close_service(service->handle);
  50218. + if (status == VCHIQ_SUCCESS) {
  50219. + service_free(service);
  50220. + service = NULL;
  50221. + }
  50222. +
  50223. + ret = vchiq_status_to_vchi(status);
  50224. + }
  50225. + return ret;
  50226. +}
  50227. +EXPORT_SYMBOL(vchi_service_close);
  50228. +
  50229. +int32_t vchi_service_destroy(const VCHI_SERVICE_HANDLE_T handle)
  50230. +{
  50231. + int32_t ret = -1;
  50232. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50233. + if (service) {
  50234. + VCHIQ_STATUS_T status = vchiq_remove_service(service->handle);
  50235. + if (status == VCHIQ_SUCCESS) {
  50236. + service_free(service);
  50237. + service = NULL;
  50238. + }
  50239. +
  50240. + ret = vchiq_status_to_vchi(status);
  50241. + }
  50242. + return ret;
  50243. +}
  50244. +EXPORT_SYMBOL(vchi_service_destroy);
  50245. +
  50246. +int32_t vchi_service_set_option(const VCHI_SERVICE_HANDLE_T handle,
  50247. + VCHI_SERVICE_OPTION_T option,
  50248. + int value)
  50249. +{
  50250. + int32_t ret = -1;
  50251. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50252. + VCHIQ_SERVICE_OPTION_T vchiq_option;
  50253. + switch (option) {
  50254. + case VCHI_SERVICE_OPTION_TRACE:
  50255. + vchiq_option = VCHIQ_SERVICE_OPTION_TRACE;
  50256. + break;
  50257. + case VCHI_SERVICE_OPTION_SYNCHRONOUS:
  50258. + vchiq_option = VCHIQ_SERVICE_OPTION_SYNCHRONOUS;
  50259. + break;
  50260. + default:
  50261. + service = NULL;
  50262. + break;
  50263. + }
  50264. + if (service) {
  50265. + VCHIQ_STATUS_T status =
  50266. + vchiq_set_service_option(service->handle,
  50267. + vchiq_option,
  50268. + value);
  50269. +
  50270. + ret = vchiq_status_to_vchi(status);
  50271. + }
  50272. + return ret;
  50273. +}
  50274. +EXPORT_SYMBOL(vchi_service_set_option);
  50275. +
  50276. +int32_t vchi_get_peer_version( const VCHI_SERVICE_HANDLE_T handle, short *peer_version )
  50277. +{
  50278. + int32_t ret = -1;
  50279. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50280. + if(service)
  50281. + {
  50282. + VCHIQ_STATUS_T status = vchiq_get_peer_version(service->handle, peer_version);
  50283. + ret = vchiq_status_to_vchi( status );
  50284. + }
  50285. + return ret;
  50286. +}
  50287. +EXPORT_SYMBOL(vchi_get_peer_version);
  50288. +
  50289. +/* ----------------------------------------------------------------------
  50290. + * read a uint32_t from buffer.
  50291. + * network format is defined to be little endian
  50292. + * -------------------------------------------------------------------- */
  50293. +uint32_t
  50294. +vchi_readbuf_uint32(const void *_ptr)
  50295. +{
  50296. + const unsigned char *ptr = _ptr;
  50297. + return ptr[0] | (ptr[1] << 8) | (ptr[2] << 16) | (ptr[3] << 24);
  50298. +}
  50299. +
  50300. +/* ----------------------------------------------------------------------
  50301. + * write a uint32_t to buffer.
  50302. + * network format is defined to be little endian
  50303. + * -------------------------------------------------------------------- */
  50304. +void
  50305. +vchi_writebuf_uint32(void *_ptr, uint32_t value)
  50306. +{
  50307. + unsigned char *ptr = _ptr;
  50308. + ptr[0] = (unsigned char)((value >> 0) & 0xFF);
  50309. + ptr[1] = (unsigned char)((value >> 8) & 0xFF);
  50310. + ptr[2] = (unsigned char)((value >> 16) & 0xFF);
  50311. + ptr[3] = (unsigned char)((value >> 24) & 0xFF);
  50312. +}
  50313. +
  50314. +/* ----------------------------------------------------------------------
  50315. + * read a uint16_t from buffer.
  50316. + * network format is defined to be little endian
  50317. + * -------------------------------------------------------------------- */
  50318. +uint16_t
  50319. +vchi_readbuf_uint16(const void *_ptr)
  50320. +{
  50321. + const unsigned char *ptr = _ptr;
  50322. + return ptr[0] | (ptr[1] << 8);
  50323. +}
  50324. +
  50325. +/* ----------------------------------------------------------------------
  50326. + * write a uint16_t into the buffer.
  50327. + * network format is defined to be little endian
  50328. + * -------------------------------------------------------------------- */
  50329. +void
  50330. +vchi_writebuf_uint16(void *_ptr, uint16_t value)
  50331. +{
  50332. + unsigned char *ptr = _ptr;
  50333. + ptr[0] = (value >> 0) & 0xFF;
  50334. + ptr[1] = (value >> 8) & 0xFF;
  50335. +}
  50336. +
  50337. +/***********************************************************
  50338. + * Name: vchi_service_use
  50339. + *
  50340. + * Arguments: const VCHI_SERVICE_HANDLE_T handle
  50341. + *
  50342. + * Description: Routine to increment refcount on a service
  50343. + *
  50344. + * Returns: void
  50345. + *
  50346. + ***********************************************************/
  50347. +int32_t vchi_service_use(const VCHI_SERVICE_HANDLE_T handle)
  50348. +{
  50349. + int32_t ret = -1;
  50350. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50351. + if (service)
  50352. + ret = vchiq_status_to_vchi(vchiq_use_service(service->handle));
  50353. + return ret;
  50354. +}
  50355. +EXPORT_SYMBOL(vchi_service_use);
  50356. +
  50357. +/***********************************************************
  50358. + * Name: vchi_service_release
  50359. + *
  50360. + * Arguments: const VCHI_SERVICE_HANDLE_T handle
  50361. + *
  50362. + * Description: Routine to decrement refcount on a service
  50363. + *
  50364. + * Returns: void
  50365. + *
  50366. + ***********************************************************/
  50367. +int32_t vchi_service_release(const VCHI_SERVICE_HANDLE_T handle)
  50368. +{
  50369. + int32_t ret = -1;
  50370. + SHIM_SERVICE_T *service = (SHIM_SERVICE_T *)handle;
  50371. + if (service)
  50372. + ret = vchiq_status_to_vchi(
  50373. + vchiq_release_service(service->handle));
  50374. + return ret;
  50375. +}
  50376. +EXPORT_SYMBOL(vchi_service_release);
  50377. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.c
  50378. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.c 1970-01-01 01:00:00.000000000 +0100
  50379. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.c 2015-11-29 09:42:38.075221210 +0100
  50380. @@ -0,0 +1,156 @@
  50381. +/**
  50382. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  50383. + *
  50384. + * Redistribution and use in source and binary forms, with or without
  50385. + * modification, are permitted provided that the following conditions
  50386. + * are met:
  50387. + * 1. Redistributions of source code must retain the above copyright
  50388. + * notice, this list of conditions, and the following disclaimer,
  50389. + * without modification.
  50390. + * 2. Redistributions in binary form must reproduce the above copyright
  50391. + * notice, this list of conditions and the following disclaimer in the
  50392. + * documentation and/or other materials provided with the distribution.
  50393. + * 3. The names of the above-listed copyright holders may not be used
  50394. + * to endorse or promote products derived from this software without
  50395. + * specific prior written permission.
  50396. + *
  50397. + * ALTERNATIVELY, this software may be distributed under the terms of the
  50398. + * GNU General Public License ("GPL") version 2, as published by the Free
  50399. + * Software Foundation.
  50400. + *
  50401. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  50402. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  50403. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  50404. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  50405. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  50406. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  50407. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  50408. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  50409. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  50410. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  50411. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  50412. + */
  50413. +
  50414. +#include "vchiq_util.h"
  50415. +#include "vchiq_killable.h"
  50416. +
  50417. +static inline int is_pow2(int i)
  50418. +{
  50419. + return i && !(i & (i - 1));
  50420. +}
  50421. +
  50422. +int vchiu_queue_init(VCHIU_QUEUE_T *queue, int size)
  50423. +{
  50424. + WARN_ON(!is_pow2(size));
  50425. +
  50426. + queue->size = size;
  50427. + queue->read = 0;
  50428. + queue->write = 0;
  50429. + queue->initialized = 1;
  50430. +
  50431. + sema_init(&queue->pop, 0);
  50432. + sema_init(&queue->push, 0);
  50433. +
  50434. + queue->storage = kzalloc(size * sizeof(VCHIQ_HEADER_T *), GFP_KERNEL);
  50435. + if (queue->storage == NULL) {
  50436. + vchiu_queue_delete(queue);
  50437. + return 0;
  50438. + }
  50439. + return 1;
  50440. +}
  50441. +
  50442. +void vchiu_queue_delete(VCHIU_QUEUE_T *queue)
  50443. +{
  50444. + if (queue->storage != NULL)
  50445. + kfree(queue->storage);
  50446. +}
  50447. +
  50448. +int vchiu_queue_is_empty(VCHIU_QUEUE_T *queue)
  50449. +{
  50450. + return queue->read == queue->write;
  50451. +}
  50452. +
  50453. +int vchiu_queue_is_full(VCHIU_QUEUE_T *queue)
  50454. +{
  50455. + return queue->write == queue->read + queue->size;
  50456. +}
  50457. +
  50458. +void vchiu_queue_push(VCHIU_QUEUE_T *queue, VCHIQ_HEADER_T *header)
  50459. +{
  50460. + if (!queue->initialized)
  50461. + return;
  50462. +
  50463. + while (queue->write == queue->read + queue->size) {
  50464. + if (down_interruptible(&queue->pop) != 0) {
  50465. + flush_signals(current);
  50466. + }
  50467. + }
  50468. +
  50469. + /*
  50470. + * Write to queue->storage must be visible after read from
  50471. + * queue->read
  50472. + */
  50473. + smp_mb();
  50474. +
  50475. + queue->storage[queue->write & (queue->size - 1)] = header;
  50476. +
  50477. + /*
  50478. + * Write to queue->storage must be visible before write to
  50479. + * queue->write
  50480. + */
  50481. + smp_wmb();
  50482. +
  50483. + queue->write++;
  50484. +
  50485. + up(&queue->push);
  50486. +}
  50487. +
  50488. +VCHIQ_HEADER_T *vchiu_queue_peek(VCHIU_QUEUE_T *queue)
  50489. +{
  50490. + while (queue->write == queue->read) {
  50491. + if (down_interruptible(&queue->push) != 0) {
  50492. + flush_signals(current);
  50493. + }
  50494. + }
  50495. +
  50496. + up(&queue->push); // We haven't removed anything from the queue.
  50497. +
  50498. + /*
  50499. + * Read from queue->storage must be visible after read from
  50500. + * queue->write
  50501. + */
  50502. + smp_rmb();
  50503. +
  50504. + return queue->storage[queue->read & (queue->size - 1)];
  50505. +}
  50506. +
  50507. +VCHIQ_HEADER_T *vchiu_queue_pop(VCHIU_QUEUE_T *queue)
  50508. +{
  50509. + VCHIQ_HEADER_T *header;
  50510. +
  50511. + while (queue->write == queue->read) {
  50512. + if (down_interruptible(&queue->push) != 0) {
  50513. + flush_signals(current);
  50514. + }
  50515. + }
  50516. +
  50517. + /*
  50518. + * Read from queue->storage must be visible after read from
  50519. + * queue->write
  50520. + */
  50521. + smp_rmb();
  50522. +
  50523. + header = queue->storage[queue->read & (queue->size - 1)];
  50524. +
  50525. + /*
  50526. + * Read from queue->storage must be visible before write to
  50527. + * queue->read
  50528. + */
  50529. + smp_mb();
  50530. +
  50531. + queue->read++;
  50532. +
  50533. + up(&queue->pop);
  50534. +
  50535. + return header;
  50536. +}
  50537. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.h linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.h
  50538. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.h 1970-01-01 01:00:00.000000000 +0100
  50539. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_util.h 2015-11-29 09:42:38.075221210 +0100
  50540. @@ -0,0 +1,82 @@
  50541. +/**
  50542. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  50543. + *
  50544. + * Redistribution and use in source and binary forms, with or without
  50545. + * modification, are permitted provided that the following conditions
  50546. + * are met:
  50547. + * 1. Redistributions of source code must retain the above copyright
  50548. + * notice, this list of conditions, and the following disclaimer,
  50549. + * without modification.
  50550. + * 2. Redistributions in binary form must reproduce the above copyright
  50551. + * notice, this list of conditions and the following disclaimer in the
  50552. + * documentation and/or other materials provided with the distribution.
  50553. + * 3. The names of the above-listed copyright holders may not be used
  50554. + * to endorse or promote products derived from this software without
  50555. + * specific prior written permission.
  50556. + *
  50557. + * ALTERNATIVELY, this software may be distributed under the terms of the
  50558. + * GNU General Public License ("GPL") version 2, as published by the Free
  50559. + * Software Foundation.
  50560. + *
  50561. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  50562. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  50563. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  50564. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  50565. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  50566. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  50567. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  50568. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  50569. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  50570. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  50571. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  50572. + */
  50573. +
  50574. +#ifndef VCHIQ_UTIL_H
  50575. +#define VCHIQ_UTIL_H
  50576. +
  50577. +#include <linux/types.h>
  50578. +#include <linux/semaphore.h>
  50579. +#include <linux/mutex.h>
  50580. +#include <linux/bitops.h>
  50581. +#include <linux/kthread.h>
  50582. +#include <linux/wait.h>
  50583. +#include <linux/vmalloc.h>
  50584. +#include <linux/jiffies.h>
  50585. +#include <linux/delay.h>
  50586. +#include <linux/string.h>
  50587. +#include <linux/types.h>
  50588. +#include <linux/interrupt.h>
  50589. +#include <linux/random.h>
  50590. +#include <linux/sched.h>
  50591. +#include <linux/ctype.h>
  50592. +#include <linux/uaccess.h>
  50593. +#include <linux/time.h> /* for time_t */
  50594. +#include <linux/slab.h>
  50595. +#include <linux/vmalloc.h>
  50596. +
  50597. +#include "vchiq_if.h"
  50598. +
  50599. +typedef struct {
  50600. + int size;
  50601. + int read;
  50602. + int write;
  50603. + int initialized;
  50604. +
  50605. + struct semaphore pop;
  50606. + struct semaphore push;
  50607. +
  50608. + VCHIQ_HEADER_T **storage;
  50609. +} VCHIU_QUEUE_T;
  50610. +
  50611. +extern int vchiu_queue_init(VCHIU_QUEUE_T *queue, int size);
  50612. +extern void vchiu_queue_delete(VCHIU_QUEUE_T *queue);
  50613. +
  50614. +extern int vchiu_queue_is_empty(VCHIU_QUEUE_T *queue);
  50615. +extern int vchiu_queue_is_full(VCHIU_QUEUE_T *queue);
  50616. +
  50617. +extern void vchiu_queue_push(VCHIU_QUEUE_T *queue, VCHIQ_HEADER_T *header);
  50618. +
  50619. +extern VCHIQ_HEADER_T *vchiu_queue_peek(VCHIU_QUEUE_T *queue);
  50620. +extern VCHIQ_HEADER_T *vchiu_queue_pop(VCHIU_QUEUE_T *queue);
  50621. +
  50622. +#endif
  50623. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_version.c linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_version.c
  50624. --- linux-4.1.13.orig/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_version.c 1970-01-01 01:00:00.000000000 +0100
  50625. +++ linux-rpi/drivers/misc/vc04_services/interface/vchiq_arm/vchiq_version.c 2015-11-29 09:42:38.075221210 +0100
  50626. @@ -0,0 +1,59 @@
  50627. +/**
  50628. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  50629. + *
  50630. + * Redistribution and use in source and binary forms, with or without
  50631. + * modification, are permitted provided that the following conditions
  50632. + * are met:
  50633. + * 1. Redistributions of source code must retain the above copyright
  50634. + * notice, this list of conditions, and the following disclaimer,
  50635. + * without modification.
  50636. + * 2. Redistributions in binary form must reproduce the above copyright
  50637. + * notice, this list of conditions and the following disclaimer in the
  50638. + * documentation and/or other materials provided with the distribution.
  50639. + * 3. The names of the above-listed copyright holders may not be used
  50640. + * to endorse or promote products derived from this software without
  50641. + * specific prior written permission.
  50642. + *
  50643. + * ALTERNATIVELY, this software may be distributed under the terms of the
  50644. + * GNU General Public License ("GPL") version 2, as published by the Free
  50645. + * Software Foundation.
  50646. + *
  50647. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  50648. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  50649. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  50650. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  50651. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  50652. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  50653. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  50654. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  50655. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  50656. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  50657. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  50658. + */
  50659. +#include "vchiq_build_info.h"
  50660. +#include <linux/broadcom/vc_debug_sym.h>
  50661. +
  50662. +VC_DEBUG_DECLARE_STRING_VAR( vchiq_build_hostname, "dc4-arm-01" );
  50663. +VC_DEBUG_DECLARE_STRING_VAR( vchiq_build_version, "9245b4c35b99b3870e1f7dc598c5692b3c66a6f0 (tainted)" );
  50664. +VC_DEBUG_DECLARE_STRING_VAR( vchiq_build_time, __TIME__ );
  50665. +VC_DEBUG_DECLARE_STRING_VAR( vchiq_build_date, __DATE__ );
  50666. +
  50667. +const char *vchiq_get_build_hostname( void )
  50668. +{
  50669. + return vchiq_build_hostname;
  50670. +}
  50671. +
  50672. +const char *vchiq_get_build_version( void )
  50673. +{
  50674. + return vchiq_build_version;
  50675. +}
  50676. +
  50677. +const char *vchiq_get_build_date( void )
  50678. +{
  50679. + return vchiq_build_date;
  50680. +}
  50681. +
  50682. +const char *vchiq_get_build_time( void )
  50683. +{
  50684. + return vchiq_build_time;
  50685. +}
  50686. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/Kconfig linux-rpi/drivers/misc/vc04_services/Kconfig
  50687. --- linux-4.1.13.orig/drivers/misc/vc04_services/Kconfig 1970-01-01 01:00:00.000000000 +0100
  50688. +++ linux-rpi/drivers/misc/vc04_services/Kconfig 2015-11-29 09:42:38.059222273 +0100
  50689. @@ -0,0 +1,9 @@
  50690. +config BCM2708_VCHIQ
  50691. + tristate "Videocore VCHIQ"
  50692. + depends on RASPBERRYPI_FIRMWARE
  50693. + default y
  50694. + help
  50695. + Kernel to VideoCore communication interface for the
  50696. + BCM2708 family of products.
  50697. + Defaults to Y when the Broadcom Videocore services
  50698. + are included in the build, N otherwise.
  50699. diff -Nur linux-4.1.13.orig/drivers/misc/vc04_services/Makefile linux-rpi/drivers/misc/vc04_services/Makefile
  50700. --- linux-4.1.13.orig/drivers/misc/vc04_services/Makefile 1970-01-01 01:00:00.000000000 +0100
  50701. +++ linux-rpi/drivers/misc/vc04_services/Makefile 2015-11-29 09:42:38.059222273 +0100
  50702. @@ -0,0 +1,14 @@
  50703. +obj-$(CONFIG_BCM2708_VCHIQ) += vchiq.o
  50704. +
  50705. +vchiq-objs := \
  50706. + interface/vchiq_arm/vchiq_core.o \
  50707. + interface/vchiq_arm/vchiq_arm.o \
  50708. + interface/vchiq_arm/vchiq_kern_lib.o \
  50709. + interface/vchiq_arm/vchiq_2835_arm.o \
  50710. + interface/vchiq_arm/vchiq_debugfs.o \
  50711. + interface/vchiq_arm/vchiq_shim.o \
  50712. + interface/vchiq_arm/vchiq_util.o \
  50713. + interface/vchiq_arm/vchiq_connected.o \
  50714. +
  50715. +ccflags-y += -DVCOS_VERIFY_BKPTS=1 -Idrivers/misc/vc04_services -DUSE_VCHIQ_ARM -D__VCCOREVER__=0x04000000
  50716. +
  50717. diff -Nur linux-4.1.13.orig/drivers/mmc/card/block.c linux-rpi/drivers/mmc/card/block.c
  50718. --- linux-4.1.13.orig/drivers/mmc/card/block.c 2015-11-09 23:34:10.000000000 +0100
  50719. +++ linux-rpi/drivers/mmc/card/block.c 2015-11-29 09:42:38.079220944 +0100
  50720. @@ -1415,6 +1415,7 @@
  50721. brq->data.blocks = card->host->ops->multi_io_quirk(card,
  50722. (rq_data_dir(req) == READ) ?
  50723. MMC_DATA_READ : MMC_DATA_WRITE,
  50724. + blk_rq_pos(req),
  50725. brq->data.blocks);
  50726. }
  50727. diff -Nur linux-4.1.13.orig/drivers/mmc/core/quirks.c linux-rpi/drivers/mmc/core/quirks.c
  50728. --- linux-4.1.13.orig/drivers/mmc/core/quirks.c 2015-11-09 23:34:10.000000000 +0100
  50729. +++ linux-rpi/drivers/mmc/core/quirks.c 2015-11-29 09:42:38.083220679 +0100
  50730. @@ -71,6 +71,7 @@
  50731. void mmc_fixup_device(struct mmc_card *card, const struct mmc_fixup *table)
  50732. {
  50733. + extern unsigned mmc_debug;
  50734. const struct mmc_fixup *f;
  50735. u64 rev = cid_rev_card(card);
  50736. @@ -95,5 +96,10 @@
  50737. f->vendor_fixup(card, f->data);
  50738. }
  50739. }
  50740. + /* SDHCI on BCM2708 - bug causes a certain sequence of CMD23 operations to fail.
  50741. + * Disable this flag for all cards (fall-back to CMD25/CMD18 multi-block transfers).
  50742. + */
  50743. + if (mmc_debug & (1<<13))
  50744. + card->quirks |= MMC_QUIRK_BLK_NO_CMD23;
  50745. }
  50746. EXPORT_SYMBOL(mmc_fixup_device);
  50747. diff -Nur linux-4.1.13.orig/drivers/mmc/host/bcm2835-mmc.c linux-rpi/drivers/mmc/host/bcm2835-mmc.c
  50748. --- linux-4.1.13.orig/drivers/mmc/host/bcm2835-mmc.c 1970-01-01 01:00:00.000000000 +0100
  50749. +++ linux-rpi/drivers/mmc/host/bcm2835-mmc.c 2015-11-29 09:42:38.087220413 +0100
  50750. @@ -0,0 +1,1559 @@
  50751. +/*
  50752. + * BCM2835 MMC host driver.
  50753. + *
  50754. + * Author: Gellert Weisz <gellert@raspberrypi.org>
  50755. + * Copyright 2014
  50756. + *
  50757. + * Based on
  50758. + * sdhci-bcm2708.c by Broadcom
  50759. + * sdhci-bcm2835.c by Stephen Warren and Oleksandr Tymoshenko
  50760. + * sdhci.c and sdhci-pci.c by Pierre Ossman
  50761. + *
  50762. + * This program is free software; you can redistribute it and/or modify it
  50763. + * under the terms and conditions of the GNU General Public License,
  50764. + * version 2, as published by the Free Software Foundation.
  50765. + *
  50766. + * This program is distributed in the hope it will be useful, but WITHOUT
  50767. + * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  50768. + * FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for
  50769. + * more details.
  50770. + *
  50771. + * You should have received a copy of the GNU General Public License
  50772. + * along with this program. If not, see <http://www.gnu.org/licenses/>.
  50773. + */
  50774. +
  50775. +#include <linux/delay.h>
  50776. +#include <linux/module.h>
  50777. +#include <linux/io.h>
  50778. +#include <linux/mmc/mmc.h>
  50779. +#include <linux/mmc/host.h>
  50780. +#include <linux/mmc/sd.h>
  50781. +#include <linux/scatterlist.h>
  50782. +#include <linux/of_address.h>
  50783. +#include <linux/of_irq.h>
  50784. +#include <linux/clk.h>
  50785. +#include <linux/platform_device.h>
  50786. +#include <linux/err.h>
  50787. +#include <linux/blkdev.h>
  50788. +#include <linux/dmaengine.h>
  50789. +#include <linux/dma-mapping.h>
  50790. +#include <linux/of_dma.h>
  50791. +
  50792. +#include "sdhci.h"
  50793. +
  50794. +
  50795. +#define DRIVER_NAME "mmc-bcm2835"
  50796. +
  50797. +#define DBG(f, x...) \
  50798. +pr_debug(DRIVER_NAME " [%s()]: " f, __func__, ## x)
  50799. +
  50800. +#ifndef CONFIG_MMC_BCM2835_DMA
  50801. + #define FORCE_PIO
  50802. +#endif
  50803. +
  50804. +
  50805. +/* the inclusive limit in bytes under which PIO will be used instead of DMA */
  50806. +#ifdef CONFIG_MMC_BCM2835_PIO_DMA_BARRIER
  50807. +#define PIO_DMA_BARRIER CONFIG_MMC_BCM2835_PIO_DMA_BARRIER
  50808. +#else
  50809. +#define PIO_DMA_BARRIER 00
  50810. +#endif
  50811. +
  50812. +#define MIN_FREQ 400000
  50813. +#define TIMEOUT_VAL 0xE
  50814. +#define BCM2835_SDHCI_WRITE_DELAY(f) (((2 * 1000000) / f) + 1)
  50815. +
  50816. +#ifndef BCM2708_PERI_BASE
  50817. + #define BCM2708_PERI_BASE 0x20000000
  50818. +#endif
  50819. +
  50820. +/* FIXME: Needs IOMMU support */
  50821. +#define BCM2835_VCMMU_SHIFT (0x7E000000 - BCM2708_PERI_BASE)
  50822. +
  50823. +
  50824. +unsigned mmc_debug;
  50825. +unsigned mmc_debug2;
  50826. +
  50827. +struct bcm2835_host {
  50828. + spinlock_t lock;
  50829. +
  50830. + void __iomem *ioaddr;
  50831. + u32 phys_addr;
  50832. +
  50833. + struct mmc_host *mmc;
  50834. +
  50835. + u32 timeout;
  50836. +
  50837. + int clock; /* Current clock speed */
  50838. + u8 pwr; /* Current voltage */
  50839. +
  50840. + unsigned int max_clk; /* Max possible freq */
  50841. + unsigned int timeout_clk; /* Timeout freq (KHz) */
  50842. + unsigned int clk_mul; /* Clock Muliplier value */
  50843. +
  50844. + struct tasklet_struct finish_tasklet; /* Tasklet structures */
  50845. +
  50846. + struct timer_list timer; /* Timer for timeouts */
  50847. +
  50848. + struct sg_mapping_iter sg_miter; /* SG state for PIO */
  50849. + unsigned int blocks; /* remaining PIO blocks */
  50850. +
  50851. + int irq; /* Device IRQ */
  50852. +
  50853. +
  50854. + u32 ier; /* cached registers */
  50855. +
  50856. + struct mmc_request *mrq; /* Current request */
  50857. + struct mmc_command *cmd; /* Current command */
  50858. + struct mmc_data *data; /* Current data request */
  50859. + unsigned int data_early:1; /* Data finished before cmd */
  50860. +
  50861. + wait_queue_head_t buf_ready_int; /* Waitqueue for Buffer Read Ready interrupt */
  50862. +
  50863. + u32 thread_isr;
  50864. +
  50865. + u32 shadow;
  50866. +
  50867. + /*DMA part*/
  50868. + struct dma_chan *dma_chan_rx; /* DMA channel for reads */
  50869. + struct dma_chan *dma_chan_tx; /* DMA channel for writes */
  50870. + struct dma_async_tx_descriptor *tx_desc; /* descriptor */
  50871. +
  50872. + bool have_dma;
  50873. + bool use_dma;
  50874. + /*end of DMA part*/
  50875. +
  50876. + int max_delay; /* maximum length of time spent waiting */
  50877. +
  50878. + int flags; /* Host attributes */
  50879. +#define SDHCI_REQ_USE_DMA (1<<2) /* Use DMA for this req. */
  50880. +#define SDHCI_DEVICE_DEAD (1<<3) /* Device unresponsive */
  50881. +#define SDHCI_AUTO_CMD12 (1<<6) /* Auto CMD12 support */
  50882. +#define SDHCI_AUTO_CMD23 (1<<7) /* Auto CMD23 support */
  50883. +#define SDHCI_SDIO_IRQ_ENABLED (1<<9) /* SDIO irq enabled */
  50884. +
  50885. + u32 overclock_50; /* frequency to use when 50MHz is requested (in MHz) */
  50886. + u32 max_overclock; /* Highest reported */
  50887. +};
  50888. +
  50889. +
  50890. +static inline void bcm2835_mmc_writel(struct bcm2835_host *host, u32 val, int reg, int from)
  50891. +{
  50892. + unsigned delay;
  50893. + lockdep_assert_held_once(&host->lock);
  50894. + writel(val, host->ioaddr + reg);
  50895. + udelay(BCM2835_SDHCI_WRITE_DELAY(max(host->clock, MIN_FREQ)));
  50896. +
  50897. + delay = ((mmc_debug >> 16) & 0xf) << ((mmc_debug >> 20) & 0xf);
  50898. + if (delay && !((1<<from) & mmc_debug2))
  50899. + udelay(delay);
  50900. +}
  50901. +
  50902. +static inline void mmc_raw_writel(struct bcm2835_host *host, u32 val, int reg)
  50903. +{
  50904. + unsigned delay;
  50905. + lockdep_assert_held_once(&host->lock);
  50906. + writel(val, host->ioaddr + reg);
  50907. +
  50908. + delay = ((mmc_debug >> 24) & 0xf) << ((mmc_debug >> 28) & 0xf);
  50909. + if (delay)
  50910. + udelay(delay);
  50911. +}
  50912. +
  50913. +static inline u32 bcm2835_mmc_readl(struct bcm2835_host *host, int reg)
  50914. +{
  50915. + lockdep_assert_held_once(&host->lock);
  50916. + return readl(host->ioaddr + reg);
  50917. +}
  50918. +
  50919. +static inline void bcm2835_mmc_writew(struct bcm2835_host *host, u16 val, int reg)
  50920. +{
  50921. + u32 oldval = (reg == SDHCI_COMMAND) ? host->shadow :
  50922. + bcm2835_mmc_readl(host, reg & ~3);
  50923. + u32 word_num = (reg >> 1) & 1;
  50924. + u32 word_shift = word_num * 16;
  50925. + u32 mask = 0xffff << word_shift;
  50926. + u32 newval = (oldval & ~mask) | (val << word_shift);
  50927. +
  50928. + if (reg == SDHCI_TRANSFER_MODE)
  50929. + host->shadow = newval;
  50930. + else
  50931. + bcm2835_mmc_writel(host, newval, reg & ~3, 0);
  50932. +
  50933. +}
  50934. +
  50935. +static inline void bcm2835_mmc_writeb(struct bcm2835_host *host, u8 val, int reg)
  50936. +{
  50937. + u32 oldval = bcm2835_mmc_readl(host, reg & ~3);
  50938. + u32 byte_num = reg & 3;
  50939. + u32 byte_shift = byte_num * 8;
  50940. + u32 mask = 0xff << byte_shift;
  50941. + u32 newval = (oldval & ~mask) | (val << byte_shift);
  50942. +
  50943. + bcm2835_mmc_writel(host, newval, reg & ~3, 1);
  50944. +}
  50945. +
  50946. +
  50947. +static inline u16 bcm2835_mmc_readw(struct bcm2835_host *host, int reg)
  50948. +{
  50949. + u32 val = bcm2835_mmc_readl(host, (reg & ~3));
  50950. + u32 word_num = (reg >> 1) & 1;
  50951. + u32 word_shift = word_num * 16;
  50952. + u32 word = (val >> word_shift) & 0xffff;
  50953. +
  50954. + return word;
  50955. +}
  50956. +
  50957. +static inline u8 bcm2835_mmc_readb(struct bcm2835_host *host, int reg)
  50958. +{
  50959. + u32 val = bcm2835_mmc_readl(host, (reg & ~3));
  50960. + u32 byte_num = reg & 3;
  50961. + u32 byte_shift = byte_num * 8;
  50962. + u32 byte = (val >> byte_shift) & 0xff;
  50963. +
  50964. + return byte;
  50965. +}
  50966. +
  50967. +static void bcm2835_mmc_unsignal_irqs(struct bcm2835_host *host, u32 clear)
  50968. +{
  50969. + u32 ier;
  50970. +
  50971. + ier = bcm2835_mmc_readl(host, SDHCI_SIGNAL_ENABLE);
  50972. + ier &= ~clear;
  50973. + /* change which requests generate IRQs - makes no difference to
  50974. + the content of SDHCI_INT_STATUS, or the need to acknowledge IRQs */
  50975. + bcm2835_mmc_writel(host, ier, SDHCI_SIGNAL_ENABLE, 2);
  50976. +}
  50977. +
  50978. +
  50979. +static void bcm2835_mmc_dumpregs(struct bcm2835_host *host)
  50980. +{
  50981. + pr_debug(DRIVER_NAME ": =========== REGISTER DUMP (%s)===========\n",
  50982. + mmc_hostname(host->mmc));
  50983. +
  50984. + pr_debug(DRIVER_NAME ": Sys addr: 0x%08x | Version: 0x%08x\n",
  50985. + bcm2835_mmc_readl(host, SDHCI_DMA_ADDRESS),
  50986. + bcm2835_mmc_readw(host, SDHCI_HOST_VERSION));
  50987. + pr_debug(DRIVER_NAME ": Blk size: 0x%08x | Blk cnt: 0x%08x\n",
  50988. + bcm2835_mmc_readw(host, SDHCI_BLOCK_SIZE),
  50989. + bcm2835_mmc_readw(host, SDHCI_BLOCK_COUNT));
  50990. + pr_debug(DRIVER_NAME ": Argument: 0x%08x | Trn mode: 0x%08x\n",
  50991. + bcm2835_mmc_readl(host, SDHCI_ARGUMENT),
  50992. + bcm2835_mmc_readw(host, SDHCI_TRANSFER_MODE));
  50993. + pr_debug(DRIVER_NAME ": Present: 0x%08x | Host ctl: 0x%08x\n",
  50994. + bcm2835_mmc_readl(host, SDHCI_PRESENT_STATE),
  50995. + bcm2835_mmc_readb(host, SDHCI_HOST_CONTROL));
  50996. + pr_debug(DRIVER_NAME ": Power: 0x%08x | Blk gap: 0x%08x\n",
  50997. + bcm2835_mmc_readb(host, SDHCI_POWER_CONTROL),
  50998. + bcm2835_mmc_readb(host, SDHCI_BLOCK_GAP_CONTROL));
  50999. + pr_debug(DRIVER_NAME ": Wake-up: 0x%08x | Clock: 0x%08x\n",
  51000. + bcm2835_mmc_readb(host, SDHCI_WAKE_UP_CONTROL),
  51001. + bcm2835_mmc_readw(host, SDHCI_CLOCK_CONTROL));
  51002. + pr_debug(DRIVER_NAME ": Timeout: 0x%08x | Int stat: 0x%08x\n",
  51003. + bcm2835_mmc_readb(host, SDHCI_TIMEOUT_CONTROL),
  51004. + bcm2835_mmc_readl(host, SDHCI_INT_STATUS));
  51005. + pr_debug(DRIVER_NAME ": Int enab: 0x%08x | Sig enab: 0x%08x\n",
  51006. + bcm2835_mmc_readl(host, SDHCI_INT_ENABLE),
  51007. + bcm2835_mmc_readl(host, SDHCI_SIGNAL_ENABLE));
  51008. + pr_debug(DRIVER_NAME ": AC12 err: 0x%08x | Slot int: 0x%08x\n",
  51009. + bcm2835_mmc_readw(host, SDHCI_ACMD12_ERR),
  51010. + bcm2835_mmc_readw(host, SDHCI_SLOT_INT_STATUS));
  51011. + pr_debug(DRIVER_NAME ": Caps: 0x%08x | Caps_1: 0x%08x\n",
  51012. + bcm2835_mmc_readl(host, SDHCI_CAPABILITIES),
  51013. + bcm2835_mmc_readl(host, SDHCI_CAPABILITIES_1));
  51014. + pr_debug(DRIVER_NAME ": Cmd: 0x%08x | Max curr: 0x%08x\n",
  51015. + bcm2835_mmc_readw(host, SDHCI_COMMAND),
  51016. + bcm2835_mmc_readl(host, SDHCI_MAX_CURRENT));
  51017. + pr_debug(DRIVER_NAME ": Host ctl2: 0x%08x\n",
  51018. + bcm2835_mmc_readw(host, SDHCI_HOST_CONTROL2));
  51019. +
  51020. + pr_debug(DRIVER_NAME ": ===========================================\n");
  51021. +}
  51022. +
  51023. +
  51024. +static void bcm2835_mmc_reset(struct bcm2835_host *host, u8 mask)
  51025. +{
  51026. + unsigned long timeout;
  51027. + unsigned long flags;
  51028. +
  51029. + spin_lock_irqsave(&host->lock, flags);
  51030. + bcm2835_mmc_writeb(host, mask, SDHCI_SOFTWARE_RESET);
  51031. +
  51032. + if (mask & SDHCI_RESET_ALL)
  51033. + host->clock = 0;
  51034. +
  51035. + /* Wait max 100 ms */
  51036. + timeout = 100;
  51037. +
  51038. + /* hw clears the bit when it's done */
  51039. + while (bcm2835_mmc_readb(host, SDHCI_SOFTWARE_RESET) & mask) {
  51040. + if (timeout == 0) {
  51041. + pr_err("%s: Reset 0x%x never completed.\n",
  51042. + mmc_hostname(host->mmc), (int)mask);
  51043. + bcm2835_mmc_dumpregs(host);
  51044. + return;
  51045. + }
  51046. + timeout--;
  51047. + spin_unlock_irqrestore(&host->lock, flags);
  51048. + mdelay(1);
  51049. + spin_lock_irqsave(&host->lock, flags);
  51050. + }
  51051. +
  51052. + if (100-timeout > 10 && 100-timeout > host->max_delay) {
  51053. + host->max_delay = 100-timeout;
  51054. + pr_warning("Warning: MMC controller hung for %d ms\n", host->max_delay);
  51055. + }
  51056. + spin_unlock_irqrestore(&host->lock, flags);
  51057. +}
  51058. +
  51059. +static void bcm2835_mmc_set_ios(struct mmc_host *mmc, struct mmc_ios *ios);
  51060. +
  51061. +static void bcm2835_mmc_init(struct bcm2835_host *host, int soft)
  51062. +{
  51063. + unsigned long flags;
  51064. + if (soft)
  51065. + bcm2835_mmc_reset(host, SDHCI_RESET_CMD|SDHCI_RESET_DATA);
  51066. + else
  51067. + bcm2835_mmc_reset(host, SDHCI_RESET_ALL);
  51068. +
  51069. + host->ier = SDHCI_INT_BUS_POWER | SDHCI_INT_DATA_END_BIT |
  51070. + SDHCI_INT_DATA_CRC | SDHCI_INT_DATA_TIMEOUT |
  51071. + SDHCI_INT_INDEX | SDHCI_INT_END_BIT | SDHCI_INT_CRC |
  51072. + SDHCI_INT_TIMEOUT | SDHCI_INT_DATA_END |
  51073. + SDHCI_INT_RESPONSE;
  51074. +
  51075. + spin_lock_irqsave(&host->lock, flags);
  51076. + bcm2835_mmc_writel(host, host->ier, SDHCI_INT_ENABLE, 3);
  51077. + bcm2835_mmc_writel(host, host->ier, SDHCI_SIGNAL_ENABLE, 3);
  51078. + spin_unlock_irqrestore(&host->lock, flags);
  51079. +
  51080. + if (soft) {
  51081. + /* force clock reconfiguration */
  51082. + host->clock = 0;
  51083. + bcm2835_mmc_set_ios(host->mmc, &host->mmc->ios);
  51084. + }
  51085. +}
  51086. +
  51087. +
  51088. +
  51089. +static void bcm2835_mmc_finish_data(struct bcm2835_host *host);
  51090. +
  51091. +static void bcm2835_mmc_dma_complete(void *param)
  51092. +{
  51093. + struct bcm2835_host *host = param;
  51094. + struct dma_chan *dma_chan;
  51095. + unsigned long flags;
  51096. + u32 dir_data;
  51097. +
  51098. + spin_lock_irqsave(&host->lock, flags);
  51099. +
  51100. + if (host->data && !(host->data->flags & MMC_DATA_WRITE)) {
  51101. + /* otherwise handled in SDHCI IRQ */
  51102. + dma_chan = host->dma_chan_rx;
  51103. + dir_data = DMA_FROM_DEVICE;
  51104. +
  51105. + dma_unmap_sg(dma_chan->device->dev,
  51106. + host->data->sg, host->data->sg_len,
  51107. + dir_data);
  51108. +
  51109. + bcm2835_mmc_finish_data(host);
  51110. + }
  51111. +
  51112. + spin_unlock_irqrestore(&host->lock, flags);
  51113. +}
  51114. +
  51115. +static void bcm2835_bcm2835_mmc_read_block_pio(struct bcm2835_host *host)
  51116. +{
  51117. + unsigned long flags;
  51118. + size_t blksize, len, chunk;
  51119. +
  51120. + u32 uninitialized_var(scratch);
  51121. + u8 *buf;
  51122. +
  51123. + blksize = host->data->blksz;
  51124. + chunk = 0;
  51125. +
  51126. + local_irq_save(flags);
  51127. +
  51128. + while (blksize) {
  51129. + if (!sg_miter_next(&host->sg_miter))
  51130. + BUG();
  51131. +
  51132. + len = min(host->sg_miter.length, blksize);
  51133. +
  51134. + blksize -= len;
  51135. + host->sg_miter.consumed = len;
  51136. +
  51137. + buf = host->sg_miter.addr;
  51138. +
  51139. + while (len) {
  51140. + if (chunk == 0) {
  51141. + scratch = bcm2835_mmc_readl(host, SDHCI_BUFFER);
  51142. + chunk = 4;
  51143. + }
  51144. +
  51145. + *buf = scratch & 0xFF;
  51146. +
  51147. + buf++;
  51148. + scratch >>= 8;
  51149. + chunk--;
  51150. + len--;
  51151. + }
  51152. + }
  51153. +
  51154. + sg_miter_stop(&host->sg_miter);
  51155. +
  51156. + local_irq_restore(flags);
  51157. +}
  51158. +
  51159. +static void bcm2835_bcm2835_mmc_write_block_pio(struct bcm2835_host *host)
  51160. +{
  51161. + unsigned long flags;
  51162. + size_t blksize, len, chunk;
  51163. + u32 scratch;
  51164. + u8 *buf;
  51165. +
  51166. + blksize = host->data->blksz;
  51167. + chunk = 0;
  51168. + chunk = 0;
  51169. + scratch = 0;
  51170. +
  51171. + local_irq_save(flags);
  51172. +
  51173. + while (blksize) {
  51174. + if (!sg_miter_next(&host->sg_miter))
  51175. + BUG();
  51176. +
  51177. + len = min(host->sg_miter.length, blksize);
  51178. +
  51179. + blksize -= len;
  51180. + host->sg_miter.consumed = len;
  51181. +
  51182. + buf = host->sg_miter.addr;
  51183. +
  51184. + while (len) {
  51185. + scratch |= (u32)*buf << (chunk * 8);
  51186. +
  51187. + buf++;
  51188. + chunk++;
  51189. + len--;
  51190. +
  51191. + if ((chunk == 4) || ((len == 0) && (blksize == 0))) {
  51192. + mmc_raw_writel(host, scratch, SDHCI_BUFFER);
  51193. + chunk = 0;
  51194. + scratch = 0;
  51195. + }
  51196. + }
  51197. + }
  51198. +
  51199. + sg_miter_stop(&host->sg_miter);
  51200. +
  51201. + local_irq_restore(flags);
  51202. +}
  51203. +
  51204. +
  51205. +static void bcm2835_mmc_transfer_pio(struct bcm2835_host *host)
  51206. +{
  51207. + u32 mask;
  51208. +
  51209. + BUG_ON(!host->data);
  51210. +
  51211. + if (host->blocks == 0)
  51212. + return;
  51213. +
  51214. + if (host->data->flags & MMC_DATA_READ)
  51215. + mask = SDHCI_DATA_AVAILABLE;
  51216. + else
  51217. + mask = SDHCI_SPACE_AVAILABLE;
  51218. +
  51219. + while (bcm2835_mmc_readl(host, SDHCI_PRESENT_STATE) & mask) {
  51220. +
  51221. + if (host->data->flags & MMC_DATA_READ)
  51222. + bcm2835_bcm2835_mmc_read_block_pio(host);
  51223. + else
  51224. + bcm2835_bcm2835_mmc_write_block_pio(host);
  51225. +
  51226. + host->blocks--;
  51227. +
  51228. + /* QUIRK used in sdhci.c removes the 'if' */
  51229. + /* but it seems this is unnecessary */
  51230. + if (host->blocks == 0)
  51231. + break;
  51232. +
  51233. +
  51234. + }
  51235. +}
  51236. +
  51237. +
  51238. +static void bcm2835_mmc_transfer_dma(struct bcm2835_host *host)
  51239. +{
  51240. + u32 len, dir_data, dir_slave;
  51241. + struct dma_async_tx_descriptor *desc = NULL;
  51242. + struct dma_chan *dma_chan;
  51243. +
  51244. +
  51245. + WARN_ON(!host->data);
  51246. +
  51247. + if (!host->data)
  51248. + return;
  51249. +
  51250. + if (host->blocks == 0)
  51251. + return;
  51252. +
  51253. + if (host->data->flags & MMC_DATA_READ) {
  51254. + dma_chan = host->dma_chan_rx;
  51255. + dir_data = DMA_FROM_DEVICE;
  51256. + dir_slave = DMA_DEV_TO_MEM;
  51257. + } else {
  51258. + dma_chan = host->dma_chan_tx;
  51259. + dir_data = DMA_TO_DEVICE;
  51260. + dir_slave = DMA_MEM_TO_DEV;
  51261. + }
  51262. +
  51263. + BUG_ON(!dma_chan->device);
  51264. + BUG_ON(!dma_chan->device->dev);
  51265. + BUG_ON(!host->data->sg);
  51266. +
  51267. + len = dma_map_sg(dma_chan->device->dev, host->data->sg,
  51268. + host->data->sg_len, dir_data);
  51269. + if (len > 0) {
  51270. + desc = dmaengine_prep_slave_sg(dma_chan, host->data->sg,
  51271. + len, dir_slave,
  51272. + DMA_PREP_INTERRUPT | DMA_CTRL_ACK);
  51273. + } else {
  51274. + dev_err(mmc_dev(host->mmc), "dma_map_sg returned zero length\n");
  51275. + }
  51276. + if (desc) {
  51277. + unsigned long flags;
  51278. + spin_lock_irqsave(&host->lock, flags);
  51279. + bcm2835_mmc_unsignal_irqs(host, SDHCI_INT_DATA_AVAIL |
  51280. + SDHCI_INT_SPACE_AVAIL);
  51281. + host->tx_desc = desc;
  51282. + desc->callback = bcm2835_mmc_dma_complete;
  51283. + desc->callback_param = host;
  51284. + spin_unlock_irqrestore(&host->lock, flags);
  51285. + dmaengine_submit(desc);
  51286. + dma_async_issue_pending(dma_chan);
  51287. + }
  51288. +
  51289. +}
  51290. +
  51291. +
  51292. +
  51293. +static void bcm2835_mmc_set_transfer_irqs(struct bcm2835_host *host)
  51294. +{
  51295. + u32 pio_irqs = SDHCI_INT_DATA_AVAIL | SDHCI_INT_SPACE_AVAIL;
  51296. + u32 dma_irqs = SDHCI_INT_DMA_END | SDHCI_INT_ADMA_ERROR;
  51297. +
  51298. + if (host->use_dma)
  51299. + host->ier = (host->ier & ~pio_irqs) | dma_irqs;
  51300. + else
  51301. + host->ier = (host->ier & ~dma_irqs) | pio_irqs;
  51302. +
  51303. + bcm2835_mmc_writel(host, host->ier, SDHCI_INT_ENABLE, 4);
  51304. + bcm2835_mmc_writel(host, host->ier, SDHCI_SIGNAL_ENABLE, 4);
  51305. +}
  51306. +
  51307. +
  51308. +static void bcm2835_mmc_prepare_data(struct bcm2835_host *host, struct mmc_command *cmd)
  51309. +{
  51310. + u8 count;
  51311. + struct mmc_data *data = cmd->data;
  51312. +
  51313. + WARN_ON(host->data);
  51314. +
  51315. + if (data || (cmd->flags & MMC_RSP_BUSY)) {
  51316. + count = TIMEOUT_VAL;
  51317. + bcm2835_mmc_writeb(host, count, SDHCI_TIMEOUT_CONTROL);
  51318. + }
  51319. +
  51320. + if (!data)
  51321. + return;
  51322. +
  51323. + /* Sanity checks */
  51324. + BUG_ON(data->blksz * data->blocks > 524288);
  51325. + BUG_ON(data->blksz > host->mmc->max_blk_size);
  51326. + BUG_ON(data->blocks > 65535);
  51327. +
  51328. + host->data = data;
  51329. + host->data_early = 0;
  51330. + host->data->bytes_xfered = 0;
  51331. +
  51332. +
  51333. + if (!(host->flags & SDHCI_REQ_USE_DMA)) {
  51334. + int flags;
  51335. +
  51336. + flags = SG_MITER_ATOMIC;
  51337. + if (host->data->flags & MMC_DATA_READ)
  51338. + flags |= SG_MITER_TO_SG;
  51339. + else
  51340. + flags |= SG_MITER_FROM_SG;
  51341. + sg_miter_start(&host->sg_miter, data->sg, data->sg_len, flags);
  51342. + host->blocks = data->blocks;
  51343. + }
  51344. +
  51345. + host->use_dma = host->have_dma && data->blocks > PIO_DMA_BARRIER;
  51346. +
  51347. + bcm2835_mmc_set_transfer_irqs(host);
  51348. +
  51349. + /* Set the DMA boundary value and block size */
  51350. + bcm2835_mmc_writew(host, SDHCI_MAKE_BLKSZ(SDHCI_DEFAULT_BOUNDARY_ARG,
  51351. + data->blksz), SDHCI_BLOCK_SIZE);
  51352. + bcm2835_mmc_writew(host, data->blocks, SDHCI_BLOCK_COUNT);
  51353. +
  51354. + BUG_ON(!host->data);
  51355. +}
  51356. +
  51357. +static void bcm2835_mmc_set_transfer_mode(struct bcm2835_host *host,
  51358. + struct mmc_command *cmd)
  51359. +{
  51360. + u16 mode;
  51361. + struct mmc_data *data = cmd->data;
  51362. +
  51363. + if (data == NULL) {
  51364. + /* clear Auto CMD settings for no data CMDs */
  51365. + mode = bcm2835_mmc_readw(host, SDHCI_TRANSFER_MODE);
  51366. + bcm2835_mmc_writew(host, mode & ~(SDHCI_TRNS_AUTO_CMD12 |
  51367. + SDHCI_TRNS_AUTO_CMD23), SDHCI_TRANSFER_MODE);
  51368. + return;
  51369. + }
  51370. +
  51371. + WARN_ON(!host->data);
  51372. +
  51373. + mode = SDHCI_TRNS_BLK_CNT_EN;
  51374. +
  51375. + if ((mmc_op_multi(cmd->opcode) || data->blocks > 1)) {
  51376. + mode |= SDHCI_TRNS_MULTI;
  51377. +
  51378. + /*
  51379. + * If we are sending CMD23, CMD12 never gets sent
  51380. + * on successful completion (so no Auto-CMD12).
  51381. + */
  51382. + if (!host->mrq->sbc && (host->flags & SDHCI_AUTO_CMD12))
  51383. + mode |= SDHCI_TRNS_AUTO_CMD12;
  51384. + else if (host->mrq->sbc && (host->flags & SDHCI_AUTO_CMD23)) {
  51385. + mode |= SDHCI_TRNS_AUTO_CMD23;
  51386. + bcm2835_mmc_writel(host, host->mrq->sbc->arg, SDHCI_ARGUMENT2, 5);
  51387. + }
  51388. + }
  51389. +
  51390. + if (data->flags & MMC_DATA_READ)
  51391. + mode |= SDHCI_TRNS_READ;
  51392. + if (host->flags & SDHCI_REQ_USE_DMA)
  51393. + mode |= SDHCI_TRNS_DMA;
  51394. +
  51395. + bcm2835_mmc_writew(host, mode, SDHCI_TRANSFER_MODE);
  51396. +}
  51397. +
  51398. +void bcm2835_mmc_send_command(struct bcm2835_host *host, struct mmc_command *cmd)
  51399. +{
  51400. + int flags;
  51401. + u32 mask;
  51402. + unsigned long timeout;
  51403. +
  51404. + WARN_ON(host->cmd);
  51405. +
  51406. + /* Wait max 10 ms */
  51407. + timeout = 1000;
  51408. +
  51409. + mask = SDHCI_CMD_INHIBIT;
  51410. + if ((cmd->data != NULL) || (cmd->flags & MMC_RSP_BUSY))
  51411. + mask |= SDHCI_DATA_INHIBIT;
  51412. +
  51413. + /* We shouldn't wait for data inihibit for stop commands, even
  51414. + though they might use busy signaling */
  51415. + if (host->mrq->data && (cmd == host->mrq->data->stop))
  51416. + mask &= ~SDHCI_DATA_INHIBIT;
  51417. +
  51418. + while (bcm2835_mmc_readl(host, SDHCI_PRESENT_STATE) & mask) {
  51419. + if (timeout == 0) {
  51420. + pr_err("%s: Controller never released inhibit bit(s).\n",
  51421. + mmc_hostname(host->mmc));
  51422. + bcm2835_mmc_dumpregs(host);
  51423. + cmd->error = -EIO;
  51424. + tasklet_schedule(&host->finish_tasklet);
  51425. + return;
  51426. + }
  51427. + timeout--;
  51428. + udelay(10);
  51429. + }
  51430. +
  51431. + if ((1000-timeout)/100 > 1 && (1000-timeout)/100 > host->max_delay) {
  51432. + host->max_delay = (1000-timeout)/100;
  51433. + pr_warning("Warning: MMC controller hung for %d ms\n", host->max_delay);
  51434. + }
  51435. +
  51436. + timeout = jiffies;
  51437. +#ifdef CONFIG_ARCH_BCM2835
  51438. + if (!cmd->data && cmd->busy_timeout > 9000)
  51439. + timeout += DIV_ROUND_UP(cmd->busy_timeout, 1000) * HZ + HZ;
  51440. + else
  51441. +#endif
  51442. + timeout += 10 * HZ;
  51443. + mod_timer(&host->timer, timeout);
  51444. +
  51445. + host->cmd = cmd;
  51446. +
  51447. + bcm2835_mmc_prepare_data(host, cmd);
  51448. +
  51449. + bcm2835_mmc_writel(host, cmd->arg, SDHCI_ARGUMENT, 6);
  51450. +
  51451. + bcm2835_mmc_set_transfer_mode(host, cmd);
  51452. +
  51453. + if ((cmd->flags & MMC_RSP_136) && (cmd->flags & MMC_RSP_BUSY)) {
  51454. + pr_err("%s: Unsupported response type!\n",
  51455. + mmc_hostname(host->mmc));
  51456. + cmd->error = -EINVAL;
  51457. + tasklet_schedule(&host->finish_tasklet);
  51458. + return;
  51459. + }
  51460. +
  51461. + if (!(cmd->flags & MMC_RSP_PRESENT))
  51462. + flags = SDHCI_CMD_RESP_NONE;
  51463. + else if (cmd->flags & MMC_RSP_136)
  51464. + flags = SDHCI_CMD_RESP_LONG;
  51465. + else if (cmd->flags & MMC_RSP_BUSY)
  51466. + flags = SDHCI_CMD_RESP_SHORT_BUSY;
  51467. + else
  51468. + flags = SDHCI_CMD_RESP_SHORT;
  51469. +
  51470. + if (cmd->flags & MMC_RSP_CRC)
  51471. + flags |= SDHCI_CMD_CRC;
  51472. + if (cmd->flags & MMC_RSP_OPCODE)
  51473. + flags |= SDHCI_CMD_INDEX;
  51474. +
  51475. + if (cmd->data)
  51476. + flags |= SDHCI_CMD_DATA;
  51477. +
  51478. + bcm2835_mmc_writew(host, SDHCI_MAKE_CMD(cmd->opcode, flags), SDHCI_COMMAND);
  51479. +}
  51480. +
  51481. +
  51482. +static void bcm2835_mmc_finish_data(struct bcm2835_host *host)
  51483. +{
  51484. + struct mmc_data *data;
  51485. +
  51486. + BUG_ON(!host->data);
  51487. +
  51488. + data = host->data;
  51489. + host->data = NULL;
  51490. +
  51491. + if (data->error)
  51492. + data->bytes_xfered = 0;
  51493. + else
  51494. + data->bytes_xfered = data->blksz * data->blocks;
  51495. +
  51496. + /*
  51497. + * Need to send CMD12 if -
  51498. + * a) open-ended multiblock transfer (no CMD23)
  51499. + * b) error in multiblock transfer
  51500. + */
  51501. + if (data->stop &&
  51502. + (data->error ||
  51503. + !host->mrq->sbc)) {
  51504. +
  51505. + /*
  51506. + * The controller needs a reset of internal state machines
  51507. + * upon error conditions.
  51508. + */
  51509. + if (data->error) {
  51510. + bcm2835_mmc_reset(host, SDHCI_RESET_CMD);
  51511. + bcm2835_mmc_reset(host, SDHCI_RESET_DATA);
  51512. + }
  51513. +
  51514. + bcm2835_mmc_send_command(host, data->stop);
  51515. + } else
  51516. + tasklet_schedule(&host->finish_tasklet);
  51517. +}
  51518. +
  51519. +static void bcm2835_mmc_finish_command(struct bcm2835_host *host)
  51520. +{
  51521. + int i;
  51522. +
  51523. + BUG_ON(host->cmd == NULL);
  51524. +
  51525. + if (host->cmd->flags & MMC_RSP_PRESENT) {
  51526. + if (host->cmd->flags & MMC_RSP_136) {
  51527. + /* CRC is stripped so we need to do some shifting. */
  51528. + for (i = 0; i < 4; i++) {
  51529. + host->cmd->resp[i] = bcm2835_mmc_readl(host,
  51530. + SDHCI_RESPONSE + (3-i)*4) << 8;
  51531. + if (i != 3)
  51532. + host->cmd->resp[i] |=
  51533. + bcm2835_mmc_readb(host,
  51534. + SDHCI_RESPONSE + (3-i)*4-1);
  51535. + }
  51536. + } else {
  51537. + host->cmd->resp[0] = bcm2835_mmc_readl(host, SDHCI_RESPONSE);
  51538. + }
  51539. + }
  51540. +
  51541. + host->cmd->error = 0;
  51542. +
  51543. + /* Finished CMD23, now send actual command. */
  51544. + if (host->cmd == host->mrq->sbc) {
  51545. + host->cmd = NULL;
  51546. + bcm2835_mmc_send_command(host, host->mrq->cmd);
  51547. +
  51548. + if (host->mrq->cmd->data && host->use_dma) {
  51549. + /* DMA transfer starts now, PIO starts after interrupt */
  51550. + bcm2835_mmc_transfer_dma(host);
  51551. + }
  51552. + } else {
  51553. +
  51554. + /* Processed actual command. */
  51555. + if (host->data && host->data_early)
  51556. + bcm2835_mmc_finish_data(host);
  51557. +
  51558. + if (!host->cmd->data)
  51559. + tasklet_schedule(&host->finish_tasklet);
  51560. +
  51561. + host->cmd = NULL;
  51562. + }
  51563. +}
  51564. +
  51565. +
  51566. +static void bcm2835_mmc_timeout_timer(unsigned long data)
  51567. +{
  51568. + struct bcm2835_host *host;
  51569. + unsigned long flags;
  51570. +
  51571. + host = (struct bcm2835_host *)data;
  51572. +
  51573. + spin_lock_irqsave(&host->lock, flags);
  51574. +
  51575. + if (host->mrq) {
  51576. + pr_err("%s: Timeout waiting for hardware interrupt.\n",
  51577. + mmc_hostname(host->mmc));
  51578. + bcm2835_mmc_dumpregs(host);
  51579. +
  51580. + if (host->data) {
  51581. + host->data->error = -ETIMEDOUT;
  51582. + bcm2835_mmc_finish_data(host);
  51583. + } else {
  51584. + if (host->cmd)
  51585. + host->cmd->error = -ETIMEDOUT;
  51586. + else
  51587. + host->mrq->cmd->error = -ETIMEDOUT;
  51588. +
  51589. + tasklet_schedule(&host->finish_tasklet);
  51590. + }
  51591. + }
  51592. +
  51593. + mmiowb();
  51594. + spin_unlock_irqrestore(&host->lock, flags);
  51595. +}
  51596. +
  51597. +
  51598. +static void bcm2835_mmc_enable_sdio_irq_nolock(struct bcm2835_host *host, int enable)
  51599. +{
  51600. + if (!(host->flags & SDHCI_DEVICE_DEAD)) {
  51601. + if (enable)
  51602. + host->ier |= SDHCI_INT_CARD_INT;
  51603. + else
  51604. + host->ier &= ~SDHCI_INT_CARD_INT;
  51605. +
  51606. + bcm2835_mmc_writel(host, host->ier, SDHCI_INT_ENABLE, 7);
  51607. + bcm2835_mmc_writel(host, host->ier, SDHCI_SIGNAL_ENABLE, 7);
  51608. + mmiowb();
  51609. + }
  51610. +}
  51611. +
  51612. +static void bcm2835_mmc_enable_sdio_irq(struct mmc_host *mmc, int enable)
  51613. +{
  51614. + struct bcm2835_host *host = mmc_priv(mmc);
  51615. + unsigned long flags;
  51616. +
  51617. + spin_lock_irqsave(&host->lock, flags);
  51618. + if (enable)
  51619. + host->flags |= SDHCI_SDIO_IRQ_ENABLED;
  51620. + else
  51621. + host->flags &= ~SDHCI_SDIO_IRQ_ENABLED;
  51622. +
  51623. + bcm2835_mmc_enable_sdio_irq_nolock(host, enable);
  51624. + spin_unlock_irqrestore(&host->lock, flags);
  51625. +}
  51626. +
  51627. +static void bcm2835_mmc_cmd_irq(struct bcm2835_host *host, u32 intmask)
  51628. +{
  51629. +
  51630. + BUG_ON(intmask == 0);
  51631. +
  51632. + if (!host->cmd) {
  51633. + pr_err("%s: Got command interrupt 0x%08x even "
  51634. + "though no command operation was in progress.\n",
  51635. + mmc_hostname(host->mmc), (unsigned)intmask);
  51636. + bcm2835_mmc_dumpregs(host);
  51637. + return;
  51638. + }
  51639. +
  51640. + if (intmask & SDHCI_INT_TIMEOUT)
  51641. + host->cmd->error = -ETIMEDOUT;
  51642. + else if (intmask & (SDHCI_INT_CRC | SDHCI_INT_END_BIT |
  51643. + SDHCI_INT_INDEX)) {
  51644. + host->cmd->error = -EILSEQ;
  51645. + }
  51646. +
  51647. + if (host->cmd->error) {
  51648. + tasklet_schedule(&host->finish_tasklet);
  51649. + return;
  51650. + }
  51651. +
  51652. + if (intmask & SDHCI_INT_RESPONSE)
  51653. + bcm2835_mmc_finish_command(host);
  51654. +
  51655. +}
  51656. +
  51657. +static void bcm2835_mmc_data_irq(struct bcm2835_host *host, u32 intmask)
  51658. +{
  51659. + struct dma_chan *dma_chan;
  51660. + u32 dir_data;
  51661. +
  51662. + BUG_ON(intmask == 0);
  51663. +
  51664. + if (!host->data) {
  51665. + /*
  51666. + * The "data complete" interrupt is also used to
  51667. + * indicate that a busy state has ended. See comment
  51668. + * above in sdhci_cmd_irq().
  51669. + */
  51670. + if (host->cmd && (host->cmd->flags & MMC_RSP_BUSY)) {
  51671. + if (intmask & SDHCI_INT_DATA_END) {
  51672. + bcm2835_mmc_finish_command(host);
  51673. + return;
  51674. + }
  51675. + }
  51676. +
  51677. + pr_debug("%s: Got data interrupt 0x%08x even "
  51678. + "though no data operation was in progress.\n",
  51679. + mmc_hostname(host->mmc), (unsigned)intmask);
  51680. + bcm2835_mmc_dumpregs(host);
  51681. +
  51682. + return;
  51683. + }
  51684. +
  51685. + if (intmask & SDHCI_INT_DATA_TIMEOUT)
  51686. + host->data->error = -ETIMEDOUT;
  51687. + else if (intmask & SDHCI_INT_DATA_END_BIT)
  51688. + host->data->error = -EILSEQ;
  51689. + else if ((intmask & SDHCI_INT_DATA_CRC) &&
  51690. + SDHCI_GET_CMD(bcm2835_mmc_readw(host, SDHCI_COMMAND))
  51691. + != MMC_BUS_TEST_R)
  51692. + host->data->error = -EILSEQ;
  51693. +
  51694. + if (host->use_dma) {
  51695. + if (host->data->flags & MMC_DATA_WRITE) {
  51696. + /* IRQ handled here */
  51697. +
  51698. + dma_chan = host->dma_chan_tx;
  51699. + dir_data = DMA_TO_DEVICE;
  51700. + dma_unmap_sg(dma_chan->device->dev,
  51701. + host->data->sg, host->data->sg_len,
  51702. + dir_data);
  51703. +
  51704. + bcm2835_mmc_finish_data(host);
  51705. + }
  51706. +
  51707. + } else {
  51708. + if (host->data->error)
  51709. + bcm2835_mmc_finish_data(host);
  51710. + else {
  51711. + if (intmask & (SDHCI_INT_DATA_AVAIL | SDHCI_INT_SPACE_AVAIL))
  51712. + bcm2835_mmc_transfer_pio(host);
  51713. +
  51714. + if (intmask & SDHCI_INT_DATA_END) {
  51715. + if (host->cmd) {
  51716. + /*
  51717. + * Data managed to finish before the
  51718. + * command completed. Make sure we do
  51719. + * things in the proper order.
  51720. + */
  51721. + host->data_early = 1;
  51722. + } else {
  51723. + bcm2835_mmc_finish_data(host);
  51724. + }
  51725. + }
  51726. + }
  51727. + }
  51728. +}
  51729. +
  51730. +
  51731. +static irqreturn_t bcm2835_mmc_irq(int irq, void *dev_id)
  51732. +{
  51733. + irqreturn_t result = IRQ_NONE;
  51734. + struct bcm2835_host *host = dev_id;
  51735. + u32 intmask, mask, unexpected = 0;
  51736. + int max_loops = 16;
  51737. +#ifndef CONFIG_ARCH_BCM2835
  51738. + int cardint = 0;
  51739. +#endif
  51740. +
  51741. + spin_lock(&host->lock);
  51742. +
  51743. + intmask = bcm2835_mmc_readl(host, SDHCI_INT_STATUS);
  51744. +
  51745. + if (!intmask || intmask == 0xffffffff) {
  51746. + result = IRQ_NONE;
  51747. + goto out;
  51748. + }
  51749. +
  51750. + do {
  51751. + /* Clear selected interrupts. */
  51752. + mask = intmask & (SDHCI_INT_CMD_MASK | SDHCI_INT_DATA_MASK |
  51753. + SDHCI_INT_BUS_POWER);
  51754. + bcm2835_mmc_writel(host, mask, SDHCI_INT_STATUS, 8);
  51755. +
  51756. +
  51757. + if (intmask & SDHCI_INT_CMD_MASK)
  51758. + bcm2835_mmc_cmd_irq(host, intmask & SDHCI_INT_CMD_MASK);
  51759. +
  51760. + if (intmask & SDHCI_INT_DATA_MASK)
  51761. + bcm2835_mmc_data_irq(host, intmask & SDHCI_INT_DATA_MASK);
  51762. +
  51763. + if (intmask & SDHCI_INT_BUS_POWER)
  51764. + pr_err("%s: Card is consuming too much power!\n",
  51765. + mmc_hostname(host->mmc));
  51766. +
  51767. + if (intmask & SDHCI_INT_CARD_INT) {
  51768. +#ifndef CONFIG_ARCH_BCM2835
  51769. + cardint = 1;
  51770. +#else
  51771. + bcm2835_mmc_enable_sdio_irq_nolock(host, false);
  51772. + host->thread_isr |= SDHCI_INT_CARD_INT;
  51773. + result = IRQ_WAKE_THREAD;
  51774. +#endif
  51775. + }
  51776. +
  51777. + intmask &= ~(SDHCI_INT_CARD_INSERT | SDHCI_INT_CARD_REMOVE |
  51778. + SDHCI_INT_CMD_MASK | SDHCI_INT_DATA_MASK |
  51779. + SDHCI_INT_ERROR | SDHCI_INT_BUS_POWER |
  51780. + SDHCI_INT_CARD_INT);
  51781. +
  51782. + if (intmask) {
  51783. + unexpected |= intmask;
  51784. + bcm2835_mmc_writel(host, intmask, SDHCI_INT_STATUS, 9);
  51785. + }
  51786. +
  51787. + if (result == IRQ_NONE)
  51788. + result = IRQ_HANDLED;
  51789. +
  51790. + intmask = bcm2835_mmc_readl(host, SDHCI_INT_STATUS);
  51791. + } while (intmask && --max_loops);
  51792. +out:
  51793. + spin_unlock(&host->lock);
  51794. +
  51795. + if (unexpected) {
  51796. + pr_err("%s: Unexpected interrupt 0x%08x.\n",
  51797. + mmc_hostname(host->mmc), unexpected);
  51798. + bcm2835_mmc_dumpregs(host);
  51799. + }
  51800. +
  51801. +#ifndef CONFIG_ARCH_BCM2835
  51802. + if (cardint)
  51803. + mmc_signal_sdio_irq(host->mmc);
  51804. +#endif
  51805. +
  51806. + return result;
  51807. +}
  51808. +
  51809. +#ifdef CONFIG_ARCH_BCM2835
  51810. +static irqreturn_t bcm2835_mmc_thread_irq(int irq, void *dev_id)
  51811. +{
  51812. + struct bcm2835_host *host = dev_id;
  51813. + unsigned long flags;
  51814. + u32 isr;
  51815. +
  51816. + spin_lock_irqsave(&host->lock, flags);
  51817. + isr = host->thread_isr;
  51818. + host->thread_isr = 0;
  51819. + spin_unlock_irqrestore(&host->lock, flags);
  51820. +
  51821. + if (isr & SDHCI_INT_CARD_INT) {
  51822. + sdio_run_irqs(host->mmc);
  51823. +
  51824. + spin_lock_irqsave(&host->lock, flags);
  51825. + if (host->flags & SDHCI_SDIO_IRQ_ENABLED)
  51826. + bcm2835_mmc_enable_sdio_irq_nolock(host, true);
  51827. + spin_unlock_irqrestore(&host->lock, flags);
  51828. + }
  51829. +
  51830. + return isr ? IRQ_HANDLED : IRQ_NONE;
  51831. +}
  51832. +#endif
  51833. +
  51834. +
  51835. +
  51836. +void bcm2835_mmc_set_clock(struct bcm2835_host *host, unsigned int clock)
  51837. +{
  51838. + int div = 0; /* Initialized for compiler warning */
  51839. + int real_div = div, clk_mul = 1;
  51840. + u16 clk = 0;
  51841. + unsigned long timeout;
  51842. + unsigned int input_clock = clock;
  51843. +
  51844. + if (host->overclock_50 && (clock == 50000000))
  51845. + clock = host->overclock_50 * 1000000 + 999999;
  51846. +
  51847. + host->mmc->actual_clock = 0;
  51848. +
  51849. + bcm2835_mmc_writew(host, 0, SDHCI_CLOCK_CONTROL);
  51850. +
  51851. + if (clock == 0)
  51852. + return;
  51853. +
  51854. + /* Version 3.00 divisors must be a multiple of 2. */
  51855. + if (host->max_clk <= clock)
  51856. + div = 1;
  51857. + else {
  51858. + for (div = 2; div < SDHCI_MAX_DIV_SPEC_300;
  51859. + div += 2) {
  51860. + if ((host->max_clk / div) <= clock)
  51861. + break;
  51862. + }
  51863. + }
  51864. +
  51865. + real_div = div;
  51866. + div >>= 1;
  51867. +
  51868. + if (real_div)
  51869. + clock = (host->max_clk * clk_mul) / real_div;
  51870. + host->mmc->actual_clock = clock;
  51871. +
  51872. + if ((clock > input_clock) && (clock > host->max_overclock)) {
  51873. + pr_warn("%s: Overclocking to %dHz\n",
  51874. + mmc_hostname(host->mmc), clock);
  51875. + host->max_overclock = clock;
  51876. + }
  51877. +
  51878. + clk |= (div & SDHCI_DIV_MASK) << SDHCI_DIVIDER_SHIFT;
  51879. + clk |= ((div & SDHCI_DIV_HI_MASK) >> SDHCI_DIV_MASK_LEN)
  51880. + << SDHCI_DIVIDER_HI_SHIFT;
  51881. + clk |= SDHCI_CLOCK_INT_EN;
  51882. + bcm2835_mmc_writew(host, clk, SDHCI_CLOCK_CONTROL);
  51883. +
  51884. + /* Wait max 20 ms */
  51885. + timeout = 20;
  51886. + while (!((clk = bcm2835_mmc_readw(host, SDHCI_CLOCK_CONTROL))
  51887. + & SDHCI_CLOCK_INT_STABLE)) {
  51888. + if (timeout == 0) {
  51889. + pr_err("%s: Internal clock never "
  51890. + "stabilised.\n", mmc_hostname(host->mmc));
  51891. + bcm2835_mmc_dumpregs(host);
  51892. + return;
  51893. + }
  51894. + timeout--;
  51895. + mdelay(1);
  51896. + }
  51897. +
  51898. + if (20-timeout > 10 && 20-timeout > host->max_delay) {
  51899. + host->max_delay = 20-timeout;
  51900. + pr_warning("Warning: MMC controller hung for %d ms\n", host->max_delay);
  51901. + }
  51902. +
  51903. + clk |= SDHCI_CLOCK_CARD_EN;
  51904. + bcm2835_mmc_writew(host, clk, SDHCI_CLOCK_CONTROL);
  51905. +}
  51906. +
  51907. +static void bcm2835_mmc_request(struct mmc_host *mmc, struct mmc_request *mrq)
  51908. +{
  51909. + struct bcm2835_host *host;
  51910. + unsigned long flags;
  51911. +
  51912. + host = mmc_priv(mmc);
  51913. +
  51914. + spin_lock_irqsave(&host->lock, flags);
  51915. +
  51916. + WARN_ON(host->mrq != NULL);
  51917. +
  51918. + host->mrq = mrq;
  51919. +
  51920. + if (mrq->sbc && !(host->flags & SDHCI_AUTO_CMD23))
  51921. + bcm2835_mmc_send_command(host, mrq->sbc);
  51922. + else
  51923. + bcm2835_mmc_send_command(host, mrq->cmd);
  51924. +
  51925. + mmiowb();
  51926. + spin_unlock_irqrestore(&host->lock, flags);
  51927. +
  51928. + if (!(mrq->sbc && !(host->flags & SDHCI_AUTO_CMD23)) && mrq->cmd->data && host->use_dma) {
  51929. + /* DMA transfer starts now, PIO starts after interrupt */
  51930. + bcm2835_mmc_transfer_dma(host);
  51931. + }
  51932. +}
  51933. +
  51934. +
  51935. +static void bcm2835_mmc_set_ios(struct mmc_host *mmc, struct mmc_ios *ios)
  51936. +{
  51937. +
  51938. + struct bcm2835_host *host = mmc_priv(mmc);
  51939. + unsigned long flags;
  51940. + u8 ctrl;
  51941. + u16 clk, ctrl_2;
  51942. +
  51943. + pr_debug("bcm2835_mmc_set_ios: clock %d, pwr %d, bus_width %d, timing %d, vdd %d, drv_type %d\n",
  51944. + ios->clock, ios->power_mode, ios->bus_width,
  51945. + ios->timing, ios->signal_voltage, ios->drv_type);
  51946. +
  51947. + spin_lock_irqsave(&host->lock, flags);
  51948. +
  51949. + if (!ios->clock || ios->clock != host->clock) {
  51950. + bcm2835_mmc_set_clock(host, ios->clock);
  51951. + host->clock = ios->clock;
  51952. + }
  51953. +
  51954. + if (host->pwr != SDHCI_POWER_330) {
  51955. + host->pwr = SDHCI_POWER_330;
  51956. + bcm2835_mmc_writeb(host, SDHCI_POWER_330 | SDHCI_POWER_ON, SDHCI_POWER_CONTROL);
  51957. + }
  51958. +
  51959. + ctrl = bcm2835_mmc_readb(host, SDHCI_HOST_CONTROL);
  51960. +
  51961. + /* set bus width */
  51962. + ctrl &= ~SDHCI_CTRL_8BITBUS;
  51963. + if (ios->bus_width == MMC_BUS_WIDTH_4)
  51964. + ctrl |= SDHCI_CTRL_4BITBUS;
  51965. + else
  51966. + ctrl &= ~SDHCI_CTRL_4BITBUS;
  51967. +
  51968. + ctrl &= ~SDHCI_CTRL_HISPD; /* NO_HISPD_BIT */
  51969. +
  51970. +
  51971. + bcm2835_mmc_writeb(host, ctrl, SDHCI_HOST_CONTROL);
  51972. + /*
  51973. + * We only need to set Driver Strength if the
  51974. + * preset value enable is not set.
  51975. + */
  51976. + ctrl_2 = bcm2835_mmc_readw(host, SDHCI_HOST_CONTROL2);
  51977. + ctrl_2 &= ~SDHCI_CTRL_DRV_TYPE_MASK;
  51978. + if (ios->drv_type == MMC_SET_DRIVER_TYPE_A)
  51979. + ctrl_2 |= SDHCI_CTRL_DRV_TYPE_A;
  51980. + else if (ios->drv_type == MMC_SET_DRIVER_TYPE_C)
  51981. + ctrl_2 |= SDHCI_CTRL_DRV_TYPE_C;
  51982. +
  51983. + bcm2835_mmc_writew(host, ctrl_2, SDHCI_HOST_CONTROL2);
  51984. +
  51985. + /* Reset SD Clock Enable */
  51986. + clk = bcm2835_mmc_readw(host, SDHCI_CLOCK_CONTROL);
  51987. + clk &= ~SDHCI_CLOCK_CARD_EN;
  51988. + bcm2835_mmc_writew(host, clk, SDHCI_CLOCK_CONTROL);
  51989. +
  51990. + /* Re-enable SD Clock */
  51991. + bcm2835_mmc_set_clock(host, host->clock);
  51992. + bcm2835_mmc_writeb(host, ctrl, SDHCI_HOST_CONTROL);
  51993. +
  51994. + mmiowb();
  51995. +
  51996. + spin_unlock_irqrestore(&host->lock, flags);
  51997. +}
  51998. +
  51999. +
  52000. +static struct mmc_host_ops bcm2835_ops = {
  52001. + .request = bcm2835_mmc_request,
  52002. + .set_ios = bcm2835_mmc_set_ios,
  52003. + .enable_sdio_irq = bcm2835_mmc_enable_sdio_irq,
  52004. +};
  52005. +
  52006. +
  52007. +static void bcm2835_mmc_tasklet_finish(unsigned long param)
  52008. +{
  52009. + struct bcm2835_host *host;
  52010. + unsigned long flags;
  52011. + struct mmc_request *mrq;
  52012. +
  52013. + host = (struct bcm2835_host *)param;
  52014. +
  52015. + spin_lock_irqsave(&host->lock, flags);
  52016. +
  52017. + /*
  52018. + * If this tasklet gets rescheduled while running, it will
  52019. + * be run again afterwards but without any active request.
  52020. + */
  52021. + if (!host->mrq) {
  52022. + spin_unlock_irqrestore(&host->lock, flags);
  52023. + return;
  52024. + }
  52025. +
  52026. + del_timer(&host->timer);
  52027. +
  52028. + mrq = host->mrq;
  52029. +
  52030. + /*
  52031. + * The controller needs a reset of internal state machines
  52032. + * upon error conditions.
  52033. + */
  52034. + if (!(host->flags & SDHCI_DEVICE_DEAD) &&
  52035. + ((mrq->cmd && mrq->cmd->error) ||
  52036. + (mrq->data && (mrq->data->error ||
  52037. + (mrq->data->stop && mrq->data->stop->error))))) {
  52038. +
  52039. + spin_unlock_irqrestore(&host->lock, flags);
  52040. + bcm2835_mmc_reset(host, SDHCI_RESET_CMD);
  52041. + bcm2835_mmc_reset(host, SDHCI_RESET_DATA);
  52042. + spin_lock_irqsave(&host->lock, flags);
  52043. + }
  52044. +
  52045. + host->mrq = NULL;
  52046. + host->cmd = NULL;
  52047. + host->data = NULL;
  52048. +
  52049. + mmiowb();
  52050. +
  52051. + spin_unlock_irqrestore(&host->lock, flags);
  52052. + mmc_request_done(host->mmc, mrq);
  52053. +}
  52054. +
  52055. +
  52056. +
  52057. +static int bcm2835_mmc_add_host(struct bcm2835_host *host)
  52058. +{
  52059. + struct mmc_host *mmc = host->mmc;
  52060. + struct device *dev = mmc->parent;
  52061. +#ifndef FORCE_PIO
  52062. + struct dma_slave_config cfg;
  52063. +#endif
  52064. + int ret;
  52065. +
  52066. + bcm2835_mmc_reset(host, SDHCI_RESET_ALL);
  52067. +
  52068. + host->clk_mul = 0;
  52069. +
  52070. + mmc->f_max = host->max_clk;
  52071. + mmc->f_max = host->max_clk;
  52072. + mmc->f_min = host->max_clk / SDHCI_MAX_DIV_SPEC_300;
  52073. +
  52074. + /* SDHCI_QUIRK_DATA_TIMEOUT_USES_SDCLK */
  52075. + host->timeout_clk = mmc->f_max / 1000;
  52076. +#ifdef CONFIG_ARCH_BCM2835
  52077. + mmc->max_busy_timeout = (1 << 27) / host->timeout_clk;
  52078. +#endif
  52079. + /* host controller capabilities */
  52080. + mmc->caps |= MMC_CAP_CMD23 | MMC_CAP_ERASE | MMC_CAP_NEEDS_POLL |
  52081. + MMC_CAP_SDIO_IRQ | MMC_CAP_SD_HIGHSPEED |
  52082. + MMC_CAP_MMC_HIGHSPEED | MMC_CAP_4_BIT_DATA;
  52083. +
  52084. + host->flags = SDHCI_AUTO_CMD23;
  52085. +
  52086. + dev_info(dev, "mmc_debug:%x mmc_debug2:%x\n", mmc_debug, mmc_debug2);
  52087. +#ifdef FORCE_PIO
  52088. + dev_info(dev, "Forcing PIO mode\n");
  52089. + host->have_dma = false;
  52090. +#else
  52091. + if (IS_ERR_OR_NULL(host->dma_chan_tx) ||
  52092. + IS_ERR_OR_NULL(host->dma_chan_rx)) {
  52093. + dev_err(dev, "%s: Unable to initialise DMA channels. Falling back to PIO\n",
  52094. + DRIVER_NAME);
  52095. + host->have_dma = false;
  52096. + } else {
  52097. + dev_info(dev, "DMA channels allocated");
  52098. + host->have_dma = true;
  52099. +
  52100. + cfg.src_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  52101. + cfg.dst_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  52102. + cfg.slave_id = 11; /* DREQ channel */
  52103. +
  52104. + cfg.direction = DMA_MEM_TO_DEV;
  52105. + cfg.src_addr = 0;
  52106. + cfg.dst_addr = host->phys_addr + SDHCI_BUFFER;
  52107. + ret = dmaengine_slave_config(host->dma_chan_tx, &cfg);
  52108. +
  52109. + cfg.direction = DMA_DEV_TO_MEM;
  52110. + cfg.src_addr = host->phys_addr + SDHCI_BUFFER;
  52111. + cfg.dst_addr = 0;
  52112. + ret = dmaengine_slave_config(host->dma_chan_rx, &cfg);
  52113. + }
  52114. +#endif
  52115. + mmc->max_segs = 128;
  52116. + mmc->max_req_size = 524288;
  52117. + mmc->max_seg_size = mmc->max_req_size;
  52118. + mmc->max_blk_size = 512;
  52119. + mmc->max_blk_count = 65535;
  52120. +
  52121. + /* report supported voltage ranges */
  52122. + mmc->ocr_avail = MMC_VDD_32_33 | MMC_VDD_33_34;
  52123. +
  52124. + tasklet_init(&host->finish_tasklet,
  52125. + bcm2835_mmc_tasklet_finish, (unsigned long)host);
  52126. +
  52127. + setup_timer(&host->timer, bcm2835_mmc_timeout_timer, (unsigned long)host);
  52128. + init_waitqueue_head(&host->buf_ready_int);
  52129. +
  52130. + bcm2835_mmc_init(host, 0);
  52131. +#ifndef CONFIG_ARCH_BCM2835
  52132. + ret = devm_request_irq(dev, host->irq, bcm2835_mmc_irq, 0,
  52133. + mmc_hostname(mmc), host);
  52134. +#else
  52135. + ret = devm_request_threaded_irq(dev, host->irq, bcm2835_mmc_irq,
  52136. + bcm2835_mmc_thread_irq, IRQF_SHARED,
  52137. + mmc_hostname(mmc), host);
  52138. +#endif
  52139. + if (ret) {
  52140. + dev_err(dev, "Failed to request IRQ %d: %d\n", host->irq, ret);
  52141. + goto untasklet;
  52142. + }
  52143. +
  52144. + mmiowb();
  52145. + mmc_add_host(mmc);
  52146. +
  52147. + return 0;
  52148. +
  52149. +untasklet:
  52150. + tasklet_kill(&host->finish_tasklet);
  52151. +
  52152. + return ret;
  52153. +}
  52154. +
  52155. +static int bcm2835_mmc_probe(struct platform_device *pdev)
  52156. +{
  52157. + struct device *dev = &pdev->dev;
  52158. + struct device_node *node = dev->of_node;
  52159. + struct clk *clk;
  52160. + struct resource *iomem;
  52161. + struct bcm2835_host *host;
  52162. + struct mmc_host *mmc;
  52163. + int ret;
  52164. +
  52165. + mmc = mmc_alloc_host(sizeof(*host), dev);
  52166. + if (!mmc)
  52167. + return -ENOMEM;
  52168. +
  52169. + mmc->ops = &bcm2835_ops;
  52170. + host = mmc_priv(mmc);
  52171. + host->mmc = mmc;
  52172. + host->timeout = msecs_to_jiffies(1000);
  52173. + spin_lock_init(&host->lock);
  52174. +
  52175. + iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  52176. + host->ioaddr = devm_ioremap_resource(dev, iomem);
  52177. + if (IS_ERR(host->ioaddr)) {
  52178. + ret = PTR_ERR(host->ioaddr);
  52179. + goto err;
  52180. + }
  52181. +
  52182. + host->phys_addr = iomem->start + BCM2835_VCMMU_SHIFT;
  52183. +
  52184. +#ifndef FORCE_PIO
  52185. + if (node) {
  52186. + host->dma_chan_tx = dma_request_slave_channel(dev, "tx");
  52187. + host->dma_chan_rx = dma_request_slave_channel(dev, "rx");
  52188. + } else {
  52189. + dma_cap_mask_t mask;
  52190. +
  52191. + dma_cap_zero(mask);
  52192. + /* we don't care about the channel, any would work */
  52193. + dma_cap_set(DMA_SLAVE, mask);
  52194. + host->dma_chan_tx = dma_request_channel(mask, NULL, NULL);
  52195. + host->dma_chan_rx = dma_request_channel(mask, NULL, NULL);
  52196. + }
  52197. +#endif
  52198. + clk = devm_clk_get(dev, NULL);
  52199. + if (IS_ERR(clk)) {
  52200. + dev_err(dev, "could not get clk\n");
  52201. + ret = PTR_ERR(clk);
  52202. + goto err;
  52203. + }
  52204. +
  52205. + host->max_clk = clk_get_rate(clk);
  52206. +
  52207. + host->irq = platform_get_irq(pdev, 0);
  52208. + if (host->irq <= 0) {
  52209. + dev_err(dev, "get IRQ failed\n");
  52210. + ret = -EINVAL;
  52211. + goto err;
  52212. + }
  52213. +
  52214. + if (node) {
  52215. + mmc_of_parse(mmc);
  52216. +
  52217. + /* Read any custom properties */
  52218. + of_property_read_u32(node,
  52219. + "brcm,overclock-50",
  52220. + &host->overclock_50);
  52221. + } else {
  52222. + mmc->caps |= MMC_CAP_4_BIT_DATA;
  52223. + }
  52224. +
  52225. + ret = bcm2835_mmc_add_host(host);
  52226. + if (ret)
  52227. + goto err;
  52228. +
  52229. + platform_set_drvdata(pdev, host);
  52230. +
  52231. + return 0;
  52232. +err:
  52233. + mmc_free_host(mmc);
  52234. +
  52235. + return ret;
  52236. +}
  52237. +
  52238. +static int bcm2835_mmc_remove(struct platform_device *pdev)
  52239. +{
  52240. + struct bcm2835_host *host = platform_get_drvdata(pdev);
  52241. + unsigned long flags;
  52242. + int dead;
  52243. + u32 scratch;
  52244. +
  52245. + dead = 0;
  52246. + scratch = bcm2835_mmc_readl(host, SDHCI_INT_STATUS);
  52247. + if (scratch == (u32)-1)
  52248. + dead = 1;
  52249. +
  52250. +
  52251. + if (dead) {
  52252. + spin_lock_irqsave(&host->lock, flags);
  52253. +
  52254. + host->flags |= SDHCI_DEVICE_DEAD;
  52255. +
  52256. + if (host->mrq) {
  52257. + pr_err("%s: Controller removed during "
  52258. + " transfer!\n", mmc_hostname(host->mmc));
  52259. +
  52260. + host->mrq->cmd->error = -ENOMEDIUM;
  52261. + tasklet_schedule(&host->finish_tasklet);
  52262. + }
  52263. +
  52264. + spin_unlock_irqrestore(&host->lock, flags);
  52265. + }
  52266. +
  52267. + mmc_remove_host(host->mmc);
  52268. +
  52269. + if (!dead)
  52270. + bcm2835_mmc_reset(host, SDHCI_RESET_ALL);
  52271. +
  52272. + free_irq(host->irq, host);
  52273. +
  52274. + del_timer_sync(&host->timer);
  52275. +
  52276. + tasklet_kill(&host->finish_tasklet);
  52277. +
  52278. + mmc_free_host(host->mmc);
  52279. + platform_set_drvdata(pdev, NULL);
  52280. +
  52281. + return 0;
  52282. +}
  52283. +
  52284. +
  52285. +static const struct of_device_id bcm2835_mmc_match[] = {
  52286. + { .compatible = "brcm,bcm2835-mmc" },
  52287. + { }
  52288. +};
  52289. +MODULE_DEVICE_TABLE(of, bcm2835_mmc_match);
  52290. +
  52291. +
  52292. +
  52293. +static struct platform_driver bcm2835_mmc_driver = {
  52294. + .probe = bcm2835_mmc_probe,
  52295. + .remove = bcm2835_mmc_remove,
  52296. + .driver = {
  52297. + .name = DRIVER_NAME,
  52298. + .owner = THIS_MODULE,
  52299. + .of_match_table = bcm2835_mmc_match,
  52300. + },
  52301. +};
  52302. +module_platform_driver(bcm2835_mmc_driver);
  52303. +
  52304. +module_param(mmc_debug, uint, 0644);
  52305. +module_param(mmc_debug2, uint, 0644);
  52306. +MODULE_ALIAS("platform:mmc-bcm2835");
  52307. +MODULE_DESCRIPTION("BCM2835 SDHCI driver");
  52308. +MODULE_LICENSE("GPL v2");
  52309. +MODULE_AUTHOR("Gellert Weisz");
  52310. diff -Nur linux-4.1.13.orig/drivers/mmc/host/bcm2835-sdhost.c linux-rpi/drivers/mmc/host/bcm2835-sdhost.c
  52311. --- linux-4.1.13.orig/drivers/mmc/host/bcm2835-sdhost.c 1970-01-01 01:00:00.000000000 +0100
  52312. +++ linux-rpi/drivers/mmc/host/bcm2835-sdhost.c 2015-11-29 09:42:38.087220413 +0100
  52313. @@ -0,0 +1,1930 @@
  52314. +/*
  52315. + * BCM2835 SD host driver.
  52316. + *
  52317. + * Author: Phil Elwell <phil@raspberrypi.org>
  52318. + * Copyright 2015
  52319. + *
  52320. + * Based on
  52321. + * mmc-bcm2835.c by Gellert Weisz
  52322. + * which is, in turn, based on
  52323. + * sdhci-bcm2708.c by Broadcom
  52324. + * sdhci-bcm2835.c by Stephen Warren and Oleksandr Tymoshenko
  52325. + * sdhci.c and sdhci-pci.c by Pierre Ossman
  52326. + *
  52327. + * This program is free software; you can redistribute it and/or modify it
  52328. + * under the terms and conditions of the GNU General Public License,
  52329. + * version 2, as published by the Free Software Foundation.
  52330. + *
  52331. + * This program is distributed in the hope it will be useful, but WITHOUT
  52332. + * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  52333. + * FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for
  52334. + * more details.
  52335. + *
  52336. + * You should have received a copy of the GNU General Public License
  52337. + * along with this program. If not, see <http://www.gnu.org/licenses/>.
  52338. + */
  52339. +
  52340. +#define SAFE_READ_THRESHOLD 4
  52341. +#define SAFE_WRITE_THRESHOLD 4
  52342. +#define ALLOW_DMA 1
  52343. +#define ALLOW_CMD23 0
  52344. +#define ALLOW_FAST 1
  52345. +#define USE_BLOCK_IRQ 1
  52346. +
  52347. +#include <linux/delay.h>
  52348. +#include <linux/module.h>
  52349. +#include <linux/io.h>
  52350. +#include <linux/mmc/mmc.h>
  52351. +#include <linux/mmc/host.h>
  52352. +#include <linux/mmc/sd.h>
  52353. +#include <linux/scatterlist.h>
  52354. +#include <linux/of_address.h>
  52355. +#include <linux/of_irq.h>
  52356. +#include <linux/clk.h>
  52357. +#include <linux/platform_device.h>
  52358. +#include <linux/err.h>
  52359. +#include <linux/blkdev.h>
  52360. +#include <linux/dmaengine.h>
  52361. +#include <linux/dma-mapping.h>
  52362. +#include <linux/of_dma.h>
  52363. +#include <linux/time.h>
  52364. +
  52365. +#define DRIVER_NAME "sdhost-bcm2835"
  52366. +
  52367. +#define SDCMD 0x00 /* Command to SD card - 16 R/W */
  52368. +#define SDARG 0x04 /* Argument to SD card - 32 R/W */
  52369. +#define SDTOUT 0x08 /* Start value for timeout counter - 32 R/W */
  52370. +#define SDCDIV 0x0c /* Start value for clock divider - 11 R/W */
  52371. +#define SDRSP0 0x10 /* SD card response (31:0) - 32 R */
  52372. +#define SDRSP1 0x14 /* SD card response (63:32) - 32 R */
  52373. +#define SDRSP2 0x18 /* SD card response (95:64) - 32 R */
  52374. +#define SDRSP3 0x1c /* SD card response (127:96) - 32 R */
  52375. +#define SDHSTS 0x20 /* SD host status - 11 R */
  52376. +#define SDVDD 0x30 /* SD card power control - 1 R/W */
  52377. +#define SDEDM 0x34 /* Emergency Debug Mode - 13 R/W */
  52378. +#define SDHCFG 0x38 /* Host configuration - 2 R/W */
  52379. +#define SDHBCT 0x3c /* Host byte count (debug) - 32 R/W */
  52380. +#define SDDATA 0x40 /* Data to/from SD card - 32 R/W */
  52381. +#define SDHBLC 0x50 /* Host block count (SDIO/SDHC) - 9 R/W */
  52382. +
  52383. +#define SDCMD_NEW_FLAG 0x8000
  52384. +#define SDCMD_FAIL_FLAG 0x4000
  52385. +#define SDCMD_BUSYWAIT 0x800
  52386. +#define SDCMD_NO_RESPONSE 0x400
  52387. +#define SDCMD_LONG_RESPONSE 0x200
  52388. +#define SDCMD_WRITE_CMD 0x80
  52389. +#define SDCMD_READ_CMD 0x40
  52390. +#define SDCMD_CMD_MASK 0x3f
  52391. +
  52392. +#define SDCDIV_MAX_CDIV 0x7ff
  52393. +
  52394. +#define SDHSTS_BUSY_IRPT 0x400
  52395. +#define SDHSTS_BLOCK_IRPT 0x200
  52396. +#define SDHSTS_SDIO_IRPT 0x100
  52397. +#define SDHSTS_REW_TIME_OUT 0x80
  52398. +#define SDHSTS_CMD_TIME_OUT 0x40
  52399. +#define SDHSTS_CRC16_ERROR 0x20
  52400. +#define SDHSTS_CRC7_ERROR 0x10
  52401. +#define SDHSTS_FIFO_ERROR 0x08
  52402. +/* Reserved */
  52403. +/* Reserved */
  52404. +#define SDHSTS_DATA_FLAG 0x01
  52405. +
  52406. +#define SDHSTS_TRANSFER_ERROR_MASK (SDHSTS_CRC7_ERROR|SDHSTS_CRC16_ERROR|SDHSTS_REW_TIME_OUT|SDHSTS_FIFO_ERROR)
  52407. +#define SDHSTS_ERROR_MASK (SDHSTS_CMD_TIME_OUT|SDHSTS_TRANSFER_ERROR_MASK)
  52408. +
  52409. +#define SDHCFG_BUSY_IRPT_EN (1<<10)
  52410. +#define SDHCFG_BLOCK_IRPT_EN (1<<8)
  52411. +#define SDHCFG_SDIO_IRPT_EN (1<<5)
  52412. +#define SDHCFG_DATA_IRPT_EN (1<<4)
  52413. +#define SDHCFG_SLOW_CARD (1<<3)
  52414. +#define SDHCFG_WIDE_EXT_BUS (1<<2)
  52415. +#define SDHCFG_WIDE_INT_BUS (1<<1)
  52416. +#define SDHCFG_REL_CMD_LINE (1<<0)
  52417. +
  52418. +#define SDEDM_FORCE_DATA_MODE (1<<19)
  52419. +#define SDEDM_CLOCK_PULSE (1<<20)
  52420. +#define SDEDM_BYPASS (1<<21)
  52421. +
  52422. +#define SDEDM_WRITE_THRESHOLD_SHIFT 9
  52423. +#define SDEDM_READ_THRESHOLD_SHIFT 14
  52424. +#define SDEDM_THRESHOLD_MASK 0x1f
  52425. +
  52426. +#define MHZ 1000000
  52427. +
  52428. +#ifndef BCM2708_PERI_BASE
  52429. + #define BCM2708_PERI_BASE 0x20000000
  52430. +#endif
  52431. +
  52432. +/* FIXME: Needs IOMMU support */
  52433. +#define BCM2835_VCMMU_SHIFT (0x7E000000 - BCM2708_PERI_BASE)
  52434. +
  52435. +
  52436. +struct bcm2835_host {
  52437. + spinlock_t lock;
  52438. +
  52439. + void __iomem *ioaddr;
  52440. + u32 phys_addr;
  52441. +
  52442. + struct mmc_host *mmc;
  52443. +
  52444. + u32 pio_timeout; /* In jiffies */
  52445. +
  52446. + int clock; /* Current clock speed */
  52447. +
  52448. + bool slow_card; /* Force 11-bit divisor */
  52449. +
  52450. + unsigned int max_clk; /* Max possible freq */
  52451. +
  52452. + struct tasklet_struct finish_tasklet; /* Tasklet structures */
  52453. +
  52454. + struct timer_list timer; /* Timer for timeouts */
  52455. +
  52456. + struct timer_list pio_timer; /* PIO error detection timer */
  52457. +
  52458. + struct sg_mapping_iter sg_miter; /* SG state for PIO */
  52459. + unsigned int blocks; /* remaining PIO blocks */
  52460. +
  52461. + int irq; /* Device IRQ */
  52462. +
  52463. +
  52464. + /* cached registers */
  52465. + u32 hcfg;
  52466. + u32 cdiv;
  52467. +
  52468. + struct mmc_request *mrq; /* Current request */
  52469. + struct mmc_command *cmd; /* Current command */
  52470. + struct mmc_data *data; /* Current data request */
  52471. + unsigned int data_complete:1; /* Data finished before cmd */
  52472. +
  52473. + unsigned int flush_fifo:1; /* Drain the fifo when finishing */
  52474. +
  52475. + unsigned int use_busy:1; /* Wait for busy interrupt */
  52476. +
  52477. + unsigned int debug:1; /* Enable debug output */
  52478. +
  52479. + u32 thread_isr;
  52480. +
  52481. + /*DMA part*/
  52482. + struct dma_chan *dma_chan_rx; /* DMA channel for reads */
  52483. + struct dma_chan *dma_chan_tx; /* DMA channel for writes */
  52484. +
  52485. + bool allow_dma;
  52486. + bool have_dma;
  52487. + bool use_dma;
  52488. + /*end of DMA part*/
  52489. +
  52490. + int max_delay; /* maximum length of time spent waiting */
  52491. + struct timeval stop_time; /* when the last stop was issued */
  52492. + u32 delay_after_stop; /* minimum time between stop and subsequent data transfer */
  52493. + u32 overclock_50; /* frequency to use when 50MHz is requested (in MHz) */
  52494. + u32 overclock; /* Current frequency if overclocked, else zero */
  52495. + u32 pio_limit; /* Maximum block count for PIO (0 = always DMA) */
  52496. +};
  52497. +
  52498. +
  52499. +static inline void bcm2835_sdhost_write(struct bcm2835_host *host, u32 val, int reg)
  52500. +{
  52501. + writel(val, host->ioaddr + reg);
  52502. +}
  52503. +
  52504. +static inline u32 bcm2835_sdhost_read(struct bcm2835_host *host, int reg)
  52505. +{
  52506. + return readl(host->ioaddr + reg);
  52507. +}
  52508. +
  52509. +static inline u32 bcm2835_sdhost_read_relaxed(struct bcm2835_host *host, int reg)
  52510. +{
  52511. + return readl_relaxed(host->ioaddr + reg);
  52512. +}
  52513. +
  52514. +static void bcm2835_sdhost_dumpcmd(struct bcm2835_host *host,
  52515. + struct mmc_command *cmd,
  52516. + const char *label)
  52517. +{
  52518. + if (cmd)
  52519. + pr_info("%s:%c%s op %d arg 0x%x flags 0x%x - resp %08x %08x %08x %08x, err %d\n",
  52520. + mmc_hostname(host->mmc),
  52521. + (cmd == host->cmd) ? '>' : ' ',
  52522. + label, cmd->opcode, cmd->arg, cmd->flags,
  52523. + cmd->resp[0], cmd->resp[1], cmd->resp[2], cmd->resp[3],
  52524. + cmd->error);
  52525. +}
  52526. +
  52527. +static void bcm2835_sdhost_dumpregs(struct bcm2835_host *host)
  52528. +{
  52529. + bcm2835_sdhost_dumpcmd(host, host->mrq->sbc, "sbc");
  52530. + bcm2835_sdhost_dumpcmd(host, host->mrq->cmd, "cmd");
  52531. + if (host->mrq->data)
  52532. + pr_err("%s: data blocks %x blksz %x - err %d\n",
  52533. + mmc_hostname(host->mmc),
  52534. + host->mrq->data->blocks,
  52535. + host->mrq->data->blksz,
  52536. + host->mrq->data->error);
  52537. + bcm2835_sdhost_dumpcmd(host, host->mrq->stop, "stop");
  52538. +
  52539. + pr_info("%s: =========== REGISTER DUMP ===========\n",
  52540. + mmc_hostname(host->mmc));
  52541. +
  52542. + pr_info("%s: SDCMD 0x%08x\n",
  52543. + mmc_hostname(host->mmc),
  52544. + bcm2835_sdhost_read(host, SDCMD));
  52545. + pr_info("%s: SDARG 0x%08x\n",
  52546. + mmc_hostname(host->mmc),
  52547. + bcm2835_sdhost_read(host, SDARG));
  52548. + pr_info("%s: SDTOUT 0x%08x\n",
  52549. + mmc_hostname(host->mmc),
  52550. + bcm2835_sdhost_read(host, SDTOUT));
  52551. + pr_info("%s: SDCDIV 0x%08x\n",
  52552. + mmc_hostname(host->mmc),
  52553. + bcm2835_sdhost_read(host, SDCDIV));
  52554. + pr_info("%s: SDRSP0 0x%08x\n",
  52555. + mmc_hostname(host->mmc),
  52556. + bcm2835_sdhost_read(host, SDRSP0));
  52557. + pr_info("%s: SDRSP1 0x%08x\n",
  52558. + mmc_hostname(host->mmc),
  52559. + bcm2835_sdhost_read(host, SDRSP1));
  52560. + pr_info("%s: SDRSP2 0x%08x\n",
  52561. + mmc_hostname(host->mmc),
  52562. + bcm2835_sdhost_read(host, SDRSP2));
  52563. + pr_info("%s: SDRSP3 0x%08x\n",
  52564. + mmc_hostname(host->mmc),
  52565. + bcm2835_sdhost_read(host, SDRSP3));
  52566. + pr_info("%s: SDHSTS 0x%08x\n",
  52567. + mmc_hostname(host->mmc),
  52568. + bcm2835_sdhost_read(host, SDHSTS));
  52569. + pr_info("%s: SDVDD 0x%08x\n",
  52570. + mmc_hostname(host->mmc),
  52571. + bcm2835_sdhost_read(host, SDVDD));
  52572. + pr_info("%s: SDEDM 0x%08x\n",
  52573. + mmc_hostname(host->mmc),
  52574. + bcm2835_sdhost_read(host, SDEDM));
  52575. + pr_info("%s: SDHCFG 0x%08x\n",
  52576. + mmc_hostname(host->mmc),
  52577. + bcm2835_sdhost_read(host, SDHCFG));
  52578. + pr_info("%s: SDHBCT 0x%08x\n",
  52579. + mmc_hostname(host->mmc),
  52580. + bcm2835_sdhost_read(host, SDHBCT));
  52581. + pr_info("%s: SDHBLC 0x%08x\n",
  52582. + mmc_hostname(host->mmc),
  52583. + bcm2835_sdhost_read(host, SDHBLC));
  52584. +
  52585. + pr_info("%s: ===========================================\n",
  52586. + mmc_hostname(host->mmc));
  52587. +}
  52588. +
  52589. +
  52590. +static void bcm2835_sdhost_set_power(struct bcm2835_host *host, bool on)
  52591. +{
  52592. + bcm2835_sdhost_write(host, on ? 1 : 0, SDVDD);
  52593. +}
  52594. +
  52595. +
  52596. +static void bcm2835_sdhost_reset_internal(struct bcm2835_host *host)
  52597. +{
  52598. + u32 temp;
  52599. +
  52600. + bcm2835_sdhost_set_power(host, false);
  52601. +
  52602. + bcm2835_sdhost_write(host, 0, SDCMD);
  52603. + bcm2835_sdhost_write(host, 0, SDARG);
  52604. + bcm2835_sdhost_write(host, 0xf00000, SDTOUT);
  52605. + bcm2835_sdhost_write(host, 0, SDCDIV);
  52606. + bcm2835_sdhost_write(host, 0x7f8, SDHSTS); /* Write 1s to clear */
  52607. + bcm2835_sdhost_write(host, 0, SDHCFG);
  52608. + bcm2835_sdhost_write(host, 0, SDHBCT);
  52609. + bcm2835_sdhost_write(host, 0, SDHBLC);
  52610. +
  52611. + /* Limit fifo usage due to silicon bug */
  52612. + temp = bcm2835_sdhost_read(host, SDEDM);
  52613. + temp &= ~((SDEDM_THRESHOLD_MASK<<SDEDM_READ_THRESHOLD_SHIFT) |
  52614. + (SDEDM_THRESHOLD_MASK<<SDEDM_WRITE_THRESHOLD_SHIFT));
  52615. + temp |= (SAFE_READ_THRESHOLD << SDEDM_READ_THRESHOLD_SHIFT) |
  52616. + (SAFE_WRITE_THRESHOLD << SDEDM_WRITE_THRESHOLD_SHIFT);
  52617. + bcm2835_sdhost_write(host, temp, SDEDM);
  52618. + mdelay(10);
  52619. + bcm2835_sdhost_set_power(host, true);
  52620. + mdelay(10);
  52621. + host->clock = 0;
  52622. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  52623. + bcm2835_sdhost_write(host, host->cdiv, SDCDIV);
  52624. + mmiowb();
  52625. +}
  52626. +
  52627. +
  52628. +static void bcm2835_sdhost_reset(struct mmc_host *mmc)
  52629. +{
  52630. + struct bcm2835_host *host = mmc_priv(mmc);
  52631. + unsigned long flags;
  52632. + if (host->debug)
  52633. + pr_info("%s: reset\n", mmc_hostname(mmc));
  52634. + spin_lock_irqsave(&host->lock, flags);
  52635. +
  52636. + bcm2835_sdhost_reset_internal(host);
  52637. +
  52638. + spin_unlock_irqrestore(&host->lock, flags);
  52639. +}
  52640. +
  52641. +static void bcm2835_sdhost_set_ios(struct mmc_host *mmc, struct mmc_ios *ios);
  52642. +
  52643. +static void bcm2835_sdhost_init(struct bcm2835_host *host, int soft)
  52644. +{
  52645. + pr_debug("bcm2835_sdhost_init(%d)\n", soft);
  52646. +
  52647. + /* Set interrupt enables */
  52648. + host->hcfg = SDHCFG_BUSY_IRPT_EN;
  52649. +
  52650. + bcm2835_sdhost_reset_internal(host);
  52651. +
  52652. + if (soft) {
  52653. + /* force clock reconfiguration */
  52654. + host->clock = 0;
  52655. + bcm2835_sdhost_set_ios(host->mmc, &host->mmc->ios);
  52656. + }
  52657. +}
  52658. +
  52659. +static bool bcm2835_sdhost_is_write_complete(struct bcm2835_host *host)
  52660. +{
  52661. + bool write_complete = ((bcm2835_sdhost_read(host, SDEDM) & 0xf) == 1);
  52662. +
  52663. + if (!write_complete) {
  52664. + /* Request an IRQ for the last block */
  52665. + host->hcfg |= SDHCFG_BLOCK_IRPT_EN;
  52666. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  52667. + if ((bcm2835_sdhost_read(host, SDEDM) & 0xf) == 1) {
  52668. + /* The write has now completed. Disable the interrupt
  52669. + and clear the status flag */
  52670. + host->hcfg &= ~SDHCFG_BLOCK_IRPT_EN;
  52671. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  52672. + bcm2835_sdhost_write(host, SDHSTS_BLOCK_IRPT, SDHSTS);
  52673. + write_complete = true;
  52674. + }
  52675. + }
  52676. +
  52677. + return write_complete;
  52678. +}
  52679. +
  52680. +static void bcm2835_sdhost_wait_write_complete(struct bcm2835_host *host)
  52681. +{
  52682. + int timediff;
  52683. +#ifdef DEBUG
  52684. + static struct timeval start_time;
  52685. + static int max_stall_time = 0;
  52686. + static int total_stall_time = 0;
  52687. + struct timeval before, after;
  52688. +
  52689. + do_gettimeofday(&before);
  52690. + if (max_stall_time == 0)
  52691. + start_time = before;
  52692. +#endif
  52693. +
  52694. + timediff = 0;
  52695. +
  52696. + while (1) {
  52697. + u32 edm = bcm2835_sdhost_read(host, SDEDM);
  52698. + if ((edm & 0xf) == 1)
  52699. + break;
  52700. + timediff++;
  52701. + if (timediff > 5000000) {
  52702. +#ifdef DEBUG
  52703. + do_gettimeofday(&after);
  52704. + timediff = (after.tv_sec - before.tv_sec)*1000000 +
  52705. + (after.tv_usec - before.tv_usec);
  52706. +
  52707. + pr_err(" wait_write_complete - still waiting after %dus\n",
  52708. + timediff);
  52709. +#else
  52710. + pr_err(" wait_write_complete - still waiting after %d retries\n",
  52711. + timediff);
  52712. +#endif
  52713. + bcm2835_sdhost_dumpregs(host);
  52714. + host->data->error = -ETIMEDOUT;
  52715. + return;
  52716. + }
  52717. + }
  52718. +
  52719. +#ifdef DEBUG
  52720. + do_gettimeofday(&after);
  52721. + timediff = (after.tv_sec - before.tv_sec)*1000000 + (after.tv_usec - before.tv_usec);
  52722. +
  52723. + total_stall_time += timediff;
  52724. + if (timediff > max_stall_time)
  52725. + max_stall_time = timediff;
  52726. +
  52727. + if ((after.tv_sec - start_time.tv_sec) > 10) {
  52728. + pr_debug(" wait_write_complete - max wait %dus, total %dus\n",
  52729. + max_stall_time, total_stall_time);
  52730. + start_time = after;
  52731. + max_stall_time = 0;
  52732. + total_stall_time = 0;
  52733. + }
  52734. +#endif
  52735. +}
  52736. +
  52737. +static void bcm2835_sdhost_finish_data(struct bcm2835_host *host);
  52738. +
  52739. +static void bcm2835_sdhost_dma_complete(void *param)
  52740. +{
  52741. + struct bcm2835_host *host = param;
  52742. + struct dma_chan *dma_chan;
  52743. + unsigned long flags;
  52744. + u32 dir_data;
  52745. +
  52746. + spin_lock_irqsave(&host->lock, flags);
  52747. +
  52748. + if (host->data) {
  52749. + bool write_complete;
  52750. + if (USE_BLOCK_IRQ)
  52751. + write_complete = bcm2835_sdhost_is_write_complete(host);
  52752. + else {
  52753. + bcm2835_sdhost_wait_write_complete(host);
  52754. + write_complete = true;
  52755. + }
  52756. + pr_debug("dma_complete() - write_complete=%d\n",
  52757. + write_complete);
  52758. +
  52759. + if (write_complete || (host->data->flags & MMC_DATA_READ))
  52760. + {
  52761. + if (write_complete) {
  52762. + dma_chan = host->dma_chan_tx;
  52763. + dir_data = DMA_TO_DEVICE;
  52764. + } else {
  52765. + dma_chan = host->dma_chan_rx;
  52766. + dir_data = DMA_FROM_DEVICE;
  52767. + }
  52768. +
  52769. + dma_unmap_sg(dma_chan->device->dev,
  52770. + host->data->sg, host->data->sg_len,
  52771. + dir_data);
  52772. +
  52773. + bcm2835_sdhost_finish_data(host);
  52774. + }
  52775. + }
  52776. +
  52777. + spin_unlock_irqrestore(&host->lock, flags);
  52778. +}
  52779. +
  52780. +static bool data_transfer_wait(struct bcm2835_host *host)
  52781. +{
  52782. + unsigned long timeout = 1000000;
  52783. + while (timeout)
  52784. + {
  52785. + u32 sdhsts = bcm2835_sdhost_read(host, SDHSTS);
  52786. + if (sdhsts & SDHSTS_DATA_FLAG) {
  52787. + bcm2835_sdhost_write(host, SDHSTS_DATA_FLAG, SDHSTS);
  52788. + break;
  52789. + }
  52790. + timeout--;
  52791. + }
  52792. + if (timeout == 0) {
  52793. + pr_err("%s: Data %s timeout\n",
  52794. + mmc_hostname(host->mmc),
  52795. + (host->data->flags & MMC_DATA_READ) ? "read" : "write");
  52796. + bcm2835_sdhost_dumpregs(host);
  52797. + host->data->error = -ETIMEDOUT;
  52798. + return false;
  52799. + }
  52800. + return true;
  52801. +}
  52802. +
  52803. +static void bcm2835_sdhost_read_block_pio(struct bcm2835_host *host)
  52804. +{
  52805. + unsigned long flags;
  52806. + size_t blksize, len;
  52807. + u32 *buf;
  52808. +
  52809. + blksize = host->data->blksz;
  52810. +
  52811. + local_irq_save(flags);
  52812. +
  52813. + while (blksize) {
  52814. + if (!sg_miter_next(&host->sg_miter))
  52815. + BUG();
  52816. +
  52817. + len = min(host->sg_miter.length, blksize);
  52818. + BUG_ON(len % 4);
  52819. +
  52820. + blksize -= len;
  52821. + host->sg_miter.consumed = len;
  52822. +
  52823. + buf = (u32 *)host->sg_miter.addr;
  52824. +
  52825. + while (len) {
  52826. + if (!data_transfer_wait(host))
  52827. + break;
  52828. +
  52829. + *(buf++) = bcm2835_sdhost_read(host, SDDATA);
  52830. + len -= 4;
  52831. + }
  52832. +
  52833. + if (host->data->error)
  52834. + break;
  52835. + }
  52836. +
  52837. + sg_miter_stop(&host->sg_miter);
  52838. +
  52839. + local_irq_restore(flags);
  52840. +}
  52841. +
  52842. +static void bcm2835_sdhost_write_block_pio(struct bcm2835_host *host)
  52843. +{
  52844. + unsigned long flags;
  52845. + size_t blksize, len;
  52846. + u32 *buf;
  52847. +
  52848. + blksize = host->data->blksz;
  52849. +
  52850. + local_irq_save(flags);
  52851. +
  52852. + while (blksize) {
  52853. + if (!sg_miter_next(&host->sg_miter))
  52854. + BUG();
  52855. +
  52856. + len = min(host->sg_miter.length, blksize);
  52857. + BUG_ON(len % 4);
  52858. +
  52859. + blksize -= len;
  52860. + host->sg_miter.consumed = len;
  52861. +
  52862. + buf = host->sg_miter.addr;
  52863. +
  52864. + while (len) {
  52865. + if (!data_transfer_wait(host))
  52866. + break;
  52867. +
  52868. + bcm2835_sdhost_write(host, *(buf++), SDDATA);
  52869. + len -= 4;
  52870. + }
  52871. +
  52872. + if (host->data->error)
  52873. + break;
  52874. + }
  52875. +
  52876. + sg_miter_stop(&host->sg_miter);
  52877. +
  52878. + local_irq_restore(flags);
  52879. +}
  52880. +
  52881. +
  52882. +static void bcm2835_sdhost_transfer_pio(struct bcm2835_host *host)
  52883. +{
  52884. + u32 sdhsts;
  52885. + bool is_read;
  52886. + BUG_ON(!host->data);
  52887. +
  52888. + is_read = (host->data->flags & MMC_DATA_READ) != 0;
  52889. + if (is_read)
  52890. + bcm2835_sdhost_read_block_pio(host);
  52891. + else
  52892. + bcm2835_sdhost_write_block_pio(host);
  52893. +
  52894. + sdhsts = bcm2835_sdhost_read(host, SDHSTS);
  52895. + if (sdhsts & (SDHSTS_CRC16_ERROR |
  52896. + SDHSTS_CRC7_ERROR |
  52897. + SDHSTS_FIFO_ERROR)) {
  52898. + pr_err("%s: %s transfer error - HSTS %x\n",
  52899. + mmc_hostname(host->mmc),
  52900. + is_read ? "read" : "write",
  52901. + sdhsts);
  52902. + host->data->error = -EILSEQ;
  52903. + } else if ((sdhsts & (SDHSTS_CMD_TIME_OUT |
  52904. + SDHSTS_REW_TIME_OUT))) {
  52905. + pr_err("%s: %s timeout error - HSTS %x\n",
  52906. + mmc_hostname(host->mmc),
  52907. + is_read ? "read" : "write",
  52908. + sdhsts);
  52909. + host->data->error = -ETIMEDOUT;
  52910. + } else if (!is_read && !host->data->error) {
  52911. + /* Start a timer in case a transfer error occurs because
  52912. + there is no error interrupt */
  52913. + mod_timer(&host->pio_timer, jiffies + host->pio_timeout);
  52914. + }
  52915. +}
  52916. +
  52917. +
  52918. +static void bcm2835_sdhost_transfer_dma(struct bcm2835_host *host)
  52919. +{
  52920. + u32 len, dir_data, dir_slave;
  52921. + struct dma_async_tx_descriptor *desc = NULL;
  52922. + struct dma_chan *dma_chan;
  52923. +
  52924. + pr_debug("bcm2835_sdhost_transfer_dma()\n");
  52925. +
  52926. + WARN_ON(!host->data);
  52927. +
  52928. + if (!host->data)
  52929. + return;
  52930. +
  52931. + if (host->data->flags & MMC_DATA_READ) {
  52932. + dma_chan = host->dma_chan_rx;
  52933. + dir_data = DMA_FROM_DEVICE;
  52934. + dir_slave = DMA_DEV_TO_MEM;
  52935. + } else {
  52936. + dma_chan = host->dma_chan_tx;
  52937. + dir_data = DMA_TO_DEVICE;
  52938. + dir_slave = DMA_MEM_TO_DEV;
  52939. + }
  52940. +
  52941. + BUG_ON(!dma_chan->device);
  52942. + BUG_ON(!dma_chan->device->dev);
  52943. + BUG_ON(!host->data->sg);
  52944. +
  52945. + len = dma_map_sg(dma_chan->device->dev, host->data->sg,
  52946. + host->data->sg_len, dir_data);
  52947. + if (len > 0) {
  52948. + desc = dmaengine_prep_slave_sg(dma_chan, host->data->sg,
  52949. + len, dir_slave,
  52950. + DMA_PREP_INTERRUPT | DMA_CTRL_ACK);
  52951. + } else {
  52952. + dev_err(mmc_dev(host->mmc), "dma_map_sg returned zero length\n");
  52953. + }
  52954. + if (desc) {
  52955. + desc->callback = bcm2835_sdhost_dma_complete;
  52956. + desc->callback_param = host;
  52957. + dmaengine_submit(desc);
  52958. + dma_async_issue_pending(dma_chan);
  52959. + }
  52960. +
  52961. +}
  52962. +
  52963. +
  52964. +static void bcm2835_sdhost_set_transfer_irqs(struct bcm2835_host *host)
  52965. +{
  52966. + u32 all_irqs = SDHCFG_DATA_IRPT_EN | SDHCFG_BLOCK_IRPT_EN |
  52967. + SDHCFG_BUSY_IRPT_EN;
  52968. + if (host->use_dma)
  52969. + host->hcfg = (host->hcfg & ~all_irqs) |
  52970. + SDHCFG_BUSY_IRPT_EN;
  52971. + else
  52972. + host->hcfg = (host->hcfg & ~all_irqs) |
  52973. + SDHCFG_DATA_IRPT_EN |
  52974. + SDHCFG_BUSY_IRPT_EN;
  52975. +
  52976. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  52977. +}
  52978. +
  52979. +
  52980. +static void bcm2835_sdhost_prepare_data(struct bcm2835_host *host, struct mmc_command *cmd)
  52981. +{
  52982. + struct mmc_data *data = cmd->data;
  52983. +
  52984. + WARN_ON(host->data);
  52985. +
  52986. + if (!data)
  52987. + return;
  52988. +
  52989. + /* Sanity checks */
  52990. + BUG_ON(data->blksz * data->blocks > 524288);
  52991. + BUG_ON(data->blksz > host->mmc->max_blk_size);
  52992. + BUG_ON(data->blocks > 65535);
  52993. +
  52994. + host->data = data;
  52995. + host->data_complete = 0;
  52996. + host->flush_fifo = 0;
  52997. + host->data->bytes_xfered = 0;
  52998. +
  52999. + host->use_dma = host->have_dma && (data->blocks > host->pio_limit);
  53000. + if (!host->use_dma) {
  53001. + int flags;
  53002. +
  53003. + flags = SG_MITER_ATOMIC;
  53004. + if (data->flags & MMC_DATA_READ)
  53005. + flags |= SG_MITER_TO_SG;
  53006. + else
  53007. + flags |= SG_MITER_FROM_SG;
  53008. + sg_miter_start(&host->sg_miter, data->sg, data->sg_len, flags);
  53009. + host->blocks = data->blocks;
  53010. + }
  53011. +
  53012. + bcm2835_sdhost_set_transfer_irqs(host);
  53013. +
  53014. + bcm2835_sdhost_write(host, data->blksz, SDHBCT);
  53015. + bcm2835_sdhost_write(host, host->use_dma ? data->blocks : 0, SDHBLC);
  53016. +
  53017. + BUG_ON(!host->data);
  53018. +}
  53019. +
  53020. +
  53021. +void bcm2835_sdhost_send_command(struct bcm2835_host *host, struct mmc_command *cmd)
  53022. +{
  53023. + u32 sdcmd, sdhsts;
  53024. + unsigned long timeout;
  53025. + int delay;
  53026. +
  53027. + WARN_ON(host->cmd);
  53028. +
  53029. + if (cmd->data)
  53030. + pr_debug("%s: send_command %d 0x%x "
  53031. + "(flags 0x%x) - %s %d*%d\n",
  53032. + mmc_hostname(host->mmc),
  53033. + cmd->opcode, cmd->arg, cmd->flags,
  53034. + (cmd->data->flags & MMC_DATA_READ) ?
  53035. + "read" : "write", cmd->data->blocks,
  53036. + cmd->data->blksz);
  53037. + else
  53038. + pr_debug("%s: send_command %d 0x%x (flags 0x%x)\n",
  53039. + mmc_hostname(host->mmc),
  53040. + cmd->opcode, cmd->arg, cmd->flags);
  53041. +
  53042. + /* Wait max 100 ms */
  53043. + timeout = 10000;
  53044. +
  53045. + while (bcm2835_sdhost_read(host, SDCMD) & SDCMD_NEW_FLAG) {
  53046. + if (timeout == 0) {
  53047. + pr_err("%s: previous command never completed.\n",
  53048. + mmc_hostname(host->mmc));
  53049. + bcm2835_sdhost_dumpregs(host);
  53050. + cmd->error = -EIO;
  53051. + tasklet_schedule(&host->finish_tasklet);
  53052. + return;
  53053. + }
  53054. + timeout--;
  53055. + udelay(10);
  53056. + }
  53057. +
  53058. + delay = (10000 - timeout)/100;
  53059. + if (delay > host->max_delay) {
  53060. + host->max_delay = delay;
  53061. + pr_warning("%s: controller hung for %d ms\n",
  53062. + mmc_hostname(host->mmc),
  53063. + host->max_delay);
  53064. + }
  53065. +
  53066. + timeout = jiffies;
  53067. + if (!cmd->data && cmd->busy_timeout > 9000)
  53068. + timeout += DIV_ROUND_UP(cmd->busy_timeout, 1000) * HZ + HZ;
  53069. + else
  53070. + timeout += 10 * HZ;
  53071. + mod_timer(&host->timer, timeout);
  53072. +
  53073. + host->cmd = cmd;
  53074. +
  53075. + /* Clear any error flags */
  53076. + sdhsts = bcm2835_sdhost_read(host, SDHSTS);
  53077. + if (sdhsts & SDHSTS_ERROR_MASK)
  53078. + bcm2835_sdhost_write(host, sdhsts, SDHSTS);
  53079. +
  53080. + bcm2835_sdhost_prepare_data(host, cmd);
  53081. +
  53082. + bcm2835_sdhost_write(host, cmd->arg, SDARG);
  53083. +
  53084. + if ((cmd->flags & MMC_RSP_136) && (cmd->flags & MMC_RSP_BUSY)) {
  53085. + pr_err("%s: unsupported response type!\n",
  53086. + mmc_hostname(host->mmc));
  53087. + cmd->error = -EINVAL;
  53088. + tasklet_schedule(&host->finish_tasklet);
  53089. + return;
  53090. + }
  53091. +
  53092. + sdcmd = cmd->opcode & SDCMD_CMD_MASK;
  53093. +
  53094. + if (!(cmd->flags & MMC_RSP_PRESENT))
  53095. + sdcmd |= SDCMD_NO_RESPONSE;
  53096. + else {
  53097. + if (cmd->flags & MMC_RSP_136)
  53098. + sdcmd |= SDCMD_LONG_RESPONSE;
  53099. + if (cmd->flags & MMC_RSP_BUSY) {
  53100. + sdcmd |= SDCMD_BUSYWAIT;
  53101. + host->use_busy = 1;
  53102. + }
  53103. + }
  53104. +
  53105. + if (cmd->data) {
  53106. + if (host->delay_after_stop) {
  53107. + struct timeval now;
  53108. + int time_since_stop;
  53109. + do_gettimeofday(&now);
  53110. + time_since_stop = (now.tv_sec - host->stop_time.tv_sec);
  53111. + if (time_since_stop < 2) {
  53112. + /* Possibly less than one second */
  53113. + time_since_stop = time_since_stop * 1000000 +
  53114. + (now.tv_usec - host->stop_time.tv_usec);
  53115. + if (time_since_stop < host->delay_after_stop)
  53116. + udelay(host->delay_after_stop -
  53117. + time_since_stop);
  53118. + }
  53119. + }
  53120. +
  53121. + if (cmd->data->flags & MMC_DATA_WRITE)
  53122. + sdcmd |= SDCMD_WRITE_CMD;
  53123. + if (cmd->data->flags & MMC_DATA_READ)
  53124. + sdcmd |= SDCMD_READ_CMD;
  53125. + }
  53126. +
  53127. + bcm2835_sdhost_write(host, sdcmd | SDCMD_NEW_FLAG, SDCMD);
  53128. +}
  53129. +
  53130. +
  53131. +static void bcm2835_sdhost_finish_command(struct bcm2835_host *host);
  53132. +static void bcm2835_sdhost_transfer_complete(struct bcm2835_host *host);
  53133. +
  53134. +static void bcm2835_sdhost_finish_data(struct bcm2835_host *host)
  53135. +{
  53136. + struct mmc_data *data;
  53137. +
  53138. + data = host->data;
  53139. + BUG_ON(!data);
  53140. +
  53141. + pr_debug("finish_data(error %d, stop %d, sbc %d)\n",
  53142. + data->error, data->stop ? 1 : 0,
  53143. + host->mrq->sbc ? 1 : 0);
  53144. +
  53145. + host->hcfg &= ~(SDHCFG_DATA_IRPT_EN | SDHCFG_BLOCK_IRPT_EN);
  53146. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  53147. +
  53148. + if (data->error) {
  53149. + data->bytes_xfered = 0;
  53150. + } else
  53151. + data->bytes_xfered = data->blksz * data->blocks;
  53152. +
  53153. + host->data_complete = 1;
  53154. +
  53155. + if (host->cmd) {
  53156. + /*
  53157. + * Data managed to finish before the
  53158. + * command completed. Make sure we do
  53159. + * things in the proper order.
  53160. + */
  53161. + pr_debug("Finished early - HSTS %x\n",
  53162. + bcm2835_sdhost_read(host, SDHSTS));
  53163. + }
  53164. + else
  53165. + bcm2835_sdhost_transfer_complete(host);
  53166. +}
  53167. +
  53168. +
  53169. +static void bcm2835_sdhost_transfer_complete(struct bcm2835_host *host)
  53170. +{
  53171. + struct mmc_data *data;
  53172. +
  53173. + BUG_ON(host->cmd);
  53174. + BUG_ON(!host->data);
  53175. + BUG_ON(!host->data_complete);
  53176. +
  53177. + data = host->data;
  53178. + host->data = NULL;
  53179. +
  53180. + pr_debug("transfer_complete(error %d, stop %d)\n",
  53181. + data->error, data->stop ? 1 : 0);
  53182. +
  53183. + /*
  53184. + * Need to send CMD12 if -
  53185. + * a) open-ended multiblock transfer (no CMD23)
  53186. + * b) error in multiblock transfer
  53187. + */
  53188. + if (data->stop &&
  53189. + (data->error ||
  53190. + !host->mrq->sbc)) {
  53191. + host->flush_fifo = 1;
  53192. + bcm2835_sdhost_send_command(host, data->stop);
  53193. + if (host->delay_after_stop)
  53194. + do_gettimeofday(&host->stop_time);
  53195. + if (!host->use_busy)
  53196. + bcm2835_sdhost_finish_command(host);
  53197. + } else {
  53198. + tasklet_schedule(&host->finish_tasklet);
  53199. + }
  53200. +}
  53201. +
  53202. +static void bcm2835_sdhost_finish_command(struct bcm2835_host *host)
  53203. +{
  53204. + u32 sdcmd;
  53205. + unsigned long timeout;
  53206. +#ifdef DEBUG
  53207. + struct timeval before, after;
  53208. + int timediff = 0;
  53209. +#endif
  53210. +
  53211. + pr_debug("finish_command(%x)\n", bcm2835_sdhost_read(host, SDCMD));
  53212. +
  53213. + BUG_ON(!host->cmd || !host->mrq);
  53214. +
  53215. +#ifdef DEBUG
  53216. + do_gettimeofday(&before);
  53217. +#endif
  53218. + /* Wait max 100 ms */
  53219. + timeout = 10000;
  53220. + for (sdcmd = bcm2835_sdhost_read(host, SDCMD);
  53221. + (sdcmd & SDCMD_NEW_FLAG) && timeout;
  53222. + timeout--) {
  53223. + if (host->flush_fifo) {
  53224. + while (bcm2835_sdhost_read(host, SDHSTS) &
  53225. + SDHSTS_DATA_FLAG)
  53226. + (void)bcm2835_sdhost_read(host, SDDATA);
  53227. + }
  53228. + udelay(10);
  53229. + sdcmd = bcm2835_sdhost_read(host, SDCMD);
  53230. + }
  53231. +#ifdef DEBUG
  53232. + do_gettimeofday(&after);
  53233. + timediff = (after.tv_sec - before.tv_sec)*1000000 +
  53234. + (after.tv_usec - before.tv_usec);
  53235. +
  53236. + pr_debug(" finish_command - waited %dus\n", timediff);
  53237. +#endif
  53238. +
  53239. + if (timeout == 0) {
  53240. + pr_err("%s: command never completed.\n",
  53241. + mmc_hostname(host->mmc));
  53242. + bcm2835_sdhost_dumpregs(host);
  53243. + host->cmd->error = -EIO;
  53244. + tasklet_schedule(&host->finish_tasklet);
  53245. + return;
  53246. + }
  53247. +
  53248. + if (host->flush_fifo) {
  53249. + for (timeout = 100;
  53250. + (bcm2835_sdhost_read(host, SDHSTS) & SDHSTS_DATA_FLAG) && timeout;
  53251. + timeout--) {
  53252. + (void)bcm2835_sdhost_read(host, SDDATA);
  53253. + }
  53254. + host->flush_fifo = 0;
  53255. + if (timeout == 0) {
  53256. + pr_err("%s: FIFO never drained.\n",
  53257. + mmc_hostname(host->mmc));
  53258. + bcm2835_sdhost_dumpregs(host);
  53259. + host->cmd->error = -EIO;
  53260. + tasklet_schedule(&host->finish_tasklet);
  53261. + return;
  53262. + }
  53263. + }
  53264. +
  53265. + /* Check for errors */
  53266. + if (sdcmd & SDCMD_FAIL_FLAG)
  53267. + {
  53268. + u32 sdhsts = bcm2835_sdhost_read(host, SDHSTS);
  53269. +
  53270. + if (host->debug)
  53271. + pr_info("%s: error detected - CMD %x, HSTS %03x, EDM %x\n",
  53272. + mmc_hostname(host->mmc), sdcmd, sdhsts,
  53273. + bcm2835_sdhost_read(host, SDEDM));
  53274. +
  53275. + if ((sdhsts & SDHSTS_CRC7_ERROR) &&
  53276. + (host->cmd->opcode == 1)) {
  53277. + if (host->debug)
  53278. + pr_info("%s: ignoring CRC7 error for CMD1\n",
  53279. + mmc_hostname(host->mmc));
  53280. + } else {
  53281. + if (sdhsts & SDHSTS_CMD_TIME_OUT) {
  53282. + switch (host->cmd->opcode) {
  53283. + case 5: case 52: case 53:
  53284. + /* Don't warn about SDIO commands */
  53285. + break;
  53286. + default:
  53287. + pr_err("%s: command timeout\n",
  53288. + mmc_hostname(host->mmc));
  53289. + break;
  53290. + }
  53291. + host->cmd->error = -ETIMEDOUT;
  53292. + } else {
  53293. + pr_err("%s: unexpected command error\n",
  53294. + mmc_hostname(host->mmc));
  53295. + bcm2835_sdhost_dumpregs(host);
  53296. + host->cmd->error = -EIO;
  53297. + }
  53298. + tasklet_schedule(&host->finish_tasklet);
  53299. + return;
  53300. + }
  53301. + }
  53302. +
  53303. + if (host->cmd->flags & MMC_RSP_PRESENT) {
  53304. + if (host->cmd->flags & MMC_RSP_136) {
  53305. + int i;
  53306. + for (i = 0; i < 4; i++)
  53307. + host->cmd->resp[3 - i] = bcm2835_sdhost_read(host, SDRSP0 + i*4);
  53308. + pr_debug("%s: finish_command %08x %08x %08x %08x\n",
  53309. + mmc_hostname(host->mmc),
  53310. + host->cmd->resp[0], host->cmd->resp[1], host->cmd->resp[2], host->cmd->resp[3]);
  53311. + } else {
  53312. + host->cmd->resp[0] = bcm2835_sdhost_read(host, SDRSP0);
  53313. + pr_debug("%s: finish_command %08x\n",
  53314. + mmc_hostname(host->mmc),
  53315. + host->cmd->resp[0]);
  53316. + }
  53317. + }
  53318. +
  53319. + host->cmd->error = 0;
  53320. +
  53321. + if (host->cmd == host->mrq->sbc) {
  53322. + /* Finished CMD23, now send actual command. */
  53323. + host->cmd = NULL;
  53324. + bcm2835_sdhost_send_command(host, host->mrq->cmd);
  53325. +
  53326. + if (host->cmd->data && host->use_dma)
  53327. + /* DMA transfer starts now, PIO starts after irq */
  53328. + bcm2835_sdhost_transfer_dma(host);
  53329. +
  53330. + if (!host->use_busy)
  53331. + bcm2835_sdhost_finish_command(host);
  53332. + } else if (host->cmd == host->mrq->stop)
  53333. + /* Finished CMD12 */
  53334. + tasklet_schedule(&host->finish_tasklet);
  53335. + else {
  53336. + /* Processed actual command. */
  53337. + host->cmd = NULL;
  53338. + if (!host->data)
  53339. + tasklet_schedule(&host->finish_tasklet);
  53340. + else if (host->data_complete)
  53341. + bcm2835_sdhost_transfer_complete(host);
  53342. + }
  53343. +}
  53344. +
  53345. +static void bcm2835_sdhost_timeout(unsigned long data)
  53346. +{
  53347. + struct bcm2835_host *host;
  53348. + unsigned long flags;
  53349. +
  53350. + host = (struct bcm2835_host *)data;
  53351. +
  53352. + spin_lock_irqsave(&host->lock, flags);
  53353. +
  53354. + if (host->mrq) {
  53355. + pr_err("%s: timeout waiting for hardware interrupt.\n",
  53356. + mmc_hostname(host->mmc));
  53357. + bcm2835_sdhost_dumpregs(host);
  53358. +
  53359. + if (host->data) {
  53360. + host->data->error = -ETIMEDOUT;
  53361. + bcm2835_sdhost_finish_data(host);
  53362. + } else {
  53363. + if (host->cmd)
  53364. + host->cmd->error = -ETIMEDOUT;
  53365. + else
  53366. + host->mrq->cmd->error = -ETIMEDOUT;
  53367. +
  53368. + pr_debug("timeout_timer tasklet_schedule\n");
  53369. + tasklet_schedule(&host->finish_tasklet);
  53370. + }
  53371. + }
  53372. +
  53373. + mmiowb();
  53374. + spin_unlock_irqrestore(&host->lock, flags);
  53375. +}
  53376. +
  53377. +static void bcm2835_sdhost_pio_timeout(unsigned long data)
  53378. +{
  53379. + struct bcm2835_host *host;
  53380. + unsigned long flags;
  53381. +
  53382. + host = (struct bcm2835_host *)data;
  53383. +
  53384. + spin_lock_irqsave(&host->lock, flags);
  53385. +
  53386. + if (host->data) {
  53387. + u32 sdhsts = bcm2835_sdhost_read(host, SDHSTS);
  53388. +
  53389. + if (sdhsts & SDHSTS_REW_TIME_OUT) {
  53390. + pr_err("%s: transfer timeout\n",
  53391. + mmc_hostname(host->mmc));
  53392. + if (host->debug)
  53393. + bcm2835_sdhost_dumpregs(host);
  53394. + } else {
  53395. + pr_err("%s: unexpected transfer timeout\n",
  53396. + mmc_hostname(host->mmc));
  53397. + bcm2835_sdhost_dumpregs(host);
  53398. + }
  53399. +
  53400. + bcm2835_sdhost_write(host, SDHSTS_TRANSFER_ERROR_MASK,
  53401. + SDHSTS);
  53402. +
  53403. + host->data->error = -ETIMEDOUT;
  53404. +
  53405. + bcm2835_sdhost_finish_data(host);
  53406. + }
  53407. +
  53408. + mmiowb();
  53409. + spin_unlock_irqrestore(&host->lock, flags);
  53410. +}
  53411. +
  53412. +static void bcm2835_sdhost_enable_sdio_irq_nolock(struct bcm2835_host *host, int enable)
  53413. +{
  53414. + if (enable)
  53415. + host->hcfg |= SDHCFG_SDIO_IRPT_EN;
  53416. + else
  53417. + host->hcfg &= ~SDHCFG_SDIO_IRPT_EN;
  53418. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  53419. + mmiowb();
  53420. +}
  53421. +
  53422. +static void bcm2835_sdhost_enable_sdio_irq(struct mmc_host *mmc, int enable)
  53423. +{
  53424. + struct bcm2835_host *host = mmc_priv(mmc);
  53425. + unsigned long flags;
  53426. +
  53427. + pr_debug("%s: enable_sdio_irq(%d)\n", mmc_hostname(mmc), enable);
  53428. + spin_lock_irqsave(&host->lock, flags);
  53429. + bcm2835_sdhost_enable_sdio_irq_nolock(host, enable);
  53430. + spin_unlock_irqrestore(&host->lock, flags);
  53431. +}
  53432. +
  53433. +static u32 bcm2835_sdhost_busy_irq(struct bcm2835_host *host, u32 intmask)
  53434. +{
  53435. + const u32 handled = (SDHSTS_REW_TIME_OUT | SDHSTS_CMD_TIME_OUT |
  53436. + SDHSTS_CRC16_ERROR | SDHSTS_CRC7_ERROR |
  53437. + SDHSTS_FIFO_ERROR);
  53438. +
  53439. + if (!host->cmd) {
  53440. + pr_err("%s: got command busy interrupt 0x%08x even "
  53441. + "though no command operation was in progress.\n",
  53442. + mmc_hostname(host->mmc), (unsigned)intmask);
  53443. + bcm2835_sdhost_dumpregs(host);
  53444. + return 0;
  53445. + }
  53446. +
  53447. + if (!host->use_busy) {
  53448. + pr_err("%s: got command busy interrupt 0x%08x even "
  53449. + "though not expecting one.\n",
  53450. + mmc_hostname(host->mmc), (unsigned)intmask);
  53451. + bcm2835_sdhost_dumpregs(host);
  53452. + return 0;
  53453. + }
  53454. + host->use_busy = 0;
  53455. +
  53456. + if (intmask & SDHSTS_ERROR_MASK)
  53457. + {
  53458. + pr_err("sdhost_busy_irq: intmask %x, data %p\n", intmask, host->mrq->data);
  53459. + if (intmask & SDHSTS_CRC7_ERROR)
  53460. + host->cmd->error = -EILSEQ;
  53461. + else if (intmask & (SDHSTS_CRC16_ERROR |
  53462. + SDHSTS_FIFO_ERROR)) {
  53463. + if (host->mrq->data)
  53464. + host->mrq->data->error = -EILSEQ;
  53465. + else
  53466. + host->cmd->error = -EILSEQ;
  53467. + } else if (intmask & SDHSTS_REW_TIME_OUT) {
  53468. + if (host->mrq->data)
  53469. + host->mrq->data->error = -ETIMEDOUT;
  53470. + else
  53471. + host->cmd->error = -ETIMEDOUT;
  53472. + } else if (intmask & SDHSTS_CMD_TIME_OUT)
  53473. + host->cmd->error = -ETIMEDOUT;
  53474. +
  53475. + bcm2835_sdhost_dumpregs(host);
  53476. + tasklet_schedule(&host->finish_tasklet);
  53477. + }
  53478. + else
  53479. + bcm2835_sdhost_finish_command(host);
  53480. +
  53481. + return handled;
  53482. +}
  53483. +
  53484. +static u32 bcm2835_sdhost_data_irq(struct bcm2835_host *host, u32 intmask)
  53485. +{
  53486. + const u32 handled = (SDHSTS_REW_TIME_OUT |
  53487. + SDHSTS_CRC16_ERROR |
  53488. + SDHSTS_FIFO_ERROR);
  53489. +
  53490. + /* There are no dedicated data/space available interrupt
  53491. + status bits, so it is necessary to use the single shared
  53492. + data/space available FIFO status bits. It is therefore not
  53493. + an error to get here when there is no data transfer in
  53494. + progress. */
  53495. + if (!host->data)
  53496. + return 0;
  53497. +
  53498. + if (intmask & (SDHSTS_CRC16_ERROR |
  53499. + SDHSTS_FIFO_ERROR |
  53500. + SDHSTS_REW_TIME_OUT)) {
  53501. + if (intmask & (SDHSTS_CRC16_ERROR |
  53502. + SDHSTS_FIFO_ERROR))
  53503. + host->data->error = -EILSEQ;
  53504. + else
  53505. + host->data->error = -ETIMEDOUT;
  53506. +
  53507. + bcm2835_sdhost_dumpregs(host);
  53508. + tasklet_schedule(&host->finish_tasklet);
  53509. + return handled;
  53510. + }
  53511. +
  53512. + /* Use the block interrupt for writes after the first block */
  53513. + if (host->data->flags & MMC_DATA_WRITE) {
  53514. + host->hcfg &= ~(SDHCFG_DATA_IRPT_EN);
  53515. + host->hcfg |= SDHCFG_BLOCK_IRPT_EN;
  53516. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  53517. + if (host->data->error)
  53518. + bcm2835_sdhost_finish_data(host);
  53519. + else
  53520. + bcm2835_sdhost_transfer_pio(host);
  53521. + } else {
  53522. + if (!host->data->error) {
  53523. + bcm2835_sdhost_transfer_pio(host);
  53524. + host->blocks--;
  53525. + }
  53526. + if ((host->blocks == 0) || host->data->error)
  53527. + bcm2835_sdhost_finish_data(host);
  53528. + }
  53529. +
  53530. + return handled;
  53531. +}
  53532. +
  53533. +static u32 bcm2835_sdhost_block_irq(struct bcm2835_host *host, u32 intmask)
  53534. +{
  53535. + struct dma_chan *dma_chan;
  53536. + u32 dir_data;
  53537. + const u32 handled = (SDHSTS_REW_TIME_OUT |
  53538. + SDHSTS_CRC16_ERROR |
  53539. + SDHSTS_FIFO_ERROR);
  53540. +
  53541. + if (!host->data) {
  53542. + pr_err("%s: got block interrupt 0x%08x even "
  53543. + "though no data operation was in progress.\n",
  53544. + mmc_hostname(host->mmc), (unsigned)intmask);
  53545. + bcm2835_sdhost_dumpregs(host);
  53546. + return handled;
  53547. + }
  53548. +
  53549. + if (intmask & (SDHSTS_CRC16_ERROR |
  53550. + SDHSTS_FIFO_ERROR |
  53551. + SDHSTS_REW_TIME_OUT)) {
  53552. + if (intmask & (SDHSTS_CRC16_ERROR |
  53553. + SDHSTS_FIFO_ERROR))
  53554. + host->data->error = -EILSEQ;
  53555. + else
  53556. + host->data->error = -ETIMEDOUT;
  53557. +
  53558. + if (host->debug)
  53559. + bcm2835_sdhost_dumpregs(host);
  53560. + tasklet_schedule(&host->finish_tasklet);
  53561. + return handled;
  53562. + }
  53563. +
  53564. + if (!host->use_dma) {
  53565. + BUG_ON(!host->blocks);
  53566. + host->blocks--;
  53567. + if ((host->blocks == 0) || host->data->error) {
  53568. + /* Cancel the timer */
  53569. + del_timer(&host->pio_timer);
  53570. +
  53571. + bcm2835_sdhost_finish_data(host);
  53572. + } else {
  53573. + bcm2835_sdhost_transfer_pio(host);
  53574. +
  53575. + /* Reset the timer */
  53576. + mod_timer(&host->pio_timer,
  53577. + jiffies + host->pio_timeout);
  53578. + }
  53579. + } else if (host->data->flags & MMC_DATA_WRITE) {
  53580. + dma_chan = host->dma_chan_tx;
  53581. + dir_data = DMA_TO_DEVICE;
  53582. + dma_unmap_sg(dma_chan->device->dev,
  53583. + host->data->sg, host->data->sg_len,
  53584. + dir_data);
  53585. +
  53586. + bcm2835_sdhost_finish_data(host);
  53587. + }
  53588. +
  53589. + return handled;
  53590. +}
  53591. +
  53592. +
  53593. +static irqreturn_t bcm2835_sdhost_irq(int irq, void *dev_id)
  53594. +{
  53595. + irqreturn_t result = IRQ_NONE;
  53596. + struct bcm2835_host *host = dev_id;
  53597. + u32 unexpected = 0, early = 0;
  53598. + int loops = 0;
  53599. +#ifndef CONFIG_ARCH_BCM2835
  53600. + int cardint = 0;
  53601. +#endif
  53602. + spin_lock(&host->lock);
  53603. +
  53604. + for (loops = 0; loops < 1; loops++) {
  53605. + u32 intmask, handled;
  53606. +
  53607. + intmask = bcm2835_sdhost_read(host, SDHSTS);
  53608. + handled = intmask & (SDHSTS_BUSY_IRPT |
  53609. + SDHSTS_BLOCK_IRPT |
  53610. + SDHSTS_SDIO_IRPT |
  53611. + SDHSTS_DATA_FLAG);
  53612. + if ((handled == SDHSTS_DATA_FLAG) &&
  53613. + (loops == 0) && !host->data) {
  53614. + pr_err("%s: sdhost_irq data interrupt 0x%08x even "
  53615. + "though no data operation was in progress.\n",
  53616. + mmc_hostname(host->mmc),
  53617. + (unsigned)intmask);
  53618. +
  53619. + bcm2835_sdhost_dumpregs(host);
  53620. + }
  53621. +
  53622. + if (!handled)
  53623. + break;
  53624. +
  53625. + if (loops)
  53626. + early |= handled;
  53627. +
  53628. + result = IRQ_HANDLED;
  53629. +
  53630. + /* Clear all interrupts and notifications */
  53631. + bcm2835_sdhost_write(host, intmask, SDHSTS);
  53632. +
  53633. + if (intmask & SDHSTS_BUSY_IRPT)
  53634. + handled |= bcm2835_sdhost_busy_irq(host, intmask);
  53635. +
  53636. + /* There is no true data interrupt status bit, so it is
  53637. + necessary to qualify the data flag with the interrupt
  53638. + enable bit */
  53639. + if ((intmask & SDHSTS_DATA_FLAG) &&
  53640. + (host->hcfg & SDHCFG_DATA_IRPT_EN))
  53641. + handled |= bcm2835_sdhost_data_irq(host, intmask);
  53642. +
  53643. + if (intmask & SDHSTS_BLOCK_IRPT)
  53644. + handled |= bcm2835_sdhost_block_irq(host, intmask);
  53645. +
  53646. + if (intmask & SDHSTS_SDIO_IRPT) {
  53647. +#ifndef CONFIG_ARCH_BCM2835
  53648. + cardint = 1;
  53649. +#else
  53650. + bcm2835_sdhost_enable_sdio_irq_nolock(host, false);
  53651. + host->thread_isr |= SDHSTS_SDIO_IRPT;
  53652. + result = IRQ_WAKE_THREAD;
  53653. +#endif
  53654. + }
  53655. +
  53656. + unexpected |= (intmask & ~handled);
  53657. + }
  53658. +
  53659. + mmiowb();
  53660. +
  53661. + spin_unlock(&host->lock);
  53662. +
  53663. + if (early)
  53664. + pr_debug("%s: early %x (loops %d)\n",
  53665. + mmc_hostname(host->mmc), early, loops);
  53666. +
  53667. + if (unexpected) {
  53668. + pr_err("%s: unexpected interrupt 0x%08x.\n",
  53669. + mmc_hostname(host->mmc), unexpected);
  53670. + bcm2835_sdhost_dumpregs(host);
  53671. + }
  53672. +
  53673. +#ifndef CONFIG_ARCH_BCM2835
  53674. + if (cardint)
  53675. + mmc_signal_sdio_irq(host->mmc);
  53676. +#endif
  53677. +
  53678. + return result;
  53679. +}
  53680. +
  53681. +#ifdef CONFIG_ARCH_BCM2835
  53682. +static irqreturn_t bcm2835_sdhost_thread_irq(int irq, void *dev_id)
  53683. +{
  53684. + struct bcm2835_host *host = dev_id;
  53685. + unsigned long flags;
  53686. + u32 isr;
  53687. +
  53688. + spin_lock_irqsave(&host->lock, flags);
  53689. + isr = host->thread_isr;
  53690. + host->thread_isr = 0;
  53691. + spin_unlock_irqrestore(&host->lock, flags);
  53692. +
  53693. + if (isr & SDHSTS_SDIO_IRPT) {
  53694. + sdio_run_irqs(host->mmc);
  53695. +
  53696. +/* Is this necessary? Why re-enable an interrupt which is enabled?
  53697. + spin_lock_irqsave(&host->lock, flags);
  53698. + if (host->flags & SDHSTS_SDIO_IRPT_ENABLED)
  53699. + bcm2835_sdhost_enable_sdio_irq_nolock(host, true);
  53700. + spin_unlock_irqrestore(&host->lock, flags);
  53701. +*/
  53702. + }
  53703. +
  53704. + return isr ? IRQ_HANDLED : IRQ_NONE;
  53705. +}
  53706. +#endif
  53707. +
  53708. +
  53709. +
  53710. +void bcm2835_sdhost_set_clock(struct bcm2835_host *host, unsigned int clock)
  53711. +{
  53712. + int div = 0; /* Initialized for compiler warning */
  53713. + unsigned int input_clock = clock;
  53714. +
  53715. + if (host->debug)
  53716. + pr_info("%s: set_clock(%d)\n", mmc_hostname(host->mmc), clock);
  53717. +
  53718. + if ((host->overclock_50 > 50) &&
  53719. + (clock == 50*MHZ)) {
  53720. + clock = host->overclock_50 * MHZ + (MHZ - 1);
  53721. + }
  53722. +
  53723. + /* The SDCDIV register has 11 bits, and holds (div - 2).
  53724. + But in data mode the max is 50MHz wihout a minimum, and only the
  53725. + bottom 3 bits are used. Since the switch over is automatic (unless
  53726. + we have marked the card as slow...), chosen values have to make
  53727. + sense in both modes.
  53728. + Ident mode must be 100-400KHz, so can range check the requested
  53729. + clock. CMD15 must be used to return to data mode, so this can be
  53730. + monitored.
  53731. +
  53732. + clock 250MHz -> 0->125MHz, 1->83.3MHz, 2->62.5MHz, 3->50.0MHz
  53733. + 4->41.7MHz, 5->35.7MHz, 6->31.3MHz, 7->27.8MHz
  53734. +
  53735. + 623->400KHz/27.8MHz
  53736. + reset value (507)->491159/50MHz
  53737. +
  53738. + BUT, the 3-bit clock divisor in data mode is too small if the
  53739. + core clock is higher than 250MHz, so instead use the SLOW_CARD
  53740. + configuration bit to force the use of the ident clock divisor
  53741. + at all times.
  53742. + */
  53743. +
  53744. + host->mmc->actual_clock = 0;
  53745. +
  53746. + if (clock < 100000) {
  53747. + /* Can't stop the clock, but make it as slow as possible
  53748. + * to show willing
  53749. + */
  53750. + host->cdiv = SDCDIV_MAX_CDIV;
  53751. + bcm2835_sdhost_write(host, host->cdiv, SDCDIV);
  53752. + return;
  53753. + }
  53754. +
  53755. + div = host->max_clk / clock;
  53756. + if (div < 2)
  53757. + div = 2;
  53758. + if ((host->max_clk / div) > clock)
  53759. + div++;
  53760. + div -= 2;
  53761. +
  53762. + if (div > SDCDIV_MAX_CDIV)
  53763. + div = SDCDIV_MAX_CDIV;
  53764. +
  53765. + clock = host->max_clk / (div + 2);
  53766. + host->mmc->actual_clock = clock;
  53767. +
  53768. + if (clock > input_clock) {
  53769. + /* Save the closest value, to make it easier
  53770. + to reduce in the event of error */
  53771. + host->overclock_50 = (clock/MHZ);
  53772. +
  53773. + if (clock != host->overclock) {
  53774. + pr_warn("%s: overclocking to %dHz\n",
  53775. + mmc_hostname(host->mmc), clock);
  53776. + host->overclock = clock;
  53777. + }
  53778. + }
  53779. + else if (host->overclock)
  53780. + {
  53781. + host->overclock = 0;
  53782. + if (clock == 50 * MHZ)
  53783. + pr_warn("%s: cancelling overclock\n",
  53784. + mmc_hostname(host->mmc));
  53785. + }
  53786. +
  53787. + host->cdiv = div;
  53788. + bcm2835_sdhost_write(host, host->cdiv, SDCDIV);
  53789. +
  53790. + /* Set the timeout to 500ms */
  53791. + bcm2835_sdhost_write(host, host->mmc->actual_clock/2, SDTOUT);
  53792. +
  53793. + if (host->debug)
  53794. + pr_info("%s: clock=%d -> max_clk=%d, cdiv=%x (actual clock %d)\n",
  53795. + mmc_hostname(host->mmc), input_clock,
  53796. + host->max_clk, host->cdiv, host->mmc->actual_clock);
  53797. +}
  53798. +
  53799. +static void bcm2835_sdhost_request(struct mmc_host *mmc, struct mmc_request *mrq)
  53800. +{
  53801. + struct bcm2835_host *host;
  53802. + unsigned long flags;
  53803. +
  53804. + host = mmc_priv(mmc);
  53805. +
  53806. + if (host->debug) {
  53807. + struct mmc_command *cmd = mrq->cmd;
  53808. + BUG_ON(!cmd);
  53809. + if (cmd->data)
  53810. + pr_info("%s: cmd %d 0x%x (flags 0x%x) - %s %d*%d\n",
  53811. + mmc_hostname(mmc),
  53812. + cmd->opcode, cmd->arg, cmd->flags,
  53813. + (cmd->data->flags & MMC_DATA_READ) ?
  53814. + "read" : "write", cmd->data->blocks,
  53815. + cmd->data->blksz);
  53816. + else
  53817. + pr_info("%s: cmd %d 0x%x (flags 0x%x)\n",
  53818. + mmc_hostname(mmc),
  53819. + cmd->opcode, cmd->arg, cmd->flags);
  53820. + }
  53821. +
  53822. + /* Reset the error statuses in case this is a retry */
  53823. + if (mrq->cmd)
  53824. + mrq->cmd->error = 0;
  53825. + if (mrq->data)
  53826. + mrq->data->error = 0;
  53827. + if (mrq->stop)
  53828. + mrq->stop->error = 0;
  53829. +
  53830. + if (mrq->data && !is_power_of_2(mrq->data->blksz)) {
  53831. + pr_err("%s: unsupported block size (%d bytes)\n",
  53832. + mmc_hostname(mmc), mrq->data->blksz);
  53833. + mrq->cmd->error = -EINVAL;
  53834. + mmc_request_done(mmc, mrq);
  53835. + return;
  53836. + }
  53837. +
  53838. + spin_lock_irqsave(&host->lock, flags);
  53839. +
  53840. + WARN_ON(host->mrq != NULL);
  53841. +
  53842. + host->mrq = mrq;
  53843. +
  53844. + if (mrq->sbc)
  53845. + bcm2835_sdhost_send_command(host, mrq->sbc);
  53846. + else
  53847. + bcm2835_sdhost_send_command(host, mrq->cmd);
  53848. +
  53849. + mmiowb();
  53850. + spin_unlock_irqrestore(&host->lock, flags);
  53851. +
  53852. + if (!mrq->sbc && mrq->cmd->data && host->use_dma)
  53853. + /* DMA transfer starts now, PIO starts after irq */
  53854. + bcm2835_sdhost_transfer_dma(host);
  53855. +
  53856. + if (!host->use_busy)
  53857. + bcm2835_sdhost_finish_command(host);
  53858. +}
  53859. +
  53860. +
  53861. +static void bcm2835_sdhost_set_ios(struct mmc_host *mmc, struct mmc_ios *ios)
  53862. +{
  53863. +
  53864. + struct bcm2835_host *host = mmc_priv(mmc);
  53865. + unsigned long flags;
  53866. +
  53867. + if (host->debug)
  53868. + pr_info("%s: ios clock %d, pwr %d, bus_width %d, "
  53869. + "timing %d, vdd %d, drv_type %d\n",
  53870. + mmc_hostname(mmc),
  53871. + ios->clock, ios->power_mode, ios->bus_width,
  53872. + ios->timing, ios->signal_voltage, ios->drv_type);
  53873. +
  53874. + spin_lock_irqsave(&host->lock, flags);
  53875. +
  53876. + if (!ios->clock || ios->clock != host->clock) {
  53877. + bcm2835_sdhost_set_clock(host, ios->clock);
  53878. + host->clock = ios->clock;
  53879. + }
  53880. +
  53881. + /* set bus width */
  53882. + host->hcfg &= ~SDHCFG_WIDE_EXT_BUS;
  53883. + if (ios->bus_width == MMC_BUS_WIDTH_4)
  53884. + host->hcfg |= SDHCFG_WIDE_EXT_BUS;
  53885. +
  53886. + host->hcfg |= SDHCFG_WIDE_INT_BUS;
  53887. +
  53888. + /* Disable clever clock switching, to cope with fast core clocks */
  53889. + host->hcfg |= SDHCFG_SLOW_CARD;
  53890. +
  53891. + bcm2835_sdhost_write(host, host->hcfg, SDHCFG);
  53892. +
  53893. + mmiowb();
  53894. +
  53895. + spin_unlock_irqrestore(&host->lock, flags);
  53896. +}
  53897. +
  53898. +static int bcm2835_sdhost_multi_io_quirk(struct mmc_card *card,
  53899. + unsigned int direction,
  53900. + u32 blk_pos, int blk_size)
  53901. +{
  53902. + /* There is a bug in the host controller hardware that makes
  53903. + reading the final sector of the card as part of a multiple read
  53904. + problematic. Detect that case and shorten the read accordingly.
  53905. + */
  53906. + /* csd.capacity is in weird units - convert to sectors */
  53907. + u32 card_sectors = (card->csd.capacity << (card->csd.read_blkbits - 9));
  53908. +
  53909. + if ((direction == MMC_DATA_READ) &&
  53910. + ((blk_pos + blk_size) == card_sectors))
  53911. + blk_size--;
  53912. +
  53913. + return blk_size;
  53914. +}
  53915. +
  53916. +
  53917. +static struct mmc_host_ops bcm2835_sdhost_ops = {
  53918. + .request = bcm2835_sdhost_request,
  53919. + .set_ios = bcm2835_sdhost_set_ios,
  53920. + .enable_sdio_irq = bcm2835_sdhost_enable_sdio_irq,
  53921. + .hw_reset = bcm2835_sdhost_reset,
  53922. + .multi_io_quirk = bcm2835_sdhost_multi_io_quirk,
  53923. +};
  53924. +
  53925. +
  53926. +static void bcm2835_sdhost_tasklet_finish(unsigned long param)
  53927. +{
  53928. + struct bcm2835_host *host;
  53929. + unsigned long flags;
  53930. + struct mmc_request *mrq;
  53931. +
  53932. + host = (struct bcm2835_host *)param;
  53933. +
  53934. + spin_lock_irqsave(&host->lock, flags);
  53935. +
  53936. + /*
  53937. + * If this tasklet gets rescheduled while running, it will
  53938. + * be run again afterwards but without any active request.
  53939. + */
  53940. + if (!host->mrq) {
  53941. + spin_unlock_irqrestore(&host->lock, flags);
  53942. + return;
  53943. + }
  53944. +
  53945. + del_timer(&host->timer);
  53946. +
  53947. + mrq = host->mrq;
  53948. +
  53949. + /* Drop the overclock after any data corruption, or after any
  53950. + error overclocked */
  53951. + if (host->overclock) {
  53952. + if ((mrq->cmd && mrq->cmd->error) ||
  53953. + (mrq->data && mrq->data->error) ||
  53954. + (mrq->stop && mrq->stop->error)) {
  53955. + host->overclock_50--;
  53956. + pr_warn("%s: reducing overclock due to errors\n",
  53957. + mmc_hostname(host->mmc));
  53958. + bcm2835_sdhost_set_clock(host,50*MHZ);
  53959. + mrq->cmd->error = -EILSEQ;
  53960. + mrq->cmd->retries = 1;
  53961. + }
  53962. + }
  53963. +
  53964. + host->mrq = NULL;
  53965. + host->cmd = NULL;
  53966. + host->data = NULL;
  53967. +
  53968. + mmiowb();
  53969. +
  53970. + spin_unlock_irqrestore(&host->lock, flags);
  53971. + mmc_request_done(host->mmc, mrq);
  53972. +}
  53973. +
  53974. +
  53975. +
  53976. +int bcm2835_sdhost_add_host(struct bcm2835_host *host)
  53977. +{
  53978. + struct mmc_host *mmc;
  53979. + struct dma_slave_config cfg;
  53980. + char pio_limit_string[20];
  53981. + int ret;
  53982. +
  53983. + mmc = host->mmc;
  53984. +
  53985. + bcm2835_sdhost_reset_internal(host);
  53986. +
  53987. + mmc->f_max = host->max_clk;
  53988. + mmc->f_min = host->max_clk / SDCDIV_MAX_CDIV;
  53989. +
  53990. + mmc->max_busy_timeout = (~(unsigned int)0)/(mmc->f_max/1000);
  53991. +
  53992. + pr_debug("f_max %d, f_min %d, max_busy_timeout %d\n",
  53993. + mmc->f_max, mmc->f_min, mmc->max_busy_timeout);
  53994. +
  53995. + /* host controller capabilities */
  53996. + mmc->caps |= /* MMC_CAP_SDIO_IRQ |*/ MMC_CAP_4_BIT_DATA |
  53997. + MMC_CAP_SD_HIGHSPEED | MMC_CAP_MMC_HIGHSPEED |
  53998. + MMC_CAP_NEEDS_POLL | MMC_CAP_HW_RESET | MMC_CAP_ERASE |
  53999. + (ALLOW_CMD23 * MMC_CAP_CMD23);
  54000. +
  54001. + spin_lock_init(&host->lock);
  54002. +
  54003. + if (host->allow_dma) {
  54004. + if (IS_ERR_OR_NULL(host->dma_chan_tx) ||
  54005. + IS_ERR_OR_NULL(host->dma_chan_rx)) {
  54006. + pr_err("%s: unable to initialise DMA channels. "
  54007. + "Falling back to PIO\n",
  54008. + mmc_hostname(mmc));
  54009. + host->have_dma = false;
  54010. + } else {
  54011. + host->have_dma = true;
  54012. +
  54013. + cfg.src_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  54014. + cfg.dst_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  54015. + cfg.slave_id = 13; /* DREQ channel */
  54016. +
  54017. + cfg.direction = DMA_MEM_TO_DEV;
  54018. + cfg.src_addr = 0;
  54019. + cfg.dst_addr = host->phys_addr + SDDATA;
  54020. + ret = dmaengine_slave_config(host->dma_chan_tx, &cfg);
  54021. +
  54022. + cfg.direction = DMA_DEV_TO_MEM;
  54023. + cfg.src_addr = host->phys_addr + SDDATA;
  54024. + cfg.dst_addr = 0;
  54025. + ret = dmaengine_slave_config(host->dma_chan_rx, &cfg);
  54026. + }
  54027. + } else {
  54028. + host->have_dma = false;
  54029. + }
  54030. +
  54031. + mmc->max_segs = 128;
  54032. + mmc->max_req_size = 524288;
  54033. + mmc->max_seg_size = mmc->max_req_size;
  54034. + mmc->max_blk_size = 512;
  54035. + mmc->max_blk_count = 65535;
  54036. +
  54037. + /* report supported voltage ranges */
  54038. + mmc->ocr_avail = MMC_VDD_32_33 | MMC_VDD_33_34;
  54039. +
  54040. + tasklet_init(&host->finish_tasklet,
  54041. + bcm2835_sdhost_tasklet_finish, (unsigned long)host);
  54042. +
  54043. + setup_timer(&host->timer, bcm2835_sdhost_timeout,
  54044. + (unsigned long)host);
  54045. +
  54046. + setup_timer(&host->pio_timer, bcm2835_sdhost_pio_timeout,
  54047. + (unsigned long)host);
  54048. +
  54049. + bcm2835_sdhost_init(host, 0);
  54050. +#ifndef CONFIG_ARCH_BCM2835
  54051. + ret = request_irq(host->irq, bcm2835_sdhost_irq, 0 /*IRQF_SHARED*/,
  54052. + mmc_hostname(mmc), host);
  54053. +#else
  54054. + ret = request_threaded_irq(host->irq, bcm2835_sdhost_irq,
  54055. + bcm2835_sdhost_thread_irq,
  54056. + IRQF_SHARED, mmc_hostname(mmc), host);
  54057. +#endif
  54058. + if (ret) {
  54059. + pr_err("%s: failed to request IRQ %d: %d\n",
  54060. + mmc_hostname(mmc), host->irq, ret);
  54061. + goto untasklet;
  54062. + }
  54063. +
  54064. + mmiowb();
  54065. + mmc_add_host(mmc);
  54066. +
  54067. + pio_limit_string[0] = '\0';
  54068. + if (host->have_dma && (host->pio_limit > 0))
  54069. + sprintf(pio_limit_string, " (>%d)", host->pio_limit);
  54070. + pr_info("%s: %s loaded - DMA %s%s\n",
  54071. + mmc_hostname(mmc), DRIVER_NAME,
  54072. + host->have_dma ? "enabled" : "disabled",
  54073. + pio_limit_string);
  54074. +
  54075. + return 0;
  54076. +
  54077. +untasklet:
  54078. + tasklet_kill(&host->finish_tasklet);
  54079. +
  54080. + return ret;
  54081. +}
  54082. +
  54083. +static int bcm2835_sdhost_probe(struct platform_device *pdev)
  54084. +{
  54085. + struct device *dev = &pdev->dev;
  54086. + struct device_node *node = dev->of_node;
  54087. + struct clk *clk;
  54088. + struct resource *iomem;
  54089. + struct bcm2835_host *host;
  54090. + struct mmc_host *mmc;
  54091. + int ret;
  54092. +
  54093. + pr_debug("bcm2835_sdhost_probe\n");
  54094. + mmc = mmc_alloc_host(sizeof(*host), dev);
  54095. + if (!mmc)
  54096. + return -ENOMEM;
  54097. +
  54098. + mmc->ops = &bcm2835_sdhost_ops;
  54099. + host = mmc_priv(mmc);
  54100. + host->mmc = mmc;
  54101. + host->pio_timeout = msecs_to_jiffies(500);
  54102. + host->max_delay = 1; /* Warn if over 1ms */
  54103. + spin_lock_init(&host->lock);
  54104. +
  54105. + iomem = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  54106. + host->ioaddr = devm_ioremap_resource(dev, iomem);
  54107. + if (IS_ERR(host->ioaddr)) {
  54108. + ret = PTR_ERR(host->ioaddr);
  54109. + goto err;
  54110. + }
  54111. +
  54112. + host->phys_addr = iomem->start + BCM2835_VCMMU_SHIFT;
  54113. + pr_debug(" - ioaddr %lx, iomem->start %lx, phys_addr %lx\n",
  54114. + (unsigned long)host->ioaddr,
  54115. + (unsigned long)iomem->start,
  54116. + (unsigned long)host->phys_addr);
  54117. +
  54118. + host->allow_dma = ALLOW_DMA;
  54119. +
  54120. + if (node) {
  54121. + /* Read any custom properties */
  54122. + of_property_read_u32(node,
  54123. + "brcm,delay-after-stop",
  54124. + &host->delay_after_stop);
  54125. + of_property_read_u32(node,
  54126. + "brcm,overclock-50",
  54127. + &host->overclock_50);
  54128. + of_property_read_u32(node,
  54129. + "brcm,pio-limit",
  54130. + &host->pio_limit);
  54131. + host->allow_dma = ALLOW_DMA &&
  54132. + !of_property_read_bool(node, "brcm,force-pio");
  54133. + host->debug = of_property_read_bool(node, "brcm,debug");
  54134. + }
  54135. +
  54136. + if (host->allow_dma) {
  54137. + if (node) {
  54138. + host->dma_chan_tx =
  54139. + dma_request_slave_channel(dev, "tx");
  54140. + host->dma_chan_rx =
  54141. + dma_request_slave_channel(dev, "rx");
  54142. + } else {
  54143. + dma_cap_mask_t mask;
  54144. +
  54145. + dma_cap_zero(mask);
  54146. + /* we don't care about the channel, any would work */
  54147. + dma_cap_set(DMA_SLAVE, mask);
  54148. + host->dma_chan_tx =
  54149. + dma_request_channel(mask, NULL, NULL);
  54150. + host->dma_chan_rx =
  54151. + dma_request_channel(mask, NULL, NULL);
  54152. + }
  54153. + }
  54154. +
  54155. + clk = devm_clk_get(dev, NULL);
  54156. + if (IS_ERR(clk)) {
  54157. + dev_err(dev, "could not get clk\n");
  54158. + ret = PTR_ERR(clk);
  54159. + goto err;
  54160. + }
  54161. +
  54162. + host->max_clk = clk_get_rate(clk);
  54163. +
  54164. + host->irq = platform_get_irq(pdev, 0);
  54165. + if (host->irq <= 0) {
  54166. + dev_err(dev, "get IRQ failed\n");
  54167. + ret = -EINVAL;
  54168. + goto err;
  54169. + }
  54170. +
  54171. + pr_debug(" - max_clk %lx, irq %d\n",
  54172. + (unsigned long)host->max_clk,
  54173. + (int)host->irq);
  54174. +
  54175. + if (node)
  54176. + mmc_of_parse(mmc);
  54177. + else
  54178. + mmc->caps |= MMC_CAP_4_BIT_DATA;
  54179. +
  54180. + ret = bcm2835_sdhost_add_host(host);
  54181. + if (ret)
  54182. + goto err;
  54183. +
  54184. + platform_set_drvdata(pdev, host);
  54185. +
  54186. + pr_debug("bcm2835_sdhost_probe -> OK\n");
  54187. +
  54188. + return 0;
  54189. +
  54190. +err:
  54191. + pr_debug("bcm2835_sdhost_probe -> err %d\n", ret);
  54192. + mmc_free_host(mmc);
  54193. +
  54194. + return ret;
  54195. +}
  54196. +
  54197. +static int bcm2835_sdhost_remove(struct platform_device *pdev)
  54198. +{
  54199. + struct bcm2835_host *host = platform_get_drvdata(pdev);
  54200. +
  54201. + pr_debug("bcm2835_sdhost_remove\n");
  54202. +
  54203. + mmc_remove_host(host->mmc);
  54204. +
  54205. + bcm2835_sdhost_set_power(host, false);
  54206. +
  54207. + free_irq(host->irq, host);
  54208. +
  54209. + del_timer_sync(&host->timer);
  54210. +
  54211. + tasklet_kill(&host->finish_tasklet);
  54212. +
  54213. + mmc_free_host(host->mmc);
  54214. + platform_set_drvdata(pdev, NULL);
  54215. +
  54216. + pr_debug("bcm2835_sdhost_remove - OK\n");
  54217. + return 0;
  54218. +}
  54219. +
  54220. +
  54221. +static const struct of_device_id bcm2835_sdhost_match[] = {
  54222. + { .compatible = "brcm,bcm2835-sdhost" },
  54223. + { }
  54224. +};
  54225. +MODULE_DEVICE_TABLE(of, bcm2835_sdhost_match);
  54226. +
  54227. +
  54228. +
  54229. +static struct platform_driver bcm2835_sdhost_driver = {
  54230. + .probe = bcm2835_sdhost_probe,
  54231. + .remove = bcm2835_sdhost_remove,
  54232. + .driver = {
  54233. + .name = DRIVER_NAME,
  54234. + .owner = THIS_MODULE,
  54235. + .of_match_table = bcm2835_sdhost_match,
  54236. + },
  54237. +};
  54238. +module_platform_driver(bcm2835_sdhost_driver);
  54239. +
  54240. +MODULE_ALIAS("platform:sdhost-bcm2835");
  54241. +MODULE_DESCRIPTION("BCM2835 SDHost driver");
  54242. +MODULE_LICENSE("GPL v2");
  54243. +MODULE_AUTHOR("Phil Elwell");
  54244. diff -Nur linux-4.1.13.orig/drivers/mmc/host/Kconfig linux-rpi/drivers/mmc/host/Kconfig
  54245. --- linux-4.1.13.orig/drivers/mmc/host/Kconfig 2015-11-09 23:34:10.000000000 +0100
  54246. +++ linux-rpi/drivers/mmc/host/Kconfig 2015-11-29 09:42:38.087220413 +0100
  54247. @@ -4,6 +4,45 @@
  54248. comment "MMC/SD/SDIO Host Controller Drivers"
  54249. +config MMC_BCM2835
  54250. + tristate "MMC support on BCM2835"
  54251. + depends on MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835
  54252. + help
  54253. + This selects the MMC Interface on BCM2835.
  54254. +
  54255. + If you have a controller with this interface, say Y or M here.
  54256. +
  54257. + If unsure, say N.
  54258. +
  54259. +config MMC_BCM2835_DMA
  54260. + bool "DMA support on BCM2835 Arasan controller"
  54261. + depends on MMC_BCM2835
  54262. + help
  54263. + Enable DMA support on the Arasan SDHCI controller in Broadcom 2708
  54264. + based chips.
  54265. +
  54266. + If unsure, say N.
  54267. +
  54268. +config MMC_BCM2835_PIO_DMA_BARRIER
  54269. + int "Block count limit for PIO transfers"
  54270. + depends on MMC_BCM2835 && MMC_BCM2835_DMA
  54271. + range 0 256
  54272. + default 2
  54273. + help
  54274. + The inclusive limit in bytes under which PIO will be used instead of DMA
  54275. +
  54276. + If unsure, say 2 here.
  54277. +
  54278. +config MMC_BCM2835_SDHOST
  54279. + tristate "Support for the SDHost controller on BCM2708/9"
  54280. + depends on MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835
  54281. + help
  54282. + This selects the SDHost controller on BCM2835/6.
  54283. +
  54284. + If you have a controller with this interface, say Y or M here.
  54285. +
  54286. + If unsure, say N.
  54287. +
  54288. config MMC_ARMMMCI
  54289. tristate "ARM AMBA Multimedia Card Interface support"
  54290. depends on ARM_AMBA
  54291. diff -Nur linux-4.1.13.orig/drivers/mmc/host/Makefile linux-rpi/drivers/mmc/host/Makefile
  54292. --- linux-4.1.13.orig/drivers/mmc/host/Makefile 2015-11-09 23:34:10.000000000 +0100
  54293. +++ linux-rpi/drivers/mmc/host/Makefile 2015-11-29 09:42:38.087220413 +0100
  54294. @@ -18,6 +18,8 @@
  54295. obj-$(CONFIG_MMC_SDHCI_SIRF) += sdhci-sirf.o
  54296. obj-$(CONFIG_MMC_SDHCI_F_SDH30) += sdhci_f_sdh30.o
  54297. obj-$(CONFIG_MMC_SDHCI_SPEAR) += sdhci-spear.o
  54298. +obj-$(CONFIG_MMC_BCM2835_SDHOST) += bcm2835-sdhost.o
  54299. +obj-$(CONFIG_MMC_BCM2835) += bcm2835-mmc.o
  54300. obj-$(CONFIG_MMC_WBSD) += wbsd.o
  54301. obj-$(CONFIG_MMC_AU1X) += au1xmmc.o
  54302. obj-$(CONFIG_MMC_OMAP) += omap.o
  54303. diff -Nur linux-4.1.13.orig/drivers/mmc/host/omap_hsmmc.c linux-rpi/drivers/mmc/host/omap_hsmmc.c
  54304. --- linux-4.1.13.orig/drivers/mmc/host/omap_hsmmc.c 2015-11-09 23:34:10.000000000 +0100
  54305. +++ linux-rpi/drivers/mmc/host/omap_hsmmc.c 2015-11-29 09:42:38.095219881 +0100
  54306. @@ -1749,7 +1749,9 @@
  54307. }
  54308. static int omap_hsmmc_multi_io_quirk(struct mmc_card *card,
  54309. - unsigned int direction, int blk_size)
  54310. + unsigned int direction,
  54311. + u32 blk_pos,
  54312. + int blk_size)
  54313. {
  54314. /* This controller can't do multiblock reads due to hw bugs */
  54315. if (direction == MMC_DATA_READ)
  54316. diff -Nur linux-4.1.13.orig/drivers/mmc/host/sh_mobile_sdhi.c linux-rpi/drivers/mmc/host/sh_mobile_sdhi.c
  54317. --- linux-4.1.13.orig/drivers/mmc/host/sh_mobile_sdhi.c 2015-11-09 23:34:10.000000000 +0100
  54318. +++ linux-rpi/drivers/mmc/host/sh_mobile_sdhi.c 2015-11-29 09:42:38.099219616 +0100
  54319. @@ -170,7 +170,9 @@
  54320. }
  54321. static int sh_mobile_sdhi_multi_io_quirk(struct mmc_card *card,
  54322. - unsigned int direction, int blk_size)
  54323. + unsigned int direction,
  54324. + u32 blk_pos,
  54325. + int blk_size)
  54326. {
  54327. /*
  54328. * In Renesas controllers, when performing a
  54329. diff -Nur linux-4.1.13.orig/drivers/mmc/host/tmio_mmc_pio.c linux-rpi/drivers/mmc/host/tmio_mmc_pio.c
  54330. --- linux-4.1.13.orig/drivers/mmc/host/tmio_mmc_pio.c 2015-11-09 23:34:10.000000000 +0100
  54331. +++ linux-rpi/drivers/mmc/host/tmio_mmc_pio.c 2015-11-29 09:42:38.103219350 +0100
  54332. @@ -1001,7 +1001,9 @@
  54333. }
  54334. static int tmio_multi_io_quirk(struct mmc_card *card,
  54335. - unsigned int direction, int blk_size)
  54336. + unsigned int direction,
  54337. + u32 blk_pos,
  54338. + int blk_size)
  54339. {
  54340. struct tmio_mmc_host *host = mmc_priv(card->host);
  54341. diff -Nur linux-4.1.13.orig/drivers/mtd/nand/bcm2835_smi_nand.c linux-rpi/drivers/mtd/nand/bcm2835_smi_nand.c
  54342. --- linux-4.1.13.orig/drivers/mtd/nand/bcm2835_smi_nand.c 1970-01-01 01:00:00.000000000 +0100
  54343. +++ linux-rpi/drivers/mtd/nand/bcm2835_smi_nand.c 2015-11-29 09:42:38.147216426 +0100
  54344. @@ -0,0 +1,268 @@
  54345. +/**
  54346. + * NAND flash driver for Broadcom Secondary Memory Interface
  54347. + *
  54348. + * Written by Luke Wren <luke@raspberrypi.org>
  54349. + * Copyright (c) 2015, Raspberry Pi (Trading) Ltd.
  54350. + *
  54351. + * Redistribution and use in source and binary forms, with or without
  54352. + * modification, are permitted provided that the following conditions
  54353. + * are met:
  54354. + * 1. Redistributions of source code must retain the above copyright
  54355. + * notice, this list of conditions, and the following disclaimer,
  54356. + * without modification.
  54357. + * 2. Redistributions in binary form must reproduce the above copyright
  54358. + * notice, this list of conditions and the following disclaimer in the
  54359. + * documentation and/or other materials provided with the distribution.
  54360. + * 3. The names of the above-listed copyright holders may not be used
  54361. + * to endorse or promote products derived from this software without
  54362. + * specific prior written permission.
  54363. + *
  54364. + * ALTERNATIVELY, this software may be distributed under the terms of the
  54365. + * GNU General Public License ("GPL") version 2, as published by the Free
  54366. + * Software Foundation.
  54367. + *
  54368. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  54369. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  54370. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  54371. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  54372. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  54373. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  54374. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  54375. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  54376. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  54377. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  54378. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  54379. + */
  54380. +
  54381. +#include <linux/kernel.h>
  54382. +#include <linux/module.h>
  54383. +#include <linux/of.h>
  54384. +#include <linux/platform_device.h>
  54385. +#include <linux/slab.h>
  54386. +#include <linux/mtd/nand.h>
  54387. +#include <linux/mtd/partitions.h>
  54388. +
  54389. +#include <linux/broadcom/bcm2835_smi.h>
  54390. +
  54391. +#define DEVICE_NAME "bcm2835-smi-nand"
  54392. +#define DRIVER_NAME "smi-nand-bcm2835"
  54393. +
  54394. +struct bcm2835_smi_nand_host {
  54395. + struct bcm2835_smi_instance *smi_inst;
  54396. + struct nand_chip nand_chip;
  54397. + struct mtd_info mtd;
  54398. + struct device *dev;
  54399. +};
  54400. +
  54401. +/****************************************************************************
  54402. +*
  54403. +* NAND functionality implementation
  54404. +*
  54405. +****************************************************************************/
  54406. +
  54407. +#define SMI_NAND_CLE_PIN 0x01
  54408. +#define SMI_NAND_ALE_PIN 0x02
  54409. +
  54410. +static inline void bcm2835_smi_nand_cmd_ctrl(struct mtd_info *mtd, int cmd,
  54411. + unsigned int ctrl)
  54412. +{
  54413. + uint32_t cmd32 = cmd;
  54414. + uint32_t addr = ~(SMI_NAND_CLE_PIN | SMI_NAND_ALE_PIN);
  54415. + struct bcm2835_smi_nand_host *host = dev_get_drvdata(mtd->dev.parent);
  54416. + struct bcm2835_smi_instance *inst = host->smi_inst;
  54417. +
  54418. + if (ctrl & NAND_CLE)
  54419. + addr |= SMI_NAND_CLE_PIN;
  54420. + if (ctrl & NAND_ALE)
  54421. + addr |= SMI_NAND_ALE_PIN;
  54422. + /* Lower ALL the CS pins! */
  54423. + if (ctrl & NAND_NCE)
  54424. + addr &= (SMI_NAND_CLE_PIN | SMI_NAND_ALE_PIN);
  54425. +
  54426. + bcm2835_smi_set_address(inst, addr);
  54427. +
  54428. + if (cmd != NAND_CMD_NONE)
  54429. + bcm2835_smi_write_buf(inst, &cmd32, 1);
  54430. +}
  54431. +
  54432. +static inline uint8_t bcm2835_smi_nand_read_byte(struct mtd_info *mtd)
  54433. +{
  54434. + uint8_t byte;
  54435. + struct bcm2835_smi_nand_host *host = dev_get_drvdata(mtd->dev.parent);
  54436. + struct bcm2835_smi_instance *inst = host->smi_inst;
  54437. +
  54438. + bcm2835_smi_read_buf(inst, &byte, 1);
  54439. + return byte;
  54440. +}
  54441. +
  54442. +static inline void bcm2835_smi_nand_write_byte(struct mtd_info *mtd,
  54443. + uint8_t byte)
  54444. +{
  54445. + struct bcm2835_smi_nand_host *host = dev_get_drvdata(mtd->dev.parent);
  54446. + struct bcm2835_smi_instance *inst = host->smi_inst;
  54447. +
  54448. + bcm2835_smi_write_buf(inst, &byte, 1);
  54449. +}
  54450. +
  54451. +static inline void bcm2835_smi_nand_write_buf(struct mtd_info *mtd,
  54452. + const uint8_t *buf, int len)
  54453. +{
  54454. + struct bcm2835_smi_nand_host *host = dev_get_drvdata(mtd->dev.parent);
  54455. + struct bcm2835_smi_instance *inst = host->smi_inst;
  54456. +
  54457. + bcm2835_smi_write_buf(inst, buf, len);
  54458. +}
  54459. +
  54460. +static inline void bcm2835_smi_nand_read_buf(struct mtd_info *mtd,
  54461. + uint8_t *buf, int len)
  54462. +{
  54463. + struct bcm2835_smi_nand_host *host = dev_get_drvdata(mtd->dev.parent);
  54464. + struct bcm2835_smi_instance *inst = host->smi_inst;
  54465. +
  54466. + bcm2835_smi_read_buf(inst, buf, len);
  54467. +}
  54468. +
  54469. +/****************************************************************************
  54470. +*
  54471. +* Probe and remove functions
  54472. +*
  54473. +***************************************************************************/
  54474. +
  54475. +static int bcm2835_smi_nand_probe(struct platform_device *pdev)
  54476. +{
  54477. + struct bcm2835_smi_nand_host *host;
  54478. + struct nand_chip *this;
  54479. + struct mtd_info *mtd;
  54480. + struct device *dev = &pdev->dev;
  54481. + struct device_node *node = dev->of_node, *smi_node;
  54482. + struct mtd_part_parser_data ppdata;
  54483. + struct smi_settings *smi_settings;
  54484. + struct bcm2835_smi_instance *smi_inst;
  54485. + int ret = -ENXIO;
  54486. +
  54487. + if (!node) {
  54488. + dev_err(dev, "No device tree node supplied!");
  54489. + return -EINVAL;
  54490. + }
  54491. +
  54492. + smi_node = of_parse_phandle(node, "smi_handle", 0);
  54493. +
  54494. + /* Request use of SMI peripheral: */
  54495. + smi_inst = bcm2835_smi_get(smi_node);
  54496. +
  54497. + if (!smi_inst) {
  54498. + dev_err(dev, "Could not register with SMI.");
  54499. + return -EPROBE_DEFER;
  54500. + }
  54501. +
  54502. + /* Set SMI timing and bus width */
  54503. +
  54504. + smi_settings = bcm2835_smi_get_settings_from_regs(smi_inst);
  54505. +
  54506. + smi_settings->data_width = SMI_WIDTH_8BIT;
  54507. + smi_settings->read_setup_time = 2;
  54508. + smi_settings->read_hold_time = 1;
  54509. + smi_settings->read_pace_time = 1;
  54510. + smi_settings->read_strobe_time = 3;
  54511. +
  54512. + smi_settings->write_setup_time = 2;
  54513. + smi_settings->write_hold_time = 1;
  54514. + smi_settings->write_pace_time = 1;
  54515. + smi_settings->write_strobe_time = 3;
  54516. +
  54517. + bcm2835_smi_set_regs_from_settings(smi_inst);
  54518. +
  54519. + host = devm_kzalloc(dev, sizeof(struct bcm2835_smi_nand_host),
  54520. + GFP_KERNEL);
  54521. + if (!host)
  54522. + return -ENOMEM;
  54523. +
  54524. + host->dev = dev;
  54525. + host->smi_inst = smi_inst;
  54526. +
  54527. + platform_set_drvdata(pdev, host);
  54528. +
  54529. + /* Link the structures together */
  54530. +
  54531. + this = &host->nand_chip;
  54532. + mtd = &host->mtd;
  54533. + mtd->priv = this;
  54534. + mtd->owner = THIS_MODULE;
  54535. + mtd->dev.parent = dev;
  54536. + mtd->name = DRIVER_NAME;
  54537. + ppdata.of_node = node;
  54538. +
  54539. + /* 20 us command delay time... */
  54540. + this->chip_delay = 20;
  54541. +
  54542. + this->priv = host;
  54543. + this->cmd_ctrl = bcm2835_smi_nand_cmd_ctrl;
  54544. + this->read_byte = bcm2835_smi_nand_read_byte;
  54545. + this->write_byte = bcm2835_smi_nand_write_byte;
  54546. + this->write_buf = bcm2835_smi_nand_write_buf;
  54547. + this->read_buf = bcm2835_smi_nand_read_buf;
  54548. +
  54549. + this->ecc.mode = NAND_ECC_SOFT;
  54550. +
  54551. + /* Should never be accessed directly: */
  54552. +
  54553. + this->IO_ADDR_R = (void *)0xdeadbeef;
  54554. + this->IO_ADDR_W = (void *)0xdeadbeef;
  54555. +
  54556. + /* First scan to find the device and get the page size */
  54557. +
  54558. + if (nand_scan_ident(mtd, 1, NULL))
  54559. + return -ENXIO;
  54560. +
  54561. + /* Second phase scan */
  54562. +
  54563. + if (nand_scan_tail(mtd))
  54564. + return -ENXIO;
  54565. +
  54566. + ret = mtd_device_parse_register(mtd, NULL, &ppdata, NULL, 0);
  54567. + if (!ret)
  54568. + return 0;
  54569. +
  54570. + nand_release(mtd);
  54571. + return -EINVAL;
  54572. +}
  54573. +
  54574. +static int bcm2835_smi_nand_remove(struct platform_device *pdev)
  54575. +{
  54576. + struct bcm2835_smi_nand_host *host = platform_get_drvdata(pdev);
  54577. +
  54578. + nand_release(&host->mtd);
  54579. +
  54580. + return 0;
  54581. +}
  54582. +
  54583. +/****************************************************************************
  54584. +*
  54585. +* Register the driver with device tree
  54586. +*
  54587. +***************************************************************************/
  54588. +
  54589. +static const struct of_device_id bcm2835_smi_nand_of_match[] = {
  54590. + {.compatible = "brcm,bcm2835-smi-nand",},
  54591. + { /* sentinel */ }
  54592. +};
  54593. +
  54594. +MODULE_DEVICE_TABLE(of, bcm2835_smi_nand_of_match);
  54595. +
  54596. +static struct platform_driver bcm2835_smi_nand_driver = {
  54597. + .probe = bcm2835_smi_nand_probe,
  54598. + .remove = bcm2835_smi_nand_remove,
  54599. + .driver = {
  54600. + .name = DRIVER_NAME,
  54601. + .owner = THIS_MODULE,
  54602. + .of_match_table = bcm2835_smi_nand_of_match,
  54603. + },
  54604. +};
  54605. +
  54606. +module_platform_driver(bcm2835_smi_nand_driver);
  54607. +
  54608. +MODULE_ALIAS("platform:smi-nand-bcm2835");
  54609. +MODULE_LICENSE("GPL");
  54610. +MODULE_DESCRIPTION
  54611. + ("Driver for NAND chips using Broadcom Secondary Memory Interface");
  54612. +MODULE_AUTHOR("Luke Wren <luke@raspberrypi.org>");
  54613. diff -Nur linux-4.1.13.orig/drivers/mtd/nand/Kconfig linux-rpi/drivers/mtd/nand/Kconfig
  54614. --- linux-4.1.13.orig/drivers/mtd/nand/Kconfig 2015-11-09 23:34:10.000000000 +0100
  54615. +++ linux-rpi/drivers/mtd/nand/Kconfig 2015-11-29 09:42:38.143216692 +0100
  54616. @@ -41,6 +41,13 @@
  54617. tristate
  54618. default n
  54619. +config MTD_NAND_BCM2835_SMI
  54620. + tristate "Use Broadcom's Secondary Memory Interface as a NAND controller (BCM283x)"
  54621. + depends on (MACH_BCM2708 || MACH_BCM2709 || ARCH_BCM2835) && BCM2835_SMI && MTD_NAND
  54622. + default m
  54623. + help
  54624. + Uses the BCM2835's SMI peripheral as a NAND controller.
  54625. +
  54626. config MTD_NAND_DENALI
  54627. tristate "Support Denali NAND controller"
  54628. depends on HAS_DMA
  54629. diff -Nur linux-4.1.13.orig/drivers/mtd/nand/Makefile linux-rpi/drivers/mtd/nand/Makefile
  54630. --- linux-4.1.13.orig/drivers/mtd/nand/Makefile 2015-11-09 23:34:10.000000000 +0100
  54631. +++ linux-rpi/drivers/mtd/nand/Makefile 2015-11-29 09:42:38.143216692 +0100
  54632. @@ -14,6 +14,7 @@
  54633. obj-$(CONFIG_MTD_NAND_DENALI_PCI) += denali_pci.o
  54634. obj-$(CONFIG_MTD_NAND_DENALI_DT) += denali_dt.o
  54635. obj-$(CONFIG_MTD_NAND_AU1550) += au1550nd.o
  54636. +obj-$(CONFIG_MTD_NAND_BCM2835_SMI) += bcm2835_smi_nand.o
  54637. obj-$(CONFIG_MTD_NAND_BF5XX) += bf5xx_nand.o
  54638. obj-$(CONFIG_MTD_NAND_S3C2410) += s3c2410.o
  54639. obj-$(CONFIG_MTD_NAND_DAVINCI) += davinci_nand.o
  54640. diff -Nur linux-4.1.13.orig/drivers/net/ethernet/microchip/enc28j60.c linux-rpi/drivers/net/ethernet/microchip/enc28j60.c
  54641. --- linux-4.1.13.orig/drivers/net/ethernet/microchip/enc28j60.c 2015-11-09 23:34:10.000000000 +0100
  54642. +++ linux-rpi/drivers/net/ethernet/microchip/enc28j60.c 2015-11-29 09:42:38.431197557 +0100
  54643. @@ -1630,10 +1630,21 @@
  54644. return 0;
  54645. }
  54646. +#ifdef CONFIG_OF
  54647. +static const struct of_device_id enc28j60_of_match[] = {
  54648. + { .compatible = "microchip,enc28j60", },
  54649. + { /* sentinel */ }
  54650. +};
  54651. +MODULE_DEVICE_TABLE(of, enc28j60_of_match);
  54652. +#endif
  54653. +
  54654. static struct spi_driver enc28j60_driver = {
  54655. .driver = {
  54656. .name = DRV_NAME,
  54657. .owner = THIS_MODULE,
  54658. +#ifdef CONFIG_OF
  54659. + .of_match_table = enc28j60_of_match,
  54660. +#endif
  54661. },
  54662. .probe = enc28j60_probe,
  54663. .remove = enc28j60_remove,
  54664. diff -Nur linux-4.1.13.orig/drivers/net/usb/smsc95xx.c linux-rpi/drivers/net/usb/smsc95xx.c
  54665. --- linux-4.1.13.orig/drivers/net/usb/smsc95xx.c 2015-11-09 23:34:10.000000000 +0100
  54666. +++ linux-rpi/drivers/net/usb/smsc95xx.c 2015-11-29 09:42:38.627184535 +0100
  54667. @@ -59,6 +59,7 @@
  54668. #define SUSPEND_SUSPEND3 (0x08)
  54669. #define SUSPEND_ALLMODES (SUSPEND_SUSPEND0 | SUSPEND_SUSPEND1 | \
  54670. SUSPEND_SUSPEND2 | SUSPEND_SUSPEND3)
  54671. +#define MAC_ADDR_LEN (6)
  54672. struct smsc95xx_priv {
  54673. u32 mac_cr;
  54674. @@ -70,10 +71,14 @@
  54675. u8 suspend_flags;
  54676. };
  54677. -static bool turbo_mode = true;
  54678. +static bool turbo_mode = false;
  54679. module_param(turbo_mode, bool, 0644);
  54680. MODULE_PARM_DESC(turbo_mode, "Enable multiple frames per Rx transaction");
  54681. +static char *macaddr = ":";
  54682. +module_param(macaddr, charp, 0);
  54683. +MODULE_PARM_DESC(macaddr, "MAC address");
  54684. +
  54685. static int __must_check __smsc95xx_read_reg(struct usbnet *dev, u32 index,
  54686. u32 *data, int in_pm)
  54687. {
  54688. @@ -763,8 +768,59 @@
  54689. return generic_mii_ioctl(&dev->mii, if_mii(rq), cmd, NULL);
  54690. }
  54691. +/* Check the macaddr module parameter for a MAC address */
  54692. +static int smsc95xx_is_macaddr_param(struct usbnet *dev, u8 *dev_mac)
  54693. +{
  54694. + int i, j, got_num, num;
  54695. + u8 mtbl[MAC_ADDR_LEN];
  54696. +
  54697. + if (macaddr[0] == ':')
  54698. + return 0;
  54699. +
  54700. + i = 0;
  54701. + j = 0;
  54702. + num = 0;
  54703. + got_num = 0;
  54704. + while (j < MAC_ADDR_LEN) {
  54705. + if (macaddr[i] && macaddr[i] != ':') {
  54706. + got_num++;
  54707. + if ('0' <= macaddr[i] && macaddr[i] <= '9')
  54708. + num = num * 16 + macaddr[i] - '0';
  54709. + else if ('A' <= macaddr[i] && macaddr[i] <= 'F')
  54710. + num = num * 16 + 10 + macaddr[i] - 'A';
  54711. + else if ('a' <= macaddr[i] && macaddr[i] <= 'f')
  54712. + num = num * 16 + 10 + macaddr[i] - 'a';
  54713. + else
  54714. + break;
  54715. + i++;
  54716. + } else if (got_num == 2) {
  54717. + mtbl[j++] = (u8) num;
  54718. + num = 0;
  54719. + got_num = 0;
  54720. + i++;
  54721. + } else {
  54722. + break;
  54723. + }
  54724. + }
  54725. +
  54726. + if (j == MAC_ADDR_LEN) {
  54727. + netif_dbg(dev, ifup, dev->net, "Overriding MAC address with: "
  54728. + "%02x:%02x:%02x:%02x:%02x:%02x\n", mtbl[0], mtbl[1], mtbl[2],
  54729. + mtbl[3], mtbl[4], mtbl[5]);
  54730. + for (i = 0; i < MAC_ADDR_LEN; i++)
  54731. + dev_mac[i] = mtbl[i];
  54732. + return 1;
  54733. + } else {
  54734. + return 0;
  54735. + }
  54736. +}
  54737. +
  54738. static void smsc95xx_init_mac_address(struct usbnet *dev)
  54739. {
  54740. + /* Check module parameters */
  54741. + if (smsc95xx_is_macaddr_param(dev, dev->net->dev_addr))
  54742. + return;
  54743. +
  54744. /* try reading mac address from EEPROM */
  54745. if (smsc95xx_read_eeprom(dev, EEPROM_MAC_OFFSET, ETH_ALEN,
  54746. dev->net->dev_addr) == 0) {
  54747. @@ -1785,7 +1841,6 @@
  54748. if (dev->net->features & NETIF_F_RXCSUM)
  54749. smsc95xx_rx_csum_offload(skb);
  54750. skb_trim(skb, skb->len - 4); /* remove fcs */
  54751. - skb->truesize = size + sizeof(struct sk_buff);
  54752. return 1;
  54753. }
  54754. @@ -1803,7 +1858,6 @@
  54755. if (dev->net->features & NETIF_F_RXCSUM)
  54756. smsc95xx_rx_csum_offload(ax_skb);
  54757. skb_trim(ax_skb, ax_skb->len - 4); /* remove fcs */
  54758. - ax_skb->truesize = size + sizeof(struct sk_buff);
  54759. usbnet_skb_return(dev, ax_skb);
  54760. }
  54761. diff -Nur linux-4.1.13.orig/drivers/net/wireless/Kconfig linux-rpi/drivers/net/wireless/Kconfig
  54762. --- linux-4.1.13.orig/drivers/net/wireless/Kconfig 2015-11-09 23:34:10.000000000 +0100
  54763. +++ linux-rpi/drivers/net/wireless/Kconfig 2015-11-29 09:43:36.719324606 +0100
  54764. @@ -277,6 +277,7 @@
  54765. source "drivers/net/wireless/orinoco/Kconfig"
  54766. source "drivers/net/wireless/p54/Kconfig"
  54767. source "drivers/net/wireless/rt2x00/Kconfig"
  54768. +source "drivers/net/wireless/mediatek/Kconfig"
  54769. source "drivers/net/wireless/rtlwifi/Kconfig"
  54770. source "drivers/net/wireless/ti/Kconfig"
  54771. source "drivers/net/wireless/zd1211rw/Kconfig"
  54772. diff -Nur linux-4.1.13.orig/drivers/net/wireless/Makefile linux-rpi/drivers/net/wireless/Makefile
  54773. --- linux-4.1.13.orig/drivers/net/wireless/Makefile 2015-11-09 23:34:10.000000000 +0100
  54774. +++ linux-rpi/drivers/net/wireless/Makefile 2015-11-29 09:43:52.726261026 +0100
  54775. @@ -45,6 +45,8 @@
  54776. obj-$(CONFIG_IWLEGACY) += iwlegacy/
  54777. obj-$(CONFIG_RT2X00) += rt2x00/
  54778. +obj-$(CONFIG_WL_MEDIATEK) += mediatek/
  54779. +
  54780. obj-$(CONFIG_P54_COMMON) += p54/
  54781. obj-$(CONFIG_ATH_CARDS) += ath/
  54782. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/Kconfig linux-rpi/drivers/net/wireless/mediatek/Kconfig
  54783. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/Kconfig 1970-01-01 01:00:00.000000000 +0100
  54784. +++ linux-rpi/drivers/net/wireless/mediatek/Kconfig 2015-11-29 09:42:38.887167260 +0100
  54785. @@ -0,0 +1,10 @@
  54786. +menuconfig WL_MEDIATEK
  54787. + bool "Mediatek Wireless LAN support"
  54788. + ---help---
  54789. + Enable community drivers for MediaTek WiFi devices.
  54790. + Those drivers make use of the Linux mac80211 stack.
  54791. +
  54792. +
  54793. +if WL_MEDIATEK
  54794. +source "drivers/net/wireless/mediatek/mt7601u/Kconfig"
  54795. +endif # WL_MEDIATEK
  54796. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/Makefile linux-rpi/drivers/net/wireless/mediatek/Makefile
  54797. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/Makefile 1970-01-01 01:00:00.000000000 +0100
  54798. +++ linux-rpi/drivers/net/wireless/mediatek/Makefile 2015-11-29 09:42:38.887167260 +0100
  54799. @@ -0,0 +1 @@
  54800. +obj-$(CONFIG_MT7601U) += mt7601u/
  54801. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/core.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/core.c
  54802. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/core.c 1970-01-01 01:00:00.000000000 +0100
  54803. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/core.c 2015-11-29 09:42:38.887167260 +0100
  54804. @@ -0,0 +1,78 @@
  54805. +/*
  54806. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  54807. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  54808. + *
  54809. + * This program is free software; you can redistribute it and/or modify
  54810. + * it under the terms of the GNU General Public License version 2
  54811. + * as published by the Free Software Foundation
  54812. + *
  54813. + * This program is distributed in the hope that it will be useful,
  54814. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  54815. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  54816. + * GNU General Public License for more details.
  54817. + */
  54818. +
  54819. +#include "mt7601u.h"
  54820. +
  54821. +int mt7601u_wait_asic_ready(struct mt7601u_dev *dev)
  54822. +{
  54823. + int i = 100;
  54824. + u32 val;
  54825. +
  54826. + do {
  54827. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  54828. + return -EIO;
  54829. +
  54830. + val = mt7601u_rr(dev, MT_MAC_CSR0);
  54831. + if (val && ~val)
  54832. + return 0;
  54833. +
  54834. + udelay(10);
  54835. + } while (i--);
  54836. +
  54837. + return -EIO;
  54838. +}
  54839. +
  54840. +bool mt76_poll(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val,
  54841. + int timeout)
  54842. +{
  54843. + u32 cur;
  54844. +
  54845. + timeout /= 10;
  54846. + do {
  54847. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  54848. + return false;
  54849. +
  54850. + cur = mt7601u_rr(dev, offset) & mask;
  54851. + if (cur == val)
  54852. + return true;
  54853. +
  54854. + udelay(10);
  54855. + } while (timeout-- > 0);
  54856. +
  54857. + dev_err(dev->dev, "Error: Time out with reg %08x\n", offset);
  54858. +
  54859. + return false;
  54860. +}
  54861. +
  54862. +bool mt76_poll_msec(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val,
  54863. + int timeout)
  54864. +{
  54865. + u32 cur;
  54866. +
  54867. + timeout /= 10;
  54868. + do {
  54869. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  54870. + return false;
  54871. +
  54872. + cur = mt7601u_rr(dev, offset) & mask;
  54873. + if (cur == val)
  54874. + return true;
  54875. +
  54876. + msleep(10);
  54877. + } while (timeout-- > 0);
  54878. +
  54879. + dev_err(dev->dev, "Error: Time out with reg %08x\n", offset);
  54880. +
  54881. + return false;
  54882. +}
  54883. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/debugfs.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/debugfs.c
  54884. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/debugfs.c 1970-01-01 01:00:00.000000000 +0100
  54885. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/debugfs.c 2015-11-29 09:42:38.887167260 +0100
  54886. @@ -0,0 +1,172 @@
  54887. +/*
  54888. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  54889. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  54890. + *
  54891. + * This program is free software; you can redistribute it and/or modify
  54892. + * it under the terms of the GNU General Public License version 2
  54893. + * as published by the Free Software Foundation
  54894. + *
  54895. + * This program is distributed in the hope that it will be useful,
  54896. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  54897. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  54898. + * GNU General Public License for more details.
  54899. + */
  54900. +
  54901. +#include <linux/debugfs.h>
  54902. +
  54903. +#include "mt7601u.h"
  54904. +#include "eeprom.h"
  54905. +
  54906. +static int
  54907. +mt76_reg_set(void *data, u64 val)
  54908. +{
  54909. + struct mt7601u_dev *dev = data;
  54910. +
  54911. + mt76_wr(dev, dev->debugfs_reg, val);
  54912. + return 0;
  54913. +}
  54914. +
  54915. +static int
  54916. +mt76_reg_get(void *data, u64 *val)
  54917. +{
  54918. + struct mt7601u_dev *dev = data;
  54919. +
  54920. + *val = mt76_rr(dev, dev->debugfs_reg);
  54921. + return 0;
  54922. +}
  54923. +
  54924. +DEFINE_SIMPLE_ATTRIBUTE(fops_regval, mt76_reg_get, mt76_reg_set, "0x%08llx\n");
  54925. +
  54926. +static int
  54927. +mt7601u_ampdu_stat_read(struct seq_file *file, void *data)
  54928. +{
  54929. + struct mt7601u_dev *dev = file->private;
  54930. + int i, j;
  54931. +
  54932. +#define stat_printf(grp, off, name) \
  54933. + seq_printf(file, #name ":\t%llu\n", dev->stats.grp[off])
  54934. +
  54935. + stat_printf(rx_stat, 0, rx_crc_err);
  54936. + stat_printf(rx_stat, 1, rx_phy_err);
  54937. + stat_printf(rx_stat, 2, rx_false_cca);
  54938. + stat_printf(rx_stat, 3, rx_plcp_err);
  54939. + stat_printf(rx_stat, 4, rx_fifo_overflow);
  54940. + stat_printf(rx_stat, 5, rx_duplicate);
  54941. +
  54942. + stat_printf(tx_stat, 0, tx_fail_cnt);
  54943. + stat_printf(tx_stat, 1, tx_bcn_cnt);
  54944. + stat_printf(tx_stat, 2, tx_success);
  54945. + stat_printf(tx_stat, 3, tx_retransmit);
  54946. + stat_printf(tx_stat, 4, tx_zero_len);
  54947. + stat_printf(tx_stat, 5, tx_underflow);
  54948. +
  54949. + stat_printf(aggr_stat, 0, non_aggr_tx);
  54950. + stat_printf(aggr_stat, 1, aggr_tx);
  54951. +
  54952. + stat_printf(zero_len_del, 0, tx_zero_len_del);
  54953. + stat_printf(zero_len_del, 1, rx_zero_len_del);
  54954. +#undef stat_printf
  54955. +
  54956. + seq_puts(file, "Aggregations stats:\n");
  54957. + for (i = 0; i < 4; i++) {
  54958. + for (j = 0; j < 8; j++)
  54959. + seq_printf(file, "%08llx ",
  54960. + dev->stats.aggr_n[i * 8 + j]);
  54961. + seq_putc(file, '\n');
  54962. + }
  54963. +
  54964. + seq_printf(file, "recent average AMPDU len: %d\n",
  54965. + atomic_read(&dev->avg_ampdu_len));
  54966. +
  54967. + return 0;
  54968. +}
  54969. +
  54970. +static int
  54971. +mt7601u_ampdu_stat_open(struct inode *inode, struct file *f)
  54972. +{
  54973. + return single_open(f, mt7601u_ampdu_stat_read, inode->i_private);
  54974. +}
  54975. +
  54976. +static const struct file_operations fops_ampdu_stat = {
  54977. + .open = mt7601u_ampdu_stat_open,
  54978. + .read = seq_read,
  54979. + .llseek = seq_lseek,
  54980. + .release = single_release,
  54981. +};
  54982. +
  54983. +static int
  54984. +mt7601u_eeprom_param_read(struct seq_file *file, void *data)
  54985. +{
  54986. + struct mt7601u_dev *dev = file->private;
  54987. + struct mt7601u_rate_power *rp = &dev->ee->power_rate_table;
  54988. + struct tssi_data *td = &dev->ee->tssi_data;
  54989. + int i;
  54990. +
  54991. + seq_printf(file, "RF freq offset: %hhx\n", dev->ee->rf_freq_off);
  54992. + seq_printf(file, "RSSI offset: %hhx %hhx\n",
  54993. + dev->ee->rssi_offset[0], dev->ee->rssi_offset[1]);
  54994. + seq_printf(file, "Reference temp: %hhx\n", dev->ee->ref_temp);
  54995. + seq_printf(file, "LNA gain: %hhx\n", dev->ee->lna_gain);
  54996. + seq_printf(file, "Reg channels: %hhu-%hhu\n", dev->ee->reg.start,
  54997. + dev->ee->reg.start + dev->ee->reg.num - 1);
  54998. +
  54999. + seq_puts(file, "Per rate power:\n");
  55000. + for (i = 0; i < 2; i++)
  55001. + seq_printf(file, "\t raw:%02hhx bw20:%02hhx bw40:%02hhx\n",
  55002. + rp->cck[i].raw, rp->cck[i].bw20, rp->cck[i].bw40);
  55003. + for (i = 0; i < 4; i++)
  55004. + seq_printf(file, "\t raw:%02hhx bw20:%02hhx bw40:%02hhx\n",
  55005. + rp->ofdm[i].raw, rp->ofdm[i].bw20, rp->ofdm[i].bw40);
  55006. + for (i = 0; i < 4; i++)
  55007. + seq_printf(file, "\t raw:%02hhx bw20:%02hhx bw40:%02hhx\n",
  55008. + rp->ht[i].raw, rp->ht[i].bw20, rp->ht[i].bw40);
  55009. +
  55010. + seq_puts(file, "Per channel power:\n");
  55011. + for (i = 0; i < 7; i++)
  55012. + seq_printf(file, "\t tx_power ch%u:%02hhx ch%u:%02hhx\n",
  55013. + i * 2 + 1, dev->ee->chan_pwr[i * 2],
  55014. + i * 2 + 2, dev->ee->chan_pwr[i * 2 + 1]);
  55015. +
  55016. + if (!dev->ee->tssi_enabled)
  55017. + return 0;
  55018. +
  55019. + seq_puts(file, "TSSI:\n");
  55020. + seq_printf(file, "\t slope:%02hhx\n", td->slope);
  55021. + seq_printf(file, "\t offset=%02hhx %02hhx %02hhx\n",
  55022. + td->offset[0], td->offset[1], td->offset[2]);
  55023. + seq_printf(file, "\t delta_off:%08x\n", td->tx0_delta_offset);
  55024. +
  55025. + return 0;
  55026. +}
  55027. +
  55028. +static int
  55029. +mt7601u_eeprom_param_open(struct inode *inode, struct file *f)
  55030. +{
  55031. + return single_open(f, mt7601u_eeprom_param_read, inode->i_private);
  55032. +}
  55033. +
  55034. +static const struct file_operations fops_eeprom_param = {
  55035. + .open = mt7601u_eeprom_param_open,
  55036. + .read = seq_read,
  55037. + .llseek = seq_lseek,
  55038. + .release = single_release,
  55039. +};
  55040. +
  55041. +void mt7601u_init_debugfs(struct mt7601u_dev *dev)
  55042. +{
  55043. + struct dentry *dir;
  55044. +
  55045. + dir = debugfs_create_dir("mt7601u", dev->hw->wiphy->debugfsdir);
  55046. + if (!dir)
  55047. + return;
  55048. +
  55049. + debugfs_create_u8("temperature", S_IRUSR, dir, &dev->raw_temp);
  55050. + debugfs_create_u32("temp_mode", S_IRUSR, dir, &dev->temp_mode);
  55051. +
  55052. + debugfs_create_u32("regidx", S_IRUSR | S_IWUSR, dir, &dev->debugfs_reg);
  55053. + debugfs_create_file("regval", S_IRUSR | S_IWUSR, dir, dev,
  55054. + &fops_regval);
  55055. + debugfs_create_file("ampdu_stat", S_IRUSR, dir, dev, &fops_ampdu_stat);
  55056. + debugfs_create_file("eeprom_param", S_IRUSR, dir, dev,
  55057. + &fops_eeprom_param);
  55058. +}
  55059. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/dma.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/dma.c
  55060. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/dma.c 1970-01-01 01:00:00.000000000 +0100
  55061. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/dma.c 2015-11-29 09:42:38.887167260 +0100
  55062. @@ -0,0 +1,529 @@
  55063. +/*
  55064. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  55065. + *
  55066. + * This program is free software; you can redistribute it and/or modify
  55067. + * it under the terms of the GNU General Public License version 2
  55068. + * as published by the Free Software Foundation
  55069. + *
  55070. + * This program is distributed in the hope that it will be useful,
  55071. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  55072. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  55073. + * GNU General Public License for more details.
  55074. + */
  55075. +
  55076. +#include "mt7601u.h"
  55077. +#include "dma.h"
  55078. +#include "usb.h"
  55079. +#include "trace.h"
  55080. +
  55081. +static int mt7601u_submit_rx_buf(struct mt7601u_dev *dev,
  55082. + struct mt7601u_dma_buf_rx *e, gfp_t gfp);
  55083. +
  55084. +static unsigned int ieee80211_get_hdrlen_from_buf(const u8 *data, unsigned len)
  55085. +{
  55086. + const struct ieee80211_hdr *hdr = (const struct ieee80211_hdr *)data;
  55087. + unsigned int hdrlen;
  55088. +
  55089. + if (unlikely(len < 10))
  55090. + return 0;
  55091. + hdrlen = ieee80211_hdrlen(hdr->frame_control);
  55092. + if (unlikely(hdrlen > len))
  55093. + return 0;
  55094. + return hdrlen;
  55095. +}
  55096. +
  55097. +static struct sk_buff *
  55098. +mt7601u_rx_skb_from_seg(struct mt7601u_dev *dev, struct mt7601u_rxwi *rxwi,
  55099. + void *data, u32 seg_len, u32 truesize, struct page *p)
  55100. +{
  55101. + struct sk_buff *skb;
  55102. + u32 true_len, hdr_len = 0, copy, frag;
  55103. +
  55104. + skb = alloc_skb(p ? 128 : seg_len, GFP_ATOMIC);
  55105. + if (!skb)
  55106. + return NULL;
  55107. +
  55108. + true_len = mt76_mac_process_rx(dev, skb, data, rxwi);
  55109. + if (!true_len || true_len > seg_len)
  55110. + goto bad_frame;
  55111. +
  55112. + hdr_len = ieee80211_get_hdrlen_from_buf(data, true_len);
  55113. + if (!hdr_len)
  55114. + goto bad_frame;
  55115. +
  55116. + if (rxwi->rxinfo & cpu_to_le32(MT_RXINFO_L2PAD)) {
  55117. + memcpy(skb_put(skb, hdr_len), data, hdr_len);
  55118. +
  55119. + data += hdr_len + 2;
  55120. + true_len -= hdr_len;
  55121. + hdr_len = 0;
  55122. + }
  55123. +
  55124. + /* If not doing paged RX allocated skb will always have enough space */
  55125. + copy = (true_len <= skb_tailroom(skb)) ? true_len : hdr_len + 8;
  55126. + frag = true_len - copy;
  55127. +
  55128. + memcpy(skb_put(skb, copy), data, copy);
  55129. + data += copy;
  55130. +
  55131. + if (frag) {
  55132. + skb_add_rx_frag(skb, 0, p, data - page_address(p),
  55133. + frag, truesize);
  55134. + get_page(p);
  55135. + }
  55136. +
  55137. + return skb;
  55138. +
  55139. +bad_frame:
  55140. + dev_err_ratelimited(dev->dev, "Error: incorrect frame len:%u hdr:%u\n",
  55141. + true_len, hdr_len);
  55142. + dev_kfree_skb(skb);
  55143. + return NULL;
  55144. +}
  55145. +
  55146. +static void mt7601u_rx_process_seg(struct mt7601u_dev *dev, u8 *data,
  55147. + u32 seg_len, struct page *p)
  55148. +{
  55149. + struct sk_buff *skb;
  55150. + struct mt7601u_rxwi *rxwi;
  55151. + u32 fce_info, truesize = seg_len;
  55152. +
  55153. + /* DMA_INFO field at the beginning of the segment contains only some of
  55154. + * the information, we need to read the FCE descriptor from the end.
  55155. + */
  55156. + fce_info = get_unaligned_le32(data + seg_len - MT_FCE_INFO_LEN);
  55157. + seg_len -= MT_FCE_INFO_LEN;
  55158. +
  55159. + data += MT_DMA_HDR_LEN;
  55160. + seg_len -= MT_DMA_HDR_LEN;
  55161. +
  55162. + rxwi = (struct mt7601u_rxwi *) data;
  55163. + data += sizeof(struct mt7601u_rxwi);
  55164. + seg_len -= sizeof(struct mt7601u_rxwi);
  55165. +
  55166. + if (unlikely(rxwi->zero[0] || rxwi->zero[1] || rxwi->zero[2]))
  55167. + dev_err_once(dev->dev, "Error: RXWI zero fields are set\n");
  55168. + if (unlikely(MT76_GET(MT_RXD_INFO_TYPE, fce_info)))
  55169. + dev_err_once(dev->dev, "Error: RX path seen a non-pkt urb\n");
  55170. +
  55171. + trace_mt_rx(dev, rxwi, fce_info);
  55172. +
  55173. + skb = mt7601u_rx_skb_from_seg(dev, rxwi, data, seg_len, truesize, p);
  55174. + if (!skb)
  55175. + return;
  55176. +
  55177. + spin_lock(&dev->mac_lock);
  55178. + ieee80211_rx(dev->hw, skb);
  55179. + spin_unlock(&dev->mac_lock);
  55180. +}
  55181. +
  55182. +static u16 mt7601u_rx_next_seg_len(u8 *data, u32 data_len)
  55183. +{
  55184. + u32 min_seg_len = MT_DMA_HDR_LEN + MT_RX_INFO_LEN +
  55185. + sizeof(struct mt7601u_rxwi) + MT_FCE_INFO_LEN;
  55186. + u16 dma_len = get_unaligned_le16(data);
  55187. +
  55188. + if (data_len < min_seg_len ||
  55189. + WARN_ON(!dma_len) ||
  55190. + WARN_ON(dma_len + MT_DMA_HDRS > data_len) ||
  55191. + WARN_ON(dma_len & 0x3))
  55192. + return 0;
  55193. +
  55194. + return MT_DMA_HDRS + dma_len;
  55195. +}
  55196. +
  55197. +static void
  55198. +mt7601u_rx_process_entry(struct mt7601u_dev *dev, struct mt7601u_dma_buf_rx *e)
  55199. +{
  55200. + u32 seg_len, data_len = e->urb->actual_length;
  55201. + u8 *data = page_address(e->p);
  55202. + struct page *new_p = NULL;
  55203. + int cnt = 0;
  55204. +
  55205. + if (!test_bit(MT7601U_STATE_INITIALIZED, &dev->state))
  55206. + return;
  55207. +
  55208. + /* Copy if there is very little data in the buffer. */
  55209. + if (data_len > 512)
  55210. + new_p = dev_alloc_pages(MT_RX_ORDER);
  55211. +
  55212. + while ((seg_len = mt7601u_rx_next_seg_len(data, data_len))) {
  55213. + mt7601u_rx_process_seg(dev, data, seg_len, new_p ? e->p : NULL);
  55214. +
  55215. + data_len -= seg_len;
  55216. + data += seg_len;
  55217. + cnt++;
  55218. + }
  55219. +
  55220. + if (cnt > 1)
  55221. + trace_mt_rx_dma_aggr(dev, cnt, !!new_p);
  55222. +
  55223. + if (new_p) {
  55224. + /* we have one extra ref from the allocator */
  55225. + __free_pages(e->p, MT_RX_ORDER);
  55226. +
  55227. + e->p = new_p;
  55228. + }
  55229. +}
  55230. +
  55231. +static struct mt7601u_dma_buf_rx *
  55232. +mt7601u_rx_get_pending_entry(struct mt7601u_dev *dev)
  55233. +{
  55234. + struct mt7601u_rx_queue *q = &dev->rx_q;
  55235. + struct mt7601u_dma_buf_rx *buf = NULL;
  55236. + unsigned long flags;
  55237. +
  55238. + spin_lock_irqsave(&dev->rx_lock, flags);
  55239. +
  55240. + if (!q->pending)
  55241. + goto out;
  55242. +
  55243. + buf = &q->e[q->start];
  55244. + q->pending--;
  55245. + q->start = (q->start + 1) % q->entries;
  55246. +out:
  55247. + spin_unlock_irqrestore(&dev->rx_lock, flags);
  55248. +
  55249. + return buf;
  55250. +}
  55251. +
  55252. +static void mt7601u_complete_rx(struct urb *urb)
  55253. +{
  55254. + struct mt7601u_dev *dev = urb->context;
  55255. + struct mt7601u_rx_queue *q = &dev->rx_q;
  55256. + unsigned long flags;
  55257. +
  55258. + spin_lock_irqsave(&dev->rx_lock, flags);
  55259. +
  55260. + if (mt7601u_urb_has_error(urb))
  55261. + dev_err(dev->dev, "Error: RX urb failed:%d\n", urb->status);
  55262. + if (WARN_ONCE(q->e[q->end].urb != urb, "RX urb mismatch"))
  55263. + goto out;
  55264. +
  55265. + q->end = (q->end + 1) % q->entries;
  55266. + q->pending++;
  55267. + tasklet_schedule(&dev->rx_tasklet);
  55268. +out:
  55269. + spin_unlock_irqrestore(&dev->rx_lock, flags);
  55270. +}
  55271. +
  55272. +static void mt7601u_rx_tasklet(unsigned long data)
  55273. +{
  55274. + struct mt7601u_dev *dev = (struct mt7601u_dev *) data;
  55275. + struct mt7601u_dma_buf_rx *e;
  55276. +
  55277. + while ((e = mt7601u_rx_get_pending_entry(dev))) {
  55278. + if (e->urb->status)
  55279. + continue;
  55280. +
  55281. + mt7601u_rx_process_entry(dev, e);
  55282. + mt7601u_submit_rx_buf(dev, e, GFP_ATOMIC);
  55283. + }
  55284. +}
  55285. +
  55286. +static void mt7601u_complete_tx(struct urb *urb)
  55287. +{
  55288. + struct mt7601u_tx_queue *q = urb->context;
  55289. + struct mt7601u_dev *dev = q->dev;
  55290. + struct sk_buff *skb;
  55291. + unsigned long flags;
  55292. +
  55293. + spin_lock_irqsave(&dev->tx_lock, flags);
  55294. +
  55295. + if (mt7601u_urb_has_error(urb))
  55296. + dev_err(dev->dev, "Error: TX urb failed:%d\n", urb->status);
  55297. + if (WARN_ONCE(q->e[q->start].urb != urb, "TX urb mismatch"))
  55298. + goto out;
  55299. +
  55300. + skb = q->e[q->start].skb;
  55301. + trace_mt_tx_dma_done(dev, skb);
  55302. +
  55303. + __skb_queue_tail(&dev->tx_skb_done, skb);
  55304. + tasklet_schedule(&dev->tx_tasklet);
  55305. +
  55306. + if (q->used == q->entries - q->entries / 8)
  55307. + ieee80211_wake_queue(dev->hw, skb_get_queue_mapping(skb));
  55308. +
  55309. + q->start = (q->start + 1) % q->entries;
  55310. + q->used--;
  55311. +out:
  55312. + spin_unlock_irqrestore(&dev->tx_lock, flags);
  55313. +}
  55314. +
  55315. +static void mt7601u_tx_tasklet(unsigned long data)
  55316. +{
  55317. + struct mt7601u_dev *dev = (struct mt7601u_dev *) data;
  55318. + struct sk_buff_head skbs;
  55319. + unsigned long flags;
  55320. +
  55321. + __skb_queue_head_init(&skbs);
  55322. +
  55323. + spin_lock_irqsave(&dev->tx_lock, flags);
  55324. +
  55325. + set_bit(MT7601U_STATE_MORE_STATS, &dev->state);
  55326. + if (!test_and_set_bit(MT7601U_STATE_READING_STATS, &dev->state))
  55327. + queue_delayed_work(dev->stat_wq, &dev->stat_work,
  55328. + msecs_to_jiffies(10));
  55329. +
  55330. + skb_queue_splice_init(&dev->tx_skb_done, &skbs);
  55331. +
  55332. + spin_unlock_irqrestore(&dev->tx_lock, flags);
  55333. +
  55334. + while (!skb_queue_empty(&skbs)) {
  55335. + struct sk_buff *skb = __skb_dequeue(&skbs);
  55336. +
  55337. + mt7601u_tx_status(dev, skb);
  55338. + }
  55339. +}
  55340. +
  55341. +static int mt7601u_dma_submit_tx(struct mt7601u_dev *dev,
  55342. + struct sk_buff *skb, u8 ep)
  55343. +{
  55344. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  55345. + unsigned snd_pipe = usb_sndbulkpipe(usb_dev, dev->out_eps[ep]);
  55346. + struct mt7601u_dma_buf_tx *e;
  55347. + struct mt7601u_tx_queue *q = &dev->tx_q[ep];
  55348. + unsigned long flags;
  55349. + int ret;
  55350. +
  55351. + spin_lock_irqsave(&dev->tx_lock, flags);
  55352. +
  55353. + if (WARN_ON(q->entries <= q->used)) {
  55354. + ret = -ENOSPC;
  55355. + goto out;
  55356. + }
  55357. +
  55358. + e = &q->e[q->end];
  55359. + e->skb = skb;
  55360. + usb_fill_bulk_urb(e->urb, usb_dev, snd_pipe, skb->data, skb->len,
  55361. + mt7601u_complete_tx, q);
  55362. + ret = usb_submit_urb(e->urb, GFP_ATOMIC);
  55363. + if (ret) {
  55364. + /* Special-handle ENODEV from TX urb submission because it will
  55365. + * often be the first ENODEV we see after device is removed.
  55366. + */
  55367. + if (ret == -ENODEV)
  55368. + set_bit(MT7601U_STATE_REMOVED, &dev->state);
  55369. + else
  55370. + dev_err(dev->dev, "Error: TX urb submit failed:%d\n",
  55371. + ret);
  55372. + goto out;
  55373. + }
  55374. +
  55375. + q->end = (q->end + 1) % q->entries;
  55376. + q->used++;
  55377. +
  55378. + if (q->used >= q->entries)
  55379. + ieee80211_stop_queue(dev->hw, skb_get_queue_mapping(skb));
  55380. +out:
  55381. + spin_unlock_irqrestore(&dev->tx_lock, flags);
  55382. +
  55383. + return ret;
  55384. +}
  55385. +
  55386. +/* Map hardware Q to USB endpoint number */
  55387. +static u8 q2ep(u8 qid)
  55388. +{
  55389. + /* TODO: take management packets to queue 5 */
  55390. + return qid + 1;
  55391. +}
  55392. +
  55393. +/* Map USB endpoint number to Q id in the DMA engine */
  55394. +static enum mt76_qsel ep2dmaq(u8 ep)
  55395. +{
  55396. + if (ep == 5)
  55397. + return MT_QSEL_MGMT;
  55398. + return MT_QSEL_EDCA;
  55399. +}
  55400. +
  55401. +int mt7601u_dma_enqueue_tx(struct mt7601u_dev *dev, struct sk_buff *skb,
  55402. + struct mt76_wcid *wcid, int hw_q)
  55403. +{
  55404. + u8 ep = q2ep(hw_q);
  55405. + u32 dma_flags;
  55406. + int ret;
  55407. +
  55408. + dma_flags = MT_TXD_PKT_INFO_80211;
  55409. + if (wcid->hw_key_idx == 0xff)
  55410. + dma_flags |= MT_TXD_PKT_INFO_WIV;
  55411. +
  55412. + ret = mt7601u_dma_skb_wrap_pkt(skb, ep2dmaq(ep), dma_flags);
  55413. + if (ret)
  55414. + return ret;
  55415. +
  55416. + ret = mt7601u_dma_submit_tx(dev, skb, ep);
  55417. + if (ret) {
  55418. + ieee80211_free_txskb(dev->hw, skb);
  55419. + return ret;
  55420. + }
  55421. +
  55422. + return 0;
  55423. +}
  55424. +
  55425. +static void mt7601u_kill_rx(struct mt7601u_dev *dev)
  55426. +{
  55427. + int i;
  55428. + unsigned long flags;
  55429. +
  55430. + spin_lock_irqsave(&dev->rx_lock, flags);
  55431. +
  55432. + for (i = 0; i < dev->rx_q.entries; i++) {
  55433. + int next = dev->rx_q.end;
  55434. +
  55435. + spin_unlock_irqrestore(&dev->rx_lock, flags);
  55436. + usb_poison_urb(dev->rx_q.e[next].urb);
  55437. + spin_lock_irqsave(&dev->rx_lock, flags);
  55438. + }
  55439. +
  55440. + spin_unlock_irqrestore(&dev->rx_lock, flags);
  55441. +}
  55442. +
  55443. +static int mt7601u_submit_rx_buf(struct mt7601u_dev *dev,
  55444. + struct mt7601u_dma_buf_rx *e, gfp_t gfp)
  55445. +{
  55446. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  55447. + u8 *buf = page_address(e->p);
  55448. + unsigned pipe;
  55449. + int ret;
  55450. +
  55451. + pipe = usb_rcvbulkpipe(usb_dev, dev->in_eps[MT_EP_IN_PKT_RX]);
  55452. +
  55453. + usb_fill_bulk_urb(e->urb, usb_dev, pipe, buf, MT_RX_URB_SIZE,
  55454. + mt7601u_complete_rx, dev);
  55455. +
  55456. + trace_mt_submit_urb(dev, e->urb);
  55457. + ret = usb_submit_urb(e->urb, gfp);
  55458. + if (ret)
  55459. + dev_err(dev->dev, "Error: submit RX URB failed:%d\n", ret);
  55460. +
  55461. + return ret;
  55462. +}
  55463. +
  55464. +static int mt7601u_submit_rx(struct mt7601u_dev *dev)
  55465. +{
  55466. + int i, ret;
  55467. +
  55468. + for (i = 0; i < dev->rx_q.entries; i++) {
  55469. + ret = mt7601u_submit_rx_buf(dev, &dev->rx_q.e[i], GFP_KERNEL);
  55470. + if (ret)
  55471. + return ret;
  55472. + }
  55473. +
  55474. + return 0;
  55475. +}
  55476. +
  55477. +static void mt7601u_free_rx(struct mt7601u_dev *dev)
  55478. +{
  55479. + int i;
  55480. +
  55481. + for (i = 0; i < dev->rx_q.entries; i++) {
  55482. + __free_pages(dev->rx_q.e[i].p, MT_RX_ORDER);
  55483. + usb_free_urb(dev->rx_q.e[i].urb);
  55484. + }
  55485. +}
  55486. +
  55487. +static int mt7601u_alloc_rx(struct mt7601u_dev *dev)
  55488. +{
  55489. + int i;
  55490. +
  55491. + memset(&dev->rx_q, 0, sizeof(dev->rx_q));
  55492. + dev->rx_q.dev = dev;
  55493. + dev->rx_q.entries = N_RX_ENTRIES;
  55494. +
  55495. + for (i = 0; i < N_RX_ENTRIES; i++) {
  55496. + dev->rx_q.e[i].urb = usb_alloc_urb(0, GFP_KERNEL);
  55497. + dev->rx_q.e[i].p = dev_alloc_pages(MT_RX_ORDER);
  55498. +
  55499. + if (!dev->rx_q.e[i].urb || !dev->rx_q.e[i].p)
  55500. + return -ENOMEM;
  55501. + }
  55502. +
  55503. + return 0;
  55504. +}
  55505. +
  55506. +static void mt7601u_free_tx_queue(struct mt7601u_tx_queue *q)
  55507. +{
  55508. + int i;
  55509. +
  55510. + WARN_ON(q->used);
  55511. +
  55512. + for (i = 0; i < q->entries; i++) {
  55513. + usb_poison_urb(q->e[i].urb);
  55514. + usb_free_urb(q->e[i].urb);
  55515. + }
  55516. +}
  55517. +
  55518. +static void mt7601u_free_tx(struct mt7601u_dev *dev)
  55519. +{
  55520. + int i;
  55521. +
  55522. + for (i = 0; i < __MT_EP_OUT_MAX; i++)
  55523. + mt7601u_free_tx_queue(&dev->tx_q[i]);
  55524. +}
  55525. +
  55526. +static int mt7601u_alloc_tx_queue(struct mt7601u_dev *dev,
  55527. + struct mt7601u_tx_queue *q)
  55528. +{
  55529. + int i;
  55530. +
  55531. + q->dev = dev;
  55532. + q->entries = N_TX_ENTRIES;
  55533. +
  55534. + for (i = 0; i < N_TX_ENTRIES; i++) {
  55535. + q->e[i].urb = usb_alloc_urb(0, GFP_KERNEL);
  55536. + if (!q->e[i].urb)
  55537. + return -ENOMEM;
  55538. + }
  55539. +
  55540. + return 0;
  55541. +}
  55542. +
  55543. +static int mt7601u_alloc_tx(struct mt7601u_dev *dev)
  55544. +{
  55545. + int i;
  55546. +
  55547. + dev->tx_q = devm_kcalloc(dev->dev, __MT_EP_OUT_MAX,
  55548. + sizeof(*dev->tx_q), GFP_KERNEL);
  55549. +
  55550. + for (i = 0; i < __MT_EP_OUT_MAX; i++)
  55551. + if (mt7601u_alloc_tx_queue(dev, &dev->tx_q[i]))
  55552. + return -ENOMEM;
  55553. +
  55554. + return 0;
  55555. +}
  55556. +
  55557. +int mt7601u_dma_init(struct mt7601u_dev *dev)
  55558. +{
  55559. + int ret = -ENOMEM;
  55560. +
  55561. + tasklet_init(&dev->tx_tasklet, mt7601u_tx_tasklet, (unsigned long) dev);
  55562. + tasklet_init(&dev->rx_tasklet, mt7601u_rx_tasklet, (unsigned long) dev);
  55563. +
  55564. + ret = mt7601u_alloc_tx(dev);
  55565. + if (ret)
  55566. + goto err;
  55567. + ret = mt7601u_alloc_rx(dev);
  55568. + if (ret)
  55569. + goto err;
  55570. +
  55571. + ret = mt7601u_submit_rx(dev);
  55572. + if (ret)
  55573. + goto err;
  55574. +
  55575. + return 0;
  55576. +err:
  55577. + mt7601u_dma_cleanup(dev);
  55578. + return ret;
  55579. +}
  55580. +
  55581. +void mt7601u_dma_cleanup(struct mt7601u_dev *dev)
  55582. +{
  55583. + mt7601u_kill_rx(dev);
  55584. +
  55585. + tasklet_kill(&dev->rx_tasklet);
  55586. +
  55587. + mt7601u_free_rx(dev);
  55588. + mt7601u_free_tx(dev);
  55589. +
  55590. + tasklet_kill(&dev->tx_tasklet);
  55591. +}
  55592. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/dma.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/dma.h
  55593. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/dma.h 1970-01-01 01:00:00.000000000 +0100
  55594. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/dma.h 2015-11-29 09:42:38.887167260 +0100
  55595. @@ -0,0 +1,127 @@
  55596. +/*
  55597. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  55598. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  55599. + *
  55600. + * This program is free software; you can redistribute it and/or modify
  55601. + * it under the terms of the GNU General Public License version 2
  55602. + * as published by the Free Software Foundation
  55603. + *
  55604. + * This program is distributed in the hope that it will be useful,
  55605. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  55606. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  55607. + * GNU General Public License for more details.
  55608. + */
  55609. +
  55610. +#ifndef __MT7601U_DMA_H
  55611. +#define __MT7601U_DMA_H
  55612. +
  55613. +#include <asm/unaligned.h>
  55614. +#include <linux/skbuff.h>
  55615. +
  55616. +#include "util.h"
  55617. +
  55618. +#define MT_DMA_HDR_LEN 4
  55619. +#define MT_RX_INFO_LEN 4
  55620. +#define MT_FCE_INFO_LEN 4
  55621. +#define MT_DMA_HDRS (MT_DMA_HDR_LEN + MT_RX_INFO_LEN)
  55622. +
  55623. +/* Common Tx DMA descriptor fields */
  55624. +#define MT_TXD_INFO_LEN GENMASK(15, 0)
  55625. +#define MT_TXD_INFO_D_PORT GENMASK(29, 27)
  55626. +#define MT_TXD_INFO_TYPE GENMASK(31, 30)
  55627. +
  55628. +enum mt76_msg_port {
  55629. + WLAN_PORT,
  55630. + CPU_RX_PORT,
  55631. + CPU_TX_PORT,
  55632. + HOST_PORT,
  55633. + VIRTUAL_CPU_RX_PORT,
  55634. + VIRTUAL_CPU_TX_PORT,
  55635. + DISCARD,
  55636. +};
  55637. +
  55638. +enum mt76_info_type {
  55639. + DMA_PACKET,
  55640. + DMA_COMMAND,
  55641. +};
  55642. +
  55643. +/* Tx DMA packet specific flags */
  55644. +#define MT_TXD_PKT_INFO_NEXT_VLD BIT(16)
  55645. +#define MT_TXD_PKT_INFO_TX_BURST BIT(17)
  55646. +#define MT_TXD_PKT_INFO_80211 BIT(19)
  55647. +#define MT_TXD_PKT_INFO_TSO BIT(20)
  55648. +#define MT_TXD_PKT_INFO_CSO BIT(21)
  55649. +#define MT_TXD_PKT_INFO_WIV BIT(24)
  55650. +#define MT_TXD_PKT_INFO_QSEL GENMASK(26, 25)
  55651. +
  55652. +enum mt76_qsel {
  55653. + MT_QSEL_MGMT,
  55654. + MT_QSEL_HCCA,
  55655. + MT_QSEL_EDCA,
  55656. + MT_QSEL_EDCA_2,
  55657. +};
  55658. +
  55659. +/* Tx DMA MCU command specific flags */
  55660. +#define MT_TXD_CMD_INFO_SEQ GENMASK(19, 16)
  55661. +#define MT_TXD_CMD_INFO_TYPE GENMASK(26, 20)
  55662. +
  55663. +static inline int mt7601u_dma_skb_wrap(struct sk_buff *skb,
  55664. + enum mt76_msg_port d_port,
  55665. + enum mt76_info_type type, u32 flags)
  55666. +{
  55667. + u32 info;
  55668. +
  55669. + /* Buffer layout:
  55670. + * | 4B | xfer len | pad | 4B |
  55671. + * | TXINFO | pkt/cmd | zero pad to 4B | zero |
  55672. + *
  55673. + * length field of TXINFO should be set to 'xfer len'.
  55674. + */
  55675. +
  55676. + info = flags |
  55677. + MT76_SET(MT_TXD_INFO_LEN, round_up(skb->len, 4)) |
  55678. + MT76_SET(MT_TXD_INFO_D_PORT, d_port) |
  55679. + MT76_SET(MT_TXD_INFO_TYPE, type);
  55680. +
  55681. + put_unaligned_le32(info, skb_push(skb, sizeof(info)));
  55682. + return skb_put_padto(skb, round_up(skb->len, 4) + 4);
  55683. +}
  55684. +
  55685. +static inline int
  55686. +mt7601u_dma_skb_wrap_pkt(struct sk_buff *skb, enum mt76_qsel qsel, u32 flags)
  55687. +{
  55688. + flags |= MT76_SET(MT_TXD_PKT_INFO_QSEL, qsel);
  55689. + return mt7601u_dma_skb_wrap(skb, WLAN_PORT, DMA_PACKET, flags);
  55690. +}
  55691. +
  55692. +/* Common Rx DMA descriptor fields */
  55693. +#define MT_RXD_INFO_LEN GENMASK(13, 0)
  55694. +#define MT_RXD_INFO_PCIE_INTR BIT(24)
  55695. +#define MT_RXD_INFO_QSEL GENMASK(26, 25)
  55696. +#define MT_RXD_INFO_PORT GENMASK(29, 27)
  55697. +#define MT_RXD_INFO_TYPE GENMASK(31, 30)
  55698. +
  55699. +/* Rx DMA packet specific flags */
  55700. +#define MT_RXD_PKT_INFO_UDP_ERR BIT(16)
  55701. +#define MT_RXD_PKT_INFO_TCP_ERR BIT(17)
  55702. +#define MT_RXD_PKT_INFO_IP_ERR BIT(18)
  55703. +#define MT_RXD_PKT_INFO_PKT_80211 BIT(19)
  55704. +#define MT_RXD_PKT_INFO_L3L4_DONE BIT(20)
  55705. +#define MT_RXD_PKT_INFO_MAC_LEN GENMASK(23, 21)
  55706. +
  55707. +/* Rx DMA MCU command specific flags */
  55708. +#define MT_RXD_CMD_INFO_SELF_GEN BIT(15)
  55709. +#define MT_RXD_CMD_INFO_CMD_SEQ GENMASK(19, 16)
  55710. +#define MT_RXD_CMD_INFO_EVT_TYPE GENMASK(23, 20)
  55711. +
  55712. +enum mt76_evt_type {
  55713. + CMD_DONE,
  55714. + CMD_ERROR,
  55715. + CMD_RETRY,
  55716. + EVENT_PWR_RSP,
  55717. + EVENT_WOW_RSP,
  55718. + EVENT_CARRIER_DETECT_RSP,
  55719. + EVENT_DFS_DETECT_RSP,
  55720. +};
  55721. +
  55722. +#endif
  55723. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/eeprom.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/eeprom.c
  55724. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/eeprom.c 1970-01-01 01:00:00.000000000 +0100
  55725. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/eeprom.c 2015-11-29 09:42:38.887167260 +0100
  55726. @@ -0,0 +1,418 @@
  55727. +/*
  55728. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  55729. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  55730. + *
  55731. + * This program is free software; you can redistribute it and/or modify
  55732. + * it under the terms of the GNU General Public License version 2
  55733. + * as published by the Free Software Foundation
  55734. + *
  55735. + * This program is distributed in the hope that it will be useful,
  55736. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  55737. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  55738. + * GNU General Public License for more details.
  55739. + */
  55740. +
  55741. +#include <linux/of.h>
  55742. +#include <linux/mtd/mtd.h>
  55743. +#include <linux/mtd/partitions.h>
  55744. +#include <linux/etherdevice.h>
  55745. +#include <asm/unaligned.h>
  55746. +#include "mt7601u.h"
  55747. +#include "eeprom.h"
  55748. +
  55749. +static bool
  55750. +field_valid(u8 val)
  55751. +{
  55752. + return val != 0xff;
  55753. +}
  55754. +
  55755. +static s8
  55756. +field_validate(u8 val)
  55757. +{
  55758. + if (!field_valid(val))
  55759. + return 0;
  55760. +
  55761. + return val;
  55762. +}
  55763. +
  55764. +static int
  55765. +mt7601u_efuse_read(struct mt7601u_dev *dev, u16 addr, u8 *data,
  55766. + enum mt7601u_eeprom_access_modes mode)
  55767. +{
  55768. + u32 val;
  55769. + int i;
  55770. +
  55771. + val = mt76_rr(dev, MT_EFUSE_CTRL);
  55772. + val &= ~(MT_EFUSE_CTRL_AIN |
  55773. + MT_EFUSE_CTRL_MODE);
  55774. + val |= MT76_SET(MT_EFUSE_CTRL_AIN, addr & ~0xf) |
  55775. + MT76_SET(MT_EFUSE_CTRL_MODE, mode) |
  55776. + MT_EFUSE_CTRL_KICK;
  55777. + mt76_wr(dev, MT_EFUSE_CTRL, val);
  55778. +
  55779. + if (!mt76_poll(dev, MT_EFUSE_CTRL, MT_EFUSE_CTRL_KICK, 0, 1000))
  55780. + return -ETIMEDOUT;
  55781. +
  55782. + val = mt76_rr(dev, MT_EFUSE_CTRL);
  55783. + if ((val & MT_EFUSE_CTRL_AOUT) == MT_EFUSE_CTRL_AOUT) {
  55784. + /* Parts of eeprom not in the usage map (0x80-0xc0,0xf0)
  55785. + * will not return valid data but it's ok.
  55786. + */
  55787. + memset(data, 0xff, 16);
  55788. + return 0;
  55789. + }
  55790. +
  55791. + for (i = 0; i < 4; i++) {
  55792. + val = mt76_rr(dev, MT_EFUSE_DATA(i));
  55793. + put_unaligned_le32(val, data + 4 * i);
  55794. + }
  55795. +
  55796. + return 0;
  55797. +}
  55798. +
  55799. +static int
  55800. +mt7601u_efuse_physical_size_check(struct mt7601u_dev *dev)
  55801. +{
  55802. + const int map_reads = DIV_ROUND_UP(MT_EFUSE_USAGE_MAP_SIZE, 16);
  55803. + u8 data[map_reads * 16];
  55804. + int ret, i;
  55805. + u32 start = 0, end = 0, cnt_free;
  55806. +
  55807. + for (i = 0; i < map_reads; i++) {
  55808. + ret = mt7601u_efuse_read(dev, MT_EE_USAGE_MAP_START + i * 16,
  55809. + data + i * 16, MT_EE_PHYSICAL_READ);
  55810. + if (ret)
  55811. + return ret;
  55812. + }
  55813. +
  55814. + for (i = 0; i < MT_EFUSE_USAGE_MAP_SIZE; i++)
  55815. + if (!data[i]) {
  55816. + if (!start)
  55817. + start = MT_EE_USAGE_MAP_START + i;
  55818. + end = MT_EE_USAGE_MAP_START + i;
  55819. + }
  55820. + cnt_free = end - start + 1;
  55821. +
  55822. + if (MT_EFUSE_USAGE_MAP_SIZE - cnt_free < 5) {
  55823. + dev_err(dev->dev, "Error: your device needs default EEPROM file and this driver doesn't support it!\n");
  55824. + return -EINVAL;
  55825. + }
  55826. +
  55827. + return 0;
  55828. +}
  55829. +
  55830. +static bool
  55831. +mt7601u_has_tssi(struct mt7601u_dev *dev, u8 *eeprom)
  55832. +{
  55833. + u16 nic_conf1 = get_unaligned_le16(eeprom + MT_EE_NIC_CONF_1);
  55834. +
  55835. + return ~nic_conf1 && (nic_conf1 & MT_EE_NIC_CONF_1_TX_ALC_EN);
  55836. +}
  55837. +
  55838. +static void
  55839. +mt7601u_set_chip_cap(struct mt7601u_dev *dev, u8 *eeprom)
  55840. +{
  55841. + u16 nic_conf0 = get_unaligned_le16(eeprom + MT_EE_NIC_CONF_0);
  55842. + u16 nic_conf1 = get_unaligned_le16(eeprom + MT_EE_NIC_CONF_1);
  55843. +
  55844. + if (!field_valid(nic_conf1 & 0xff))
  55845. + nic_conf1 &= 0xff00;
  55846. +
  55847. + dev->ee->tssi_enabled = mt7601u_has_tssi(dev, eeprom) &&
  55848. + !(nic_conf1 & MT_EE_NIC_CONF_1_TEMP_TX_ALC);
  55849. +
  55850. + if (nic_conf1 & MT_EE_NIC_CONF_1_HW_RF_CTRL)
  55851. + dev_err(dev->dev,
  55852. + "Error: this driver does not support HW RF ctrl\n");
  55853. +
  55854. + if (!field_valid(nic_conf0 >> 8))
  55855. + return;
  55856. +
  55857. + if (MT76_GET(MT_EE_NIC_CONF_0_RX_PATH, nic_conf0) > 1 ||
  55858. + MT76_GET(MT_EE_NIC_CONF_0_TX_PATH, nic_conf0) > 1)
  55859. + dev_err(dev->dev,
  55860. + "Error: device has more than 1 RX/TX stream!\n");
  55861. +}
  55862. +
  55863. +static int
  55864. +mt7601u_set_macaddr(struct mt7601u_dev *dev, const u8 *eeprom)
  55865. +{
  55866. + const void *src = eeprom + MT_EE_MAC_ADDR;
  55867. +
  55868. + ether_addr_copy(dev->macaddr, src);
  55869. +
  55870. + if (!is_valid_ether_addr(dev->macaddr)) {
  55871. + eth_random_addr(dev->macaddr);
  55872. + dev_info(dev->dev,
  55873. + "Invalid MAC address, using random address %pM\n",
  55874. + dev->macaddr);
  55875. + }
  55876. +
  55877. + mt76_wr(dev, MT_MAC_ADDR_DW0, get_unaligned_le32(dev->macaddr));
  55878. + mt76_wr(dev, MT_MAC_ADDR_DW1, get_unaligned_le16(dev->macaddr + 4) |
  55879. + MT76_SET(MT_MAC_ADDR_DW1_U2ME_MASK, 0xff));
  55880. +
  55881. + return 0;
  55882. +}
  55883. +
  55884. +static void mt7601u_set_channel_target_power(struct mt7601u_dev *dev,
  55885. + u8 *eeprom, u8 max_pwr)
  55886. +{
  55887. + u8 trgt_pwr = eeprom[MT_EE_TX_TSSI_TARGET_POWER];
  55888. +
  55889. + if (trgt_pwr > max_pwr || !trgt_pwr) {
  55890. + dev_warn(dev->dev, "Error: EEPROM trgt power invalid %hhx!\n",
  55891. + trgt_pwr);
  55892. + trgt_pwr = 0x20;
  55893. + }
  55894. +
  55895. + memset(dev->ee->chan_pwr, trgt_pwr, sizeof(dev->ee->chan_pwr));
  55896. +}
  55897. +
  55898. +static void
  55899. +mt7601u_set_channel_power(struct mt7601u_dev *dev, u8 *eeprom)
  55900. +{
  55901. + u32 i, val;
  55902. + u8 max_pwr;
  55903. +
  55904. + val = mt7601u_rr(dev, MT_TX_ALC_CFG_0);
  55905. + max_pwr = MT76_GET(MT_TX_ALC_CFG_0_LIMIT_0, val);
  55906. +
  55907. + if (mt7601u_has_tssi(dev, eeprom)) {
  55908. + mt7601u_set_channel_target_power(dev, eeprom, max_pwr);
  55909. + return;
  55910. + }
  55911. +
  55912. + for (i = 0; i < 14; i++) {
  55913. + s8 power = field_validate(eeprom[MT_EE_TX_POWER_OFFSET + i]);
  55914. +
  55915. + if (power > max_pwr || power < 0)
  55916. + power = MT7601U_DEFAULT_TX_POWER;
  55917. +
  55918. + dev->ee->chan_pwr[i] = power;
  55919. + }
  55920. +}
  55921. +
  55922. +static void
  55923. +mt7601u_set_country_reg(struct mt7601u_dev *dev, u8 *eeprom)
  55924. +{
  55925. + /* Note: - region 31 is not valid for mt7601u (see rtmp_init.c)
  55926. + * - comments in rtmp_def.h are incorrect (see rt_channel.c)
  55927. + */
  55928. + static const struct reg_channel_bounds chan_bounds[] = {
  55929. + /* EEPROM country regions 0 - 7 */
  55930. + { 1, 11 }, { 1, 13 }, { 10, 2 }, { 10, 4 },
  55931. + { 14, 1 }, { 1, 14 }, { 3, 7 }, { 5, 9 },
  55932. + /* EEPROM country regions 32 - 33 */
  55933. + { 1, 11 }, { 1, 14 }
  55934. + };
  55935. + u8 val = eeprom[MT_EE_COUNTRY_REGION];
  55936. + int idx = -1;
  55937. +
  55938. + if (val < 8)
  55939. + idx = val;
  55940. + if (val > 31 && val < 33)
  55941. + idx = val - 32 + 8;
  55942. +
  55943. + if (idx != -1)
  55944. + dev_info(dev->dev,
  55945. + "EEPROM country region %02hhx (channels %hhd-%hhd)\n",
  55946. + val, chan_bounds[idx].start,
  55947. + chan_bounds[idx].start + chan_bounds[idx].num - 1);
  55948. + else
  55949. + idx = 5; /* channels 1 - 14 */
  55950. +
  55951. + dev->ee->reg = chan_bounds[idx];
  55952. +
  55953. + /* TODO: country region 33 is special - phy should be set to B-mode
  55954. + * before entering channel 14 (see sta/connect.c)
  55955. + */
  55956. +}
  55957. +
  55958. +static void
  55959. +mt7601u_set_rf_freq_off(struct mt7601u_dev *dev, u8 *eeprom)
  55960. +{
  55961. + u8 comp;
  55962. +
  55963. + dev->ee->rf_freq_off = field_validate(eeprom[MT_EE_FREQ_OFFSET]);
  55964. + comp = field_validate(eeprom[MT_EE_FREQ_OFFSET_COMPENSATION]);
  55965. +
  55966. + if (comp & BIT(7))
  55967. + dev->ee->rf_freq_off -= comp & 0x7f;
  55968. + else
  55969. + dev->ee->rf_freq_off += comp;
  55970. +}
  55971. +
  55972. +static void
  55973. +mt7601u_set_rssi_offset(struct mt7601u_dev *dev, u8 *eeprom)
  55974. +{
  55975. + int i;
  55976. + s8 *rssi_offset = dev->ee->rssi_offset;
  55977. +
  55978. + for (i = 0; i < 2; i++) {
  55979. + rssi_offset[i] = eeprom[MT_EE_RSSI_OFFSET + i];
  55980. +
  55981. + if (rssi_offset[i] < -10 || rssi_offset[i] > 10) {
  55982. + dev_warn(dev->dev,
  55983. + "Warning: EEPROM RSSI is invalid %02hhx\n",
  55984. + rssi_offset[i]);
  55985. + rssi_offset[i] = 0;
  55986. + }
  55987. + }
  55988. +}
  55989. +
  55990. +static void
  55991. +mt7601u_extra_power_over_mac(struct mt7601u_dev *dev)
  55992. +{
  55993. + u32 val;
  55994. +
  55995. + val = ((mt7601u_rr(dev, MT_TX_PWR_CFG_1) & 0x0000ff00) >> 8);
  55996. + val |= ((mt7601u_rr(dev, MT_TX_PWR_CFG_2) & 0x0000ff00) << 8);
  55997. + mt7601u_wr(dev, MT_TX_PWR_CFG_7, val);
  55998. +
  55999. + val = ((mt7601u_rr(dev, MT_TX_PWR_CFG_4) & 0x0000ff00) >> 8);
  56000. + mt7601u_wr(dev, MT_TX_PWR_CFG_9, val);
  56001. +}
  56002. +
  56003. +static void
  56004. +mt7601u_set_power_rate(struct power_per_rate *rate, s8 delta, u8 value)
  56005. +{
  56006. + /* Invalid? Note: vendor driver does not handle this */
  56007. + if (value == 0xff)
  56008. + return;
  56009. +
  56010. + rate->raw = s6_validate(value);
  56011. + rate->bw20 = s6_to_int(value);
  56012. + /* Note: vendor driver does cap the value to s6 right away */
  56013. + rate->bw40 = rate->bw20 + delta;
  56014. +}
  56015. +
  56016. +static void
  56017. +mt7601u_save_power_rate(struct mt7601u_dev *dev, s8 delta, u32 val, int i)
  56018. +{
  56019. + struct mt7601u_rate_power *t = &dev->ee->power_rate_table;
  56020. +
  56021. + switch (i) {
  56022. + case 0:
  56023. + mt7601u_set_power_rate(&t->cck[0], delta, (val >> 0) & 0xff);
  56024. + mt7601u_set_power_rate(&t->cck[1], delta, (val >> 8) & 0xff);
  56025. + /* Save cck bw20 for fixups of channel 14 */
  56026. + dev->ee->real_cck_bw20[0] = t->cck[0].bw20;
  56027. + dev->ee->real_cck_bw20[1] = t->cck[1].bw20;
  56028. +
  56029. + mt7601u_set_power_rate(&t->ofdm[0], delta, (val >> 16) & 0xff);
  56030. + mt7601u_set_power_rate(&t->ofdm[1], delta, (val >> 24) & 0xff);
  56031. + break;
  56032. + case 1:
  56033. + mt7601u_set_power_rate(&t->ofdm[2], delta, (val >> 0) & 0xff);
  56034. + mt7601u_set_power_rate(&t->ofdm[3], delta, (val >> 8) & 0xff);
  56035. + mt7601u_set_power_rate(&t->ht[0], delta, (val >> 16) & 0xff);
  56036. + mt7601u_set_power_rate(&t->ht[1], delta, (val >> 24) & 0xff);
  56037. + break;
  56038. + case 2:
  56039. + mt7601u_set_power_rate(&t->ht[2], delta, (val >> 0) & 0xff);
  56040. + mt7601u_set_power_rate(&t->ht[3], delta, (val >> 8) & 0xff);
  56041. + break;
  56042. + }
  56043. +}
  56044. +
  56045. +static s8
  56046. +get_delta(u8 val)
  56047. +{
  56048. + s8 ret;
  56049. +
  56050. + if (!field_valid(val) || !(val & BIT(7)))
  56051. + return 0;
  56052. +
  56053. + ret = val & 0x1f;
  56054. + if (ret > 8)
  56055. + ret = 8;
  56056. + if (val & BIT(6))
  56057. + ret = -ret;
  56058. +
  56059. + return ret;
  56060. +}
  56061. +
  56062. +static void
  56063. +mt7601u_config_tx_power_per_rate(struct mt7601u_dev *dev, u8 *eeprom)
  56064. +{
  56065. + u32 val;
  56066. + s8 bw40_delta;
  56067. + int i;
  56068. +
  56069. + bw40_delta = get_delta(eeprom[MT_EE_TX_POWER_DELTA_BW40]);
  56070. +
  56071. + for (i = 0; i < 5; i++) {
  56072. + val = get_unaligned_le32(eeprom + MT_EE_TX_POWER_BYRATE(i));
  56073. +
  56074. + mt7601u_save_power_rate(dev, bw40_delta, val, i);
  56075. +
  56076. + if (~val)
  56077. + mt7601u_wr(dev, MT_TX_PWR_CFG_0 + i * 4, val);
  56078. + }
  56079. +
  56080. + mt7601u_extra_power_over_mac(dev);
  56081. +}
  56082. +
  56083. +static void
  56084. +mt7601u_init_tssi_params(struct mt7601u_dev *dev, u8 *eeprom)
  56085. +{
  56086. + struct tssi_data *d = &dev->ee->tssi_data;
  56087. +
  56088. + if (!dev->ee->tssi_enabled)
  56089. + return;
  56090. +
  56091. + d->slope = eeprom[MT_EE_TX_TSSI_SLOPE];
  56092. + d->tx0_delta_offset = eeprom[MT_EE_TX_TSSI_OFFSET] * 1024;
  56093. + d->offset[0] = eeprom[MT_EE_TX_TSSI_OFFSET_GROUP];
  56094. + d->offset[1] = eeprom[MT_EE_TX_TSSI_OFFSET_GROUP + 1];
  56095. + d->offset[2] = eeprom[MT_EE_TX_TSSI_OFFSET_GROUP + 2];
  56096. +}
  56097. +
  56098. +int
  56099. +mt7601u_eeprom_init(struct mt7601u_dev *dev)
  56100. +{
  56101. + u8 *eeprom;
  56102. + int i, ret;
  56103. +
  56104. + ret = mt7601u_efuse_physical_size_check(dev);
  56105. + if (ret)
  56106. + return ret;
  56107. +
  56108. + dev->ee = devm_kzalloc(dev->dev, sizeof(*dev->ee), GFP_KERNEL);
  56109. + if (!dev->ee)
  56110. + return -ENOMEM;
  56111. +
  56112. + eeprom = kmalloc(MT7601U_EEPROM_SIZE, GFP_KERNEL);
  56113. + if (!eeprom)
  56114. + return -ENOMEM;
  56115. +
  56116. + for (i = 0; i + 16 <= MT7601U_EEPROM_SIZE; i += 16) {
  56117. + ret = mt7601u_efuse_read(dev, i, eeprom + i, MT_EE_READ);
  56118. + if (ret)
  56119. + goto out;
  56120. + }
  56121. +
  56122. + if (eeprom[MT_EE_VERSION_EE] > MT7601U_EE_MAX_VER)
  56123. + dev_warn(dev->dev,
  56124. + "Warning: unsupported EEPROM version %02hhx\n",
  56125. + eeprom[MT_EE_VERSION_EE]);
  56126. + dev_info(dev->dev, "EEPROM ver:%02hhx fae:%02hhx\n",
  56127. + eeprom[MT_EE_VERSION_EE], eeprom[MT_EE_VERSION_FAE]);
  56128. +
  56129. + mt7601u_set_macaddr(dev, eeprom);
  56130. + mt7601u_set_chip_cap(dev, eeprom);
  56131. + mt7601u_set_channel_power(dev, eeprom);
  56132. + mt7601u_set_country_reg(dev, eeprom);
  56133. + mt7601u_set_rf_freq_off(dev, eeprom);
  56134. + mt7601u_set_rssi_offset(dev, eeprom);
  56135. + dev->ee->ref_temp = eeprom[MT_EE_REF_TEMP];
  56136. + dev->ee->lna_gain = eeprom[MT_EE_LNA_GAIN];
  56137. +
  56138. + mt7601u_config_tx_power_per_rate(dev, eeprom);
  56139. +
  56140. + mt7601u_init_tssi_params(dev, eeprom);
  56141. +out:
  56142. + kfree(eeprom);
  56143. + return ret;
  56144. +}
  56145. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/eeprom.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/eeprom.h
  56146. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/eeprom.h 1970-01-01 01:00:00.000000000 +0100
  56147. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/eeprom.h 2015-11-29 09:42:38.887167260 +0100
  56148. @@ -0,0 +1,151 @@
  56149. +/*
  56150. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  56151. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  56152. + *
  56153. + * This program is free software; you can redistribute it and/or modify
  56154. + * it under the terms of the GNU General Public License version 2
  56155. + * as published by the Free Software Foundation
  56156. + *
  56157. + * This program is distributed in the hope that it will be useful,
  56158. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  56159. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  56160. + * GNU General Public License for more details.
  56161. + */
  56162. +
  56163. +#ifndef __MT7601U_EEPROM_H
  56164. +#define __MT7601U_EEPROM_H
  56165. +
  56166. +struct mt7601u_dev;
  56167. +
  56168. +#define MT7601U_EE_MAX_VER 0x0c
  56169. +#define MT7601U_EEPROM_SIZE 256
  56170. +
  56171. +#define MT7601U_DEFAULT_TX_POWER 6
  56172. +
  56173. +enum mt76_eeprom_field {
  56174. + MT_EE_CHIP_ID = 0x00,
  56175. + MT_EE_VERSION_FAE = 0x02,
  56176. + MT_EE_VERSION_EE = 0x03,
  56177. + MT_EE_MAC_ADDR = 0x04,
  56178. + MT_EE_NIC_CONF_0 = 0x34,
  56179. + MT_EE_NIC_CONF_1 = 0x36,
  56180. + MT_EE_COUNTRY_REGION = 0x39,
  56181. + MT_EE_FREQ_OFFSET = 0x3a,
  56182. + MT_EE_NIC_CONF_2 = 0x42,
  56183. +
  56184. + MT_EE_LNA_GAIN = 0x44,
  56185. + MT_EE_RSSI_OFFSET = 0x46,
  56186. +
  56187. + MT_EE_TX_POWER_DELTA_BW40 = 0x50,
  56188. + MT_EE_TX_POWER_OFFSET = 0x52,
  56189. +
  56190. + MT_EE_TX_TSSI_SLOPE = 0x6e,
  56191. + MT_EE_TX_TSSI_OFFSET_GROUP = 0x6f,
  56192. + MT_EE_TX_TSSI_OFFSET = 0x76,
  56193. +
  56194. + MT_EE_TX_TSSI_TARGET_POWER = 0xd0,
  56195. + MT_EE_REF_TEMP = 0xd1,
  56196. + MT_EE_FREQ_OFFSET_COMPENSATION = 0xdb,
  56197. + MT_EE_TX_POWER_BYRATE_BASE = 0xde,
  56198. +
  56199. + MT_EE_USAGE_MAP_START = 0x1e0,
  56200. + MT_EE_USAGE_MAP_END = 0x1fc,
  56201. +};
  56202. +
  56203. +#define MT_EE_NIC_CONF_0_RX_PATH GENMASK(3, 0)
  56204. +#define MT_EE_NIC_CONF_0_TX_PATH GENMASK(7, 4)
  56205. +#define MT_EE_NIC_CONF_0_BOARD_TYPE GENMASK(13, 12)
  56206. +
  56207. +#define MT_EE_NIC_CONF_1_HW_RF_CTRL BIT(0)
  56208. +#define MT_EE_NIC_CONF_1_TEMP_TX_ALC BIT(1)
  56209. +#define MT_EE_NIC_CONF_1_LNA_EXT_2G BIT(2)
  56210. +#define MT_EE_NIC_CONF_1_LNA_EXT_5G BIT(3)
  56211. +#define MT_EE_NIC_CONF_1_TX_ALC_EN BIT(13)
  56212. +
  56213. +#define MT_EE_NIC_CONF_2_RX_STREAM GENMASK(3, 0)
  56214. +#define MT_EE_NIC_CONF_2_TX_STREAM GENMASK(7, 4)
  56215. +#define MT_EE_NIC_CONF_2_HW_ANTDIV BIT(8)
  56216. +#define MT_EE_NIC_CONF_2_XTAL_OPTION GENMASK(10, 9)
  56217. +#define MT_EE_NIC_CONF_2_TEMP_DISABLE BIT(11)
  56218. +#define MT_EE_NIC_CONF_2_COEX_METHOD GENMASK(15, 13)
  56219. +
  56220. +#define MT_EE_TX_POWER_BYRATE(i) (MT_EE_TX_POWER_BYRATE_BASE + \
  56221. + (i) * 4)
  56222. +
  56223. +#define MT_EFUSE_USAGE_MAP_SIZE (MT_EE_USAGE_MAP_END - \
  56224. + MT_EE_USAGE_MAP_START + 1)
  56225. +
  56226. +enum mt7601u_eeprom_access_modes {
  56227. + MT_EE_READ = 0,
  56228. + MT_EE_PHYSICAL_READ = 1,
  56229. +};
  56230. +
  56231. +struct power_per_rate {
  56232. + u8 raw; /* validated s6 value */
  56233. + s8 bw20; /* sign-extended int */
  56234. + s8 bw40; /* sign-extended int */
  56235. +};
  56236. +
  56237. +/* Power per rate - one value per two rates */
  56238. +struct mt7601u_rate_power {
  56239. + struct power_per_rate cck[2];
  56240. + struct power_per_rate ofdm[4];
  56241. + struct power_per_rate ht[4];
  56242. +};
  56243. +
  56244. +struct reg_channel_bounds {
  56245. + u8 start;
  56246. + u8 num;
  56247. +};
  56248. +
  56249. +struct mt7601u_eeprom_params {
  56250. + bool tssi_enabled;
  56251. + u8 rf_freq_off;
  56252. + s8 rssi_offset[2];
  56253. + s8 ref_temp;
  56254. + s8 lna_gain;
  56255. +
  56256. + u8 chan_pwr[14];
  56257. + struct mt7601u_rate_power power_rate_table;
  56258. + s8 real_cck_bw20[2];
  56259. +
  56260. + /* TSSI stuff - only with internal TX ALC */
  56261. + struct tssi_data {
  56262. + int tx0_delta_offset;
  56263. + u8 slope;
  56264. + u8 offset[3];
  56265. + } tssi_data;
  56266. +
  56267. + struct reg_channel_bounds reg;
  56268. +};
  56269. +
  56270. +int mt7601u_eeprom_init(struct mt7601u_dev *dev);
  56271. +
  56272. +static inline u32 s6_validate(u32 reg)
  56273. +{
  56274. + WARN_ON(reg & ~GENMASK(5, 0));
  56275. + return reg & GENMASK(5, 0);
  56276. +}
  56277. +
  56278. +static inline int s6_to_int(u32 reg)
  56279. +{
  56280. + int s6;
  56281. +
  56282. + s6 = s6_validate(reg);
  56283. + if (s6 & BIT(5))
  56284. + s6 -= BIT(6);
  56285. +
  56286. + return s6;
  56287. +}
  56288. +
  56289. +static inline u32 int_to_s6(int val)
  56290. +{
  56291. + if (val < -0x20)
  56292. + return 0x20;
  56293. + if (val > 0x1f)
  56294. + return 0x1f;
  56295. +
  56296. + return val & 0x3f;
  56297. +}
  56298. +
  56299. +#endif
  56300. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/init.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/init.c
  56301. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/init.c 1970-01-01 01:00:00.000000000 +0100
  56302. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/init.c 2015-11-29 09:42:38.887167260 +0100
  56303. @@ -0,0 +1,630 @@
  56304. +/*
  56305. + * (c) Copyright 2002-2010, Ralink Technology, Inc.
  56306. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  56307. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  56308. + *
  56309. + * This program is free software; you can redistribute it and/or modify
  56310. + * it under the terms of the GNU General Public License version 2
  56311. + * as published by the Free Software Foundation
  56312. + *
  56313. + * This program is distributed in the hope that it will be useful,
  56314. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  56315. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  56316. + * GNU General Public License for more details.
  56317. + */
  56318. +
  56319. +#include "mt7601u.h"
  56320. +#include "eeprom.h"
  56321. +#include "trace.h"
  56322. +#include "mcu.h"
  56323. +
  56324. +#include "initvals.h"
  56325. +
  56326. +static void
  56327. +mt7601u_set_wlan_state(struct mt7601u_dev *dev, u32 val, bool enable)
  56328. +{
  56329. + int i;
  56330. +
  56331. + /* Note: we don't turn off WLAN_CLK because that makes the device
  56332. + * not respond properly on the probe path.
  56333. + * In case anyone (PSM?) wants to use this function we can
  56334. + * bring the clock stuff back and fixup the probe path.
  56335. + */
  56336. +
  56337. + if (enable)
  56338. + val |= (MT_WLAN_FUN_CTRL_WLAN_EN |
  56339. + MT_WLAN_FUN_CTRL_WLAN_CLK_EN);
  56340. + else
  56341. + val &= ~(MT_WLAN_FUN_CTRL_WLAN_EN);
  56342. +
  56343. + mt7601u_wr(dev, MT_WLAN_FUN_CTRL, val);
  56344. + udelay(20);
  56345. +
  56346. + if (enable) {
  56347. + set_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state);
  56348. + } else {
  56349. + clear_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state);
  56350. + return;
  56351. + }
  56352. +
  56353. + for (i = 200; i; i--) {
  56354. + val = mt7601u_rr(dev, MT_CMB_CTRL);
  56355. +
  56356. + if (val & MT_CMB_CTRL_XTAL_RDY && val & MT_CMB_CTRL_PLL_LD)
  56357. + break;
  56358. +
  56359. + udelay(20);
  56360. + }
  56361. +
  56362. + /* Note: vendor driver tries to disable/enable wlan here and retry
  56363. + * but the code which does it is so buggy it must have never
  56364. + * triggered, so don't bother.
  56365. + */
  56366. + if (!i)
  56367. + dev_err(dev->dev, "Error: PLL and XTAL check failed!\n");
  56368. +}
  56369. +
  56370. +static void mt7601u_chip_onoff(struct mt7601u_dev *dev, bool enable, bool reset)
  56371. +{
  56372. + u32 val;
  56373. +
  56374. + mutex_lock(&dev->hw_atomic_mutex);
  56375. +
  56376. + val = mt7601u_rr(dev, MT_WLAN_FUN_CTRL);
  56377. +
  56378. + if (reset) {
  56379. + val |= MT_WLAN_FUN_CTRL_GPIO_OUT_EN;
  56380. + val &= ~MT_WLAN_FUN_CTRL_FRC_WL_ANT_SEL;
  56381. +
  56382. + if (val & MT_WLAN_FUN_CTRL_WLAN_EN) {
  56383. + val |= (MT_WLAN_FUN_CTRL_WLAN_RESET |
  56384. + MT_WLAN_FUN_CTRL_WLAN_RESET_RF);
  56385. + mt7601u_wr(dev, MT_WLAN_FUN_CTRL, val);
  56386. + udelay(20);
  56387. +
  56388. + val &= ~(MT_WLAN_FUN_CTRL_WLAN_RESET |
  56389. + MT_WLAN_FUN_CTRL_WLAN_RESET_RF);
  56390. + }
  56391. + }
  56392. +
  56393. + mt7601u_wr(dev, MT_WLAN_FUN_CTRL, val);
  56394. + udelay(20);
  56395. +
  56396. + mt7601u_set_wlan_state(dev, val, enable);
  56397. +
  56398. + mutex_unlock(&dev->hw_atomic_mutex);
  56399. +}
  56400. +
  56401. +static void mt7601u_reset_csr_bbp(struct mt7601u_dev *dev)
  56402. +{
  56403. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, (MT_MAC_SYS_CTRL_RESET_CSR |
  56404. + MT_MAC_SYS_CTRL_RESET_BBP));
  56405. + mt7601u_wr(dev, MT_USB_DMA_CFG, 0);
  56406. + msleep(1);
  56407. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, 0);
  56408. +}
  56409. +
  56410. +static void mt7601u_init_usb_dma(struct mt7601u_dev *dev)
  56411. +{
  56412. + u32 val;
  56413. +
  56414. + val = MT76_SET(MT_USB_DMA_CFG_RX_BULK_AGG_TOUT, MT_USB_AGGR_TIMEOUT) |
  56415. + MT76_SET(MT_USB_DMA_CFG_RX_BULK_AGG_LMT, MT_USB_AGGR_SIZE_LIMIT) |
  56416. + MT_USB_DMA_CFG_RX_BULK_EN |
  56417. + MT_USB_DMA_CFG_TX_BULK_EN;
  56418. + if (dev->in_max_packet == 512)
  56419. + val |= MT_USB_DMA_CFG_RX_BULK_AGG_EN;
  56420. + mt7601u_wr(dev, MT_USB_DMA_CFG, val);
  56421. +
  56422. + val |= MT_USB_DMA_CFG_UDMA_RX_WL_DROP;
  56423. + mt7601u_wr(dev, MT_USB_DMA_CFG, val);
  56424. + val &= ~MT_USB_DMA_CFG_UDMA_RX_WL_DROP;
  56425. + mt7601u_wr(dev, MT_USB_DMA_CFG, val);
  56426. +}
  56427. +
  56428. +static int mt7601u_init_bbp(struct mt7601u_dev *dev)
  56429. +{
  56430. + int ret;
  56431. +
  56432. + ret = mt7601u_wait_bbp_ready(dev);
  56433. + if (ret)
  56434. + return ret;
  56435. +
  56436. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP, bbp_common_vals,
  56437. + ARRAY_SIZE(bbp_common_vals));
  56438. + if (ret)
  56439. + return ret;
  56440. +
  56441. + return mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP, bbp_chip_vals,
  56442. + ARRAY_SIZE(bbp_chip_vals));
  56443. +}
  56444. +
  56445. +static void
  56446. +mt76_init_beacon_offsets(struct mt7601u_dev *dev)
  56447. +{
  56448. + u16 base = MT_BEACON_BASE;
  56449. + u32 regs[4] = {};
  56450. + int i;
  56451. +
  56452. + for (i = 0; i < 16; i++) {
  56453. + u16 addr = dev->beacon_offsets[i];
  56454. +
  56455. + regs[i / 4] |= ((addr - base) / 64) << (8 * (i % 4));
  56456. + }
  56457. +
  56458. + for (i = 0; i < 4; i++)
  56459. + mt7601u_wr(dev, MT_BCN_OFFSET(i), regs[i]);
  56460. +}
  56461. +
  56462. +static int mt7601u_write_mac_initvals(struct mt7601u_dev *dev)
  56463. +{
  56464. + int ret;
  56465. +
  56466. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_WLAN, mac_common_vals,
  56467. + ARRAY_SIZE(mac_common_vals));
  56468. + if (ret)
  56469. + return ret;
  56470. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_WLAN,
  56471. + mac_chip_vals, ARRAY_SIZE(mac_chip_vals));
  56472. + if (ret)
  56473. + return ret;
  56474. +
  56475. + mt76_init_beacon_offsets(dev);
  56476. +
  56477. + mt7601u_wr(dev, MT_AUX_CLK_CFG, 0);
  56478. +
  56479. + return 0;
  56480. +}
  56481. +
  56482. +static int mt7601u_init_wcid_mem(struct mt7601u_dev *dev)
  56483. +{
  56484. + u32 *vals;
  56485. + int i, ret;
  56486. +
  56487. + vals = kmalloc(sizeof(*vals) * N_WCIDS * 2, GFP_KERNEL);
  56488. + if (!vals)
  56489. + return -ENOMEM;
  56490. +
  56491. + for (i = 0; i < N_WCIDS; i++) {
  56492. + vals[i * 2] = 0xffffffff;
  56493. + vals[i * 2 + 1] = 0x00ffffff;
  56494. + }
  56495. +
  56496. + ret = mt7601u_burst_write_regs(dev, MT_WCID_ADDR_BASE,
  56497. + vals, N_WCIDS * 2);
  56498. + kfree(vals);
  56499. +
  56500. + return ret;
  56501. +}
  56502. +
  56503. +static int mt7601u_init_key_mem(struct mt7601u_dev *dev)
  56504. +{
  56505. + u32 vals[4] = {};
  56506. +
  56507. + return mt7601u_burst_write_regs(dev, MT_SKEY_MODE_BASE_0,
  56508. + vals, ARRAY_SIZE(vals));
  56509. +}
  56510. +
  56511. +static int mt7601u_init_wcid_attr_mem(struct mt7601u_dev *dev)
  56512. +{
  56513. + u32 *vals;
  56514. + int i, ret;
  56515. +
  56516. + vals = kmalloc(sizeof(*vals) * N_WCIDS * 2, GFP_KERNEL);
  56517. + if (!vals)
  56518. + return -ENOMEM;
  56519. +
  56520. + for (i = 0; i < N_WCIDS * 2; i++)
  56521. + vals[i] = 1;
  56522. +
  56523. + ret = mt7601u_burst_write_regs(dev, MT_WCID_ATTR_BASE,
  56524. + vals, N_WCIDS * 2);
  56525. + kfree(vals);
  56526. +
  56527. + return ret;
  56528. +}
  56529. +
  56530. +static void mt7601u_reset_counters(struct mt7601u_dev *dev)
  56531. +{
  56532. + mt7601u_rr(dev, MT_RX_STA_CNT0);
  56533. + mt7601u_rr(dev, MT_RX_STA_CNT1);
  56534. + mt7601u_rr(dev, MT_RX_STA_CNT2);
  56535. + mt7601u_rr(dev, MT_TX_STA_CNT0);
  56536. + mt7601u_rr(dev, MT_TX_STA_CNT1);
  56537. + mt7601u_rr(dev, MT_TX_STA_CNT2);
  56538. +}
  56539. +
  56540. +int mt7601u_mac_start(struct mt7601u_dev *dev)
  56541. +{
  56542. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, MT_MAC_SYS_CTRL_ENABLE_TX);
  56543. +
  56544. + if (!mt76_poll(dev, MT_WPDMA_GLO_CFG, MT_WPDMA_GLO_CFG_TX_DMA_BUSY |
  56545. + MT_WPDMA_GLO_CFG_RX_DMA_BUSY, 0, 200000))
  56546. + return -ETIMEDOUT;
  56547. +
  56548. + dev->rxfilter = MT_RX_FILTR_CFG_CRC_ERR |
  56549. + MT_RX_FILTR_CFG_PHY_ERR | MT_RX_FILTR_CFG_PROMISC |
  56550. + MT_RX_FILTR_CFG_VER_ERR | MT_RX_FILTR_CFG_DUP |
  56551. + MT_RX_FILTR_CFG_CFACK | MT_RX_FILTR_CFG_CFEND |
  56552. + MT_RX_FILTR_CFG_ACK | MT_RX_FILTR_CFG_CTS |
  56553. + MT_RX_FILTR_CFG_RTS | MT_RX_FILTR_CFG_PSPOLL |
  56554. + MT_RX_FILTR_CFG_BA | MT_RX_FILTR_CFG_CTRL_RSV;
  56555. + mt7601u_wr(dev, MT_RX_FILTR_CFG, dev->rxfilter);
  56556. +
  56557. + mt7601u_wr(dev, MT_MAC_SYS_CTRL,
  56558. + MT_MAC_SYS_CTRL_ENABLE_TX | MT_MAC_SYS_CTRL_ENABLE_RX);
  56559. +
  56560. + if (!mt76_poll(dev, MT_WPDMA_GLO_CFG, MT_WPDMA_GLO_CFG_TX_DMA_BUSY |
  56561. + MT_WPDMA_GLO_CFG_RX_DMA_BUSY, 0, 50))
  56562. + return -ETIMEDOUT;
  56563. +
  56564. + return 0;
  56565. +}
  56566. +
  56567. +static void mt7601u_mac_stop_hw(struct mt7601u_dev *dev)
  56568. +{
  56569. + int i, ok;
  56570. +
  56571. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  56572. + return;
  56573. +
  56574. + mt76_clear(dev, MT_BEACON_TIME_CFG, MT_BEACON_TIME_CFG_TIMER_EN |
  56575. + MT_BEACON_TIME_CFG_SYNC_MODE | MT_BEACON_TIME_CFG_TBTT_EN |
  56576. + MT_BEACON_TIME_CFG_BEACON_TX);
  56577. +
  56578. + if (!mt76_poll(dev, MT_USB_DMA_CFG, MT_USB_DMA_CFG_TX_BUSY, 0, 1000))
  56579. + dev_warn(dev->dev, "Warning: TX DMA did not stop!\n");
  56580. +
  56581. + /* Page count on TxQ */
  56582. + i = 200;
  56583. + while (i-- && ((mt76_rr(dev, 0x0438) & 0xffffffff) ||
  56584. + (mt76_rr(dev, 0x0a30) & 0x000000ff) ||
  56585. + (mt76_rr(dev, 0x0a34) & 0x00ff00ff)))
  56586. + msleep(10);
  56587. +
  56588. + if (!mt76_poll(dev, MT_MAC_STATUS, MT_MAC_STATUS_TX, 0, 1000))
  56589. + dev_warn(dev->dev, "Warning: MAC TX did not stop!\n");
  56590. +
  56591. + mt76_clear(dev, MT_MAC_SYS_CTRL, MT_MAC_SYS_CTRL_ENABLE_RX |
  56592. + MT_MAC_SYS_CTRL_ENABLE_TX);
  56593. +
  56594. + /* Page count on RxQ */
  56595. + ok = 0;
  56596. + i = 200;
  56597. + while (i--) {
  56598. + if ((mt76_rr(dev, 0x0430) & 0x00ff0000) ||
  56599. + (mt76_rr(dev, 0x0a30) & 0xffffffff) ||
  56600. + (mt76_rr(dev, 0x0a34) & 0xffffffff))
  56601. + ok++;
  56602. + if (ok > 6)
  56603. + break;
  56604. +
  56605. + msleep(1);
  56606. + }
  56607. +
  56608. + if (!mt76_poll(dev, MT_MAC_STATUS, MT_MAC_STATUS_RX, 0, 1000))
  56609. + dev_warn(dev->dev, "Warning: MAC RX did not stop!\n");
  56610. +
  56611. + if (!mt76_poll(dev, MT_USB_DMA_CFG, MT_USB_DMA_CFG_RX_BUSY, 0, 1000))
  56612. + dev_warn(dev->dev, "Warning: RX DMA did not stop!\n");
  56613. +}
  56614. +
  56615. +void mt7601u_mac_stop(struct mt7601u_dev *dev)
  56616. +{
  56617. + mt7601u_mac_stop_hw(dev);
  56618. + flush_delayed_work(&dev->stat_work);
  56619. + cancel_delayed_work_sync(&dev->stat_work);
  56620. +}
  56621. +
  56622. +static void mt7601u_stop_hardware(struct mt7601u_dev *dev)
  56623. +{
  56624. + mt7601u_chip_onoff(dev, false, false);
  56625. +}
  56626. +
  56627. +int mt7601u_init_hardware(struct mt7601u_dev *dev)
  56628. +{
  56629. + static const u16 beacon_offsets[16] = {
  56630. + /* 512 byte per beacon */
  56631. + 0xc000, 0xc200, 0xc400, 0xc600,
  56632. + 0xc800, 0xca00, 0xcc00, 0xce00,
  56633. + 0xd000, 0xd200, 0xd400, 0xd600,
  56634. + 0xd800, 0xda00, 0xdc00, 0xde00
  56635. + };
  56636. + int ret;
  56637. +
  56638. + dev->beacon_offsets = beacon_offsets;
  56639. +
  56640. + mt7601u_chip_onoff(dev, true, false);
  56641. +
  56642. + ret = mt7601u_wait_asic_ready(dev);
  56643. + if (ret)
  56644. + goto err;
  56645. + ret = mt7601u_mcu_init(dev);
  56646. + if (ret)
  56647. + goto err;
  56648. +
  56649. + if (!mt76_poll_msec(dev, MT_WPDMA_GLO_CFG,
  56650. + MT_WPDMA_GLO_CFG_TX_DMA_BUSY |
  56651. + MT_WPDMA_GLO_CFG_RX_DMA_BUSY, 0, 100)) {
  56652. + ret = -EIO;
  56653. + goto err;
  56654. + }
  56655. +
  56656. + /* Wait for ASIC ready after FW load. */
  56657. + ret = mt7601u_wait_asic_ready(dev);
  56658. + if (ret)
  56659. + goto err;
  56660. +
  56661. + mt7601u_reset_csr_bbp(dev);
  56662. + mt7601u_init_usb_dma(dev);
  56663. +
  56664. + ret = mt7601u_mcu_cmd_init(dev);
  56665. + if (ret)
  56666. + goto err;
  56667. + ret = mt7601u_dma_init(dev);
  56668. + if (ret)
  56669. + goto err_mcu;
  56670. + ret = mt7601u_write_mac_initvals(dev);
  56671. + if (ret)
  56672. + goto err_rx;
  56673. +
  56674. + if (!mt76_poll_msec(dev, MT_MAC_STATUS,
  56675. + MT_MAC_STATUS_TX | MT_MAC_STATUS_RX, 0, 100)) {
  56676. + ret = -EIO;
  56677. + goto err_rx;
  56678. + }
  56679. +
  56680. + ret = mt7601u_init_bbp(dev);
  56681. + if (ret)
  56682. + goto err_rx;
  56683. + ret = mt7601u_init_wcid_mem(dev);
  56684. + if (ret)
  56685. + goto err_rx;
  56686. + ret = mt7601u_init_key_mem(dev);
  56687. + if (ret)
  56688. + goto err_rx;
  56689. + ret = mt7601u_init_wcid_attr_mem(dev);
  56690. + if (ret)
  56691. + goto err_rx;
  56692. +
  56693. + mt76_clear(dev, MT_BEACON_TIME_CFG, (MT_BEACON_TIME_CFG_TIMER_EN |
  56694. + MT_BEACON_TIME_CFG_SYNC_MODE |
  56695. + MT_BEACON_TIME_CFG_TBTT_EN |
  56696. + MT_BEACON_TIME_CFG_BEACON_TX));
  56697. +
  56698. + mt7601u_reset_counters(dev);
  56699. +
  56700. + mt7601u_rmw(dev, MT_US_CYC_CFG, MT_US_CYC_CNT, 0x1e);
  56701. +
  56702. + mt7601u_wr(dev, MT_TXOP_CTRL_CFG, MT76_SET(MT_TXOP_TRUN_EN, 0x3f) |
  56703. + MT76_SET(MT_TXOP_EXT_CCA_DLY, 0x58));
  56704. +
  56705. + ret = mt7601u_eeprom_init(dev);
  56706. + if (ret)
  56707. + goto err_rx;
  56708. +
  56709. + ret = mt7601u_phy_init(dev);
  56710. + if (ret)
  56711. + goto err_rx;
  56712. +
  56713. + mt7601u_set_rx_path(dev, 0);
  56714. + mt7601u_set_tx_dac(dev, 0);
  56715. +
  56716. + mt7601u_mac_set_ctrlch(dev, false);
  56717. + mt7601u_bbp_set_ctrlch(dev, false);
  56718. + mt7601u_bbp_set_bw(dev, MT_BW_20);
  56719. +
  56720. + return 0;
  56721. +
  56722. +err_rx:
  56723. + mt7601u_dma_cleanup(dev);
  56724. +err_mcu:
  56725. + mt7601u_mcu_cmd_deinit(dev);
  56726. +err:
  56727. + mt7601u_chip_onoff(dev, false, false);
  56728. + return ret;
  56729. +}
  56730. +
  56731. +void mt7601u_cleanup(struct mt7601u_dev *dev)
  56732. +{
  56733. + if (!test_and_clear_bit(MT7601U_STATE_INITIALIZED, &dev->state))
  56734. + return;
  56735. +
  56736. + mt7601u_stop_hardware(dev);
  56737. + mt7601u_dma_cleanup(dev);
  56738. + mt7601u_mcu_cmd_deinit(dev);
  56739. +}
  56740. +
  56741. +struct mt7601u_dev *mt7601u_alloc_device(struct device *pdev)
  56742. +{
  56743. + struct ieee80211_hw *hw;
  56744. + struct mt7601u_dev *dev;
  56745. +
  56746. + hw = ieee80211_alloc_hw(sizeof(*dev), &mt7601u_ops);
  56747. + if (!hw)
  56748. + return NULL;
  56749. +
  56750. + dev = hw->priv;
  56751. + dev->dev = pdev;
  56752. + dev->hw = hw;
  56753. + mutex_init(&dev->vendor_req_mutex);
  56754. + mutex_init(&dev->reg_atomic_mutex);
  56755. + mutex_init(&dev->hw_atomic_mutex);
  56756. + mutex_init(&dev->mutex);
  56757. + spin_lock_init(&dev->tx_lock);
  56758. + spin_lock_init(&dev->rx_lock);
  56759. + spin_lock_init(&dev->lock);
  56760. + spin_lock_init(&dev->mac_lock);
  56761. + spin_lock_init(&dev->con_mon_lock);
  56762. + atomic_set(&dev->avg_ampdu_len, 1);
  56763. + skb_queue_head_init(&dev->tx_skb_done);
  56764. +
  56765. + dev->stat_wq = alloc_workqueue("mt7601u", WQ_UNBOUND, 0);
  56766. + if (!dev->stat_wq) {
  56767. + ieee80211_free_hw(hw);
  56768. + return NULL;
  56769. + }
  56770. +
  56771. + return dev;
  56772. +}
  56773. +
  56774. +#define CHAN2G(_idx, _freq) { \
  56775. + .band = IEEE80211_BAND_2GHZ, \
  56776. + .center_freq = (_freq), \
  56777. + .hw_value = (_idx), \
  56778. + .max_power = 30, \
  56779. +}
  56780. +
  56781. +static const struct ieee80211_channel mt76_channels_2ghz[] = {
  56782. + CHAN2G(1, 2412),
  56783. + CHAN2G(2, 2417),
  56784. + CHAN2G(3, 2422),
  56785. + CHAN2G(4, 2427),
  56786. + CHAN2G(5, 2432),
  56787. + CHAN2G(6, 2437),
  56788. + CHAN2G(7, 2442),
  56789. + CHAN2G(8, 2447),
  56790. + CHAN2G(9, 2452),
  56791. + CHAN2G(10, 2457),
  56792. + CHAN2G(11, 2462),
  56793. + CHAN2G(12, 2467),
  56794. + CHAN2G(13, 2472),
  56795. + CHAN2G(14, 2484),
  56796. +};
  56797. +
  56798. +#define CCK_RATE(_idx, _rate) { \
  56799. + .bitrate = _rate, \
  56800. + .flags = IEEE80211_RATE_SHORT_PREAMBLE, \
  56801. + .hw_value = (MT_PHY_TYPE_CCK << 8) | _idx, \
  56802. + .hw_value_short = (MT_PHY_TYPE_CCK << 8) | (8 + _idx), \
  56803. +}
  56804. +
  56805. +#define OFDM_RATE(_idx, _rate) { \
  56806. + .bitrate = _rate, \
  56807. + .hw_value = (MT_PHY_TYPE_OFDM << 8) | _idx, \
  56808. + .hw_value_short = (MT_PHY_TYPE_OFDM << 8) | _idx, \
  56809. +}
  56810. +
  56811. +static struct ieee80211_rate mt76_rates[] = {
  56812. + CCK_RATE(0, 10),
  56813. + CCK_RATE(1, 20),
  56814. + CCK_RATE(2, 55),
  56815. + CCK_RATE(3, 110),
  56816. + OFDM_RATE(0, 60),
  56817. + OFDM_RATE(1, 90),
  56818. + OFDM_RATE(2, 120),
  56819. + OFDM_RATE(3, 180),
  56820. + OFDM_RATE(4, 240),
  56821. + OFDM_RATE(5, 360),
  56822. + OFDM_RATE(6, 480),
  56823. + OFDM_RATE(7, 540),
  56824. +};
  56825. +
  56826. +static int
  56827. +mt76_init_sband(struct mt7601u_dev *dev, struct ieee80211_supported_band *sband,
  56828. + const struct ieee80211_channel *chan, int n_chan,
  56829. + struct ieee80211_rate *rates, int n_rates)
  56830. +{
  56831. + struct ieee80211_sta_ht_cap *ht_cap;
  56832. + void *chanlist;
  56833. + int size;
  56834. +
  56835. + size = n_chan * sizeof(*chan);
  56836. + chanlist = devm_kmemdup(dev->dev, chan, size, GFP_KERNEL);
  56837. + if (!chanlist)
  56838. + return -ENOMEM;
  56839. +
  56840. + sband->channels = chanlist;
  56841. + sband->n_channels = n_chan;
  56842. + sband->bitrates = rates;
  56843. + sband->n_bitrates = n_rates;
  56844. +
  56845. + ht_cap = &sband->ht_cap;
  56846. + ht_cap->ht_supported = true;
  56847. + ht_cap->cap = IEEE80211_HT_CAP_SUP_WIDTH_20_40 |
  56848. + IEEE80211_HT_CAP_GRN_FLD |
  56849. + IEEE80211_HT_CAP_SGI_20 |
  56850. + IEEE80211_HT_CAP_SGI_40 |
  56851. + (1 << IEEE80211_HT_CAP_RX_STBC_SHIFT);
  56852. +
  56853. + ht_cap->mcs.rx_mask[0] = 0xff;
  56854. + ht_cap->mcs.rx_mask[4] = 0x1;
  56855. + ht_cap->mcs.tx_params = IEEE80211_HT_MCS_TX_DEFINED;
  56856. + ht_cap->ampdu_factor = IEEE80211_HT_MAX_AMPDU_64K;
  56857. + ht_cap->ampdu_density = IEEE80211_HT_MPDU_DENSITY_2;
  56858. +
  56859. + dev->chandef.chan = &sband->channels[0];
  56860. +
  56861. + return 0;
  56862. +}
  56863. +
  56864. +static int
  56865. +mt76_init_sband_2g(struct mt7601u_dev *dev)
  56866. +{
  56867. + dev->sband_2g = devm_kzalloc(dev->dev, sizeof(*dev->sband_2g),
  56868. + GFP_KERNEL);
  56869. + dev->hw->wiphy->bands[IEEE80211_BAND_2GHZ] = dev->sband_2g;
  56870. +
  56871. + WARN_ON(dev->ee->reg.start - 1 + dev->ee->reg.num >
  56872. + ARRAY_SIZE(mt76_channels_2ghz));
  56873. +
  56874. + return mt76_init_sband(dev, dev->sband_2g,
  56875. + &mt76_channels_2ghz[dev->ee->reg.start - 1],
  56876. + dev->ee->reg.num,
  56877. + mt76_rates, ARRAY_SIZE(mt76_rates));
  56878. +}
  56879. +
  56880. +int mt7601u_register_device(struct mt7601u_dev *dev)
  56881. +{
  56882. + struct ieee80211_hw *hw = dev->hw;
  56883. + struct wiphy *wiphy = hw->wiphy;
  56884. + int ret;
  56885. +
  56886. + /* Reserve WCID 0 for mcast - thanks to this APs WCID will go to
  56887. + * entry no. 1 like it does in the vendor driver.
  56888. + */
  56889. + dev->wcid_mask[0] |= 1;
  56890. +
  56891. + /* init fake wcid for monitor interfaces */
  56892. + dev->mon_wcid = devm_kmalloc(dev->dev, sizeof(*dev->mon_wcid),
  56893. + GFP_KERNEL);
  56894. + if (!dev->mon_wcid)
  56895. + return -ENOMEM;
  56896. + dev->mon_wcid->idx = 0xff;
  56897. + dev->mon_wcid->hw_key_idx = -1;
  56898. +
  56899. + SET_IEEE80211_DEV(hw, dev->dev);
  56900. +
  56901. + hw->queues = 4;
  56902. + hw->flags = IEEE80211_HW_SIGNAL_DBM |
  56903. + IEEE80211_HW_PS_NULLFUNC_STACK |
  56904. + IEEE80211_HW_SUPPORTS_HT_CCK_RATES |
  56905. + IEEE80211_HW_AMPDU_AGGREGATION |
  56906. + IEEE80211_HW_SUPPORTS_RC_TABLE;
  56907. + hw->max_rates = 1;
  56908. + hw->max_report_rates = 7;
  56909. + hw->max_rate_tries = 1;
  56910. +
  56911. + hw->sta_data_size = sizeof(struct mt76_sta);
  56912. + hw->vif_data_size = sizeof(struct mt76_vif);
  56913. +
  56914. + SET_IEEE80211_PERM_ADDR(hw, dev->macaddr);
  56915. +
  56916. + wiphy->features |= NL80211_FEATURE_ACTIVE_MONITOR;
  56917. + wiphy->interface_modes = BIT(NL80211_IFTYPE_STATION);
  56918. +
  56919. + ret = mt76_init_sband_2g(dev);
  56920. + if (ret)
  56921. + return ret;
  56922. +
  56923. + INIT_DELAYED_WORK(&dev->mac_work, mt7601u_mac_work);
  56924. + INIT_DELAYED_WORK(&dev->stat_work, mt7601u_tx_stat);
  56925. +
  56926. + ret = ieee80211_register_hw(hw);
  56927. + if (ret)
  56928. + return ret;
  56929. +
  56930. + mt7601u_init_debugfs(dev);
  56931. +
  56932. + return 0;
  56933. +}
  56934. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/initvals.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/initvals.h
  56935. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/initvals.h 1970-01-01 01:00:00.000000000 +0100
  56936. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/initvals.h 2015-11-29 09:42:38.887167260 +0100
  56937. @@ -0,0 +1,164 @@
  56938. +/*
  56939. + * (c) Copyright 2002-2010, Ralink Technology, Inc.
  56940. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  56941. + *
  56942. + * This program is free software; you can redistribute it and/or modify
  56943. + * it under the terms of the GNU General Public License version 2
  56944. + * as published by the Free Software Foundation
  56945. + *
  56946. + * This program is distributed in the hope that it will be useful,
  56947. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  56948. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  56949. + * GNU General Public License for more details.
  56950. + */
  56951. +
  56952. +#ifndef __MT7601U_INITVALS_H
  56953. +#define __MT7601U_INITVALS_H
  56954. +
  56955. +static const struct mt76_reg_pair bbp_common_vals[] = {
  56956. + { 65, 0x2c },
  56957. + { 66, 0x38 },
  56958. + { 68, 0x0b },
  56959. + { 69, 0x12 },
  56960. + { 70, 0x0a },
  56961. + { 73, 0x10 },
  56962. + { 81, 0x37 },
  56963. + { 82, 0x62 },
  56964. + { 83, 0x6a },
  56965. + { 84, 0x99 },
  56966. + { 86, 0x00 },
  56967. + { 91, 0x04 },
  56968. + { 92, 0x00 },
  56969. + { 103, 0x00 },
  56970. + { 105, 0x05 },
  56971. + { 106, 0x35 },
  56972. +};
  56973. +
  56974. +static const struct mt76_reg_pair bbp_chip_vals[] = {
  56975. + { 1, 0x04 }, { 4, 0x40 }, { 20, 0x06 }, { 31, 0x08 },
  56976. + /* CCK Tx Control */
  56977. + { 178, 0xff },
  56978. + /* AGC/Sync controls */
  56979. + { 66, 0x14 }, { 68, 0x8b }, { 69, 0x12 }, { 70, 0x09 },
  56980. + { 73, 0x11 }, { 75, 0x60 }, { 76, 0x44 }, { 84, 0x9a },
  56981. + { 86, 0x38 }, { 91, 0x07 }, { 92, 0x02 },
  56982. + /* Rx Path Controls */
  56983. + { 99, 0x50 }, { 101, 0x00 }, { 103, 0xc0 }, { 104, 0x92 },
  56984. + { 105, 0x3c }, { 106, 0x03 }, { 128, 0x12 },
  56985. + /* Change RXWI content: Gain Report */
  56986. + { 142, 0x04 }, { 143, 0x37 },
  56987. + /* Change RXWI content: Antenna Report */
  56988. + { 142, 0x03 }, { 143, 0x99 },
  56989. + /* Calibration Index Register */
  56990. + /* CCK Receiver Control */
  56991. + { 160, 0xeb }, { 161, 0xc4 }, { 162, 0x77 }, { 163, 0xf9 },
  56992. + { 164, 0x88 }, { 165, 0x80 }, { 166, 0xff }, { 167, 0xe4 },
  56993. + /* Added AGC controls - these AGC/GLRT registers are accessed
  56994. + * through R195 and R196.
  56995. + */
  56996. + { 195, 0x00 }, { 196, 0x00 },
  56997. + { 195, 0x01 }, { 196, 0x04 },
  56998. + { 195, 0x02 }, { 196, 0x20 },
  56999. + { 195, 0x03 }, { 196, 0x0a },
  57000. + { 195, 0x06 }, { 196, 0x16 },
  57001. + { 195, 0x07 }, { 196, 0x05 },
  57002. + { 195, 0x08 }, { 196, 0x37 },
  57003. + { 195, 0x0a }, { 196, 0x15 },
  57004. + { 195, 0x0b }, { 196, 0x17 },
  57005. + { 195, 0x0c }, { 196, 0x06 },
  57006. + { 195, 0x0d }, { 196, 0x09 },
  57007. + { 195, 0x0e }, { 196, 0x05 },
  57008. + { 195, 0x0f }, { 196, 0x09 },
  57009. + { 195, 0x10 }, { 196, 0x20 },
  57010. + { 195, 0x20 }, { 196, 0x17 },
  57011. + { 195, 0x21 }, { 196, 0x06 },
  57012. + { 195, 0x22 }, { 196, 0x09 },
  57013. + { 195, 0x23 }, { 196, 0x17 },
  57014. + { 195, 0x24 }, { 196, 0x06 },
  57015. + { 195, 0x25 }, { 196, 0x09 },
  57016. + { 195, 0x26 }, { 196, 0x17 },
  57017. + { 195, 0x27 }, { 196, 0x06 },
  57018. + { 195, 0x28 }, { 196, 0x09 },
  57019. + { 195, 0x29 }, { 196, 0x05 },
  57020. + { 195, 0x2a }, { 196, 0x09 },
  57021. + { 195, 0x80 }, { 196, 0x8b },
  57022. + { 195, 0x81 }, { 196, 0x12 },
  57023. + { 195, 0x82 }, { 196, 0x09 },
  57024. + { 195, 0x83 }, { 196, 0x17 },
  57025. + { 195, 0x84 }, { 196, 0x11 },
  57026. + { 195, 0x85 }, { 196, 0x00 },
  57027. + { 195, 0x86 }, { 196, 0x00 },
  57028. + { 195, 0x87 }, { 196, 0x18 },
  57029. + { 195, 0x88 }, { 196, 0x60 },
  57030. + { 195, 0x89 }, { 196, 0x44 },
  57031. + { 195, 0x8a }, { 196, 0x8b },
  57032. + { 195, 0x8b }, { 196, 0x8b },
  57033. + { 195, 0x8c }, { 196, 0x8b },
  57034. + { 195, 0x8d }, { 196, 0x8b },
  57035. + { 195, 0x8e }, { 196, 0x09 },
  57036. + { 195, 0x8f }, { 196, 0x09 },
  57037. + { 195, 0x90 }, { 196, 0x09 },
  57038. + { 195, 0x91 }, { 196, 0x09 },
  57039. + { 195, 0x92 }, { 196, 0x11 },
  57040. + { 195, 0x93 }, { 196, 0x11 },
  57041. + { 195, 0x94 }, { 196, 0x11 },
  57042. + { 195, 0x95 }, { 196, 0x11 },
  57043. + /* PPAD */
  57044. + { 47, 0x80 }, { 60, 0x80 }, { 150, 0xd2 }, { 151, 0x32 },
  57045. + { 152, 0x23 }, { 153, 0x41 }, { 154, 0x00 }, { 155, 0x4f },
  57046. + { 253, 0x7e }, { 195, 0x30 }, { 196, 0x32 }, { 195, 0x31 },
  57047. + { 196, 0x23 }, { 195, 0x32 }, { 196, 0x45 }, { 195, 0x35 },
  57048. + { 196, 0x4a }, { 195, 0x36 }, { 196, 0x5a }, { 195, 0x37 },
  57049. + { 196, 0x5a },
  57050. +};
  57051. +
  57052. +static const struct mt76_reg_pair mac_common_vals[] = {
  57053. + { MT_LEGACY_BASIC_RATE, 0x0000013f },
  57054. + { MT_HT_BASIC_RATE, 0x00008003 },
  57055. + { MT_MAC_SYS_CTRL, 0x00000000 },
  57056. + { MT_RX_FILTR_CFG, 0x00017f97 },
  57057. + { MT_BKOFF_SLOT_CFG, 0x00000209 },
  57058. + { MT_TX_SW_CFG0, 0x00000000 },
  57059. + { MT_TX_SW_CFG1, 0x00080606 },
  57060. + { MT_TX_LINK_CFG, 0x00001020 },
  57061. + { MT_TX_TIMEOUT_CFG, 0x000a2090 },
  57062. + { MT_MAX_LEN_CFG, 0x00003fff },
  57063. + { MT_PBF_TX_MAX_PCNT, 0x1fbf1f1f },
  57064. + { MT_PBF_RX_MAX_PCNT, 0x0000009f },
  57065. + { MT_TX_RETRY_CFG, 0x47d01f0f },
  57066. + { MT_AUTO_RSP_CFG, 0x00000013 },
  57067. + { MT_CCK_PROT_CFG, 0x05740003 },
  57068. + { MT_OFDM_PROT_CFG, 0x05740003 },
  57069. + { MT_MM40_PROT_CFG, 0x03f44084 },
  57070. + { MT_GF20_PROT_CFG, 0x01744004 },
  57071. + { MT_GF40_PROT_CFG, 0x03f44084 },
  57072. + { MT_MM20_PROT_CFG, 0x01744004 },
  57073. + { MT_TXOP_CTRL_CFG, 0x0000583f },
  57074. + { MT_TX_RTS_CFG, 0x01092b20 },
  57075. + { MT_EXP_ACK_TIME, 0x002400ca },
  57076. + { MT_TXOP_HLDR_ET, 0x00000002 },
  57077. + { MT_XIFS_TIME_CFG, 0x33a41010 },
  57078. + { MT_PWR_PIN_CFG, 0x00000000 },
  57079. +};
  57080. +
  57081. +static const struct mt76_reg_pair mac_chip_vals[] = {
  57082. + { MT_TSO_CTRL, 0x00006050 },
  57083. + { MT_BCN_OFFSET(0), 0x18100800 },
  57084. + { MT_BCN_OFFSET(1), 0x38302820 },
  57085. + { MT_PBF_SYS_CTRL, 0x00080c00 },
  57086. + { MT_PBF_CFG, 0x7f723c1f },
  57087. + { MT_FCE_PSE_CTRL, 0x00000001 },
  57088. + { MT_PAUSE_ENABLE_CONTROL1, 0x00000000 },
  57089. + { MT_TX0_RF_GAIN_CORR, 0x003b0005 },
  57090. + { MT_TX0_RF_GAIN_ATTEN, 0x00006900 },
  57091. + { MT_TX0_BB_GAIN_ATTEN, 0x00000400 },
  57092. + { MT_TX_ALC_VGA3, 0x00060006 },
  57093. + { MT_TX_SW_CFG0, 0x00000402 },
  57094. + { MT_TX_SW_CFG1, 0x00000000 },
  57095. + { MT_TX_SW_CFG2, 0x00000000 },
  57096. + { MT_HEADER_TRANS_CTRL_REG, 0x00000000 },
  57097. + { MT_FCE_CSO, 0x0000030f },
  57098. + { MT_FCE_PARAMETERS, 0x00256f0f },
  57099. +};
  57100. +
  57101. +#endif
  57102. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/initvals_phy.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/initvals_phy.h
  57103. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/initvals_phy.h 1970-01-01 01:00:00.000000000 +0100
  57104. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/initvals_phy.h 2015-11-29 09:42:38.887167260 +0100
  57105. @@ -0,0 +1,291 @@
  57106. +/*
  57107. + * (c) Copyright 2002-2010, Ralink Technology, Inc.
  57108. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  57109. + *
  57110. + * This program is free software; you can redistribute it and/or modify
  57111. + * it under the terms of the GNU General Public License version 2
  57112. + * as published by the Free Software Foundation
  57113. + *
  57114. + * This program is distributed in the hope that it will be useful,
  57115. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  57116. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  57117. + * GNU General Public License for more details.
  57118. + */
  57119. +
  57120. +#ifndef __MT7601U_PHY_INITVALS_H
  57121. +#define __MT7601U_PHY_INITVALS_H
  57122. +
  57123. +#define RF_REG_PAIR(bank, reg, value) \
  57124. + { MT_MCU_MEMMAP_RF | (bank) << 16 | (reg), value }
  57125. +
  57126. +static const struct mt76_reg_pair rf_central[] = {
  57127. + /* Bank 0 - for central blocks: BG, PLL, XTAL, LO, ADC/DAC */
  57128. + RF_REG_PAIR(0, 0, 0x02),
  57129. + RF_REG_PAIR(0, 1, 0x01),
  57130. + RF_REG_PAIR(0, 2, 0x11),
  57131. + RF_REG_PAIR(0, 3, 0xff),
  57132. + RF_REG_PAIR(0, 4, 0x0a),
  57133. + RF_REG_PAIR(0, 5, 0x20),
  57134. + RF_REG_PAIR(0, 6, 0x00),
  57135. + /* B/G */
  57136. + RF_REG_PAIR(0, 7, 0x00),
  57137. + RF_REG_PAIR(0, 8, 0x00),
  57138. + RF_REG_PAIR(0, 9, 0x00),
  57139. + RF_REG_PAIR(0, 10, 0x00),
  57140. + RF_REG_PAIR(0, 11, 0x21),
  57141. + /* XO */
  57142. + RF_REG_PAIR(0, 13, 0x00), /* 40mhz xtal */
  57143. + /* RF_REG_PAIR(0, 13, 0x13), */ /* 20mhz xtal */
  57144. + RF_REG_PAIR(0, 14, 0x7c),
  57145. + RF_REG_PAIR(0, 15, 0x22),
  57146. + RF_REG_PAIR(0, 16, 0x80),
  57147. + /* PLL */
  57148. + RF_REG_PAIR(0, 17, 0x99),
  57149. + RF_REG_PAIR(0, 18, 0x99),
  57150. + RF_REG_PAIR(0, 19, 0x09),
  57151. + RF_REG_PAIR(0, 20, 0x50),
  57152. + RF_REG_PAIR(0, 21, 0xb0),
  57153. + RF_REG_PAIR(0, 22, 0x00),
  57154. + RF_REG_PAIR(0, 23, 0xc5),
  57155. + RF_REG_PAIR(0, 24, 0xfc),
  57156. + RF_REG_PAIR(0, 25, 0x40),
  57157. + RF_REG_PAIR(0, 26, 0x4d),
  57158. + RF_REG_PAIR(0, 27, 0x02),
  57159. + RF_REG_PAIR(0, 28, 0x72),
  57160. + RF_REG_PAIR(0, 29, 0x01),
  57161. + RF_REG_PAIR(0, 30, 0x00),
  57162. + RF_REG_PAIR(0, 31, 0x00),
  57163. + /* test ports */
  57164. + RF_REG_PAIR(0, 32, 0x00),
  57165. + RF_REG_PAIR(0, 33, 0x00),
  57166. + RF_REG_PAIR(0, 34, 0x23),
  57167. + RF_REG_PAIR(0, 35, 0x01), /* change setting to reduce spurs */
  57168. + RF_REG_PAIR(0, 36, 0x00),
  57169. + RF_REG_PAIR(0, 37, 0x00),
  57170. + /* ADC/DAC */
  57171. + RF_REG_PAIR(0, 38, 0x00),
  57172. + RF_REG_PAIR(0, 39, 0x20),
  57173. + RF_REG_PAIR(0, 40, 0x00),
  57174. + RF_REG_PAIR(0, 41, 0xd0),
  57175. + RF_REG_PAIR(0, 42, 0x1b),
  57176. + RF_REG_PAIR(0, 43, 0x02),
  57177. + RF_REG_PAIR(0, 44, 0x00),
  57178. +};
  57179. +
  57180. +static const struct mt76_reg_pair rf_channel[] = {
  57181. + RF_REG_PAIR(4, 0, 0x01),
  57182. + RF_REG_PAIR(4, 1, 0x00),
  57183. + RF_REG_PAIR(4, 2, 0x00),
  57184. + RF_REG_PAIR(4, 3, 0x00),
  57185. + /* LDO */
  57186. + RF_REG_PAIR(4, 4, 0x00),
  57187. + RF_REG_PAIR(4, 5, 0x08),
  57188. + RF_REG_PAIR(4, 6, 0x00),
  57189. + /* RX */
  57190. + RF_REG_PAIR(4, 7, 0x5b),
  57191. + RF_REG_PAIR(4, 8, 0x52),
  57192. + RF_REG_PAIR(4, 9, 0xb6),
  57193. + RF_REG_PAIR(4, 10, 0x57),
  57194. + RF_REG_PAIR(4, 11, 0x33),
  57195. + RF_REG_PAIR(4, 12, 0x22),
  57196. + RF_REG_PAIR(4, 13, 0x3d),
  57197. + RF_REG_PAIR(4, 14, 0x3e),
  57198. + RF_REG_PAIR(4, 15, 0x13),
  57199. + RF_REG_PAIR(4, 16, 0x22),
  57200. + RF_REG_PAIR(4, 17, 0x23),
  57201. + RF_REG_PAIR(4, 18, 0x02),
  57202. + RF_REG_PAIR(4, 19, 0xa4),
  57203. + RF_REG_PAIR(4, 20, 0x01),
  57204. + RF_REG_PAIR(4, 21, 0x12),
  57205. + RF_REG_PAIR(4, 22, 0x80),
  57206. + RF_REG_PAIR(4, 23, 0xb3),
  57207. + RF_REG_PAIR(4, 24, 0x00), /* reserved */
  57208. + RF_REG_PAIR(4, 25, 0x00), /* reserved */
  57209. + RF_REG_PAIR(4, 26, 0x00), /* reserved */
  57210. + RF_REG_PAIR(4, 27, 0x00), /* reserved */
  57211. + /* LOGEN */
  57212. + RF_REG_PAIR(4, 28, 0x18),
  57213. + RF_REG_PAIR(4, 29, 0xee),
  57214. + RF_REG_PAIR(4, 30, 0x6b),
  57215. + RF_REG_PAIR(4, 31, 0x31),
  57216. + RF_REG_PAIR(4, 32, 0x5d),
  57217. + RF_REG_PAIR(4, 33, 0x00), /* reserved */
  57218. + /* TX */
  57219. + RF_REG_PAIR(4, 34, 0x96),
  57220. + RF_REG_PAIR(4, 35, 0x55),
  57221. + RF_REG_PAIR(4, 36, 0x08),
  57222. + RF_REG_PAIR(4, 37, 0xbb),
  57223. + RF_REG_PAIR(4, 38, 0xb3),
  57224. + RF_REG_PAIR(4, 39, 0xb3),
  57225. + RF_REG_PAIR(4, 40, 0x03),
  57226. + RF_REG_PAIR(4, 41, 0x00), /* reserved */
  57227. + RF_REG_PAIR(4, 42, 0x00), /* reserved */
  57228. + RF_REG_PAIR(4, 43, 0xc5),
  57229. + RF_REG_PAIR(4, 44, 0xc5),
  57230. + RF_REG_PAIR(4, 45, 0xc5),
  57231. + RF_REG_PAIR(4, 46, 0x07),
  57232. + RF_REG_PAIR(4, 47, 0xa8),
  57233. + RF_REG_PAIR(4, 48, 0xef),
  57234. + RF_REG_PAIR(4, 49, 0x1a),
  57235. + /* PA */
  57236. + RF_REG_PAIR(4, 54, 0x07),
  57237. + RF_REG_PAIR(4, 55, 0xa7),
  57238. + RF_REG_PAIR(4, 56, 0xcc),
  57239. + RF_REG_PAIR(4, 57, 0x14),
  57240. + RF_REG_PAIR(4, 58, 0x07),
  57241. + RF_REG_PAIR(4, 59, 0xa8),
  57242. + RF_REG_PAIR(4, 60, 0xd7),
  57243. + RF_REG_PAIR(4, 61, 0x10),
  57244. + RF_REG_PAIR(4, 62, 0x1c),
  57245. + RF_REG_PAIR(4, 63, 0x00), /* reserved */
  57246. +};
  57247. +
  57248. +static const struct mt76_reg_pair rf_vga[] = {
  57249. + RF_REG_PAIR(5, 0, 0x47),
  57250. + RF_REG_PAIR(5, 1, 0x00),
  57251. + RF_REG_PAIR(5, 2, 0x00),
  57252. + RF_REG_PAIR(5, 3, 0x08),
  57253. + RF_REG_PAIR(5, 4, 0x04),
  57254. + RF_REG_PAIR(5, 5, 0x20),
  57255. + RF_REG_PAIR(5, 6, 0x3a),
  57256. + RF_REG_PAIR(5, 7, 0x3a),
  57257. + RF_REG_PAIR(5, 8, 0x00),
  57258. + RF_REG_PAIR(5, 9, 0x00),
  57259. + RF_REG_PAIR(5, 10, 0x10),
  57260. + RF_REG_PAIR(5, 11, 0x10),
  57261. + RF_REG_PAIR(5, 12, 0x10),
  57262. + RF_REG_PAIR(5, 13, 0x10),
  57263. + RF_REG_PAIR(5, 14, 0x10),
  57264. + RF_REG_PAIR(5, 15, 0x20),
  57265. + RF_REG_PAIR(5, 16, 0x22),
  57266. + RF_REG_PAIR(5, 17, 0x7c),
  57267. + RF_REG_PAIR(5, 18, 0x00),
  57268. + RF_REG_PAIR(5, 19, 0x00),
  57269. + RF_REG_PAIR(5, 20, 0x00),
  57270. + RF_REG_PAIR(5, 21, 0xf1),
  57271. + RF_REG_PAIR(5, 22, 0x11),
  57272. + RF_REG_PAIR(5, 23, 0x02),
  57273. + RF_REG_PAIR(5, 24, 0x41),
  57274. + RF_REG_PAIR(5, 25, 0x20),
  57275. + RF_REG_PAIR(5, 26, 0x00),
  57276. + RF_REG_PAIR(5, 27, 0xd7),
  57277. + RF_REG_PAIR(5, 28, 0xa2),
  57278. + RF_REG_PAIR(5, 29, 0x20),
  57279. + RF_REG_PAIR(5, 30, 0x49),
  57280. + RF_REG_PAIR(5, 31, 0x20),
  57281. + RF_REG_PAIR(5, 32, 0x04),
  57282. + RF_REG_PAIR(5, 33, 0xf1),
  57283. + RF_REG_PAIR(5, 34, 0xa1),
  57284. + RF_REG_PAIR(5, 35, 0x01),
  57285. + RF_REG_PAIR(5, 41, 0x00),
  57286. + RF_REG_PAIR(5, 42, 0x00),
  57287. + RF_REG_PAIR(5, 43, 0x00),
  57288. + RF_REG_PAIR(5, 44, 0x00),
  57289. + RF_REG_PAIR(5, 45, 0x00),
  57290. + RF_REG_PAIR(5, 46, 0x00),
  57291. + RF_REG_PAIR(5, 47, 0x00),
  57292. + RF_REG_PAIR(5, 48, 0x00),
  57293. + RF_REG_PAIR(5, 49, 0x00),
  57294. + RF_REG_PAIR(5, 50, 0x00),
  57295. + RF_REG_PAIR(5, 51, 0x00),
  57296. + RF_REG_PAIR(5, 52, 0x00),
  57297. + RF_REG_PAIR(5, 53, 0x00),
  57298. + RF_REG_PAIR(5, 54, 0x00),
  57299. + RF_REG_PAIR(5, 55, 0x00),
  57300. + RF_REG_PAIR(5, 56, 0x00),
  57301. + RF_REG_PAIR(5, 57, 0x00),
  57302. + RF_REG_PAIR(5, 58, 0x31),
  57303. + RF_REG_PAIR(5, 59, 0x31),
  57304. + RF_REG_PAIR(5, 60, 0x0a),
  57305. + RF_REG_PAIR(5, 61, 0x02),
  57306. + RF_REG_PAIR(5, 62, 0x00),
  57307. + RF_REG_PAIR(5, 63, 0x00),
  57308. +};
  57309. +
  57310. +/* TODO: BBP178 is set to 0xff for "CCK CH14 OBW" which overrides the settings
  57311. + * from channel switching. Seems stupid at best.
  57312. + */
  57313. +static const struct mt76_reg_pair bbp_high_temp[] = {
  57314. + { 75, 0x60 },
  57315. + { 92, 0x02 },
  57316. + { 178, 0xff }, /* For CCK CH14 OBW */
  57317. + { 195, 0x88 }, { 196, 0x60 },
  57318. +}, bbp_high_temp_bw20[] = {
  57319. + { 69, 0x12 },
  57320. + { 91, 0x07 },
  57321. + { 195, 0x23 }, { 196, 0x17 },
  57322. + { 195, 0x24 }, { 196, 0x06 },
  57323. + { 195, 0x81 }, { 196, 0x12 },
  57324. + { 195, 0x83 }, { 196, 0x17 },
  57325. +}, bbp_high_temp_bw40[] = {
  57326. + { 69, 0x15 },
  57327. + { 91, 0x04 },
  57328. + { 195, 0x23 }, { 196, 0x12 },
  57329. + { 195, 0x24 }, { 196, 0x08 },
  57330. + { 195, 0x81 }, { 196, 0x15 },
  57331. + { 195, 0x83 }, { 196, 0x16 },
  57332. +}, bbp_low_temp[] = {
  57333. + { 178, 0xff }, /* For CCK CH14 OBW */
  57334. +}, bbp_low_temp_bw20[] = {
  57335. + { 69, 0x12 },
  57336. + { 75, 0x5e },
  57337. + { 91, 0x07 },
  57338. + { 92, 0x02 },
  57339. + { 195, 0x23 }, { 196, 0x17 },
  57340. + { 195, 0x24 }, { 196, 0x06 },
  57341. + { 195, 0x81 }, { 196, 0x12 },
  57342. + { 195, 0x83 }, { 196, 0x17 },
  57343. + { 195, 0x88 }, { 196, 0x5e },
  57344. +}, bbp_low_temp_bw40[] = {
  57345. + { 69, 0x15 },
  57346. + { 75, 0x5c },
  57347. + { 91, 0x04 },
  57348. + { 92, 0x03 },
  57349. + { 195, 0x23 }, { 196, 0x10 },
  57350. + { 195, 0x24 }, { 196, 0x08 },
  57351. + { 195, 0x81 }, { 196, 0x15 },
  57352. + { 195, 0x83 }, { 196, 0x16 },
  57353. + { 195, 0x88 }, { 196, 0x5b },
  57354. +}, bbp_normal_temp[] = {
  57355. + { 75, 0x60 },
  57356. + { 92, 0x02 },
  57357. + { 178, 0xff }, /* For CCK CH14 OBW */
  57358. + { 195, 0x88 }, { 196, 0x60 },
  57359. +}, bbp_normal_temp_bw20[] = {
  57360. + { 69, 0x12 },
  57361. + { 91, 0x07 },
  57362. + { 195, 0x23 }, { 196, 0x17 },
  57363. + { 195, 0x24 }, { 196, 0x06 },
  57364. + { 195, 0x81 }, { 196, 0x12 },
  57365. + { 195, 0x83 }, { 196, 0x17 },
  57366. +}, bbp_normal_temp_bw40[] = {
  57367. + { 69, 0x15 },
  57368. + { 91, 0x04 },
  57369. + { 195, 0x23 }, { 196, 0x12 },
  57370. + { 195, 0x24 }, { 196, 0x08 },
  57371. + { 195, 0x81 }, { 196, 0x15 },
  57372. + { 195, 0x83 }, { 196, 0x16 },
  57373. +};
  57374. +
  57375. +#define BBP_TABLE(arr) { arr, ARRAY_SIZE(arr), }
  57376. +
  57377. +static const struct reg_table {
  57378. + const struct mt76_reg_pair *regs;
  57379. + size_t n;
  57380. +} bbp_mode_table[3][3] = {
  57381. + {
  57382. + BBP_TABLE(bbp_normal_temp_bw20),
  57383. + BBP_TABLE(bbp_normal_temp_bw40),
  57384. + BBP_TABLE(bbp_normal_temp),
  57385. + }, {
  57386. + BBP_TABLE(bbp_high_temp_bw20),
  57387. + BBP_TABLE(bbp_high_temp_bw40),
  57388. + BBP_TABLE(bbp_high_temp),
  57389. + }, {
  57390. + BBP_TABLE(bbp_low_temp_bw20),
  57391. + BBP_TABLE(bbp_low_temp_bw40),
  57392. + BBP_TABLE(bbp_low_temp),
  57393. + }
  57394. +};
  57395. +
  57396. +#endif
  57397. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/Kconfig linux-rpi/drivers/net/wireless/mediatek/mt7601u/Kconfig
  57398. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/Kconfig 1970-01-01 01:00:00.000000000 +0100
  57399. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/Kconfig 2015-11-29 09:42:38.887167260 +0100
  57400. @@ -0,0 +1,6 @@
  57401. +config MT7601U
  57402. + tristate "MediaTek MT7601U (USB) support"
  57403. + depends on MAC80211
  57404. + depends on USB
  57405. + ---help---
  57406. + This adds support for MT7601U-based wireless USB dongles.
  57407. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mac.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/mac.c
  57408. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mac.c 1970-01-01 01:00:00.000000000 +0100
  57409. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/mac.c 2015-11-29 09:42:38.887167260 +0100
  57410. @@ -0,0 +1,577 @@
  57411. +/*
  57412. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  57413. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  57414. + *
  57415. + * This program is free software; you can redistribute it and/or modify
  57416. + * it under the terms of the GNU General Public License version 2
  57417. + * as published by the Free Software Foundation
  57418. + *
  57419. + * This program is distributed in the hope that it will be useful,
  57420. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  57421. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  57422. + * GNU General Public License for more details.
  57423. + */
  57424. +
  57425. +#include "mt7601u.h"
  57426. +#include "trace.h"
  57427. +#include <linux/etherdevice.h>
  57428. +
  57429. +static void
  57430. +mt76_mac_process_tx_rate(struct ieee80211_tx_rate *txrate, u16 rate)
  57431. +{
  57432. + u8 idx = MT76_GET(MT_TXWI_RATE_MCS, rate);
  57433. +
  57434. + txrate->idx = 0;
  57435. + txrate->flags = 0;
  57436. + txrate->count = 1;
  57437. +
  57438. + switch (MT76_GET(MT_TXWI_RATE_PHY_MODE, rate)) {
  57439. + case MT_PHY_TYPE_OFDM:
  57440. + txrate->idx = idx + 4;
  57441. + return;
  57442. + case MT_PHY_TYPE_CCK:
  57443. + if (idx >= 8)
  57444. + idx -= 8;
  57445. +
  57446. + txrate->idx = idx;
  57447. + return;
  57448. + case MT_PHY_TYPE_HT_GF:
  57449. + txrate->flags |= IEEE80211_TX_RC_GREEN_FIELD;
  57450. + /* fall through */
  57451. + case MT_PHY_TYPE_HT:
  57452. + txrate->flags |= IEEE80211_TX_RC_MCS;
  57453. + txrate->idx = idx;
  57454. + break;
  57455. + default:
  57456. + WARN_ON(1);
  57457. + return;
  57458. + }
  57459. +
  57460. + if (MT76_GET(MT_TXWI_RATE_BW, rate) == MT_PHY_BW_40)
  57461. + txrate->flags |= IEEE80211_TX_RC_40_MHZ_WIDTH;
  57462. +
  57463. + if (rate & MT_TXWI_RATE_SGI)
  57464. + txrate->flags |= IEEE80211_TX_RC_SHORT_GI;
  57465. +}
  57466. +
  57467. +static void
  57468. +mt76_mac_fill_tx_status(struct mt7601u_dev *dev, struct ieee80211_tx_info *info,
  57469. + struct mt76_tx_status *st)
  57470. +{
  57471. + struct ieee80211_tx_rate *rate = info->status.rates;
  57472. + int cur_idx, last_rate;
  57473. + int i;
  57474. +
  57475. + last_rate = min_t(int, st->retry, IEEE80211_TX_MAX_RATES - 1);
  57476. + mt76_mac_process_tx_rate(&rate[last_rate], st->rate);
  57477. + if (last_rate < IEEE80211_TX_MAX_RATES - 1)
  57478. + rate[last_rate + 1].idx = -1;
  57479. +
  57480. + cur_idx = rate[last_rate].idx + st->retry;
  57481. + for (i = 0; i <= last_rate; i++) {
  57482. + rate[i].flags = rate[last_rate].flags;
  57483. + rate[i].idx = max_t(int, 0, cur_idx - i);
  57484. + rate[i].count = 1;
  57485. + }
  57486. +
  57487. + if (last_rate > 0)
  57488. + rate[last_rate - 1].count = st->retry + 1 - last_rate;
  57489. +
  57490. + info->status.ampdu_len = 1;
  57491. + info->status.ampdu_ack_len = st->success;
  57492. +
  57493. + if (st->is_probe)
  57494. + info->flags |= IEEE80211_TX_CTL_RATE_CTRL_PROBE;
  57495. +
  57496. + if (st->aggr)
  57497. + info->flags |= IEEE80211_TX_CTL_AMPDU |
  57498. + IEEE80211_TX_STAT_AMPDU;
  57499. +
  57500. + if (!st->ack_req)
  57501. + info->flags |= IEEE80211_TX_CTL_NO_ACK;
  57502. + else if (st->success)
  57503. + info->flags |= IEEE80211_TX_STAT_ACK;
  57504. +}
  57505. +
  57506. +u16 mt76_mac_tx_rate_val(struct mt7601u_dev *dev,
  57507. + const struct ieee80211_tx_rate *rate, u8 *nss_val)
  57508. +{
  57509. + u16 rateval;
  57510. + u8 phy, rate_idx;
  57511. + u8 nss = 1;
  57512. + u8 bw = 0;
  57513. +
  57514. + if (rate->flags & IEEE80211_TX_RC_MCS) {
  57515. + rate_idx = rate->idx;
  57516. + nss = 1 + (rate->idx >> 3);
  57517. + phy = MT_PHY_TYPE_HT;
  57518. + if (rate->flags & IEEE80211_TX_RC_GREEN_FIELD)
  57519. + phy = MT_PHY_TYPE_HT_GF;
  57520. + if (rate->flags & IEEE80211_TX_RC_40_MHZ_WIDTH)
  57521. + bw = 1;
  57522. + } else {
  57523. + const struct ieee80211_rate *r;
  57524. + int band = dev->chandef.chan->band;
  57525. + u16 val;
  57526. +
  57527. + r = &dev->hw->wiphy->bands[band]->bitrates[rate->idx];
  57528. + if (rate->flags & IEEE80211_TX_RC_USE_SHORT_PREAMBLE)
  57529. + val = r->hw_value_short;
  57530. + else
  57531. + val = r->hw_value;
  57532. +
  57533. + phy = val >> 8;
  57534. + rate_idx = val & 0xff;
  57535. + bw = 0;
  57536. + }
  57537. +
  57538. + rateval = MT76_SET(MT_RXWI_RATE_MCS, rate_idx);
  57539. + rateval |= MT76_SET(MT_RXWI_RATE_PHY, phy);
  57540. + rateval |= MT76_SET(MT_RXWI_RATE_BW, bw);
  57541. + if (rate->flags & IEEE80211_TX_RC_SHORT_GI)
  57542. + rateval |= MT_RXWI_RATE_SGI;
  57543. +
  57544. + *nss_val = nss;
  57545. + return rateval;
  57546. +}
  57547. +
  57548. +void mt76_mac_wcid_set_rate(struct mt7601u_dev *dev, struct mt76_wcid *wcid,
  57549. + const struct ieee80211_tx_rate *rate)
  57550. +{
  57551. + unsigned long flags;
  57552. +
  57553. + spin_lock_irqsave(&dev->lock, flags);
  57554. + wcid->tx_rate = mt76_mac_tx_rate_val(dev, rate, &wcid->tx_rate_nss);
  57555. + wcid->tx_rate_set = true;
  57556. + spin_unlock_irqrestore(&dev->lock, flags);
  57557. +}
  57558. +
  57559. +struct mt76_tx_status mt7601u_mac_fetch_tx_status(struct mt7601u_dev *dev)
  57560. +{
  57561. + struct mt76_tx_status stat = {};
  57562. + u32 val;
  57563. +
  57564. + val = mt7601u_rr(dev, MT_TX_STAT_FIFO);
  57565. + stat.valid = !!(val & MT_TX_STAT_FIFO_VALID);
  57566. + stat.success = !!(val & MT_TX_STAT_FIFO_SUCCESS);
  57567. + stat.aggr = !!(val & MT_TX_STAT_FIFO_AGGR);
  57568. + stat.ack_req = !!(val & MT_TX_STAT_FIFO_ACKREQ);
  57569. + stat.pktid = MT76_GET(MT_TX_STAT_FIFO_PID_TYPE, val);
  57570. + stat.wcid = MT76_GET(MT_TX_STAT_FIFO_WCID, val);
  57571. + stat.rate = MT76_GET(MT_TX_STAT_FIFO_RATE, val);
  57572. +
  57573. + return stat;
  57574. +}
  57575. +
  57576. +void mt76_send_tx_status(struct mt7601u_dev *dev, struct mt76_tx_status *stat)
  57577. +{
  57578. + struct ieee80211_tx_info info = {};
  57579. + struct ieee80211_sta *sta = NULL;
  57580. + struct mt76_wcid *wcid = NULL;
  57581. + void *msta;
  57582. +
  57583. + rcu_read_lock();
  57584. + if (stat->wcid < ARRAY_SIZE(dev->wcid))
  57585. + wcid = rcu_dereference(dev->wcid[stat->wcid]);
  57586. +
  57587. + if (wcid) {
  57588. + msta = container_of(wcid, struct mt76_sta, wcid);
  57589. + sta = container_of(msta, struct ieee80211_sta,
  57590. + drv_priv);
  57591. + }
  57592. +
  57593. + mt76_mac_fill_tx_status(dev, &info, stat);
  57594. +
  57595. + spin_lock_bh(&dev->mac_lock);
  57596. + ieee80211_tx_status_noskb(dev->hw, sta, &info);
  57597. + spin_unlock_bh(&dev->mac_lock);
  57598. +
  57599. + rcu_read_unlock();
  57600. +}
  57601. +
  57602. +void mt7601u_mac_set_protection(struct mt7601u_dev *dev, bool legacy_prot,
  57603. + int ht_mode)
  57604. +{
  57605. + int mode = ht_mode & IEEE80211_HT_OP_MODE_PROTECTION;
  57606. + bool non_gf = !!(ht_mode & IEEE80211_HT_OP_MODE_NON_GF_STA_PRSNT);
  57607. + u32 prot[6];
  57608. + bool ht_rts[4] = {};
  57609. + int i;
  57610. +
  57611. + prot[0] = MT_PROT_NAV_SHORT |
  57612. + MT_PROT_TXOP_ALLOW_ALL |
  57613. + MT_PROT_RTS_THR_EN;
  57614. + prot[1] = prot[0];
  57615. + if (legacy_prot)
  57616. + prot[1] |= MT_PROT_CTRL_CTS2SELF;
  57617. +
  57618. + prot[2] = prot[4] = MT_PROT_NAV_SHORT | MT_PROT_TXOP_ALLOW_BW20;
  57619. + prot[3] = prot[5] = MT_PROT_NAV_SHORT | MT_PROT_TXOP_ALLOW_ALL;
  57620. +
  57621. + if (legacy_prot) {
  57622. + prot[2] |= MT_PROT_RATE_CCK_11;
  57623. + prot[3] |= MT_PROT_RATE_CCK_11;
  57624. + prot[4] |= MT_PROT_RATE_CCK_11;
  57625. + prot[5] |= MT_PROT_RATE_CCK_11;
  57626. + } else {
  57627. + prot[2] |= MT_PROT_RATE_OFDM_24;
  57628. + prot[3] |= MT_PROT_RATE_DUP_OFDM_24;
  57629. + prot[4] |= MT_PROT_RATE_OFDM_24;
  57630. + prot[5] |= MT_PROT_RATE_DUP_OFDM_24;
  57631. + }
  57632. +
  57633. + switch (mode) {
  57634. + case IEEE80211_HT_OP_MODE_PROTECTION_NONE:
  57635. + break;
  57636. +
  57637. + case IEEE80211_HT_OP_MODE_PROTECTION_NONMEMBER:
  57638. + ht_rts[0] = ht_rts[1] = ht_rts[2] = ht_rts[3] = true;
  57639. + break;
  57640. +
  57641. + case IEEE80211_HT_OP_MODE_PROTECTION_20MHZ:
  57642. + ht_rts[1] = ht_rts[3] = true;
  57643. + break;
  57644. +
  57645. + case IEEE80211_HT_OP_MODE_PROTECTION_NONHT_MIXED:
  57646. + ht_rts[0] = ht_rts[1] = ht_rts[2] = ht_rts[3] = true;
  57647. + break;
  57648. + }
  57649. +
  57650. + if (non_gf)
  57651. + ht_rts[2] = ht_rts[3] = true;
  57652. +
  57653. + for (i = 0; i < 4; i++)
  57654. + if (ht_rts[i])
  57655. + prot[i + 2] |= MT_PROT_CTRL_RTS_CTS;
  57656. +
  57657. + for (i = 0; i < 6; i++)
  57658. + mt7601u_wr(dev, MT_CCK_PROT_CFG + i * 4, prot[i]);
  57659. +}
  57660. +
  57661. +void mt7601u_mac_set_short_preamble(struct mt7601u_dev *dev, bool short_preamb)
  57662. +{
  57663. + if (short_preamb)
  57664. + mt76_set(dev, MT_AUTO_RSP_CFG, MT_AUTO_RSP_PREAMB_SHORT);
  57665. + else
  57666. + mt76_clear(dev, MT_AUTO_RSP_CFG, MT_AUTO_RSP_PREAMB_SHORT);
  57667. +}
  57668. +
  57669. +void mt7601u_mac_config_tsf(struct mt7601u_dev *dev, bool enable, int interval)
  57670. +{
  57671. + u32 val = mt7601u_rr(dev, MT_BEACON_TIME_CFG);
  57672. +
  57673. + val &= ~(MT_BEACON_TIME_CFG_TIMER_EN |
  57674. + MT_BEACON_TIME_CFG_SYNC_MODE |
  57675. + MT_BEACON_TIME_CFG_TBTT_EN);
  57676. +
  57677. + if (!enable) {
  57678. + mt7601u_wr(dev, MT_BEACON_TIME_CFG, val);
  57679. + return;
  57680. + }
  57681. +
  57682. + val &= ~MT_BEACON_TIME_CFG_INTVAL;
  57683. + val |= MT76_SET(MT_BEACON_TIME_CFG_INTVAL, interval << 4) |
  57684. + MT_BEACON_TIME_CFG_TIMER_EN |
  57685. + MT_BEACON_TIME_CFG_SYNC_MODE |
  57686. + MT_BEACON_TIME_CFG_TBTT_EN;
  57687. +}
  57688. +
  57689. +static void mt7601u_check_mac_err(struct mt7601u_dev *dev)
  57690. +{
  57691. + u32 val = mt7601u_rr(dev, 0x10f4);
  57692. +
  57693. + if (!(val & BIT(29)) || !(val & (BIT(7) | BIT(5))))
  57694. + return;
  57695. +
  57696. + dev_err(dev->dev, "Error: MAC specific condition occurred\n");
  57697. +
  57698. + mt76_set(dev, MT_MAC_SYS_CTRL, MT_MAC_SYS_CTRL_RESET_CSR);
  57699. + udelay(10);
  57700. + mt76_clear(dev, MT_MAC_SYS_CTRL, MT_MAC_SYS_CTRL_RESET_CSR);
  57701. +}
  57702. +
  57703. +void mt7601u_mac_work(struct work_struct *work)
  57704. +{
  57705. + struct mt7601u_dev *dev = container_of(work, struct mt7601u_dev,
  57706. + mac_work.work);
  57707. + struct {
  57708. + u32 addr_base;
  57709. + u32 span;
  57710. + u64 *stat_base;
  57711. + } spans[] = {
  57712. + { MT_RX_STA_CNT0, 3, dev->stats.rx_stat },
  57713. + { MT_TX_STA_CNT0, 3, dev->stats.tx_stat },
  57714. + { MT_TX_AGG_STAT, 1, dev->stats.aggr_stat },
  57715. + { MT_MPDU_DENSITY_CNT, 1, dev->stats.zero_len_del },
  57716. + { MT_TX_AGG_CNT_BASE0, 8, &dev->stats.aggr_n[0] },
  57717. + { MT_TX_AGG_CNT_BASE1, 8, &dev->stats.aggr_n[16] },
  57718. + };
  57719. + u32 sum, n;
  57720. + int i, j, k;
  57721. +
  57722. + /* Note: using MCU_RANDOM_READ is actually slower then reading all the
  57723. + * registers by hand. MCU takes ca. 20ms to complete read of 24
  57724. + * registers while reading them one by one will takes roughly
  57725. + * 24*200us =~ 5ms.
  57726. + */
  57727. +
  57728. + k = 0;
  57729. + n = 0;
  57730. + sum = 0;
  57731. + for (i = 0; i < ARRAY_SIZE(spans); i++)
  57732. + for (j = 0; j < spans[i].span; j++) {
  57733. + u32 val = mt7601u_rr(dev, spans[i].addr_base + j * 4);
  57734. +
  57735. + spans[i].stat_base[j * 2] += val & 0xffff;
  57736. + spans[i].stat_base[j * 2 + 1] += val >> 16;
  57737. +
  57738. + /* Calculate average AMPDU length */
  57739. + if (spans[i].addr_base != MT_TX_AGG_CNT_BASE0 &&
  57740. + spans[i].addr_base != MT_TX_AGG_CNT_BASE1)
  57741. + continue;
  57742. +
  57743. + n += (val >> 16) + (val & 0xffff);
  57744. + sum += (val & 0xffff) * (1 + k * 2) +
  57745. + (val >> 16) * (2 + k * 2);
  57746. + k++;
  57747. + }
  57748. +
  57749. + atomic_set(&dev->avg_ampdu_len, n ? DIV_ROUND_CLOSEST(sum, n) : 1);
  57750. +
  57751. + mt7601u_check_mac_err(dev);
  57752. +
  57753. + ieee80211_queue_delayed_work(dev->hw, &dev->mac_work, 10 * HZ);
  57754. +}
  57755. +
  57756. +void
  57757. +mt7601u_mac_wcid_setup(struct mt7601u_dev *dev, u8 idx, u8 vif_idx, u8 *mac)
  57758. +{
  57759. + u8 zmac[ETH_ALEN] = {};
  57760. + u32 attr;
  57761. +
  57762. + attr = MT76_SET(MT_WCID_ATTR_BSS_IDX, vif_idx & 7) |
  57763. + MT76_SET(MT_WCID_ATTR_BSS_IDX_EXT, !!(vif_idx & 8));
  57764. +
  57765. + mt76_wr(dev, MT_WCID_ATTR(idx), attr);
  57766. +
  57767. + if (mac)
  57768. + memcpy(zmac, mac, sizeof(zmac));
  57769. +
  57770. + mt7601u_addr_wr(dev, MT_WCID_ADDR(idx), zmac);
  57771. +}
  57772. +
  57773. +void mt7601u_mac_set_ampdu_factor(struct mt7601u_dev *dev)
  57774. +{
  57775. + struct ieee80211_sta *sta;
  57776. + struct mt76_wcid *wcid;
  57777. + void *msta;
  57778. + u8 min_factor = 3;
  57779. + int i;
  57780. +
  57781. + rcu_read_lock();
  57782. + for (i = 0; i < ARRAY_SIZE(dev->wcid); i++) {
  57783. + wcid = rcu_dereference(dev->wcid[i]);
  57784. + if (!wcid)
  57785. + continue;
  57786. +
  57787. + msta = container_of(wcid, struct mt76_sta, wcid);
  57788. + sta = container_of(msta, struct ieee80211_sta, drv_priv);
  57789. +
  57790. + min_factor = min(min_factor, sta->ht_cap.ampdu_factor);
  57791. + }
  57792. + rcu_read_unlock();
  57793. +
  57794. + mt7601u_wr(dev, MT_MAX_LEN_CFG, 0xa0fff |
  57795. + MT76_SET(MT_MAX_LEN_CFG_AMPDU, min_factor));
  57796. +}
  57797. +
  57798. +static void
  57799. +mt76_mac_process_rate(struct ieee80211_rx_status *status, u16 rate)
  57800. +{
  57801. + u8 idx = MT76_GET(MT_RXWI_RATE_MCS, rate);
  57802. +
  57803. + switch (MT76_GET(MT_RXWI_RATE_PHY, rate)) {
  57804. + case MT_PHY_TYPE_OFDM:
  57805. + if (WARN_ON(idx >= 8))
  57806. + idx = 0;
  57807. + idx += 4;
  57808. +
  57809. + status->rate_idx = idx;
  57810. + return;
  57811. + case MT_PHY_TYPE_CCK:
  57812. + if (idx >= 8) {
  57813. + idx -= 8;
  57814. + status->flag |= RX_FLAG_SHORTPRE;
  57815. + }
  57816. +
  57817. + if (WARN_ON(idx >= 4))
  57818. + idx = 0;
  57819. +
  57820. + status->rate_idx = idx;
  57821. + return;
  57822. + case MT_PHY_TYPE_HT_GF:
  57823. + status->flag |= RX_FLAG_HT_GF;
  57824. + /* fall through */
  57825. + case MT_PHY_TYPE_HT:
  57826. + status->flag |= RX_FLAG_HT;
  57827. + status->rate_idx = idx;
  57828. + break;
  57829. + default:
  57830. + WARN_ON(1);
  57831. + return;
  57832. + }
  57833. +
  57834. + if (rate & MT_RXWI_RATE_SGI)
  57835. + status->flag |= RX_FLAG_SHORT_GI;
  57836. +
  57837. + if (rate & MT_RXWI_RATE_STBC)
  57838. + status->flag |= 1 << RX_FLAG_STBC_SHIFT;
  57839. +
  57840. + if (rate & MT_RXWI_RATE_BW)
  57841. + status->flag |= RX_FLAG_40MHZ;
  57842. +}
  57843. +
  57844. +static void
  57845. +mt7601u_rx_monitor_beacon(struct mt7601u_dev *dev, struct mt7601u_rxwi *rxwi,
  57846. + u16 rate, int rssi)
  57847. +{
  57848. + dev->bcn_freq_off = rxwi->freq_off;
  57849. + dev->bcn_phy_mode = MT76_GET(MT_RXWI_RATE_PHY, rate);
  57850. + dev->avg_rssi = (dev->avg_rssi * 15) / 16 + (rssi << 8);
  57851. +}
  57852. +
  57853. +static int
  57854. +mt7601u_rx_is_our_beacon(struct mt7601u_dev *dev, u8 *data)
  57855. +{
  57856. + struct ieee80211_hdr *hdr = (struct ieee80211_hdr *)data;
  57857. +
  57858. + return ieee80211_is_beacon(hdr->frame_control) &&
  57859. + ether_addr_equal(hdr->addr2, dev->ap_bssid);
  57860. +}
  57861. +
  57862. +u32 mt76_mac_process_rx(struct mt7601u_dev *dev, struct sk_buff *skb,
  57863. + u8 *data, void *rxi)
  57864. +{
  57865. + struct ieee80211_rx_status *status = IEEE80211_SKB_RXCB(skb);
  57866. + struct mt7601u_rxwi *rxwi = rxi;
  57867. + u32 len, ctl = le32_to_cpu(rxwi->ctl);
  57868. + u16 rate = le16_to_cpu(rxwi->rate);
  57869. + int rssi;
  57870. +
  57871. + len = MT76_GET(MT_RXWI_CTL_MPDU_LEN, ctl);
  57872. + if (len < 10)
  57873. + return 0;
  57874. +
  57875. + if (rxwi->rxinfo & cpu_to_le32(MT_RXINFO_DECRYPT)) {
  57876. + status->flag |= RX_FLAG_DECRYPTED;
  57877. + status->flag |= RX_FLAG_IV_STRIPPED | RX_FLAG_MMIC_STRIPPED;
  57878. + }
  57879. +
  57880. + status->chains = BIT(0);
  57881. + rssi = mt7601u_phy_get_rssi(dev, rxwi, rate);
  57882. + status->chain_signal[0] = status->signal = rssi;
  57883. + status->freq = dev->chandef.chan->center_freq;
  57884. + status->band = dev->chandef.chan->band;
  57885. +
  57886. + mt76_mac_process_rate(status, rate);
  57887. +
  57888. + spin_lock_bh(&dev->con_mon_lock);
  57889. + if (mt7601u_rx_is_our_beacon(dev, data))
  57890. + mt7601u_rx_monitor_beacon(dev, rxwi, rate, rssi);
  57891. + else if (rxwi->rxinfo & cpu_to_le32(MT_RXINFO_U2M))
  57892. + dev->avg_rssi = (dev->avg_rssi * 15) / 16 + (rssi << 8);
  57893. + spin_unlock_bh(&dev->con_mon_lock);
  57894. +
  57895. + return len;
  57896. +}
  57897. +
  57898. +static enum mt76_cipher_type
  57899. +mt76_mac_get_key_info(struct ieee80211_key_conf *key, u8 *key_data)
  57900. +{
  57901. + memset(key_data, 0, 32);
  57902. + if (!key)
  57903. + return MT_CIPHER_NONE;
  57904. +
  57905. + if (key->keylen > 32)
  57906. + return MT_CIPHER_NONE;
  57907. +
  57908. + memcpy(key_data, key->key, key->keylen);
  57909. +
  57910. + switch (key->cipher) {
  57911. + case WLAN_CIPHER_SUITE_WEP40:
  57912. + return MT_CIPHER_WEP40;
  57913. + case WLAN_CIPHER_SUITE_WEP104:
  57914. + return MT_CIPHER_WEP104;
  57915. + case WLAN_CIPHER_SUITE_TKIP:
  57916. + return MT_CIPHER_TKIP;
  57917. + case WLAN_CIPHER_SUITE_CCMP:
  57918. + return MT_CIPHER_AES_CCMP;
  57919. + default:
  57920. + return MT_CIPHER_NONE;
  57921. + }
  57922. +}
  57923. +
  57924. +int mt76_mac_wcid_set_key(struct mt7601u_dev *dev, u8 idx,
  57925. + struct ieee80211_key_conf *key)
  57926. +{
  57927. + enum mt76_cipher_type cipher;
  57928. + u8 key_data[32];
  57929. + u8 iv_data[8];
  57930. + u32 val;
  57931. +
  57932. + cipher = mt76_mac_get_key_info(key, key_data);
  57933. + if (cipher == MT_CIPHER_NONE && key)
  57934. + return -EINVAL;
  57935. +
  57936. + trace_set_key(dev, idx);
  57937. +
  57938. + mt7601u_wr_copy(dev, MT_WCID_KEY(idx), key_data, sizeof(key_data));
  57939. +
  57940. + memset(iv_data, 0, sizeof(iv_data));
  57941. + if (key) {
  57942. + iv_data[3] = key->keyidx << 6;
  57943. + if (cipher >= MT_CIPHER_TKIP) {
  57944. + /* Note: start with 1 to comply with spec,
  57945. + * (see comment on common/cmm_wpa.c:4291).
  57946. + */
  57947. + iv_data[0] |= 1;
  57948. + iv_data[3] |= 0x20;
  57949. + }
  57950. + }
  57951. + mt7601u_wr_copy(dev, MT_WCID_IV(idx), iv_data, sizeof(iv_data));
  57952. +
  57953. + val = mt7601u_rr(dev, MT_WCID_ATTR(idx));
  57954. + val &= ~MT_WCID_ATTR_PKEY_MODE & ~MT_WCID_ATTR_PKEY_MODE_EXT;
  57955. + val |= MT76_SET(MT_WCID_ATTR_PKEY_MODE, cipher & 7) |
  57956. + MT76_SET(MT_WCID_ATTR_PKEY_MODE_EXT, cipher >> 3);
  57957. + val &= ~MT_WCID_ATTR_PAIRWISE;
  57958. + val |= MT_WCID_ATTR_PAIRWISE *
  57959. + !!(key && key->flags & IEEE80211_KEY_FLAG_PAIRWISE);
  57960. + mt7601u_wr(dev, MT_WCID_ATTR(idx), val);
  57961. +
  57962. + return 0;
  57963. +}
  57964. +
  57965. +int mt76_mac_shared_key_setup(struct mt7601u_dev *dev, u8 vif_idx, u8 key_idx,
  57966. + struct ieee80211_key_conf *key)
  57967. +{
  57968. + enum mt76_cipher_type cipher;
  57969. + u8 key_data[32];
  57970. + u32 val;
  57971. +
  57972. + cipher = mt76_mac_get_key_info(key, key_data);
  57973. + if (cipher == MT_CIPHER_NONE && key)
  57974. + return -EINVAL;
  57975. +
  57976. + trace_set_shared_key(dev, vif_idx, key_idx);
  57977. +
  57978. + mt7601u_wr_copy(dev, MT_SKEY(vif_idx, key_idx),
  57979. + key_data, sizeof(key_data));
  57980. +
  57981. + val = mt76_rr(dev, MT_SKEY_MODE(vif_idx));
  57982. + val &= ~(MT_SKEY_MODE_MASK << MT_SKEY_MODE_SHIFT(vif_idx, key_idx));
  57983. + val |= cipher << MT_SKEY_MODE_SHIFT(vif_idx, key_idx);
  57984. + mt76_wr(dev, MT_SKEY_MODE(vif_idx), val);
  57985. +
  57986. + return 0;
  57987. +}
  57988. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mac.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/mac.h
  57989. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mac.h 1970-01-01 01:00:00.000000000 +0100
  57990. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/mac.h 2015-11-29 09:42:38.887167260 +0100
  57991. @@ -0,0 +1,178 @@
  57992. +/*
  57993. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  57994. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  57995. + *
  57996. + * This program is free software; you can redistribute it and/or modify
  57997. + * it under the terms of the GNU General Public License version 2
  57998. + * as published by the Free Software Foundation
  57999. + *
  58000. + * This program is distributed in the hope that it will be useful,
  58001. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  58002. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  58003. + * GNU General Public License for more details.
  58004. + */
  58005. +
  58006. +#ifndef __MT76_MAC_H
  58007. +#define __MT76_MAC_H
  58008. +
  58009. +struct mt76_tx_status {
  58010. + u8 valid:1;
  58011. + u8 success:1;
  58012. + u8 aggr:1;
  58013. + u8 ack_req:1;
  58014. + u8 is_probe:1;
  58015. + u8 wcid;
  58016. + u8 pktid;
  58017. + u8 retry;
  58018. + u16 rate;
  58019. +} __packed __aligned(2);
  58020. +
  58021. +/* Note: values in original "RSSI" and "SNR" fields are not actually what they
  58022. + * are called for MT7601U, names used by this driver are educated guesses
  58023. + * (see vendor mac/ral_omac.c).
  58024. + */
  58025. +struct mt7601u_rxwi {
  58026. + __le32 rxinfo;
  58027. +
  58028. + __le32 ctl;
  58029. +
  58030. + __le16 frag_sn;
  58031. + __le16 rate;
  58032. +
  58033. + u8 unknown;
  58034. + u8 zero[3];
  58035. +
  58036. + u8 snr;
  58037. + u8 ant;
  58038. + u8 gain;
  58039. + u8 freq_off;
  58040. +
  58041. + __le32 resv2;
  58042. + __le32 expert_ant;
  58043. +} __packed __aligned(4);
  58044. +
  58045. +#define MT_RXINFO_BA BIT(0)
  58046. +#define MT_RXINFO_DATA BIT(1)
  58047. +#define MT_RXINFO_NULL BIT(2)
  58048. +#define MT_RXINFO_FRAG BIT(3)
  58049. +#define MT_RXINFO_U2M BIT(4)
  58050. +#define MT_RXINFO_MULTICAST BIT(5)
  58051. +#define MT_RXINFO_BROADCAST BIT(6)
  58052. +#define MT_RXINFO_MYBSS BIT(7)
  58053. +#define MT_RXINFO_CRCERR BIT(8)
  58054. +#define MT_RXINFO_ICVERR BIT(9)
  58055. +#define MT_RXINFO_MICERR BIT(10)
  58056. +#define MT_RXINFO_AMSDU BIT(11)
  58057. +#define MT_RXINFO_HTC BIT(12)
  58058. +#define MT_RXINFO_RSSI BIT(13)
  58059. +#define MT_RXINFO_L2PAD BIT(14)
  58060. +#define MT_RXINFO_AMPDU BIT(15)
  58061. +#define MT_RXINFO_DECRYPT BIT(16)
  58062. +#define MT_RXINFO_BSSIDX3 BIT(17)
  58063. +#define MT_RXINFO_WAPI_KEY BIT(18)
  58064. +#define MT_RXINFO_PN_LEN GENMASK(21, 19)
  58065. +#define MT_RXINFO_SW_PKT_80211 BIT(22)
  58066. +#define MT_RXINFO_TCP_SUM_BYPASS BIT(28)
  58067. +#define MT_RXINFO_IP_SUM_BYPASS BIT(29)
  58068. +#define MT_RXINFO_TCP_SUM_ERR BIT(30)
  58069. +#define MT_RXINFO_IP_SUM_ERR BIT(31)
  58070. +
  58071. +#define MT_RXWI_CTL_WCID GENMASK(7, 0)
  58072. +#define MT_RXWI_CTL_KEY_IDX GENMASK(9, 8)
  58073. +#define MT_RXWI_CTL_BSS_IDX GENMASK(12, 10)
  58074. +#define MT_RXWI_CTL_UDF GENMASK(15, 13)
  58075. +#define MT_RXWI_CTL_MPDU_LEN GENMASK(27, 16)
  58076. +#define MT_RXWI_CTL_TID GENMASK(31, 28)
  58077. +
  58078. +#define MT_RXWI_FRAG GENMASK(3, 0)
  58079. +#define MT_RXWI_SN GENMASK(15, 4)
  58080. +
  58081. +#define MT_RXWI_RATE_MCS GENMASK(6, 0)
  58082. +#define MT_RXWI_RATE_BW BIT(7)
  58083. +#define MT_RXWI_RATE_SGI BIT(8)
  58084. +#define MT_RXWI_RATE_STBC GENMASK(10, 9)
  58085. +#define MT_RXWI_RATE_ETXBF BIT(11)
  58086. +#define MT_RXWI_RATE_SND BIT(12)
  58087. +#define MT_RXWI_RATE_ITXBF BIT(13)
  58088. +#define MT_RXWI_RATE_PHY GENMASK(15, 14)
  58089. +
  58090. +#define MT_RXWI_GAIN_RSSI_VAL GENMASK(5, 0)
  58091. +#define MT_RXWI_GAIN_RSSI_LNA_ID GENMASK(7, 6)
  58092. +#define MT_RXWI_ANT_AUX_LNA BIT(7)
  58093. +
  58094. +#define MT_RXWI_EANT_ENC_ANT_ID GENMASK(7, 0)
  58095. +
  58096. +enum mt76_phy_type {
  58097. + MT_PHY_TYPE_CCK,
  58098. + MT_PHY_TYPE_OFDM,
  58099. + MT_PHY_TYPE_HT,
  58100. + MT_PHY_TYPE_HT_GF,
  58101. +};
  58102. +
  58103. +enum mt76_phy_bandwidth {
  58104. + MT_PHY_BW_20,
  58105. + MT_PHY_BW_40,
  58106. +};
  58107. +
  58108. +struct mt76_txwi {
  58109. + __le16 flags;
  58110. + __le16 rate_ctl;
  58111. +
  58112. + u8 ack_ctl;
  58113. + u8 wcid;
  58114. + __le16 len_ctl;
  58115. +
  58116. + __le32 iv;
  58117. +
  58118. + __le32 eiv;
  58119. +
  58120. + u8 aid;
  58121. + u8 txstream;
  58122. + __le16 ctl;
  58123. +} __packed __aligned(4);
  58124. +
  58125. +#define MT_TXWI_FLAGS_FRAG BIT(0)
  58126. +#define MT_TXWI_FLAGS_MMPS BIT(1)
  58127. +#define MT_TXWI_FLAGS_CFACK BIT(2)
  58128. +#define MT_TXWI_FLAGS_TS BIT(3)
  58129. +#define MT_TXWI_FLAGS_AMPDU BIT(4)
  58130. +#define MT_TXWI_FLAGS_MPDU_DENSITY GENMASK(7, 5)
  58131. +#define MT_TXWI_FLAGS_TXOP GENMASK(9, 8)
  58132. +#define MT_TXWI_FLAGS_CWMIN GENMASK(12, 10)
  58133. +#define MT_TXWI_FLAGS_NO_RATE_FALLBACK BIT(13)
  58134. +#define MT_TXWI_FLAGS_TX_RPT BIT(14)
  58135. +#define MT_TXWI_FLAGS_TX_RATE_LUT BIT(15)
  58136. +
  58137. +#define MT_TXWI_RATE_MCS GENMASK(6, 0)
  58138. +#define MT_TXWI_RATE_BW BIT(7)
  58139. +#define MT_TXWI_RATE_SGI BIT(8)
  58140. +#define MT_TXWI_RATE_STBC GENMASK(10, 9)
  58141. +#define MT_TXWI_RATE_PHY_MODE GENMASK(15, 14)
  58142. +
  58143. +#define MT_TXWI_ACK_CTL_REQ BIT(0)
  58144. +#define MT_TXWI_ACK_CTL_NSEQ BIT(1)
  58145. +#define MT_TXWI_ACK_CTL_BA_WINDOW GENMASK(7, 2)
  58146. +
  58147. +#define MT_TXWI_LEN_BYTE_CNT GENMASK(11, 0)
  58148. +#define MT_TXWI_LEN_PKTID GENMASK(15, 12)
  58149. +
  58150. +#define MT_TXWI_CTL_TX_POWER_ADJ GENMASK(3, 0)
  58151. +#define MT_TXWI_CTL_CHAN_CHECK_PKT BIT(4)
  58152. +#define MT_TXWI_CTL_PIFS_REV BIT(6)
  58153. +
  58154. +u32 mt76_mac_process_rx(struct mt7601u_dev *dev, struct sk_buff *skb,
  58155. + u8 *data, void *rxi);
  58156. +int mt76_mac_wcid_set_key(struct mt7601u_dev *dev, u8 idx,
  58157. + struct ieee80211_key_conf *key);
  58158. +void mt76_mac_wcid_set_rate(struct mt7601u_dev *dev, struct mt76_wcid *wcid,
  58159. + const struct ieee80211_tx_rate *rate);
  58160. +
  58161. +int mt76_mac_shared_key_setup(struct mt7601u_dev *dev, u8 vif_idx, u8 key_idx,
  58162. + struct ieee80211_key_conf *key);
  58163. +u16 mt76_mac_tx_rate_val(struct mt7601u_dev *dev,
  58164. + const struct ieee80211_tx_rate *rate, u8 *nss_val);
  58165. +struct mt76_tx_status
  58166. +mt7601u_mac_fetch_tx_status(struct mt7601u_dev *dev);
  58167. +void mt76_send_tx_status(struct mt7601u_dev *dev, struct mt76_tx_status *stat);
  58168. +
  58169. +#endif
  58170. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/main.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/main.c
  58171. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/main.c 1970-01-01 01:00:00.000000000 +0100
  58172. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/main.c 2015-11-29 09:42:38.887167260 +0100
  58173. @@ -0,0 +1,413 @@
  58174. +/*
  58175. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  58176. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  58177. + *
  58178. + * This program is free software; you can redistribute it and/or modify
  58179. + * it under the terms of the GNU General Public License version 2
  58180. + * as published by the Free Software Foundation
  58181. + *
  58182. + * This program is distributed in the hope that it will be useful,
  58183. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  58184. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  58185. + * GNU General Public License for more details.
  58186. + */
  58187. +
  58188. +#include "mt7601u.h"
  58189. +#include "mac.h"
  58190. +#include <linux/etherdevice.h>
  58191. +#include <linux/version.h>
  58192. +
  58193. +static int mt7601u_start(struct ieee80211_hw *hw)
  58194. +{
  58195. + struct mt7601u_dev *dev = hw->priv;
  58196. + int ret;
  58197. +
  58198. + mutex_lock(&dev->mutex);
  58199. +
  58200. + ret = mt7601u_mac_start(dev);
  58201. + if (ret)
  58202. + goto out;
  58203. +
  58204. + ieee80211_queue_delayed_work(dev->hw, &dev->mac_work,
  58205. + MT_CALIBRATE_INTERVAL);
  58206. + ieee80211_queue_delayed_work(dev->hw, &dev->cal_work,
  58207. + MT_CALIBRATE_INTERVAL);
  58208. +out:
  58209. + mutex_unlock(&dev->mutex);
  58210. + return ret;
  58211. +}
  58212. +
  58213. +static void mt7601u_stop(struct ieee80211_hw *hw)
  58214. +{
  58215. + struct mt7601u_dev *dev = hw->priv;
  58216. +
  58217. + mutex_lock(&dev->mutex);
  58218. +
  58219. + cancel_delayed_work_sync(&dev->cal_work);
  58220. + cancel_delayed_work_sync(&dev->mac_work);
  58221. + mt7601u_mac_stop(dev);
  58222. +
  58223. + mutex_unlock(&dev->mutex);
  58224. +}
  58225. +
  58226. +static int mt7601u_add_interface(struct ieee80211_hw *hw,
  58227. + struct ieee80211_vif *vif)
  58228. +{
  58229. + struct mt7601u_dev *dev = hw->priv;
  58230. + struct mt76_vif *mvif = (struct mt76_vif *) vif->drv_priv;
  58231. + unsigned int idx = 0;
  58232. + unsigned int wcid = GROUP_WCID(idx);
  58233. +
  58234. + /* Note: for AP do the AP-STA things mt76 does:
  58235. + * - beacon offsets
  58236. + * - do mac address tricks
  58237. + * - shift vif idx
  58238. + */
  58239. + mvif->idx = idx;
  58240. +
  58241. + if (dev->wcid_mask[wcid / BITS_PER_LONG] & BIT(wcid % BITS_PER_LONG))
  58242. + return -ENOSPC;
  58243. + dev->wcid_mask[wcid / BITS_PER_LONG] |= BIT(wcid % BITS_PER_LONG);
  58244. + mvif->group_wcid.idx = wcid;
  58245. + mvif->group_wcid.hw_key_idx = -1;
  58246. +
  58247. + return 0;
  58248. +}
  58249. +
  58250. +static void mt7601u_remove_interface(struct ieee80211_hw *hw,
  58251. + struct ieee80211_vif *vif)
  58252. +{
  58253. + struct mt7601u_dev *dev = hw->priv;
  58254. + struct mt76_vif *mvif = (struct mt76_vif *) vif->drv_priv;
  58255. + unsigned int wcid = mvif->group_wcid.idx;
  58256. +
  58257. + dev->wcid_mask[wcid / BITS_PER_LONG] &= ~BIT(wcid % BITS_PER_LONG);
  58258. +}
  58259. +
  58260. +static int mt7601u_config(struct ieee80211_hw *hw, u32 changed)
  58261. +{
  58262. + struct mt7601u_dev *dev = hw->priv;
  58263. + int ret = 0;
  58264. +
  58265. + mutex_lock(&dev->mutex);
  58266. +
  58267. + if (changed & IEEE80211_CONF_CHANGE_CHANNEL) {
  58268. + ieee80211_stop_queues(hw);
  58269. + ret = mt7601u_phy_set_channel(dev, &hw->conf.chandef);
  58270. + ieee80211_wake_queues(hw);
  58271. + }
  58272. +
  58273. + mutex_unlock(&dev->mutex);
  58274. +
  58275. + return ret;
  58276. +}
  58277. +
  58278. +static void
  58279. +mt76_configure_filter(struct ieee80211_hw *hw, unsigned int changed_flags,
  58280. + unsigned int *total_flags, u64 multicast)
  58281. +{
  58282. + struct mt7601u_dev *dev = hw->priv;
  58283. + u32 flags = 0;
  58284. +
  58285. +#define MT76_FILTER(_flag, _hw) do { \
  58286. + flags |= *total_flags & FIF_##_flag; \
  58287. + dev->rxfilter &= ~(_hw); \
  58288. + dev->rxfilter |= !(flags & FIF_##_flag) * (_hw); \
  58289. + } while (0)
  58290. +
  58291. + mutex_lock(&dev->mutex);
  58292. +
  58293. + dev->rxfilter &= ~MT_RX_FILTR_CFG_OTHER_BSS;
  58294. +
  58295. + MT76_FILTER(OTHER_BSS, MT_RX_FILTR_CFG_PROMISC);
  58296. + MT76_FILTER(FCSFAIL, MT_RX_FILTR_CFG_CRC_ERR);
  58297. + MT76_FILTER(PLCPFAIL, MT_RX_FILTR_CFG_PHY_ERR);
  58298. + MT76_FILTER(CONTROL, MT_RX_FILTR_CFG_ACK |
  58299. + MT_RX_FILTR_CFG_CTS |
  58300. + MT_RX_FILTR_CFG_CFEND |
  58301. + MT_RX_FILTR_CFG_CFACK |
  58302. + MT_RX_FILTR_CFG_BA |
  58303. + MT_RX_FILTR_CFG_CTRL_RSV);
  58304. + MT76_FILTER(PSPOLL, MT_RX_FILTR_CFG_PSPOLL);
  58305. +
  58306. + *total_flags = flags;
  58307. + mt76_wr(dev, MT_RX_FILTR_CFG, dev->rxfilter);
  58308. +
  58309. + mutex_unlock(&dev->mutex);
  58310. +}
  58311. +
  58312. +static void
  58313. +mt7601u_bss_info_changed(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58314. + struct ieee80211_bss_conf *info, u32 changed)
  58315. +{
  58316. + struct mt7601u_dev *dev = hw->priv;
  58317. +
  58318. + mutex_lock(&dev->mutex);
  58319. +
  58320. + if (changed & BSS_CHANGED_ASSOC)
  58321. + mt7601u_phy_con_cal_onoff(dev, info);
  58322. +
  58323. + if (changed & BSS_CHANGED_BSSID) {
  58324. + mt7601u_addr_wr(dev, MT_MAC_BSSID_DW0, info->bssid);
  58325. +
  58326. + /* Note: this is a hack because beacon_int is not changed
  58327. + * on leave nor is any more appropriate event generated.
  58328. + * rt2x00 doesn't seem to be bothered though.
  58329. + */
  58330. + if (is_zero_ether_addr(info->bssid))
  58331. + mt7601u_mac_config_tsf(dev, false, 0);
  58332. + }
  58333. +
  58334. + if (changed & BSS_CHANGED_BASIC_RATES) {
  58335. + mt7601u_wr(dev, MT_LEGACY_BASIC_RATE, info->basic_rates);
  58336. + mt7601u_wr(dev, MT_HT_FBK_CFG0, 0x65432100);
  58337. + mt7601u_wr(dev, MT_HT_FBK_CFG1, 0xedcba980);
  58338. + mt7601u_wr(dev, MT_LG_FBK_CFG0, 0xedcba988);
  58339. + mt7601u_wr(dev, MT_LG_FBK_CFG1, 0x00002100);
  58340. + }
  58341. +
  58342. + if (changed & BSS_CHANGED_BEACON_INT)
  58343. + mt7601u_mac_config_tsf(dev, true, info->beacon_int);
  58344. +
  58345. + if (changed & BSS_CHANGED_HT || changed & BSS_CHANGED_ERP_CTS_PROT)
  58346. + mt7601u_mac_set_protection(dev, info->use_cts_prot,
  58347. + info->ht_operation_mode);
  58348. +
  58349. + if (changed & BSS_CHANGED_ERP_PREAMBLE)
  58350. + mt7601u_mac_set_short_preamble(dev, info->use_short_preamble);
  58351. +
  58352. + if (changed & BSS_CHANGED_ERP_SLOT) {
  58353. + int slottime = info->use_short_slot ? 9 : 20;
  58354. +
  58355. + mt76_rmw_field(dev, MT_BKOFF_SLOT_CFG,
  58356. + MT_BKOFF_SLOT_CFG_SLOTTIME, slottime);
  58357. + }
  58358. +
  58359. + if (changed & BSS_CHANGED_ASSOC)
  58360. + mt7601u_phy_recalibrate_after_assoc(dev);
  58361. +
  58362. + mutex_unlock(&dev->mutex);
  58363. +}
  58364. +
  58365. +static int
  58366. +mt76_wcid_alloc(struct mt7601u_dev *dev)
  58367. +{
  58368. + int i, idx = 0;
  58369. +
  58370. + for (i = 0; i < ARRAY_SIZE(dev->wcid_mask); i++) {
  58371. + idx = ffs(~dev->wcid_mask[i]);
  58372. + if (!idx)
  58373. + continue;
  58374. +
  58375. + idx--;
  58376. + dev->wcid_mask[i] |= BIT(idx);
  58377. + break;
  58378. + }
  58379. +
  58380. + idx = i * BITS_PER_LONG + idx;
  58381. + if (idx > 119)
  58382. + return -1;
  58383. +
  58384. + return idx;
  58385. +}
  58386. +
  58387. +static int
  58388. +mt7601u_sta_add(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58389. + struct ieee80211_sta *sta)
  58390. +{
  58391. + struct mt7601u_dev *dev = hw->priv;
  58392. + struct mt76_sta *msta = (struct mt76_sta *) sta->drv_priv;
  58393. + struct mt76_vif *mvif = (struct mt76_vif *) vif->drv_priv;
  58394. + int ret = 0;
  58395. + int idx = 0;
  58396. +
  58397. + mutex_lock(&dev->mutex);
  58398. +
  58399. + idx = mt76_wcid_alloc(dev);
  58400. + if (idx < 0) {
  58401. + ret = -ENOSPC;
  58402. + goto out;
  58403. + }
  58404. +
  58405. + msta->wcid.idx = idx;
  58406. + msta->wcid.hw_key_idx = -1;
  58407. + mt7601u_mac_wcid_setup(dev, idx, mvif->idx, sta->addr);
  58408. + mt76_clear(dev, MT_WCID_DROP(idx), MT_WCID_DROP_MASK(idx));
  58409. + rcu_assign_pointer(dev->wcid[idx], &msta->wcid);
  58410. + mt7601u_mac_set_ampdu_factor(dev);
  58411. +
  58412. +out:
  58413. + mutex_unlock(&dev->mutex);
  58414. +
  58415. + return ret;
  58416. +}
  58417. +
  58418. +static int
  58419. +mt7601u_sta_remove(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58420. + struct ieee80211_sta *sta)
  58421. +{
  58422. + struct mt7601u_dev *dev = hw->priv;
  58423. + struct mt76_sta *msta = (struct mt76_sta *) sta->drv_priv;
  58424. + int idx = msta->wcid.idx;
  58425. +
  58426. + mutex_lock(&dev->mutex);
  58427. + rcu_assign_pointer(dev->wcid[idx], NULL);
  58428. + mt76_set(dev, MT_WCID_DROP(idx), MT_WCID_DROP_MASK(idx));
  58429. + dev->wcid_mask[idx / BITS_PER_LONG] &= ~BIT(idx % BITS_PER_LONG);
  58430. + mt7601u_mac_wcid_setup(dev, idx, 0, NULL);
  58431. + mt7601u_mac_set_ampdu_factor(dev);
  58432. + mutex_unlock(&dev->mutex);
  58433. +
  58434. + return 0;
  58435. +}
  58436. +
  58437. +static void
  58438. +mt7601u_sta_notify(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58439. + enum sta_notify_cmd cmd, struct ieee80211_sta *sta)
  58440. +{
  58441. +}
  58442. +
  58443. +static void
  58444. +mt7601u_sw_scan(struct ieee80211_hw *hw,
  58445. + struct ieee80211_vif *vif,
  58446. + const u8 *mac_addr)
  58447. +{
  58448. + struct mt7601u_dev *dev = hw->priv;
  58449. +
  58450. + mt7601u_agc_save(dev);
  58451. + set_bit(MT7601U_STATE_SCANNING, &dev->state);
  58452. +}
  58453. +
  58454. +static void
  58455. +mt7601u_sw_scan_complete(struct ieee80211_hw *hw,
  58456. + struct ieee80211_vif *vif)
  58457. +{
  58458. + struct mt7601u_dev *dev = hw->priv;
  58459. +
  58460. + mt7601u_agc_restore(dev);
  58461. + clear_bit(MT7601U_STATE_SCANNING, &dev->state);
  58462. +}
  58463. +
  58464. +static int
  58465. +mt7601u_set_key(struct ieee80211_hw *hw, enum set_key_cmd cmd,
  58466. + struct ieee80211_vif *vif, struct ieee80211_sta *sta,
  58467. + struct ieee80211_key_conf *key)
  58468. +{
  58469. + struct mt7601u_dev *dev = hw->priv;
  58470. + struct mt76_vif *mvif = (struct mt76_vif *) vif->drv_priv;
  58471. + struct mt76_sta *msta = sta ? (struct mt76_sta *) sta->drv_priv : NULL;
  58472. + struct mt76_wcid *wcid = msta ? &msta->wcid : &mvif->group_wcid;
  58473. + int idx = key->keyidx;
  58474. + int ret;
  58475. +
  58476. + if (cmd == SET_KEY) {
  58477. + key->hw_key_idx = wcid->idx;
  58478. + wcid->hw_key_idx = idx;
  58479. + } else {
  58480. + if (idx == wcid->hw_key_idx)
  58481. + wcid->hw_key_idx = -1;
  58482. +
  58483. + key = NULL;
  58484. + }
  58485. +
  58486. + if (!msta) {
  58487. + if (key || wcid->hw_key_idx == idx) {
  58488. + ret = mt76_mac_wcid_set_key(dev, wcid->idx, key);
  58489. + if (ret)
  58490. + return ret;
  58491. + }
  58492. +
  58493. + return mt76_mac_shared_key_setup(dev, mvif->idx, idx, key);
  58494. + }
  58495. +
  58496. + return mt76_mac_wcid_set_key(dev, msta->wcid.idx, key);
  58497. +}
  58498. +
  58499. +static int mt7601u_set_rts_threshold(struct ieee80211_hw *hw, u32 value)
  58500. +{
  58501. + struct mt7601u_dev *dev = hw->priv;
  58502. +
  58503. + mt76_rmw_field(dev, MT_TX_RTS_CFG, MT_TX_RTS_CFG_THRESH, value);
  58504. +
  58505. + return 0;
  58506. +}
  58507. +
  58508. +static int
  58509. +mt76_ampdu_action(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58510. + enum ieee80211_ampdu_mlme_action action,
  58511. + struct ieee80211_sta *sta, u16 tid, u16 *ssn, u8 buf_size)
  58512. +{
  58513. + struct mt7601u_dev *dev = hw->priv;
  58514. + struct mt76_sta *msta = (struct mt76_sta *) sta->drv_priv;
  58515. +
  58516. + WARN_ON(msta->wcid.idx > GROUP_WCID(0));
  58517. +
  58518. + switch (action) {
  58519. + case IEEE80211_AMPDU_RX_START:
  58520. + mt76_set(dev, MT_WCID_ADDR(msta->wcid.idx) + 4, BIT(16 + tid));
  58521. + break;
  58522. + case IEEE80211_AMPDU_RX_STOP:
  58523. + mt76_clear(dev, MT_WCID_ADDR(msta->wcid.idx) + 4,
  58524. + BIT(16 + tid));
  58525. + break;
  58526. + case IEEE80211_AMPDU_TX_OPERATIONAL:
  58527. + ieee80211_send_bar(vif, sta->addr, tid, msta->agg_ssn[tid]);
  58528. + break;
  58529. + case IEEE80211_AMPDU_TX_STOP_FLUSH:
  58530. + case IEEE80211_AMPDU_TX_STOP_FLUSH_CONT:
  58531. + break;
  58532. + case IEEE80211_AMPDU_TX_START:
  58533. + msta->agg_ssn[tid] = *ssn << 4;
  58534. + ieee80211_start_tx_ba_cb_irqsafe(vif, sta->addr, tid);
  58535. + break;
  58536. + case IEEE80211_AMPDU_TX_STOP_CONT:
  58537. + ieee80211_stop_tx_ba_cb_irqsafe(vif, sta->addr, tid);
  58538. + break;
  58539. + }
  58540. +
  58541. + return 0;
  58542. +}
  58543. +
  58544. +static void
  58545. +mt76_sta_rate_tbl_update(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  58546. + struct ieee80211_sta *sta)
  58547. +{
  58548. + struct mt7601u_dev *dev = hw->priv;
  58549. + struct mt76_sta *msta = (struct mt76_sta *) sta->drv_priv;
  58550. + struct ieee80211_sta_rates *rates;
  58551. + struct ieee80211_tx_rate rate = {};
  58552. +
  58553. + rcu_read_lock();
  58554. + rates = rcu_dereference(sta->rates);
  58555. +
  58556. + if (!rates)
  58557. + goto out;
  58558. +
  58559. + rate.idx = rates->rate[0].idx;
  58560. + rate.flags = rates->rate[0].flags;
  58561. + mt76_mac_wcid_set_rate(dev, &msta->wcid, &rate);
  58562. +
  58563. +out:
  58564. + rcu_read_unlock();
  58565. +}
  58566. +
  58567. +const struct ieee80211_ops mt7601u_ops = {
  58568. + .tx = mt7601u_tx,
  58569. + .start = mt7601u_start,
  58570. + .stop = mt7601u_stop,
  58571. + .add_interface = mt7601u_add_interface,
  58572. + .remove_interface = mt7601u_remove_interface,
  58573. + .config = mt7601u_config,
  58574. + .configure_filter = mt76_configure_filter,
  58575. + .bss_info_changed = mt7601u_bss_info_changed,
  58576. + .sta_add = mt7601u_sta_add,
  58577. + .sta_remove = mt7601u_sta_remove,
  58578. + .sta_notify = mt7601u_sta_notify,
  58579. + .set_key = mt7601u_set_key,
  58580. + .conf_tx = mt7601u_conf_tx,
  58581. + .sw_scan_start = mt7601u_sw_scan,
  58582. + .sw_scan_complete = mt7601u_sw_scan_complete,
  58583. + .ampdu_action = mt76_ampdu_action,
  58584. + .sta_rate_tbl_update = mt76_sta_rate_tbl_update,
  58585. + .set_rts_threshold = mt7601u_set_rts_threshold,
  58586. +};
  58587. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/Makefile linux-rpi/drivers/net/wireless/mediatek/mt7601u/Makefile
  58588. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/Makefile 1970-01-01 01:00:00.000000000 +0100
  58589. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/Makefile 2015-11-29 09:42:38.887167260 +0100
  58590. @@ -0,0 +1,9 @@
  58591. +ccflags-y += -D__CHECK_ENDIAN__
  58592. +
  58593. +obj-$(CONFIG_MT7601U) += mt7601u.o
  58594. +
  58595. +mt7601u-objs = \
  58596. + usb.o init.o main.o mcu.o trace.o dma.o core.o eeprom.o phy.o \
  58597. + mac.o util.o debugfs.o tx.o
  58598. +
  58599. +CFLAGS_trace.o := -I$(src)
  58600. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mcu.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/mcu.c
  58601. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mcu.c 1970-01-01 01:00:00.000000000 +0100
  58602. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/mcu.c 2015-11-29 09:42:38.887167260 +0100
  58603. @@ -0,0 +1,534 @@
  58604. +/*
  58605. + * (c) Copyright 2002-2010, Ralink Technology, Inc.
  58606. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  58607. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  58608. + *
  58609. + * This program is free software; you can redistribute it and/or modify
  58610. + * it under the terms of the GNU General Public License version 2
  58611. + * as published by the Free Software Foundation
  58612. + *
  58613. + * This program is distributed in the hope that it will be useful,
  58614. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  58615. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  58616. + * GNU General Public License for more details.
  58617. + */
  58618. +
  58619. +#include <linux/kernel.h>
  58620. +#include <linux/firmware.h>
  58621. +#include <linux/delay.h>
  58622. +#include <linux/usb.h>
  58623. +#include <linux/skbuff.h>
  58624. +
  58625. +#include "mt7601u.h"
  58626. +#include "dma.h"
  58627. +#include "mcu.h"
  58628. +#include "usb.h"
  58629. +#include "trace.h"
  58630. +
  58631. +#define MCU_FW_URB_MAX_PAYLOAD 0x3800
  58632. +#define MCU_FW_URB_SIZE (MCU_FW_URB_MAX_PAYLOAD + 12)
  58633. +#define MCU_RESP_URB_SIZE 1024
  58634. +
  58635. +static inline int firmware_running(struct mt7601u_dev *dev)
  58636. +{
  58637. + return mt7601u_rr(dev, MT_MCU_COM_REG0) == 1;
  58638. +}
  58639. +
  58640. +static inline void skb_put_le32(struct sk_buff *skb, u32 val)
  58641. +{
  58642. + put_unaligned_le32(val, skb_put(skb, 4));
  58643. +}
  58644. +
  58645. +static inline void mt7601u_dma_skb_wrap_cmd(struct sk_buff *skb,
  58646. + u8 seq, enum mcu_cmd cmd)
  58647. +{
  58648. + WARN_ON(mt7601u_dma_skb_wrap(skb, CPU_TX_PORT, DMA_COMMAND,
  58649. + MT76_SET(MT_TXD_CMD_INFO_SEQ, seq) |
  58650. + MT76_SET(MT_TXD_CMD_INFO_TYPE, cmd)));
  58651. +}
  58652. +
  58653. +static inline void trace_mt_mcu_msg_send_cs(struct mt7601u_dev *dev,
  58654. + struct sk_buff *skb, bool need_resp)
  58655. +{
  58656. + u32 i, csum = 0;
  58657. +
  58658. + for (i = 0; i < skb->len / 4; i++)
  58659. + csum ^= get_unaligned_le32(skb->data + i * 4);
  58660. +
  58661. + trace_mt_mcu_msg_send(dev, skb, csum, need_resp);
  58662. +}
  58663. +
  58664. +static struct sk_buff *
  58665. +mt7601u_mcu_msg_alloc(struct mt7601u_dev *dev, const void *data, int len)
  58666. +{
  58667. + struct sk_buff *skb;
  58668. +
  58669. + WARN_ON(len % 4); /* if length is not divisible by 4 we need to pad */
  58670. +
  58671. + skb = alloc_skb(len + MT_DMA_HDR_LEN + 4, GFP_KERNEL);
  58672. + skb_reserve(skb, MT_DMA_HDR_LEN);
  58673. + memcpy(skb_put(skb, len), data, len);
  58674. +
  58675. + return skb;
  58676. +}
  58677. +
  58678. +static int mt7601u_mcu_wait_resp(struct mt7601u_dev *dev, u8 seq)
  58679. +{
  58680. + struct urb *urb = dev->mcu.resp.urb;
  58681. + u32 rxfce;
  58682. + int urb_status, ret, i = 5;
  58683. +
  58684. + while (i--) {
  58685. + if (!wait_for_completion_timeout(&dev->mcu.resp_cmpl,
  58686. + msecs_to_jiffies(300))) {
  58687. + dev_warn(dev->dev, "Warning: %s retrying\n", __func__);
  58688. + continue;
  58689. + }
  58690. +
  58691. + /* Make copies of important data before reusing the urb */
  58692. + rxfce = get_unaligned_le32(dev->mcu.resp.buf);
  58693. + urb_status = urb->status * mt7601u_urb_has_error(urb);
  58694. +
  58695. + ret = mt7601u_usb_submit_buf(dev, USB_DIR_IN, MT_EP_IN_CMD_RESP,
  58696. + &dev->mcu.resp, GFP_KERNEL,
  58697. + mt7601u_complete_urb,
  58698. + &dev->mcu.resp_cmpl);
  58699. + if (ret)
  58700. + return ret;
  58701. +
  58702. + if (urb_status)
  58703. + dev_err(dev->dev, "Error: MCU resp urb failed:%d\n",
  58704. + urb_status);
  58705. +
  58706. + if (MT76_GET(MT_RXD_CMD_INFO_CMD_SEQ, rxfce) == seq &&
  58707. + MT76_GET(MT_RXD_CMD_INFO_EVT_TYPE, rxfce) == CMD_DONE)
  58708. + return 0;
  58709. +
  58710. + dev_err(dev->dev, "Error: MCU resp evt:%hhx seq:%hhx-%hhx!\n",
  58711. + MT76_GET(MT_RXD_CMD_INFO_EVT_TYPE, rxfce),
  58712. + seq, MT76_GET(MT_RXD_CMD_INFO_CMD_SEQ, rxfce));
  58713. + }
  58714. +
  58715. + dev_err(dev->dev, "Error: %s timed out\n", __func__);
  58716. + return -ETIMEDOUT;
  58717. +}
  58718. +
  58719. +static int
  58720. +mt7601u_mcu_msg_send(struct mt7601u_dev *dev, struct sk_buff *skb,
  58721. + enum mcu_cmd cmd, bool wait_resp)
  58722. +{
  58723. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  58724. + unsigned cmd_pipe = usb_sndbulkpipe(usb_dev,
  58725. + dev->out_eps[MT_EP_OUT_INBAND_CMD]);
  58726. + int sent, ret;
  58727. + u8 seq = 0;
  58728. +
  58729. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  58730. + return 0;
  58731. +
  58732. + mutex_lock(&dev->mcu.mutex);
  58733. +
  58734. + if (wait_resp)
  58735. + while (!seq)
  58736. + seq = ++dev->mcu.msg_seq & 0xf;
  58737. +
  58738. + mt7601u_dma_skb_wrap_cmd(skb, seq, cmd);
  58739. +
  58740. + if (dev->mcu.resp_cmpl.done)
  58741. + dev_err(dev->dev, "Error: MCU response pre-completed!\n");
  58742. +
  58743. + trace_mt_mcu_msg_send_cs(dev, skb, wait_resp);
  58744. + trace_mt_submit_urb_sync(dev, cmd_pipe, skb->len);
  58745. + ret = usb_bulk_msg(usb_dev, cmd_pipe, skb->data, skb->len, &sent, 500);
  58746. + if (ret) {
  58747. + dev_err(dev->dev, "Error: send MCU cmd failed:%d\n", ret);
  58748. + goto out;
  58749. + }
  58750. + if (sent != skb->len)
  58751. + dev_err(dev->dev, "Error: %s sent != skb->len\n", __func__);
  58752. +
  58753. + if (wait_resp)
  58754. + ret = mt7601u_mcu_wait_resp(dev, seq);
  58755. +out:
  58756. + mutex_unlock(&dev->mcu.mutex);
  58757. +
  58758. + consume_skb(skb);
  58759. +
  58760. + return ret;
  58761. +}
  58762. +
  58763. +static int mt7601u_mcu_function_select(struct mt7601u_dev *dev,
  58764. + enum mcu_function func, u32 val)
  58765. +{
  58766. + struct sk_buff *skb;
  58767. + struct {
  58768. + __le32 id;
  58769. + __le32 value;
  58770. + } __packed __aligned(4) msg = {
  58771. + .id = cpu_to_le32(func),
  58772. + .value = cpu_to_le32(val),
  58773. + };
  58774. +
  58775. + skb = mt7601u_mcu_msg_alloc(dev, &msg, sizeof(msg));
  58776. + return mt7601u_mcu_msg_send(dev, skb, CMD_FUN_SET_OP, func == 5);
  58777. +}
  58778. +
  58779. +int mt7601u_mcu_tssi_read_kick(struct mt7601u_dev *dev, int use_hvga)
  58780. +{
  58781. + int ret;
  58782. +
  58783. + if (!test_bit(MT7601U_STATE_MCU_RUNNING, &dev->state))
  58784. + return 0;
  58785. +
  58786. + ret = mt7601u_mcu_function_select(dev, ATOMIC_TSSI_SETTING,
  58787. + use_hvga);
  58788. + if (ret) {
  58789. + dev_warn(dev->dev, "Warning: MCU TSSI read kick failed\n");
  58790. + return ret;
  58791. + }
  58792. +
  58793. + dev->tssi_read_trig = true;
  58794. +
  58795. + return 0;
  58796. +}
  58797. +
  58798. +int
  58799. +mt7601u_mcu_calibrate(struct mt7601u_dev *dev, enum mcu_calibrate cal, u32 val)
  58800. +{
  58801. + struct sk_buff *skb;
  58802. + struct {
  58803. + __le32 id;
  58804. + __le32 value;
  58805. + } __packed __aligned(4) msg = {
  58806. + .id = cpu_to_le32(cal),
  58807. + .value = cpu_to_le32(val),
  58808. + };
  58809. +
  58810. + skb = mt7601u_mcu_msg_alloc(dev, &msg, sizeof(msg));
  58811. + return mt7601u_mcu_msg_send(dev, skb, CMD_CALIBRATION_OP, true);
  58812. +}
  58813. +
  58814. +int mt7601u_write_reg_pairs(struct mt7601u_dev *dev, u32 base,
  58815. + const struct mt76_reg_pair *data, int n)
  58816. +{
  58817. + const int max_vals_per_cmd = INBAND_PACKET_MAX_LEN / 8;
  58818. + struct sk_buff *skb;
  58819. + int cnt, i, ret;
  58820. +
  58821. + if (!n)
  58822. + return 0;
  58823. +
  58824. + cnt = min(max_vals_per_cmd, n);
  58825. +
  58826. + skb = alloc_skb(cnt * 8 + MT_DMA_HDR_LEN + 4, GFP_KERNEL);
  58827. + if (!skb)
  58828. + return -ENOMEM;
  58829. + skb_reserve(skb, MT_DMA_HDR_LEN);
  58830. +
  58831. + for (i = 0; i < cnt; i++) {
  58832. + skb_put_le32(skb, base + data[i].reg);
  58833. + skb_put_le32(skb, data[i].value);
  58834. + }
  58835. +
  58836. + ret = mt7601u_mcu_msg_send(dev, skb, CMD_RANDOM_WRITE, cnt == n);
  58837. + if (ret)
  58838. + return ret;
  58839. +
  58840. + return mt7601u_write_reg_pairs(dev, base, data + cnt, n - cnt);
  58841. +}
  58842. +
  58843. +int mt7601u_burst_write_regs(struct mt7601u_dev *dev, u32 offset,
  58844. + const u32 *data, int n)
  58845. +{
  58846. + const int max_regs_per_cmd = INBAND_PACKET_MAX_LEN / 4 - 1;
  58847. + struct sk_buff *skb;
  58848. + int cnt, i, ret;
  58849. +
  58850. + if (!n)
  58851. + return 0;
  58852. +
  58853. + cnt = min(max_regs_per_cmd, n);
  58854. +
  58855. + skb = alloc_skb(cnt * 4 + MT_DMA_HDR_LEN + 4, GFP_KERNEL);
  58856. + if (!skb)
  58857. + return -ENOMEM;
  58858. + skb_reserve(skb, MT_DMA_HDR_LEN);
  58859. +
  58860. + skb_put_le32(skb, MT_MCU_MEMMAP_WLAN + offset);
  58861. + for (i = 0; i < cnt; i++)
  58862. + skb_put_le32(skb, data[i]);
  58863. +
  58864. + ret = mt7601u_mcu_msg_send(dev, skb, CMD_BURST_WRITE, cnt == n);
  58865. + if (ret)
  58866. + return ret;
  58867. +
  58868. + return mt7601u_burst_write_regs(dev, offset + cnt * 4,
  58869. + data + cnt, n - cnt);
  58870. +}
  58871. +
  58872. +struct mt76_fw_header {
  58873. + __le32 ilm_len;
  58874. + __le32 dlm_len;
  58875. + __le16 build_ver;
  58876. + __le16 fw_ver;
  58877. + u8 pad[4];
  58878. + char build_time[16];
  58879. +};
  58880. +
  58881. +struct mt76_fw {
  58882. + struct mt76_fw_header hdr;
  58883. + u8 ivb[MT_MCU_IVB_SIZE];
  58884. + u8 ilm[];
  58885. +};
  58886. +
  58887. +static int __mt7601u_dma_fw(struct mt7601u_dev *dev,
  58888. + const struct mt7601u_dma_buf *dma_buf,
  58889. + const void *data, u32 len, u32 dst_addr)
  58890. +{
  58891. + DECLARE_COMPLETION_ONSTACK(cmpl);
  58892. + struct mt7601u_dma_buf buf = *dma_buf; /* we need to fake length */
  58893. + __le32 reg;
  58894. + u32 val;
  58895. + int ret;
  58896. +
  58897. + reg = cpu_to_le32(MT76_SET(MT_TXD_INFO_TYPE, DMA_PACKET) |
  58898. + MT76_SET(MT_TXD_INFO_D_PORT, CPU_TX_PORT) |
  58899. + MT76_SET(MT_TXD_INFO_LEN, len));
  58900. + memcpy(buf.buf, &reg, sizeof(reg));
  58901. + memcpy(buf.buf + sizeof(reg), data, len);
  58902. + memset(buf.buf + sizeof(reg) + len, 0, 8);
  58903. +
  58904. + ret = mt7601u_vendor_single_wr(dev, MT_VEND_WRITE_FCE,
  58905. + MT_FCE_DMA_ADDR, dst_addr);
  58906. + if (ret)
  58907. + return ret;
  58908. + len = roundup(len, 4);
  58909. + ret = mt7601u_vendor_single_wr(dev, MT_VEND_WRITE_FCE,
  58910. + MT_FCE_DMA_LEN, len << 16);
  58911. + if (ret)
  58912. + return ret;
  58913. +
  58914. + buf.len = MT_DMA_HDR_LEN + len + 4;
  58915. + ret = mt7601u_usb_submit_buf(dev, USB_DIR_OUT, MT_EP_OUT_INBAND_CMD,
  58916. + &buf, GFP_KERNEL,
  58917. + mt7601u_complete_urb, &cmpl);
  58918. + if (ret)
  58919. + return ret;
  58920. +
  58921. + if (!wait_for_completion_timeout(&cmpl, msecs_to_jiffies(1000))) {
  58922. + dev_err(dev->dev, "Error: firmware upload timed out\n");
  58923. + usb_kill_urb(buf.urb);
  58924. + return -ETIMEDOUT;
  58925. + }
  58926. + if (mt7601u_urb_has_error(buf.urb)) {
  58927. + dev_err(dev->dev, "Error: firmware upload urb failed:%d\n",
  58928. + buf.urb->status);
  58929. + return buf.urb->status;
  58930. + }
  58931. +
  58932. + val = mt7601u_rr(dev, MT_TX_CPU_FROM_FCE_CPU_DESC_IDX);
  58933. + val++;
  58934. + mt7601u_wr(dev, MT_TX_CPU_FROM_FCE_CPU_DESC_IDX, val);
  58935. +
  58936. + return 0;
  58937. +}
  58938. +
  58939. +static int
  58940. +mt7601u_dma_fw(struct mt7601u_dev *dev, struct mt7601u_dma_buf *dma_buf,
  58941. + const void *data, int len, u32 dst_addr)
  58942. +{
  58943. + int n, ret;
  58944. +
  58945. + if (len == 0)
  58946. + return 0;
  58947. +
  58948. + n = min(MCU_FW_URB_MAX_PAYLOAD, len);
  58949. + ret = __mt7601u_dma_fw(dev, dma_buf, data, n, dst_addr);
  58950. + if (ret)
  58951. + return ret;
  58952. +
  58953. + if (!mt76_poll_msec(dev, MT_MCU_COM_REG1, BIT(31), BIT(31), 500))
  58954. + return -ETIMEDOUT;
  58955. +
  58956. + return mt7601u_dma_fw(dev, dma_buf, data + n, len - n, dst_addr + n);
  58957. +}
  58958. +
  58959. +static int
  58960. +mt7601u_upload_firmware(struct mt7601u_dev *dev, const struct mt76_fw *fw)
  58961. +{
  58962. + struct mt7601u_dma_buf dma_buf;
  58963. + void *ivb;
  58964. + u32 ilm_len, dlm_len;
  58965. + int i, ret;
  58966. +
  58967. + ivb = kmemdup(fw->ivb, sizeof(fw->ivb), GFP_KERNEL);
  58968. + if (!ivb || mt7601u_usb_alloc_buf(dev, MCU_FW_URB_SIZE, &dma_buf)) {
  58969. + ret = -ENOMEM;
  58970. + goto error;
  58971. + }
  58972. +
  58973. + ilm_len = le32_to_cpu(fw->hdr.ilm_len) - sizeof(fw->ivb);
  58974. + dev_dbg(dev->dev, "loading FW - ILM %u + IVB %zu\n",
  58975. + ilm_len, sizeof(fw->ivb));
  58976. + ret = mt7601u_dma_fw(dev, &dma_buf, fw->ilm, ilm_len, sizeof(fw->ivb));
  58977. + if (ret)
  58978. + goto error;
  58979. +
  58980. + dlm_len = le32_to_cpu(fw->hdr.dlm_len);
  58981. + dev_dbg(dev->dev, "loading FW - DLM %u\n", dlm_len);
  58982. + ret = mt7601u_dma_fw(dev, &dma_buf, fw->ilm + ilm_len,
  58983. + dlm_len, MT_MCU_DLM_OFFSET);
  58984. + if (ret)
  58985. + goto error;
  58986. +
  58987. + ret = mt7601u_vendor_request(dev, MT_VEND_DEV_MODE, USB_DIR_OUT,
  58988. + 0x12, 0, ivb, sizeof(fw->ivb));
  58989. + if (ret < 0)
  58990. + goto error;
  58991. + ret = 0;
  58992. +
  58993. + for (i = 100; i && !firmware_running(dev); i--)
  58994. + msleep(10);
  58995. + if (!i) {
  58996. + ret = -ETIMEDOUT;
  58997. + goto error;
  58998. + }
  58999. +
  59000. + dev_dbg(dev->dev, "Firmware running!\n");
  59001. +error:
  59002. + kfree(ivb);
  59003. + mt7601u_usb_free_buf(dev, &dma_buf);
  59004. +
  59005. + return ret;
  59006. +}
  59007. +
  59008. +static int mt7601u_load_firmware(struct mt7601u_dev *dev)
  59009. +{
  59010. + const struct firmware *fw;
  59011. + const struct mt76_fw_header *hdr;
  59012. + int len, ret;
  59013. + u32 val;
  59014. +
  59015. + mt7601u_wr(dev, MT_USB_DMA_CFG, (MT_USB_DMA_CFG_RX_BULK_EN |
  59016. + MT_USB_DMA_CFG_TX_BULK_EN));
  59017. +
  59018. + if (firmware_running(dev))
  59019. + return 0;
  59020. +
  59021. + ret = request_firmware(&fw, MT7601U_FIRMWARE, dev->dev);
  59022. + if (ret)
  59023. + return ret;
  59024. +
  59025. + if (!fw || !fw->data || fw->size < sizeof(*hdr))
  59026. + goto err_inv_fw;
  59027. +
  59028. + hdr = (const struct mt76_fw_header *) fw->data;
  59029. +
  59030. + if (le32_to_cpu(hdr->ilm_len) <= MT_MCU_IVB_SIZE)
  59031. + goto err_inv_fw;
  59032. +
  59033. + len = sizeof(*hdr);
  59034. + len += le32_to_cpu(hdr->ilm_len);
  59035. + len += le32_to_cpu(hdr->dlm_len);
  59036. +
  59037. + if (fw->size != len)
  59038. + goto err_inv_fw;
  59039. +
  59040. + val = le16_to_cpu(hdr->fw_ver);
  59041. + dev_info(dev->dev,
  59042. + "Firmware Version: %d.%d.%02d Build: %x Build time: %.16s\n",
  59043. + (val >> 12) & 0xf, (val >> 8) & 0xf, val & 0xf,
  59044. + le16_to_cpu(hdr->build_ver), hdr->build_time);
  59045. +
  59046. + len = le32_to_cpu(hdr->ilm_len);
  59047. +
  59048. + mt7601u_wr(dev, 0x94c, 0);
  59049. + mt7601u_wr(dev, MT_FCE_PSE_CTRL, 0);
  59050. +
  59051. + mt7601u_vendor_reset(dev);
  59052. + msleep(5);
  59053. +
  59054. + mt7601u_wr(dev, 0xa44, 0);
  59055. + mt7601u_wr(dev, 0x230, 0x84210);
  59056. + mt7601u_wr(dev, 0x400, 0x80c00);
  59057. + mt7601u_wr(dev, 0x800, 1);
  59058. +
  59059. + mt7601u_rmw(dev, MT_PBF_CFG, 0, (MT_PBF_CFG_TX0Q_EN |
  59060. + MT_PBF_CFG_TX1Q_EN |
  59061. + MT_PBF_CFG_TX2Q_EN |
  59062. + MT_PBF_CFG_TX3Q_EN));
  59063. +
  59064. + mt7601u_wr(dev, MT_FCE_PSE_CTRL, 1);
  59065. +
  59066. + mt7601u_wr(dev, MT_USB_DMA_CFG, (MT_USB_DMA_CFG_RX_BULK_EN |
  59067. + MT_USB_DMA_CFG_TX_BULK_EN));
  59068. + val = mt76_set(dev, MT_USB_DMA_CFG, MT_USB_DMA_CFG_TX_CLR);
  59069. + val &= ~MT_USB_DMA_CFG_TX_CLR;
  59070. + mt7601u_wr(dev, MT_USB_DMA_CFG, val);
  59071. +
  59072. + /* FCE tx_fs_base_ptr */
  59073. + mt7601u_wr(dev, MT_TX_CPU_FROM_FCE_BASE_PTR, 0x400230);
  59074. + /* FCE tx_fs_max_cnt */
  59075. + mt7601u_wr(dev, MT_TX_CPU_FROM_FCE_MAX_COUNT, 1);
  59076. + /* FCE pdma enable */
  59077. + mt7601u_wr(dev, MT_FCE_PDMA_GLOBAL_CONF, 0x44);
  59078. + /* FCE skip_fs_en */
  59079. + mt7601u_wr(dev, MT_FCE_SKIP_FS, 3);
  59080. +
  59081. + ret = mt7601u_upload_firmware(dev, (const struct mt76_fw *)fw->data);
  59082. +
  59083. + release_firmware(fw);
  59084. +
  59085. + return ret;
  59086. +
  59087. +err_inv_fw:
  59088. + dev_err(dev->dev, "Invalid firmware image\n");
  59089. + release_firmware(fw);
  59090. + return -ENOENT;
  59091. +}
  59092. +
  59093. +int mt7601u_mcu_init(struct mt7601u_dev *dev)
  59094. +{
  59095. + int ret;
  59096. +
  59097. + mutex_init(&dev->mcu.mutex);
  59098. +
  59099. + ret = mt7601u_load_firmware(dev);
  59100. + if (ret)
  59101. + return ret;
  59102. +
  59103. + set_bit(MT7601U_STATE_MCU_RUNNING, &dev->state);
  59104. +
  59105. + return 0;
  59106. +}
  59107. +
  59108. +int mt7601u_mcu_cmd_init(struct mt7601u_dev *dev)
  59109. +{
  59110. + int ret;
  59111. +
  59112. + ret = mt7601u_mcu_function_select(dev, Q_SELECT, 1);
  59113. + if (ret)
  59114. + return ret;
  59115. +
  59116. + init_completion(&dev->mcu.resp_cmpl);
  59117. + if (mt7601u_usb_alloc_buf(dev, MCU_RESP_URB_SIZE, &dev->mcu.resp)) {
  59118. + mt7601u_usb_free_buf(dev, &dev->mcu.resp);
  59119. + return -ENOMEM;
  59120. + }
  59121. +
  59122. + ret = mt7601u_usb_submit_buf(dev, USB_DIR_IN, MT_EP_IN_CMD_RESP,
  59123. + &dev->mcu.resp, GFP_KERNEL,
  59124. + mt7601u_complete_urb, &dev->mcu.resp_cmpl);
  59125. + if (ret) {
  59126. + mt7601u_usb_free_buf(dev, &dev->mcu.resp);
  59127. + return ret;
  59128. + }
  59129. +
  59130. + return 0;
  59131. +}
  59132. +
  59133. +void mt7601u_mcu_cmd_deinit(struct mt7601u_dev *dev)
  59134. +{
  59135. + usb_kill_urb(dev->mcu.resp.urb);
  59136. + mt7601u_usb_free_buf(dev, &dev->mcu.resp);
  59137. +}
  59138. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mcu.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/mcu.h
  59139. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mcu.h 1970-01-01 01:00:00.000000000 +0100
  59140. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/mcu.h 2015-11-29 09:42:38.887167260 +0100
  59141. @@ -0,0 +1,94 @@
  59142. +/*
  59143. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  59144. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  59145. + *
  59146. + * This program is free software; you can redistribute it and/or modify
  59147. + * it under the terms of the GNU General Public License version 2
  59148. + * as published by the Free Software Foundation
  59149. + *
  59150. + * This program is distributed in the hope that it will be useful,
  59151. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  59152. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  59153. + * GNU General Public License for more details.
  59154. + */
  59155. +
  59156. +#ifndef __MT7601U_MCU_H
  59157. +#define __MT7601U_MCU_H
  59158. +
  59159. +struct mt7601u_dev;
  59160. +
  59161. +/* Register definitions */
  59162. +#define MT_MCU_RESET_CTL 0x070C
  59163. +#define MT_MCU_INT_LEVEL 0x0718
  59164. +#define MT_MCU_COM_REG0 0x0730
  59165. +#define MT_MCU_COM_REG1 0x0734
  59166. +#define MT_MCU_COM_REG2 0x0738
  59167. +#define MT_MCU_COM_REG3 0x073C
  59168. +
  59169. +#define MT_MCU_IVB_SIZE 0x40
  59170. +#define MT_MCU_DLM_OFFSET 0x80000
  59171. +
  59172. +#define MT_MCU_MEMMAP_WLAN 0x00410000
  59173. +#define MT_MCU_MEMMAP_BBP 0x40000000
  59174. +#define MT_MCU_MEMMAP_RF 0x80000000
  59175. +
  59176. +#define INBAND_PACKET_MAX_LEN 192
  59177. +
  59178. +enum mcu_cmd {
  59179. + CMD_FUN_SET_OP = 1,
  59180. + CMD_LOAD_CR = 2,
  59181. + CMD_INIT_GAIN_OP = 3,
  59182. + CMD_DYNC_VGA_OP = 6,
  59183. + CMD_TDLS_CH_SW = 7,
  59184. + CMD_BURST_WRITE = 8,
  59185. + CMD_READ_MODIFY_WRITE = 9,
  59186. + CMD_RANDOM_READ = 10,
  59187. + CMD_BURST_READ = 11,
  59188. + CMD_RANDOM_WRITE = 12,
  59189. + CMD_LED_MODE_OP = 16,
  59190. + CMD_POWER_SAVING_OP = 20,
  59191. + CMD_WOW_CONFIG = 21,
  59192. + CMD_WOW_QUERY = 22,
  59193. + CMD_WOW_FEATURE = 24,
  59194. + CMD_CARRIER_DETECT_OP = 28,
  59195. + CMD_RADOR_DETECT_OP = 29,
  59196. + CMD_SWITCH_CHANNEL_OP = 30,
  59197. + CMD_CALIBRATION_OP = 31,
  59198. + CMD_BEACON_OP = 32,
  59199. + CMD_ANTENNA_OP = 33,
  59200. +};
  59201. +
  59202. +enum mcu_function {
  59203. + Q_SELECT = 1,
  59204. + ATOMIC_TSSI_SETTING = 5,
  59205. +};
  59206. +
  59207. +enum mcu_power_mode {
  59208. + RADIO_OFF = 0x30,
  59209. + RADIO_ON = 0x31,
  59210. + RADIO_OFF_AUTO_WAKEUP = 0x32,
  59211. + RADIO_OFF_ADVANCE = 0x33,
  59212. + RADIO_ON_ADVANCE = 0x34,
  59213. +};
  59214. +
  59215. +enum mcu_calibrate {
  59216. + MCU_CAL_R = 1,
  59217. + MCU_CAL_DCOC,
  59218. + MCU_CAL_LC,
  59219. + MCU_CAL_LOFT,
  59220. + MCU_CAL_TXIQ,
  59221. + MCU_CAL_BW,
  59222. + MCU_CAL_DPD,
  59223. + MCU_CAL_RXIQ,
  59224. + MCU_CAL_TXDCOC,
  59225. +};
  59226. +
  59227. +int mt7601u_mcu_init(struct mt7601u_dev *dev);
  59228. +int mt7601u_mcu_cmd_init(struct mt7601u_dev *dev);
  59229. +void mt7601u_mcu_cmd_deinit(struct mt7601u_dev *dev);
  59230. +
  59231. +int
  59232. +mt7601u_mcu_calibrate(struct mt7601u_dev *dev, enum mcu_calibrate cal, u32 val);
  59233. +int mt7601u_mcu_tssi_read_kick(struct mt7601u_dev *dev, int use_hvga);
  59234. +
  59235. +#endif
  59236. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mt7601u.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/mt7601u.h
  59237. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/mt7601u.h 1970-01-01 01:00:00.000000000 +0100
  59238. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/mt7601u.h 2015-11-29 09:42:38.887167260 +0100
  59239. @@ -0,0 +1,396 @@
  59240. +/*
  59241. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  59242. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  59243. + *
  59244. + * This program is free software; you can redistribute it and/or modify
  59245. + * it under the terms of the GNU General Public License version 2
  59246. + * as published by the Free Software Foundation
  59247. + *
  59248. + * This program is distributed in the hope that it will be useful,
  59249. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  59250. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  59251. + * GNU General Public License for more details.
  59252. + */
  59253. +
  59254. +#ifndef MT7601U_H
  59255. +#define MT7601U_H
  59256. +
  59257. +#include <linux/kernel.h>
  59258. +#include <linux/device.h>
  59259. +#include <linux/mutex.h>
  59260. +#include <linux/usb.h>
  59261. +#include <linux/completion.h>
  59262. +#include <net/mac80211.h>
  59263. +#include <linux/debugfs.h>
  59264. +
  59265. +#include "regs.h"
  59266. +#include "util.h"
  59267. +
  59268. +#define MT_CALIBRATE_INTERVAL (4 * HZ)
  59269. +
  59270. +#define MT_FREQ_CAL_INIT_DELAY (30 * HZ)
  59271. +#define MT_FREQ_CAL_CHECK_INTERVAL (10 * HZ)
  59272. +#define MT_FREQ_CAL_ADJ_INTERVAL (HZ / 2)
  59273. +
  59274. +#define MT_BBP_REG_VERSION 0x00
  59275. +
  59276. +#define MT_USB_AGGR_SIZE_LIMIT 28 /* * 1024B */
  59277. +#define MT_USB_AGGR_TIMEOUT 0x80 /* * 33ns */
  59278. +#define MT_RX_ORDER 3
  59279. +#define MT_RX_URB_SIZE (PAGE_SIZE << MT_RX_ORDER)
  59280. +
  59281. +struct mt7601u_dma_buf {
  59282. + struct urb *urb;
  59283. + void *buf;
  59284. + dma_addr_t dma;
  59285. + size_t len;
  59286. +};
  59287. +
  59288. +struct mt7601u_mcu {
  59289. + struct mutex mutex;
  59290. +
  59291. + u8 msg_seq;
  59292. +
  59293. + struct mt7601u_dma_buf resp;
  59294. + struct completion resp_cmpl;
  59295. +};
  59296. +
  59297. +struct mt7601u_freq_cal {
  59298. + struct delayed_work work;
  59299. + u8 freq;
  59300. + bool enabled;
  59301. + bool adjusting;
  59302. +};
  59303. +
  59304. +struct mac_stats {
  59305. + u64 rx_stat[6];
  59306. + u64 tx_stat[6];
  59307. + u64 aggr_stat[2];
  59308. + u64 aggr_n[32];
  59309. + u64 zero_len_del[2];
  59310. +};
  59311. +
  59312. +#define N_RX_ENTRIES 16
  59313. +struct mt7601u_rx_queue {
  59314. + struct mt7601u_dev *dev;
  59315. +
  59316. + struct mt7601u_dma_buf_rx {
  59317. + struct urb *urb;
  59318. + struct page *p;
  59319. + } e[N_RX_ENTRIES];
  59320. +
  59321. + unsigned int start;
  59322. + unsigned int end;
  59323. + unsigned int entries;
  59324. + unsigned int pending;
  59325. +};
  59326. +
  59327. +#define N_TX_ENTRIES 64
  59328. +
  59329. +struct mt7601u_tx_queue {
  59330. + struct mt7601u_dev *dev;
  59331. +
  59332. + struct mt7601u_dma_buf_tx {
  59333. + struct urb *urb;
  59334. + struct sk_buff *skb;
  59335. + } e[N_TX_ENTRIES];
  59336. +
  59337. + unsigned int start;
  59338. + unsigned int end;
  59339. + unsigned int entries;
  59340. + unsigned int used;
  59341. + unsigned int fifo_seq;
  59342. +};
  59343. +
  59344. +/* WCID allocation:
  59345. + * 0: mcast wcid
  59346. + * 1: bssid wcid
  59347. + * 1...: STAs
  59348. + * ...7e: group wcids
  59349. + * 7f: reserved
  59350. + */
  59351. +#define N_WCIDS 128
  59352. +#define GROUP_WCID(idx) (N_WCIDS - 2 - idx)
  59353. +
  59354. +struct mt7601u_eeprom_params;
  59355. +
  59356. +#define MT_EE_TEMPERATURE_SLOPE 39
  59357. +#define MT_FREQ_OFFSET_INVALID -128
  59358. +
  59359. +enum mt_temp_mode {
  59360. + MT_TEMP_MODE_NORMAL,
  59361. + MT_TEMP_MODE_HIGH,
  59362. + MT_TEMP_MODE_LOW,
  59363. +};
  59364. +
  59365. +enum mt_bw {
  59366. + MT_BW_20,
  59367. + MT_BW_40,
  59368. +};
  59369. +
  59370. +enum {
  59371. + MT7601U_STATE_INITIALIZED,
  59372. + MT7601U_STATE_REMOVED,
  59373. + MT7601U_STATE_WLAN_RUNNING,
  59374. + MT7601U_STATE_MCU_RUNNING,
  59375. + MT7601U_STATE_SCANNING,
  59376. + MT7601U_STATE_READING_STATS,
  59377. + MT7601U_STATE_MORE_STATS,
  59378. +};
  59379. +
  59380. +/**
  59381. + * struct mt7601u_dev - adapter structure
  59382. + * @lock: protects @wcid->tx_rate.
  59383. + * @mac_lock: locks out mac80211's tx status and rx paths.
  59384. + * @tx_lock: protects @tx_q and changes of MT7601U_STATE_*_STATS
  59385. + * flags in @state.
  59386. + * @rx_lock: protects @rx_q.
  59387. + * @con_mon_lock: protects @ap_bssid, @bcn_*, @avg_rssi.
  59388. + * @mutex: ensures exclusive access from mac80211 callbacks.
  59389. + * @vendor_req_mutex: protects @vend_buf, ensures atomicity of split writes.
  59390. + * @reg_atomic_mutex: ensures atomicity of indirect register accesses
  59391. + * (accesses to RF and BBP).
  59392. + * @hw_atomic_mutex: ensures exclusive access to HW during critical
  59393. + * operations (power management, channel switch).
  59394. + */
  59395. +struct mt7601u_dev {
  59396. + struct ieee80211_hw *hw;
  59397. + struct device *dev;
  59398. +
  59399. + unsigned long state;
  59400. +
  59401. + struct mutex mutex;
  59402. +
  59403. + unsigned long wcid_mask[N_WCIDS / BITS_PER_LONG];
  59404. +
  59405. + struct cfg80211_chan_def chandef;
  59406. + struct ieee80211_supported_band *sband_2g;
  59407. +
  59408. + struct mt7601u_mcu mcu;
  59409. +
  59410. + struct delayed_work cal_work;
  59411. + struct delayed_work mac_work;
  59412. +
  59413. + struct workqueue_struct *stat_wq;
  59414. + struct delayed_work stat_work;
  59415. +
  59416. + struct mt76_wcid *mon_wcid;
  59417. + struct mt76_wcid __rcu *wcid[N_WCIDS];
  59418. +
  59419. + spinlock_t lock;
  59420. + spinlock_t mac_lock;
  59421. +
  59422. + const u16 *beacon_offsets;
  59423. +
  59424. + u8 macaddr[ETH_ALEN];
  59425. + struct mt7601u_eeprom_params *ee;
  59426. +
  59427. + struct mutex vendor_req_mutex;
  59428. + void *vend_buf;
  59429. +
  59430. + struct mutex reg_atomic_mutex;
  59431. + struct mutex hw_atomic_mutex;
  59432. +
  59433. + u32 rxfilter;
  59434. + u32 debugfs_reg;
  59435. +
  59436. + u8 out_eps[8];
  59437. + u8 in_eps[8];
  59438. + u16 out_max_packet;
  59439. + u16 in_max_packet;
  59440. +
  59441. + /* TX */
  59442. + spinlock_t tx_lock;
  59443. + struct tasklet_struct tx_tasklet;
  59444. + struct mt7601u_tx_queue *tx_q;
  59445. + struct sk_buff_head tx_skb_done;
  59446. +
  59447. + atomic_t avg_ampdu_len;
  59448. +
  59449. + /* RX */
  59450. + spinlock_t rx_lock;
  59451. + struct tasklet_struct rx_tasklet;
  59452. + struct mt7601u_rx_queue rx_q;
  59453. +
  59454. + /* Connection monitoring things */
  59455. + spinlock_t con_mon_lock;
  59456. + u8 ap_bssid[ETH_ALEN];
  59457. +
  59458. + s8 bcn_freq_off;
  59459. + u8 bcn_phy_mode;
  59460. +
  59461. + int avg_rssi; /* starts at 0 and converges */
  59462. +
  59463. + u8 agc_save;
  59464. +
  59465. + struct mt7601u_freq_cal freq_cal;
  59466. +
  59467. + bool tssi_read_trig;
  59468. +
  59469. + s8 tssi_init;
  59470. + s8 tssi_init_hvga;
  59471. + s16 tssi_init_hvga_offset_db;
  59472. +
  59473. + int prev_pwr_diff;
  59474. +
  59475. + enum mt_temp_mode temp_mode;
  59476. + int curr_temp;
  59477. + int dpd_temp;
  59478. + s8 raw_temp;
  59479. + bool pll_lock_protect;
  59480. +
  59481. + u8 bw;
  59482. + bool chan_ext_below;
  59483. +
  59484. + /* PA mode */
  59485. + u32 rf_pa_mode[2];
  59486. +
  59487. + struct mac_stats stats;
  59488. +};
  59489. +
  59490. +struct mt7601u_tssi_params {
  59491. + char tssi0;
  59492. + int trgt_power;
  59493. +};
  59494. +
  59495. +struct mt76_wcid {
  59496. + u8 idx;
  59497. + u8 hw_key_idx;
  59498. +
  59499. + u16 tx_rate;
  59500. + bool tx_rate_set;
  59501. + u8 tx_rate_nss;
  59502. +};
  59503. +
  59504. +struct mt76_vif {
  59505. + u8 idx;
  59506. +
  59507. + struct mt76_wcid group_wcid;
  59508. +};
  59509. +
  59510. +struct mt76_sta {
  59511. + struct mt76_wcid wcid;
  59512. + u16 agg_ssn[IEEE80211_NUM_TIDS];
  59513. +};
  59514. +
  59515. +struct mt76_reg_pair {
  59516. + u32 reg;
  59517. + u32 value;
  59518. +};
  59519. +
  59520. +struct mt7601u_rxwi;
  59521. +
  59522. +extern const struct ieee80211_ops mt7601u_ops;
  59523. +
  59524. +void mt7601u_init_debugfs(struct mt7601u_dev *dev);
  59525. +
  59526. +u32 mt7601u_rr(struct mt7601u_dev *dev, u32 offset);
  59527. +void mt7601u_wr(struct mt7601u_dev *dev, u32 offset, u32 val);
  59528. +u32 mt7601u_rmw(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val);
  59529. +u32 mt7601u_rmc(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val);
  59530. +void mt7601u_wr_copy(struct mt7601u_dev *dev, u32 offset,
  59531. + const void *data, int len);
  59532. +
  59533. +int mt7601u_wait_asic_ready(struct mt7601u_dev *dev);
  59534. +bool mt76_poll(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val,
  59535. + int timeout);
  59536. +bool mt76_poll_msec(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val,
  59537. + int timeout);
  59538. +
  59539. +/* Compatibility with mt76 */
  59540. +#define mt76_rmw_field(_dev, _reg, _field, _val) \
  59541. + mt76_rmw(_dev, _reg, _field, MT76_SET(_field, _val))
  59542. +
  59543. +static inline u32 mt76_rr(struct mt7601u_dev *dev, u32 offset)
  59544. +{
  59545. + return mt7601u_rr(dev, offset);
  59546. +}
  59547. +
  59548. +static inline void mt76_wr(struct mt7601u_dev *dev, u32 offset, u32 val)
  59549. +{
  59550. + return mt7601u_wr(dev, offset, val);
  59551. +}
  59552. +
  59553. +static inline u32
  59554. +mt76_rmw(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val)
  59555. +{
  59556. + return mt7601u_rmw(dev, offset, mask, val);
  59557. +}
  59558. +
  59559. +static inline u32 mt76_set(struct mt7601u_dev *dev, u32 offset, u32 val)
  59560. +{
  59561. + return mt76_rmw(dev, offset, 0, val);
  59562. +}
  59563. +
  59564. +static inline u32 mt76_clear(struct mt7601u_dev *dev, u32 offset, u32 val)
  59565. +{
  59566. + return mt76_rmw(dev, offset, val, 0);
  59567. +}
  59568. +
  59569. +int mt7601u_write_reg_pairs(struct mt7601u_dev *dev, u32 base,
  59570. + const struct mt76_reg_pair *data, int len);
  59571. +int mt7601u_burst_write_regs(struct mt7601u_dev *dev, u32 offset,
  59572. + const u32 *data, int n);
  59573. +void mt7601u_addr_wr(struct mt7601u_dev *dev, const u32 offset, const u8 *addr);
  59574. +
  59575. +/* Init */
  59576. +struct mt7601u_dev *mt7601u_alloc_device(struct device *dev);
  59577. +int mt7601u_init_hardware(struct mt7601u_dev *dev);
  59578. +int mt7601u_register_device(struct mt7601u_dev *dev);
  59579. +void mt7601u_cleanup(struct mt7601u_dev *dev);
  59580. +
  59581. +int mt7601u_mac_start(struct mt7601u_dev *dev);
  59582. +void mt7601u_mac_stop(struct mt7601u_dev *dev);
  59583. +
  59584. +/* PHY */
  59585. +int mt7601u_phy_init(struct mt7601u_dev *dev);
  59586. +int mt7601u_wait_bbp_ready(struct mt7601u_dev *dev);
  59587. +void mt7601u_set_rx_path(struct mt7601u_dev *dev, u8 path);
  59588. +void mt7601u_set_tx_dac(struct mt7601u_dev *dev, u8 path);
  59589. +int mt7601u_bbp_set_bw(struct mt7601u_dev *dev, int bw);
  59590. +void mt7601u_agc_save(struct mt7601u_dev *dev);
  59591. +void mt7601u_agc_restore(struct mt7601u_dev *dev);
  59592. +int mt7601u_phy_set_channel(struct mt7601u_dev *dev,
  59593. + struct cfg80211_chan_def *chandef);
  59594. +void mt7601u_phy_recalibrate_after_assoc(struct mt7601u_dev *dev);
  59595. +int mt7601u_phy_get_rssi(struct mt7601u_dev *dev,
  59596. + struct mt7601u_rxwi *rxwi, u16 rate);
  59597. +void mt7601u_phy_con_cal_onoff(struct mt7601u_dev *dev,
  59598. + struct ieee80211_bss_conf *info);
  59599. +
  59600. +/* MAC */
  59601. +void mt7601u_mac_work(struct work_struct *work);
  59602. +void mt7601u_mac_set_protection(struct mt7601u_dev *dev, bool legacy_prot,
  59603. + int ht_mode);
  59604. +void mt7601u_mac_set_short_preamble(struct mt7601u_dev *dev, bool short_preamb);
  59605. +void mt7601u_mac_config_tsf(struct mt7601u_dev *dev, bool enable, int interval);
  59606. +void
  59607. +mt7601u_mac_wcid_setup(struct mt7601u_dev *dev, u8 idx, u8 vif_idx, u8 *mac);
  59608. +void mt7601u_mac_set_ampdu_factor(struct mt7601u_dev *dev);
  59609. +
  59610. +/* TX */
  59611. +void mt7601u_tx(struct ieee80211_hw *hw, struct ieee80211_tx_control *control,
  59612. + struct sk_buff *skb);
  59613. +int mt7601u_conf_tx(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  59614. + u16 queue, const struct ieee80211_tx_queue_params *params);
  59615. +void mt7601u_tx_status(struct mt7601u_dev *dev, struct sk_buff *skb);
  59616. +void mt7601u_tx_stat(struct work_struct *work);
  59617. +
  59618. +/* util */
  59619. +void mt76_remove_hdr_pad(struct sk_buff *skb);
  59620. +int mt76_insert_hdr_pad(struct sk_buff *skb);
  59621. +
  59622. +u32 mt7601u_bbp_set_ctrlch(struct mt7601u_dev *dev, bool below);
  59623. +
  59624. +static inline u32 mt7601u_mac_set_ctrlch(struct mt7601u_dev *dev, bool below)
  59625. +{
  59626. + return mt7601u_rmc(dev, MT_TX_BAND_CFG, 1, below);
  59627. +}
  59628. +
  59629. +int mt7601u_dma_init(struct mt7601u_dev *dev);
  59630. +void mt7601u_dma_cleanup(struct mt7601u_dev *dev);
  59631. +
  59632. +int mt7601u_dma_enqueue_tx(struct mt7601u_dev *dev, struct sk_buff *skb,
  59633. + struct mt76_wcid *wcid, int hw_q);
  59634. +
  59635. +#endif
  59636. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/phy.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/phy.c
  59637. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/phy.c 1970-01-01 01:00:00.000000000 +0100
  59638. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/phy.c 2015-11-29 09:42:38.887167260 +0100
  59639. @@ -0,0 +1,1251 @@
  59640. +/*
  59641. + * (c) Copyright 2002-2010, Ralink Technology, Inc.
  59642. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  59643. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  59644. + *
  59645. + * This program is free software; you can redistribute it and/or modify
  59646. + * it under the terms of the GNU General Public License version 2
  59647. + * as published by the Free Software Foundation
  59648. + *
  59649. + * This program is distributed in the hope that it will be useful,
  59650. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  59651. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  59652. + * GNU General Public License for more details.
  59653. + */
  59654. +
  59655. +#include "mt7601u.h"
  59656. +#include "mcu.h"
  59657. +#include "eeprom.h"
  59658. +#include "trace.h"
  59659. +#include "initvals_phy.h"
  59660. +
  59661. +#include <linux/etherdevice.h>
  59662. +
  59663. +static void mt7601u_agc_reset(struct mt7601u_dev *dev);
  59664. +
  59665. +static int
  59666. +mt7601u_rf_wr(struct mt7601u_dev *dev, u8 bank, u8 offset, u8 value)
  59667. +{
  59668. + int ret = 0;
  59669. +
  59670. + if (WARN_ON(!test_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state)) ||
  59671. + WARN_ON(offset > 63))
  59672. + return -EINVAL;
  59673. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  59674. + return 0;
  59675. +
  59676. + mutex_lock(&dev->reg_atomic_mutex);
  59677. +
  59678. + if (!mt76_poll(dev, MT_RF_CSR_CFG, MT_RF_CSR_CFG_KICK, 0, 100)) {
  59679. + ret = -ETIMEDOUT;
  59680. + goto out;
  59681. + }
  59682. +
  59683. + mt7601u_wr(dev, MT_RF_CSR_CFG, MT76_SET(MT_RF_CSR_CFG_DATA, value) |
  59684. + MT76_SET(MT_RF_CSR_CFG_REG_BANK, bank) |
  59685. + MT76_SET(MT_RF_CSR_CFG_REG_ID, offset) |
  59686. + MT_RF_CSR_CFG_WR |
  59687. + MT_RF_CSR_CFG_KICK);
  59688. + trace_rf_write(dev, bank, offset, value);
  59689. +out:
  59690. + mutex_unlock(&dev->reg_atomic_mutex);
  59691. +
  59692. + if (ret < 0)
  59693. + dev_err(dev->dev, "Error: RF write %02hhx:%02hhx failed:%d!!\n",
  59694. + bank, offset, ret);
  59695. +
  59696. + return ret;
  59697. +}
  59698. +
  59699. +static int
  59700. +mt7601u_rf_rr(struct mt7601u_dev *dev, u8 bank, u8 offset)
  59701. +{
  59702. + int ret = -ETIMEDOUT;
  59703. + u32 val;
  59704. +
  59705. + if (WARN_ON(!test_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state)) ||
  59706. + WARN_ON(offset > 63))
  59707. + return -EINVAL;
  59708. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  59709. + return 0xff;
  59710. +
  59711. + mutex_lock(&dev->reg_atomic_mutex);
  59712. +
  59713. + if (!mt76_poll(dev, MT_RF_CSR_CFG, MT_RF_CSR_CFG_KICK, 0, 100))
  59714. + goto out;
  59715. +
  59716. + mt7601u_wr(dev, MT_RF_CSR_CFG, MT76_SET(MT_RF_CSR_CFG_REG_BANK, bank) |
  59717. + MT76_SET(MT_RF_CSR_CFG_REG_ID, offset) |
  59718. + MT_RF_CSR_CFG_KICK);
  59719. +
  59720. + if (!mt76_poll(dev, MT_RF_CSR_CFG, MT_RF_CSR_CFG_KICK, 0, 100))
  59721. + goto out;
  59722. +
  59723. + val = mt7601u_rr(dev, MT_RF_CSR_CFG);
  59724. + if (MT76_GET(MT_RF_CSR_CFG_REG_ID, val) == offset &&
  59725. + MT76_GET(MT_RF_CSR_CFG_REG_BANK, val) == bank) {
  59726. + ret = MT76_GET(MT_RF_CSR_CFG_DATA, val);
  59727. + trace_rf_read(dev, bank, offset, ret);
  59728. + }
  59729. +out:
  59730. + mutex_unlock(&dev->reg_atomic_mutex);
  59731. +
  59732. + if (ret < 0)
  59733. + dev_err(dev->dev, "Error: RF read %02hhx:%02hhx failed:%d!!\n",
  59734. + bank, offset, ret);
  59735. +
  59736. + return ret;
  59737. +}
  59738. +
  59739. +static int
  59740. +mt7601u_rf_rmw(struct mt7601u_dev *dev, u8 bank, u8 offset, u8 mask, u8 val)
  59741. +{
  59742. + int ret;
  59743. +
  59744. + ret = mt7601u_rf_rr(dev, bank, offset);
  59745. + if (ret < 0)
  59746. + return ret;
  59747. + val |= ret & ~mask;
  59748. + ret = mt7601u_rf_wr(dev, bank, offset, val);
  59749. + if (ret)
  59750. + return ret;
  59751. +
  59752. + return val;
  59753. +}
  59754. +
  59755. +static int
  59756. +mt7601u_rf_set(struct mt7601u_dev *dev, u8 bank, u8 offset, u8 val)
  59757. +{
  59758. + return mt7601u_rf_rmw(dev, bank, offset, 0, val);
  59759. +}
  59760. +
  59761. +static int
  59762. +mt7601u_rf_clear(struct mt7601u_dev *dev, u8 bank, u8 offset, u8 mask)
  59763. +{
  59764. + return mt7601u_rf_rmw(dev, bank, offset, mask, 0);
  59765. +}
  59766. +
  59767. +static void mt7601u_bbp_wr(struct mt7601u_dev *dev, u8 offset, u8 val)
  59768. +{
  59769. + if (WARN_ON(!test_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state)) ||
  59770. + test_bit(MT7601U_STATE_REMOVED, &dev->state))
  59771. + return;
  59772. +
  59773. + mutex_lock(&dev->reg_atomic_mutex);
  59774. +
  59775. + if (!mt76_poll(dev, MT_BBP_CSR_CFG, MT_BBP_CSR_CFG_BUSY, 0, 1000)) {
  59776. + dev_err(dev->dev, "Error: BBP write %02hhx failed!!\n", offset);
  59777. + goto out;
  59778. + }
  59779. +
  59780. + mt7601u_wr(dev, MT_BBP_CSR_CFG,
  59781. + MT76_SET(MT_BBP_CSR_CFG_VAL, val) |
  59782. + MT76_SET(MT_BBP_CSR_CFG_REG_NUM, offset) |
  59783. + MT_BBP_CSR_CFG_RW_MODE | MT_BBP_CSR_CFG_BUSY);
  59784. + trace_bbp_write(dev, offset, val);
  59785. +out:
  59786. + mutex_unlock(&dev->reg_atomic_mutex);
  59787. +}
  59788. +
  59789. +static int mt7601u_bbp_rr(struct mt7601u_dev *dev, u8 offset)
  59790. +{
  59791. + u32 val;
  59792. + int ret = -ETIMEDOUT;
  59793. +
  59794. + if (WARN_ON(!test_bit(MT7601U_STATE_WLAN_RUNNING, &dev->state)))
  59795. + return -EINVAL;
  59796. + if (test_bit(MT7601U_STATE_REMOVED, &dev->state))
  59797. + return 0xff;
  59798. +
  59799. + mutex_lock(&dev->reg_atomic_mutex);
  59800. +
  59801. + if (!mt76_poll(dev, MT_BBP_CSR_CFG, MT_BBP_CSR_CFG_BUSY, 0, 1000))
  59802. + goto out;
  59803. +
  59804. + mt7601u_wr(dev, MT_BBP_CSR_CFG,
  59805. + MT76_SET(MT_BBP_CSR_CFG_REG_NUM, offset) |
  59806. + MT_BBP_CSR_CFG_RW_MODE | MT_BBP_CSR_CFG_BUSY |
  59807. + MT_BBP_CSR_CFG_READ);
  59808. +
  59809. + if (!mt76_poll(dev, MT_BBP_CSR_CFG, MT_BBP_CSR_CFG_BUSY, 0, 1000))
  59810. + goto out;
  59811. +
  59812. + val = mt7601u_rr(dev, MT_BBP_CSR_CFG);
  59813. + if (MT76_GET(MT_BBP_CSR_CFG_REG_NUM, val) == offset) {
  59814. + ret = MT76_GET(MT_BBP_CSR_CFG_VAL, val);
  59815. + trace_bbp_read(dev, offset, ret);
  59816. + }
  59817. +out:
  59818. + mutex_unlock(&dev->reg_atomic_mutex);
  59819. +
  59820. + if (ret < 0)
  59821. + dev_err(dev->dev, "Error: BBP read %02hhx failed:%d!!\n",
  59822. + offset, ret);
  59823. +
  59824. + return ret;
  59825. +}
  59826. +
  59827. +static int mt7601u_bbp_rmw(struct mt7601u_dev *dev, u8 offset, u8 mask, u8 val)
  59828. +{
  59829. + int ret;
  59830. +
  59831. + ret = mt7601u_bbp_rr(dev, offset);
  59832. + if (ret < 0)
  59833. + return ret;
  59834. + val |= ret & ~mask;
  59835. + mt7601u_bbp_wr(dev, offset, val);
  59836. +
  59837. + return val;
  59838. +}
  59839. +
  59840. +static u8 mt7601u_bbp_rmc(struct mt7601u_dev *dev, u8 offset, u8 mask, u8 val)
  59841. +{
  59842. + int ret;
  59843. +
  59844. + ret = mt7601u_bbp_rr(dev, offset);
  59845. + if (ret < 0)
  59846. + return ret;
  59847. + val |= ret & ~mask;
  59848. + if (ret != val)
  59849. + mt7601u_bbp_wr(dev, offset, val);
  59850. +
  59851. + return val;
  59852. +}
  59853. +
  59854. +int mt7601u_wait_bbp_ready(struct mt7601u_dev *dev)
  59855. +{
  59856. + int i = 20;
  59857. + u8 val;
  59858. +
  59859. + do {
  59860. + val = mt7601u_bbp_rr(dev, MT_BBP_REG_VERSION);
  59861. + if (val && ~val)
  59862. + break;
  59863. + } while (--i);
  59864. +
  59865. + if (!i) {
  59866. + dev_err(dev->dev, "Error: BBP is not ready\n");
  59867. + return -EIO;
  59868. + }
  59869. +
  59870. + return 0;
  59871. +}
  59872. +
  59873. +u32 mt7601u_bbp_set_ctrlch(struct mt7601u_dev *dev, bool below)
  59874. +{
  59875. + return mt7601u_bbp_rmc(dev, 3, 0x20, below ? 0x20 : 0);
  59876. +}
  59877. +
  59878. +int mt7601u_phy_get_rssi(struct mt7601u_dev *dev,
  59879. + struct mt7601u_rxwi *rxwi, u16 rate)
  59880. +{
  59881. + static const s8 lna[2][2][3] = {
  59882. + /* main LNA */ {
  59883. + /* bw20 */ { -2, 15, 33 },
  59884. + /* bw40 */ { 0, 16, 34 }
  59885. + },
  59886. + /* aux LNA */ {
  59887. + /* bw20 */ { -2, 15, 33 },
  59888. + /* bw40 */ { -2, 16, 34 }
  59889. + }
  59890. + };
  59891. + int bw = MT76_GET(MT_RXWI_RATE_BW, rate);
  59892. + int aux_lna = MT76_GET(MT_RXWI_ANT_AUX_LNA, rxwi->ant);
  59893. + int lna_id = MT76_GET(MT_RXWI_GAIN_RSSI_LNA_ID, rxwi->gain);
  59894. + int val;
  59895. +
  59896. + if (lna_id) /* LNA id can be 0, 2, 3. */
  59897. + lna_id--;
  59898. +
  59899. + val = 8;
  59900. + val -= lna[aux_lna][bw][lna_id];
  59901. + val -= MT76_GET(MT_RXWI_GAIN_RSSI_VAL, rxwi->gain);
  59902. + val -= dev->ee->lna_gain;
  59903. + val -= dev->ee->rssi_offset[0];
  59904. +
  59905. + return val;
  59906. +}
  59907. +
  59908. +static void mt7601u_vco_cal(struct mt7601u_dev *dev)
  59909. +{
  59910. + mt7601u_rf_wr(dev, 0, 4, 0x0a);
  59911. + mt7601u_rf_wr(dev, 0, 5, 0x20);
  59912. + mt7601u_rf_set(dev, 0, 4, BIT(7));
  59913. + msleep(2);
  59914. +}
  59915. +
  59916. +static int mt7601u_set_bw_filter(struct mt7601u_dev *dev, bool cal)
  59917. +{
  59918. + u32 filter = 0;
  59919. + int ret;
  59920. +
  59921. + if (!cal)
  59922. + filter |= 0x10000;
  59923. + if (dev->bw != MT_BW_20)
  59924. + filter |= 0x00100;
  59925. +
  59926. + /* TX */
  59927. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_BW, filter | 1);
  59928. + if (ret)
  59929. + return ret;
  59930. + /* RX */
  59931. + return mt7601u_mcu_calibrate(dev, MCU_CAL_BW, filter);
  59932. +}
  59933. +
  59934. +static int mt7601u_load_bbp_temp_table_bw(struct mt7601u_dev *dev)
  59935. +{
  59936. + const struct reg_table *t;
  59937. +
  59938. + if (WARN_ON(dev->temp_mode > MT_TEMP_MODE_LOW))
  59939. + return -EINVAL;
  59940. +
  59941. + t = &bbp_mode_table[dev->temp_mode][dev->bw];
  59942. +
  59943. + return mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP, t->regs, t->n);
  59944. +}
  59945. +
  59946. +static int mt7601u_bbp_temp(struct mt7601u_dev *dev, int mode, const char *name)
  59947. +{
  59948. + const struct reg_table *t;
  59949. + int ret;
  59950. +
  59951. + if (dev->temp_mode == mode)
  59952. + return 0;
  59953. +
  59954. + dev->temp_mode = mode;
  59955. + trace_temp_mode(dev, mode);
  59956. +
  59957. + t = bbp_mode_table[dev->temp_mode];
  59958. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP,
  59959. + t[2].regs, t[2].n);
  59960. + if (ret)
  59961. + return ret;
  59962. +
  59963. + return mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP,
  59964. + t[dev->bw].regs, t[dev->bw].n);
  59965. +}
  59966. +
  59967. +static void mt7601u_apply_ch14_fixup(struct mt7601u_dev *dev, int hw_chan)
  59968. +{
  59969. + struct mt7601u_rate_power *t = &dev->ee->power_rate_table;
  59970. +
  59971. + if (hw_chan != 14 || dev->bw != MT_BW_20) {
  59972. + mt7601u_bbp_rmw(dev, 4, 0x20, 0);
  59973. + mt7601u_bbp_wr(dev, 178, 0xff);
  59974. +
  59975. + t->cck[0].bw20 = dev->ee->real_cck_bw20[0];
  59976. + t->cck[1].bw20 = dev->ee->real_cck_bw20[1];
  59977. + } else { /* Apply CH14 OBW fixup */
  59978. + mt7601u_bbp_wr(dev, 4, 0x60);
  59979. + mt7601u_bbp_wr(dev, 178, 0);
  59980. +
  59981. + /* Note: vendor code is buggy here for negative values */
  59982. + t->cck[0].bw20 = dev->ee->real_cck_bw20[0] - 2;
  59983. + t->cck[1].bw20 = dev->ee->real_cck_bw20[1] - 2;
  59984. + }
  59985. +}
  59986. +
  59987. +static int __mt7601u_phy_set_channel(struct mt7601u_dev *dev,
  59988. + struct cfg80211_chan_def *chandef)
  59989. +{
  59990. +#define FREQ_PLAN_REGS 4
  59991. + static const u8 freq_plan[14][FREQ_PLAN_REGS] = {
  59992. + { 0x99, 0x99, 0x09, 0x50 },
  59993. + { 0x46, 0x44, 0x0a, 0x50 },
  59994. + { 0xec, 0xee, 0x0a, 0x50 },
  59995. + { 0x99, 0x99, 0x0b, 0x50 },
  59996. + { 0x46, 0x44, 0x08, 0x51 },
  59997. + { 0xec, 0xee, 0x08, 0x51 },
  59998. + { 0x99, 0x99, 0x09, 0x51 },
  59999. + { 0x46, 0x44, 0x0a, 0x51 },
  60000. + { 0xec, 0xee, 0x0a, 0x51 },
  60001. + { 0x99, 0x99, 0x0b, 0x51 },
  60002. + { 0x46, 0x44, 0x08, 0x52 },
  60003. + { 0xec, 0xee, 0x08, 0x52 },
  60004. + { 0x99, 0x99, 0x09, 0x52 },
  60005. + { 0x33, 0x33, 0x0b, 0x52 },
  60006. + };
  60007. + struct mt76_reg_pair channel_freq_plan[FREQ_PLAN_REGS] = {
  60008. + { 17, 0 }, { 18, 0 }, { 19, 0 }, { 20, 0 },
  60009. + };
  60010. + struct mt76_reg_pair bbp_settings[3] = {
  60011. + { 62, 0x37 - dev->ee->lna_gain },
  60012. + { 63, 0x37 - dev->ee->lna_gain },
  60013. + { 64, 0x37 - dev->ee->lna_gain },
  60014. + };
  60015. +
  60016. + struct ieee80211_channel *chan = chandef->chan;
  60017. + enum nl80211_channel_type chan_type =
  60018. + cfg80211_get_chandef_type(chandef);
  60019. + struct mt7601u_rate_power *t = &dev->ee->power_rate_table;
  60020. + int chan_idx;
  60021. + bool chan_ext_below;
  60022. + u8 bw;
  60023. + int i, ret;
  60024. +
  60025. + bw = MT_BW_20;
  60026. + chan_ext_below = (chan_type == NL80211_CHAN_HT40MINUS);
  60027. + chan_idx = chan->hw_value - 1;
  60028. +
  60029. + if (chandef->width == NL80211_CHAN_WIDTH_40) {
  60030. + bw = MT_BW_40;
  60031. +
  60032. + if (chan_idx > 1 && chan_type == NL80211_CHAN_HT40MINUS)
  60033. + chan_idx -= 2;
  60034. + else if (chan_idx < 12 && chan_type == NL80211_CHAN_HT40PLUS)
  60035. + chan_idx += 2;
  60036. + else
  60037. + dev_err(dev->dev, "Error: invalid 40MHz channel!!\n");
  60038. + }
  60039. +
  60040. + if (bw != dev->bw || chan_ext_below != dev->chan_ext_below) {
  60041. + dev_dbg(dev->dev, "Info: switching HT mode bw:%d below:%d\n",
  60042. + bw, chan_ext_below);
  60043. +
  60044. + mt7601u_bbp_set_bw(dev, bw);
  60045. +
  60046. + mt7601u_bbp_set_ctrlch(dev, chan_ext_below);
  60047. + mt7601u_mac_set_ctrlch(dev, chan_ext_below);
  60048. + dev->chan_ext_below = chan_ext_below;
  60049. + }
  60050. +
  60051. + for (i = 0; i < FREQ_PLAN_REGS; i++)
  60052. + channel_freq_plan[i].value = freq_plan[chan_idx][i];
  60053. +
  60054. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_RF,
  60055. + channel_freq_plan, FREQ_PLAN_REGS);
  60056. + if (ret)
  60057. + return ret;
  60058. +
  60059. + mt7601u_rmw(dev, MT_TX_ALC_CFG_0, 0x3f3f,
  60060. + dev->ee->chan_pwr[chan_idx] & 0x3f);
  60061. +
  60062. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP,
  60063. + bbp_settings, ARRAY_SIZE(bbp_settings));
  60064. + if (ret)
  60065. + return ret;
  60066. +
  60067. + mt7601u_vco_cal(dev);
  60068. + mt7601u_bbp_set_bw(dev, bw);
  60069. + ret = mt7601u_set_bw_filter(dev, false);
  60070. + if (ret)
  60071. + return ret;
  60072. +
  60073. + mt7601u_apply_ch14_fixup(dev, chan->hw_value);
  60074. + mt7601u_wr(dev, MT_TX_PWR_CFG_0, int_to_s6(t->ofdm[1].bw20) << 24 |
  60075. + int_to_s6(t->ofdm[0].bw20) << 16 |
  60076. + int_to_s6(t->cck[1].bw20) << 8 |
  60077. + int_to_s6(t->cck[0].bw20));
  60078. +
  60079. + if (test_bit(MT7601U_STATE_SCANNING, &dev->state))
  60080. + mt7601u_agc_reset(dev);
  60081. +
  60082. + dev->chandef = *chandef;
  60083. +
  60084. + return 0;
  60085. +}
  60086. +
  60087. +int mt7601u_phy_set_channel(struct mt7601u_dev *dev,
  60088. + struct cfg80211_chan_def *chandef)
  60089. +{
  60090. + int ret;
  60091. +
  60092. + cancel_delayed_work_sync(&dev->cal_work);
  60093. + cancel_delayed_work_sync(&dev->freq_cal.work);
  60094. +
  60095. + mutex_lock(&dev->hw_atomic_mutex);
  60096. + ret = __mt7601u_phy_set_channel(dev, chandef);
  60097. + mutex_unlock(&dev->hw_atomic_mutex);
  60098. + if (ret)
  60099. + return ret;
  60100. +
  60101. + if (test_bit(MT7601U_STATE_SCANNING, &dev->state))
  60102. + return 0;
  60103. +
  60104. + ieee80211_queue_delayed_work(dev->hw, &dev->cal_work,
  60105. + MT_CALIBRATE_INTERVAL);
  60106. + if (dev->freq_cal.enabled)
  60107. + ieee80211_queue_delayed_work(dev->hw, &dev->freq_cal.work,
  60108. + MT_FREQ_CAL_INIT_DELAY);
  60109. + return 0;
  60110. +}
  60111. +
  60112. +#define BBP_R47_FLAG GENMASK(2, 0)
  60113. +#define BBP_R47_F_TSSI 0
  60114. +#define BBP_R47_F_PKT_T 1
  60115. +#define BBP_R47_F_TX_RATE 2
  60116. +#define BBP_R47_F_TEMP 4
  60117. +/**
  60118. + * mt7601u_bbp_r47_get - read value through BBP R47/R49 pair
  60119. + * @dev: pointer to adapter structure
  60120. + * @reg: value of BBP R47 before the operation
  60121. + * @flag: one of the BBP_R47_F_* flags
  60122. + *
  60123. + * Convenience helper for reading values through BBP R47/R49 pair.
  60124. + * Takes old value of BBP R47 as @reg, because callers usually have it
  60125. + * cached already.
  60126. + *
  60127. + * Return: value of BBP R49.
  60128. + */
  60129. +static u8 mt7601u_bbp_r47_get(struct mt7601u_dev *dev, u8 reg, u8 flag)
  60130. +{
  60131. + flag |= reg & ~BBP_R47_FLAG;
  60132. + mt7601u_bbp_wr(dev, 47, flag);
  60133. + usleep_range(500, 700);
  60134. + return mt7601u_bbp_rr(dev, 49);
  60135. +}
  60136. +
  60137. +static s8 mt7601u_read_bootup_temp(struct mt7601u_dev *dev)
  60138. +{
  60139. + u8 bbp_val, temp;
  60140. + u32 rf_bp, rf_set;
  60141. + int i;
  60142. +
  60143. + rf_set = mt7601u_rr(dev, MT_RF_SETTING_0);
  60144. + rf_bp = mt7601u_rr(dev, MT_RF_BYPASS_0);
  60145. +
  60146. + mt7601u_wr(dev, MT_RF_BYPASS_0, 0);
  60147. + mt7601u_wr(dev, MT_RF_SETTING_0, 0x00000010);
  60148. + mt7601u_wr(dev, MT_RF_BYPASS_0, 0x00000010);
  60149. +
  60150. + bbp_val = mt7601u_bbp_rmw(dev, 47, 0, 0x10);
  60151. +
  60152. + mt7601u_bbp_wr(dev, 22, 0x40);
  60153. +
  60154. + for (i = 100; i && (bbp_val & 0x10); i--)
  60155. + bbp_val = mt7601u_bbp_rr(dev, 47);
  60156. +
  60157. + temp = mt7601u_bbp_r47_get(dev, bbp_val, BBP_R47_F_TEMP);
  60158. +
  60159. + mt7601u_bbp_wr(dev, 22, 0);
  60160. +
  60161. + bbp_val = mt7601u_bbp_rr(dev, 21);
  60162. + bbp_val |= 0x02;
  60163. + mt7601u_bbp_wr(dev, 21, bbp_val);
  60164. + bbp_val &= ~0x02;
  60165. + mt7601u_bbp_wr(dev, 21, bbp_val);
  60166. +
  60167. + mt7601u_wr(dev, MT_RF_BYPASS_0, 0);
  60168. + mt7601u_wr(dev, MT_RF_SETTING_0, rf_set);
  60169. + mt7601u_wr(dev, MT_RF_BYPASS_0, rf_bp);
  60170. +
  60171. + trace_read_temp(dev, temp);
  60172. + return temp;
  60173. +}
  60174. +
  60175. +static s8 mt7601u_read_temp(struct mt7601u_dev *dev)
  60176. +{
  60177. + int i;
  60178. + u8 val;
  60179. + s8 temp;
  60180. +
  60181. + val = mt7601u_bbp_rmw(dev, 47, 0x7f, 0x10);
  60182. +
  60183. + /* Note: this rarely succeeds, temp can change even if it fails. */
  60184. + for (i = 100; i && (val & 0x10); i--)
  60185. + val = mt7601u_bbp_rr(dev, 47);
  60186. +
  60187. + temp = mt7601u_bbp_r47_get(dev, val, BBP_R47_F_TEMP);
  60188. +
  60189. + trace_read_temp(dev, temp);
  60190. + return temp;
  60191. +}
  60192. +
  60193. +static void mt7601u_rxdc_cal(struct mt7601u_dev *dev)
  60194. +{
  60195. + static const struct mt76_reg_pair intro[] = {
  60196. + { 158, 0x8d }, { 159, 0xfc },
  60197. + { 158, 0x8c }, { 159, 0x4c },
  60198. + }, outro[] = {
  60199. + { 158, 0x8d }, { 159, 0xe0 },
  60200. + };
  60201. + u32 mac_ctrl;
  60202. + int i, ret;
  60203. +
  60204. + mac_ctrl = mt7601u_rr(dev, MT_MAC_SYS_CTRL);
  60205. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, MT_MAC_SYS_CTRL_ENABLE_RX);
  60206. +
  60207. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP,
  60208. + intro, ARRAY_SIZE(intro));
  60209. + if (ret)
  60210. + dev_err(dev->dev, "%s intro failed:%d\n", __func__, ret);
  60211. +
  60212. + for (i = 20; i; i--) {
  60213. + usleep_range(300, 500);
  60214. +
  60215. + mt7601u_bbp_wr(dev, 158, 0x8c);
  60216. + if (mt7601u_bbp_rr(dev, 159) == 0x0c)
  60217. + break;
  60218. + }
  60219. + if (!i)
  60220. + dev_err(dev->dev, "%s timed out\n", __func__);
  60221. +
  60222. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, 0);
  60223. +
  60224. + ret = mt7601u_write_reg_pairs(dev, MT_MCU_MEMMAP_BBP,
  60225. + outro, ARRAY_SIZE(outro));
  60226. + if (ret)
  60227. + dev_err(dev->dev, "%s outro failed:%d\n", __func__, ret);
  60228. +
  60229. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, mac_ctrl);
  60230. +}
  60231. +
  60232. +void mt7601u_phy_recalibrate_after_assoc(struct mt7601u_dev *dev)
  60233. +{
  60234. + mt7601u_mcu_calibrate(dev, MCU_CAL_DPD, dev->curr_temp);
  60235. +
  60236. + mt7601u_rxdc_cal(dev);
  60237. +}
  60238. +
  60239. +/* Note: function copied from vendor driver */
  60240. +static s16 lin2dBd(u16 linear)
  60241. +{
  60242. + short exp = 0;
  60243. + unsigned int mantisa;
  60244. + int app, dBd;
  60245. +
  60246. + if (WARN_ON(!linear))
  60247. + return -10000;
  60248. +
  60249. + mantisa = linear;
  60250. +
  60251. + exp = fls(mantisa) - 16;
  60252. + if (exp > 0)
  60253. + mantisa >>= exp;
  60254. + else
  60255. + mantisa <<= abs(exp);
  60256. +
  60257. + if (mantisa <= 0xb800)
  60258. + app = (mantisa + (mantisa >> 3) + (mantisa >> 4) - 0x9600);
  60259. + else
  60260. + app = (mantisa - (mantisa >> 3) - (mantisa >> 6) - 0x5a00);
  60261. + if (app < 0)
  60262. + app = 0;
  60263. +
  60264. + dBd = ((15 + exp) << 15) + app;
  60265. + dBd = (dBd << 2) + (dBd << 1) + (dBd >> 6) + (dBd >> 7);
  60266. + dBd = (dBd >> 10);
  60267. +
  60268. + return dBd;
  60269. +}
  60270. +
  60271. +static void
  60272. +mt7601u_set_initial_tssi(struct mt7601u_dev *dev, s16 tssi_db, s16 tssi_hvga_db)
  60273. +{
  60274. + struct tssi_data *d = &dev->ee->tssi_data;
  60275. + int init_offset;
  60276. +
  60277. + init_offset = -((tssi_db * d->slope + d->offset[1]) / 4096) + 10;
  60278. +
  60279. + mt76_rmw(dev, MT_TX_ALC_CFG_1, MT_TX_ALC_CFG_1_TEMP_COMP,
  60280. + int_to_s6(init_offset) & MT_TX_ALC_CFG_1_TEMP_COMP);
  60281. +}
  60282. +
  60283. +static void mt7601u_tssi_dc_gain_cal(struct mt7601u_dev *dev)
  60284. +{
  60285. + u8 rf_vga, rf_mixer, bbp_r47;
  60286. + int i, j;
  60287. + s8 res[4];
  60288. + s16 tssi_init_db, tssi_init_hvga_db;
  60289. +
  60290. + mt7601u_wr(dev, MT_RF_SETTING_0, 0x00000030);
  60291. + mt7601u_wr(dev, MT_RF_BYPASS_0, 0x000c0030);
  60292. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, 0);
  60293. +
  60294. + mt7601u_bbp_wr(dev, 58, 0);
  60295. + mt7601u_bbp_wr(dev, 241, 0x2);
  60296. + mt7601u_bbp_wr(dev, 23, 0x8);
  60297. + bbp_r47 = mt7601u_bbp_rr(dev, 47);
  60298. +
  60299. + /* Set VGA gain */
  60300. + rf_vga = mt7601u_rf_rr(dev, 5, 3);
  60301. + mt7601u_rf_wr(dev, 5, 3, 8);
  60302. +
  60303. + /* Mixer disable */
  60304. + rf_mixer = mt7601u_rf_rr(dev, 4, 39);
  60305. + mt7601u_rf_wr(dev, 4, 39, 0);
  60306. +
  60307. + for (i = 0; i < 4; i++) {
  60308. + mt7601u_rf_wr(dev, 4, 39, (i & 1) ? rf_mixer : 0);
  60309. +
  60310. + mt7601u_bbp_wr(dev, 23, (i < 2) ? 0x08 : 0x02);
  60311. + mt7601u_rf_wr(dev, 5, 3, (i < 2) ? 0x08 : 0x11);
  60312. +
  60313. + /* BBP TSSI initial and soft reset */
  60314. + mt7601u_bbp_wr(dev, 22, 0);
  60315. + mt7601u_bbp_wr(dev, 244, 0);
  60316. +
  60317. + mt7601u_bbp_wr(dev, 21, 1);
  60318. + udelay(1);
  60319. + mt7601u_bbp_wr(dev, 21, 0);
  60320. +
  60321. + /* TSSI measurement */
  60322. + mt7601u_bbp_wr(dev, 47, 0x50);
  60323. + mt7601u_bbp_wr(dev, (i & 1) ? 244 : 22, (i & 1) ? 0x31 : 0x40);
  60324. +
  60325. + for (j = 20; j; j--)
  60326. + if (!(mt7601u_bbp_rr(dev, 47) & 0x10))
  60327. + break;
  60328. + if (!j)
  60329. + dev_err(dev->dev, "%s timed out\n", __func__);
  60330. +
  60331. + /* TSSI read */
  60332. + mt7601u_bbp_wr(dev, 47, 0x40);
  60333. + res[i] = mt7601u_bbp_rr(dev, 49);
  60334. + }
  60335. +
  60336. + tssi_init_db = lin2dBd((short)res[1] - res[0]);
  60337. + tssi_init_hvga_db = lin2dBd(((short)res[3] - res[2]) * 4);
  60338. + dev->tssi_init = res[0];
  60339. + dev->tssi_init_hvga = res[2];
  60340. + dev->tssi_init_hvga_offset_db = tssi_init_hvga_db - tssi_init_db;
  60341. +
  60342. + dev_dbg(dev->dev,
  60343. + "TSSI_init:%hhx db:%hx hvga:%hhx hvga_db:%hx off_db:%hx\n",
  60344. + dev->tssi_init, tssi_init_db, dev->tssi_init_hvga,
  60345. + tssi_init_hvga_db, dev->tssi_init_hvga_offset_db);
  60346. +
  60347. + mt7601u_bbp_wr(dev, 22, 0);
  60348. + mt7601u_bbp_wr(dev, 244, 0);
  60349. +
  60350. + mt7601u_bbp_wr(dev, 21, 1);
  60351. + udelay(1);
  60352. + mt7601u_bbp_wr(dev, 21, 0);
  60353. +
  60354. + mt7601u_wr(dev, MT_RF_BYPASS_0, 0);
  60355. + mt7601u_wr(dev, MT_RF_SETTING_0, 0);
  60356. +
  60357. + mt7601u_rf_wr(dev, 5, 3, rf_vga);
  60358. + mt7601u_rf_wr(dev, 4, 39, rf_mixer);
  60359. + mt7601u_bbp_wr(dev, 47, bbp_r47);
  60360. +
  60361. + mt7601u_set_initial_tssi(dev, tssi_init_db, tssi_init_hvga_db);
  60362. +}
  60363. +
  60364. +static int mt7601u_temp_comp(struct mt7601u_dev *dev, bool on)
  60365. +{
  60366. + int ret, temp, hi_temp = 400, lo_temp = -200;
  60367. +
  60368. + temp = (dev->raw_temp - dev->ee->ref_temp) * MT_EE_TEMPERATURE_SLOPE;
  60369. + dev->curr_temp = temp;
  60370. +
  60371. + /* DPD Calibration */
  60372. + if (temp - dev->dpd_temp > 450 || temp - dev->dpd_temp < -450) {
  60373. + dev->dpd_temp = temp;
  60374. +
  60375. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_DPD, dev->dpd_temp);
  60376. + if (ret)
  60377. + return ret;
  60378. +
  60379. + mt7601u_vco_cal(dev);
  60380. +
  60381. + dev_dbg(dev->dev, "Recalibrate DPD\n");
  60382. + }
  60383. +
  60384. + /* PLL Lock Protect */
  60385. + if (temp < -50 && !dev->pll_lock_protect) { /* < 20C */
  60386. + dev->pll_lock_protect = true;
  60387. +
  60388. + mt7601u_rf_wr(dev, 4, 4, 6);
  60389. + mt7601u_rf_clear(dev, 4, 10, 0x30);
  60390. +
  60391. + dev_dbg(dev->dev, "PLL lock protect on - too cold\n");
  60392. + } else if (temp > 50 && dev->pll_lock_protect) { /* > 30C */
  60393. + dev->pll_lock_protect = false;
  60394. +
  60395. + mt7601u_rf_wr(dev, 4, 4, 0);
  60396. + mt7601u_rf_rmw(dev, 4, 10, 0x30, 0x10);
  60397. +
  60398. + dev_dbg(dev->dev, "PLL lock protect off\n");
  60399. + }
  60400. +
  60401. + if (on) {
  60402. + hi_temp -= 50;
  60403. + lo_temp -= 50;
  60404. + }
  60405. +
  60406. + /* BBP CR for H, L, N temperature */
  60407. + if (temp > hi_temp)
  60408. + return mt7601u_bbp_temp(dev, MT_TEMP_MODE_HIGH, "high");
  60409. + else if (temp > lo_temp)
  60410. + return mt7601u_bbp_temp(dev, MT_TEMP_MODE_NORMAL, "normal");
  60411. + else
  60412. + return mt7601u_bbp_temp(dev, MT_TEMP_MODE_LOW, "low");
  60413. +}
  60414. +
  60415. +/* Note: this is used only with TSSI, we can just use trgt_pwr from eeprom. */
  60416. +static int mt7601u_current_tx_power(struct mt7601u_dev *dev)
  60417. +{
  60418. + return dev->ee->chan_pwr[dev->chandef.chan->hw_value - 1];
  60419. +}
  60420. +
  60421. +static bool mt7601u_use_hvga(struct mt7601u_dev *dev)
  60422. +{
  60423. + return !(mt7601u_current_tx_power(dev) > 20);
  60424. +}
  60425. +
  60426. +static s16
  60427. +mt7601u_phy_rf_pa_mode_val(struct mt7601u_dev *dev, int phy_mode, int tx_rate)
  60428. +{
  60429. + static const s16 decode_tb[] = { 0, 8847, -5734, -5734 };
  60430. + u32 reg;
  60431. +
  60432. + switch (phy_mode) {
  60433. + case MT_PHY_TYPE_OFDM:
  60434. + tx_rate += 4;
  60435. + case MT_PHY_TYPE_CCK:
  60436. + reg = dev->rf_pa_mode[0];
  60437. + break;
  60438. + default:
  60439. + reg = dev->rf_pa_mode[1];
  60440. + break;
  60441. + }
  60442. +
  60443. + return decode_tb[(reg >> (tx_rate * 2)) & 0x3];
  60444. +}
  60445. +
  60446. +static struct mt7601u_tssi_params
  60447. +mt7601u_tssi_params_get(struct mt7601u_dev *dev)
  60448. +{
  60449. + static const u8 ofdm_pkt2rate[8] = { 6, 4, 2, 0, 7, 5, 3, 1 };
  60450. + static const int static_power[4] = { 0, -49152, -98304, 49152 };
  60451. + struct mt7601u_tssi_params p;
  60452. + u8 bbp_r47, pkt_type, tx_rate;
  60453. + struct power_per_rate *rate_table;
  60454. +
  60455. + bbp_r47 = mt7601u_bbp_rr(dev, 47);
  60456. +
  60457. + p.tssi0 = mt7601u_bbp_r47_get(dev, bbp_r47, BBP_R47_F_TSSI);
  60458. + dev->raw_temp = mt7601u_bbp_r47_get(dev, bbp_r47, BBP_R47_F_TEMP);
  60459. + pkt_type = mt7601u_bbp_r47_get(dev, bbp_r47, BBP_R47_F_PKT_T);
  60460. +
  60461. + p.trgt_power = mt7601u_current_tx_power(dev);
  60462. +
  60463. + switch (pkt_type & 0x03) {
  60464. + case MT_PHY_TYPE_CCK:
  60465. + tx_rate = (pkt_type >> 4) & 0x03;
  60466. + rate_table = dev->ee->power_rate_table.cck;
  60467. + break;
  60468. +
  60469. + case MT_PHY_TYPE_OFDM:
  60470. + tx_rate = ofdm_pkt2rate[(pkt_type >> 4) & 0x07];
  60471. + rate_table = dev->ee->power_rate_table.ofdm;
  60472. + break;
  60473. +
  60474. + default:
  60475. + tx_rate = mt7601u_bbp_r47_get(dev, bbp_r47, BBP_R47_F_TX_RATE);
  60476. + tx_rate &= 0x7f;
  60477. + rate_table = dev->ee->power_rate_table.ht;
  60478. + break;
  60479. + }
  60480. +
  60481. + if (dev->bw == MT_BW_20)
  60482. + p.trgt_power += rate_table[tx_rate / 2].bw20;
  60483. + else
  60484. + p.trgt_power += rate_table[tx_rate / 2].bw40;
  60485. +
  60486. + p.trgt_power <<= 12;
  60487. +
  60488. + dev_dbg(dev->dev, "tx_rate:%02hhx pwr:%08x\n", tx_rate, p.trgt_power);
  60489. +
  60490. + p.trgt_power += mt7601u_phy_rf_pa_mode_val(dev, pkt_type & 0x03,
  60491. + tx_rate);
  60492. +
  60493. + /* Channel 14, cck, bw20 */
  60494. + if ((pkt_type & 0x03) == MT_PHY_TYPE_CCK) {
  60495. + if (mt7601u_bbp_rr(dev, 4) & 0x20)
  60496. + p.trgt_power += mt7601u_bbp_rr(dev, 178) ? 18022 : 9830;
  60497. + else
  60498. + p.trgt_power += mt7601u_bbp_rr(dev, 178) ? 819 : 24576;
  60499. + }
  60500. +
  60501. + p.trgt_power += static_power[mt7601u_bbp_rr(dev, 1) & 0x03];
  60502. +
  60503. + p.trgt_power += dev->ee->tssi_data.tx0_delta_offset;
  60504. +
  60505. + dev_dbg(dev->dev,
  60506. + "tssi:%02hhx t_power:%08x temp:%02hhx pkt_type:%02hhx\n",
  60507. + p.tssi0, p.trgt_power, dev->raw_temp, pkt_type);
  60508. +
  60509. + return p;
  60510. +}
  60511. +
  60512. +static bool mt7601u_tssi_read_ready(struct mt7601u_dev *dev)
  60513. +{
  60514. + return !(mt7601u_bbp_rr(dev, 47) & 0x10);
  60515. +}
  60516. +
  60517. +static int mt7601u_tssi_cal(struct mt7601u_dev *dev)
  60518. +{
  60519. + struct mt7601u_tssi_params params;
  60520. + int curr_pwr, diff_pwr;
  60521. + char tssi_offset;
  60522. + s8 tssi_init;
  60523. + s16 tssi_m_dc, tssi_db;
  60524. + bool hvga;
  60525. + u32 val;
  60526. +
  60527. + if (!dev->ee->tssi_enabled)
  60528. + return 0;
  60529. +
  60530. + hvga = mt7601u_use_hvga(dev);
  60531. + if (!dev->tssi_read_trig)
  60532. + return mt7601u_mcu_tssi_read_kick(dev, hvga);
  60533. +
  60534. + if (!mt7601u_tssi_read_ready(dev))
  60535. + return 0;
  60536. +
  60537. + params = mt7601u_tssi_params_get(dev);
  60538. +
  60539. + tssi_init = (hvga ? dev->tssi_init_hvga : dev->tssi_init);
  60540. + tssi_m_dc = params.tssi0 - tssi_init;
  60541. + tssi_db = lin2dBd(tssi_m_dc);
  60542. + dev_dbg(dev->dev, "tssi dc:%04hx db:%04hx hvga:%d\n",
  60543. + tssi_m_dc, tssi_db, hvga);
  60544. +
  60545. + if (dev->chandef.chan->hw_value < 5)
  60546. + tssi_offset = dev->ee->tssi_data.offset[0];
  60547. + else if (dev->chandef.chan->hw_value < 9)
  60548. + tssi_offset = dev->ee->tssi_data.offset[1];
  60549. + else
  60550. + tssi_offset = dev->ee->tssi_data.offset[2];
  60551. +
  60552. + if (hvga)
  60553. + tssi_db -= dev->tssi_init_hvga_offset_db;
  60554. +
  60555. + curr_pwr = tssi_db * dev->ee->tssi_data.slope + (tssi_offset << 9);
  60556. + diff_pwr = params.trgt_power - curr_pwr;
  60557. + dev_dbg(dev->dev, "Power curr:%08x diff:%08x\n", curr_pwr, diff_pwr);
  60558. +
  60559. + if (params.tssi0 > 126 && diff_pwr > 0) {
  60560. + dev_err(dev->dev, "Error: TSSI upper saturation\n");
  60561. + diff_pwr = 0;
  60562. + }
  60563. + if (params.tssi0 - tssi_init < 1 && diff_pwr < 0) {
  60564. + dev_err(dev->dev, "Error: TSSI lower saturation\n");
  60565. + diff_pwr = 0;
  60566. + }
  60567. +
  60568. + if ((dev->prev_pwr_diff ^ diff_pwr) < 0 && abs(diff_pwr) < 4096 &&
  60569. + (abs(diff_pwr) > abs(dev->prev_pwr_diff) ||
  60570. + (diff_pwr > 0 && diff_pwr == -dev->prev_pwr_diff)))
  60571. + diff_pwr = 0;
  60572. + else
  60573. + dev->prev_pwr_diff = diff_pwr;
  60574. +
  60575. + diff_pwr += (diff_pwr > 0) ? 2048 : -2048;
  60576. + diff_pwr /= 4096;
  60577. +
  60578. + dev_dbg(dev->dev, "final diff: %08x\n", diff_pwr);
  60579. +
  60580. + val = mt7601u_rr(dev, MT_TX_ALC_CFG_1);
  60581. + curr_pwr = s6_to_int(MT76_GET(MT_TX_ALC_CFG_1_TEMP_COMP, val));
  60582. + diff_pwr += curr_pwr;
  60583. + val = (val & ~MT_TX_ALC_CFG_1_TEMP_COMP) | int_to_s6(diff_pwr);
  60584. + mt7601u_wr(dev, MT_TX_ALC_CFG_1, val);
  60585. +
  60586. + return mt7601u_mcu_tssi_read_kick(dev, hvga);
  60587. +}
  60588. +
  60589. +static u8 mt7601u_agc_default(struct mt7601u_dev *dev)
  60590. +{
  60591. + return (dev->ee->lna_gain - 8) * 2 + 0x34;
  60592. +}
  60593. +
  60594. +static void mt7601u_agc_reset(struct mt7601u_dev *dev)
  60595. +{
  60596. + u8 agc = mt7601u_agc_default(dev);
  60597. +
  60598. + mt7601u_bbp_wr(dev, 66, agc);
  60599. +}
  60600. +
  60601. +void mt7601u_agc_save(struct mt7601u_dev *dev)
  60602. +{
  60603. + dev->agc_save = mt7601u_bbp_rr(dev, 66);
  60604. +}
  60605. +
  60606. +void mt7601u_agc_restore(struct mt7601u_dev *dev)
  60607. +{
  60608. + mt7601u_bbp_wr(dev, 66, dev->agc_save);
  60609. +}
  60610. +
  60611. +static void mt7601u_agc_tune(struct mt7601u_dev *dev)
  60612. +{
  60613. + u8 val = mt7601u_agc_default(dev);
  60614. +
  60615. + if (test_bit(MT7601U_STATE_SCANNING, &dev->state))
  60616. + return;
  60617. +
  60618. + /* Note: only in STA mode and not dozing; perhaps do this only if
  60619. + * there is enough rssi updates since last run?
  60620. + * Rssi updates are only on beacons and U2M so should work...
  60621. + */
  60622. + spin_lock_bh(&dev->con_mon_lock);
  60623. + if (dev->avg_rssi <= -70)
  60624. + val -= 0x20;
  60625. + else if (dev->avg_rssi <= -60)
  60626. + val -= 0x10;
  60627. + spin_unlock_bh(&dev->con_mon_lock);
  60628. +
  60629. + if (val != mt7601u_bbp_rr(dev, 66))
  60630. + mt7601u_bbp_wr(dev, 66, val);
  60631. +
  60632. + /* TODO: also if lost a lot of beacons try resetting
  60633. + * (see RTMPSetAGCInitValue() call in mlme.c).
  60634. + */
  60635. +}
  60636. +
  60637. +static void mt7601u_phy_calibrate(struct work_struct *work)
  60638. +{
  60639. + struct mt7601u_dev *dev = container_of(work, struct mt7601u_dev,
  60640. + cal_work.work);
  60641. +
  60642. + mt7601u_agc_tune(dev);
  60643. + mt7601u_tssi_cal(dev);
  60644. + /* If TSSI calibration was run it already updated temperature. */
  60645. + if (!dev->ee->tssi_enabled)
  60646. + dev->raw_temp = mt7601u_read_temp(dev);
  60647. + mt7601u_temp_comp(dev, true); /* TODO: find right value for @on */
  60648. +
  60649. + ieee80211_queue_delayed_work(dev->hw, &dev->cal_work,
  60650. + MT_CALIBRATE_INTERVAL);
  60651. +}
  60652. +
  60653. +static unsigned long
  60654. +__mt7601u_phy_freq_cal(struct mt7601u_dev *dev, s8 last_offset, u8 phy_mode)
  60655. +{
  60656. + u8 activate_threshold, deactivate_threshold;
  60657. +
  60658. + trace_freq_cal_offset(dev, phy_mode, last_offset);
  60659. +
  60660. + /* No beacons received - reschedule soon */
  60661. + if (last_offset == MT_FREQ_OFFSET_INVALID)
  60662. + return MT_FREQ_CAL_ADJ_INTERVAL;
  60663. +
  60664. + switch (phy_mode) {
  60665. + case MT_PHY_TYPE_CCK:
  60666. + activate_threshold = 19;
  60667. + deactivate_threshold = 5;
  60668. + break;
  60669. + case MT_PHY_TYPE_OFDM:
  60670. + activate_threshold = 102;
  60671. + deactivate_threshold = 32;
  60672. + break;
  60673. + case MT_PHY_TYPE_HT:
  60674. + case MT_PHY_TYPE_HT_GF:
  60675. + activate_threshold = 82;
  60676. + deactivate_threshold = 20;
  60677. + break;
  60678. + default:
  60679. + WARN_ON(1);
  60680. + return MT_FREQ_CAL_CHECK_INTERVAL;
  60681. + }
  60682. +
  60683. + if (abs(last_offset) >= activate_threshold)
  60684. + dev->freq_cal.adjusting = true;
  60685. + else if (abs(last_offset) <= deactivate_threshold)
  60686. + dev->freq_cal.adjusting = false;
  60687. +
  60688. + if (!dev->freq_cal.adjusting)
  60689. + return MT_FREQ_CAL_CHECK_INTERVAL;
  60690. +
  60691. + if (last_offset > deactivate_threshold) {
  60692. + if (dev->freq_cal.freq > 0)
  60693. + dev->freq_cal.freq--;
  60694. + else
  60695. + dev->freq_cal.adjusting = false;
  60696. + } else if (last_offset < -deactivate_threshold) {
  60697. + if (dev->freq_cal.freq < 0xbf)
  60698. + dev->freq_cal.freq++;
  60699. + else
  60700. + dev->freq_cal.adjusting = false;
  60701. + }
  60702. +
  60703. + trace_freq_cal_adjust(dev, dev->freq_cal.freq);
  60704. + mt7601u_rf_wr(dev, 0, 12, dev->freq_cal.freq);
  60705. + mt7601u_vco_cal(dev);
  60706. +
  60707. + return dev->freq_cal.adjusting ? MT_FREQ_CAL_ADJ_INTERVAL :
  60708. + MT_FREQ_CAL_CHECK_INTERVAL;
  60709. +}
  60710. +
  60711. +static void mt7601u_phy_freq_cal(struct work_struct *work)
  60712. +{
  60713. + struct mt7601u_dev *dev = container_of(work, struct mt7601u_dev,
  60714. + freq_cal.work.work);
  60715. + s8 last_offset;
  60716. + u8 phy_mode;
  60717. + unsigned long delay;
  60718. +
  60719. + spin_lock_bh(&dev->con_mon_lock);
  60720. + last_offset = dev->bcn_freq_off;
  60721. + phy_mode = dev->bcn_phy_mode;
  60722. + spin_unlock_bh(&dev->con_mon_lock);
  60723. +
  60724. + delay = __mt7601u_phy_freq_cal(dev, last_offset, phy_mode);
  60725. + ieee80211_queue_delayed_work(dev->hw, &dev->freq_cal.work, delay);
  60726. +
  60727. + spin_lock_bh(&dev->con_mon_lock);
  60728. + dev->bcn_freq_off = MT_FREQ_OFFSET_INVALID;
  60729. + spin_unlock_bh(&dev->con_mon_lock);
  60730. +}
  60731. +
  60732. +void mt7601u_phy_con_cal_onoff(struct mt7601u_dev *dev,
  60733. + struct ieee80211_bss_conf *info)
  60734. +{
  60735. + if (!info->assoc)
  60736. + cancel_delayed_work_sync(&dev->freq_cal.work);
  60737. +
  60738. + /* Start/stop collecting beacon data */
  60739. + spin_lock_bh(&dev->con_mon_lock);
  60740. + ether_addr_copy(dev->ap_bssid, info->bssid);
  60741. + dev->avg_rssi = 0;
  60742. + dev->bcn_freq_off = MT_FREQ_OFFSET_INVALID;
  60743. + spin_unlock_bh(&dev->con_mon_lock);
  60744. +
  60745. + dev->freq_cal.freq = dev->ee->rf_freq_off;
  60746. + dev->freq_cal.enabled = info->assoc;
  60747. + dev->freq_cal.adjusting = false;
  60748. +
  60749. + if (info->assoc)
  60750. + ieee80211_queue_delayed_work(dev->hw, &dev->freq_cal.work,
  60751. + MT_FREQ_CAL_INIT_DELAY);
  60752. +}
  60753. +
  60754. +static int mt7601u_init_cal(struct mt7601u_dev *dev)
  60755. +{
  60756. + u32 mac_ctrl;
  60757. + int ret;
  60758. +
  60759. + dev->raw_temp = mt7601u_read_bootup_temp(dev);
  60760. + dev->curr_temp = (dev->raw_temp - dev->ee->ref_temp) *
  60761. + MT_EE_TEMPERATURE_SLOPE;
  60762. + dev->dpd_temp = dev->curr_temp;
  60763. +
  60764. + mac_ctrl = mt7601u_rr(dev, MT_MAC_SYS_CTRL);
  60765. +
  60766. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_R, 0);
  60767. + if (ret)
  60768. + return ret;
  60769. +
  60770. + ret = mt7601u_rf_rr(dev, 0, 4);
  60771. + if (ret < 0)
  60772. + return ret;
  60773. + ret |= 0x80;
  60774. + ret = mt7601u_rf_wr(dev, 0, 4, ret);
  60775. + if (ret)
  60776. + return ret;
  60777. + msleep(2);
  60778. +
  60779. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_TXDCOC, 0);
  60780. + if (ret)
  60781. + return ret;
  60782. +
  60783. + mt7601u_rxdc_cal(dev);
  60784. +
  60785. + ret = mt7601u_set_bw_filter(dev, true);
  60786. + if (ret)
  60787. + return ret;
  60788. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_LOFT, 0);
  60789. + if (ret)
  60790. + return ret;
  60791. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_TXIQ, 0);
  60792. + if (ret)
  60793. + return ret;
  60794. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_RXIQ, 0);
  60795. + if (ret)
  60796. + return ret;
  60797. + ret = mt7601u_mcu_calibrate(dev, MCU_CAL_DPD, dev->dpd_temp);
  60798. + if (ret)
  60799. + return ret;
  60800. +
  60801. + mt7601u_rxdc_cal(dev);
  60802. +
  60803. + mt7601u_tssi_dc_gain_cal(dev);
  60804. +
  60805. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, mac_ctrl);
  60806. +
  60807. + mt7601u_temp_comp(dev, true);
  60808. +
  60809. + return 0;
  60810. +}
  60811. +
  60812. +int mt7601u_bbp_set_bw(struct mt7601u_dev *dev, int bw)
  60813. +{
  60814. + u32 val, old;
  60815. +
  60816. + if (bw == dev->bw) {
  60817. + /* Vendor driver does the rmc even when no change is needed. */
  60818. + mt7601u_bbp_rmc(dev, 4, 0x18, bw == MT_BW_20 ? 0 : 0x10);
  60819. +
  60820. + return 0;
  60821. + }
  60822. + dev->bw = bw;
  60823. +
  60824. + /* Stop MAC for the time of bw change */
  60825. + old = mt7601u_rr(dev, MT_MAC_SYS_CTRL);
  60826. + val = old & ~(MT_MAC_SYS_CTRL_ENABLE_TX | MT_MAC_SYS_CTRL_ENABLE_RX);
  60827. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, val);
  60828. + mt76_poll(dev, MT_MAC_STATUS, MT_MAC_STATUS_TX | MT_MAC_STATUS_RX,
  60829. + 0, 500000);
  60830. +
  60831. + mt7601u_bbp_rmc(dev, 4, 0x18, bw == MT_BW_20 ? 0 : 0x10);
  60832. +
  60833. + mt7601u_wr(dev, MT_MAC_SYS_CTRL, old);
  60834. +
  60835. + return mt7601u_load_bbp_temp_table_bw(dev);
  60836. +}
  60837. +
  60838. +/**
  60839. + * mt7601u_set_rx_path - set rx path in BBP
  60840. + * @dev: pointer to adapter structure
  60841. + * @path: rx path to set values are 0-based
  60842. + */
  60843. +void mt7601u_set_rx_path(struct mt7601u_dev *dev, u8 path)
  60844. +{
  60845. + mt7601u_bbp_rmw(dev, 3, 0x18, path << 3);
  60846. +}
  60847. +
  60848. +/**
  60849. + * mt7601u_set_tx_dac - set which tx DAC to use
  60850. + * @dev: pointer to adapter structure
  60851. + * @path: DAC index, values are 0-based
  60852. + */
  60853. +void mt7601u_set_tx_dac(struct mt7601u_dev *dev, u8 dac)
  60854. +{
  60855. + mt7601u_bbp_rmc(dev, 1, 0x18, dac << 3);
  60856. +}
  60857. +
  60858. +int mt7601u_phy_init(struct mt7601u_dev *dev)
  60859. +{
  60860. + int ret;
  60861. +
  60862. + dev->rf_pa_mode[0] = mt7601u_rr(dev, MT_RF_PA_MODE_CFG0);
  60863. + dev->rf_pa_mode[1] = mt7601u_rr(dev, MT_RF_PA_MODE_CFG1);
  60864. +
  60865. + ret = mt7601u_rf_wr(dev, 0, 12, dev->ee->rf_freq_off);
  60866. + if (ret)
  60867. + return ret;
  60868. + ret = mt7601u_write_reg_pairs(dev, 0, rf_central,
  60869. + ARRAY_SIZE(rf_central));
  60870. + if (ret)
  60871. + return ret;
  60872. + ret = mt7601u_write_reg_pairs(dev, 0, rf_channel,
  60873. + ARRAY_SIZE(rf_channel));
  60874. + if (ret)
  60875. + return ret;
  60876. + ret = mt7601u_write_reg_pairs(dev, 0, rf_vga, ARRAY_SIZE(rf_vga));
  60877. + if (ret)
  60878. + return ret;
  60879. +
  60880. + ret = mt7601u_init_cal(dev);
  60881. + if (ret)
  60882. + return ret;
  60883. +
  60884. + dev->prev_pwr_diff = 100;
  60885. +
  60886. + INIT_DELAYED_WORK(&dev->cal_work, mt7601u_phy_calibrate);
  60887. + INIT_DELAYED_WORK(&dev->freq_cal.work, mt7601u_phy_freq_cal);
  60888. +
  60889. + return 0;
  60890. +}
  60891. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/regs.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/regs.h
  60892. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/regs.h 1970-01-01 01:00:00.000000000 +0100
  60893. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/regs.h 2015-11-29 09:42:38.887167260 +0100
  60894. @@ -0,0 +1,636 @@
  60895. +/*
  60896. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  60897. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  60898. + *
  60899. + * This program is free software; you can redistribute it and/or modify
  60900. + * it under the terms of the GNU General Public License version 2
  60901. + * as published by the Free Software Foundation
  60902. + *
  60903. + * This program is distributed in the hope that it will be useful,
  60904. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  60905. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  60906. + * GNU General Public License for more details.
  60907. + */
  60908. +
  60909. +#ifndef __MT76_REGS_H
  60910. +#define __MT76_REGS_H
  60911. +
  60912. +#include <linux/bitops.h>
  60913. +
  60914. +#ifndef GENMASK
  60915. +#define GENMASK(h, l) (((U32_C(1) << ((h) - (l) + 1)) - 1) << (l))
  60916. +#endif
  60917. +
  60918. +#define MT_ASIC_VERSION 0x0000
  60919. +
  60920. +#define MT76XX_REV_E3 0x22
  60921. +#define MT76XX_REV_E4 0x33
  60922. +
  60923. +#define MT_CMB_CTRL 0x0020
  60924. +#define MT_CMB_CTRL_XTAL_RDY BIT(22)
  60925. +#define MT_CMB_CTRL_PLL_LD BIT(23)
  60926. +
  60927. +#define MT_EFUSE_CTRL 0x0024
  60928. +#define MT_EFUSE_CTRL_AOUT GENMASK(5, 0)
  60929. +#define MT_EFUSE_CTRL_MODE GENMASK(7, 6)
  60930. +#define MT_EFUSE_CTRL_LDO_OFF_TIME GENMASK(13, 8)
  60931. +#define MT_EFUSE_CTRL_LDO_ON_TIME GENMASK(15, 14)
  60932. +#define MT_EFUSE_CTRL_AIN GENMASK(25, 16)
  60933. +#define MT_EFUSE_CTRL_KICK BIT(30)
  60934. +#define MT_EFUSE_CTRL_SEL BIT(31)
  60935. +
  60936. +#define MT_EFUSE_DATA_BASE 0x0028
  60937. +#define MT_EFUSE_DATA(_n) (MT_EFUSE_DATA_BASE + ((_n) << 2))
  60938. +
  60939. +#define MT_COEXCFG0 0x0040
  60940. +#define MT_COEXCFG0_COEX_EN BIT(0)
  60941. +
  60942. +#define MT_WLAN_FUN_CTRL 0x0080
  60943. +#define MT_WLAN_FUN_CTRL_WLAN_EN BIT(0)
  60944. +#define MT_WLAN_FUN_CTRL_WLAN_CLK_EN BIT(1)
  60945. +#define MT_WLAN_FUN_CTRL_WLAN_RESET_RF BIT(2)
  60946. +
  60947. +#define MT_WLAN_FUN_CTRL_WLAN_RESET BIT(3) /* MT76x0 */
  60948. +#define MT_WLAN_FUN_CTRL_CSR_F20M_CKEN BIT(3) /* MT76x2 */
  60949. +
  60950. +#define MT_WLAN_FUN_CTRL_PCIE_CLK_REQ BIT(4)
  60951. +#define MT_WLAN_FUN_CTRL_FRC_WL_ANT_SEL BIT(5)
  60952. +#define MT_WLAN_FUN_CTRL_INV_ANT_SEL BIT(6)
  60953. +#define MT_WLAN_FUN_CTRL_WAKE_HOST BIT(7)
  60954. +
  60955. +#define MT_WLAN_FUN_CTRL_THERM_RST BIT(8) /* MT76x2 */
  60956. +#define MT_WLAN_FUN_CTRL_THERM_CKEN BIT(9) /* MT76x2 */
  60957. +
  60958. +#define MT_WLAN_FUN_CTRL_GPIO_IN GENMASK(15, 8) /* MT76x0 */
  60959. +#define MT_WLAN_FUN_CTRL_GPIO_OUT GENMASK(23, 16) /* MT76x0 */
  60960. +#define MT_WLAN_FUN_CTRL_GPIO_OUT_EN GENMASK(31, 24) /* MT76x0 */
  60961. +
  60962. +#define MT_XO_CTRL0 0x0100
  60963. +#define MT_XO_CTRL1 0x0104
  60964. +#define MT_XO_CTRL2 0x0108
  60965. +#define MT_XO_CTRL3 0x010c
  60966. +#define MT_XO_CTRL4 0x0110
  60967. +
  60968. +#define MT_XO_CTRL5 0x0114
  60969. +#define MT_XO_CTRL5_C2_VAL GENMASK(14, 8)
  60970. +
  60971. +#define MT_XO_CTRL6 0x0118
  60972. +#define MT_XO_CTRL6_C2_CTRL GENMASK(14, 8)
  60973. +
  60974. +#define MT_XO_CTRL7 0x011c
  60975. +
  60976. +#define MT_WLAN_MTC_CTRL 0x10148
  60977. +#define MT_WLAN_MTC_CTRL_MTCMOS_PWR_UP BIT(0)
  60978. +#define MT_WLAN_MTC_CTRL_PWR_ACK BIT(12)
  60979. +#define MT_WLAN_MTC_CTRL_PWR_ACK_S BIT(13)
  60980. +#define MT_WLAN_MTC_CTRL_BBP_MEM_PD GENMASK(19, 16)
  60981. +#define MT_WLAN_MTC_CTRL_PBF_MEM_PD BIT(20)
  60982. +#define MT_WLAN_MTC_CTRL_FCE_MEM_PD BIT(21)
  60983. +#define MT_WLAN_MTC_CTRL_TSO_MEM_PD BIT(22)
  60984. +#define MT_WLAN_MTC_CTRL_BBP_MEM_RB BIT(24)
  60985. +#define MT_WLAN_MTC_CTRL_PBF_MEM_RB BIT(25)
  60986. +#define MT_WLAN_MTC_CTRL_FCE_MEM_RB BIT(26)
  60987. +#define MT_WLAN_MTC_CTRL_TSO_MEM_RB BIT(27)
  60988. +#define MT_WLAN_MTC_CTRL_STATE_UP BIT(28)
  60989. +
  60990. +#define MT_INT_SOURCE_CSR 0x0200
  60991. +#define MT_INT_MASK_CSR 0x0204
  60992. +
  60993. +#define MT_INT_RX_DONE(_n) BIT(_n)
  60994. +#define MT_INT_RX_DONE_ALL GENMASK(1, 0)
  60995. +#define MT_INT_TX_DONE_ALL GENMASK(13, 4)
  60996. +#define MT_INT_TX_DONE(_n) BIT(_n + 4)
  60997. +#define MT_INT_RX_COHERENT BIT(16)
  60998. +#define MT_INT_TX_COHERENT BIT(17)
  60999. +#define MT_INT_ANY_COHERENT BIT(18)
  61000. +#define MT_INT_MCU_CMD BIT(19)
  61001. +#define MT_INT_TBTT BIT(20)
  61002. +#define MT_INT_PRE_TBTT BIT(21)
  61003. +#define MT_INT_TX_STAT BIT(22)
  61004. +#define MT_INT_AUTO_WAKEUP BIT(23)
  61005. +#define MT_INT_GPTIMER BIT(24)
  61006. +#define MT_INT_RXDELAYINT BIT(26)
  61007. +#define MT_INT_TXDELAYINT BIT(27)
  61008. +
  61009. +#define MT_WPDMA_GLO_CFG 0x0208
  61010. +#define MT_WPDMA_GLO_CFG_TX_DMA_EN BIT(0)
  61011. +#define MT_WPDMA_GLO_CFG_TX_DMA_BUSY BIT(1)
  61012. +#define MT_WPDMA_GLO_CFG_RX_DMA_EN BIT(2)
  61013. +#define MT_WPDMA_GLO_CFG_RX_DMA_BUSY BIT(3)
  61014. +#define MT_WPDMA_GLO_CFG_DMA_BURST_SIZE GENMASK(5, 4)
  61015. +#define MT_WPDMA_GLO_CFG_TX_WRITEBACK_DONE BIT(6)
  61016. +#define MT_WPDMA_GLO_CFG_BIG_ENDIAN BIT(7)
  61017. +#define MT_WPDMA_GLO_CFG_HDR_SEG_LEN GENMASK(15, 8)
  61018. +#define MT_WPDMA_GLO_CFG_CLK_GATE_DIS BIT(30)
  61019. +#define MT_WPDMA_GLO_CFG_RX_2B_OFFSET BIT(31)
  61020. +
  61021. +#define MT_WPDMA_RST_IDX 0x020c
  61022. +
  61023. +#define MT_WPDMA_DELAY_INT_CFG 0x0210
  61024. +
  61025. +#define MT_WMM_AIFSN 0x0214
  61026. +#define MT_WMM_AIFSN_MASK GENMASK(3, 0)
  61027. +#define MT_WMM_AIFSN_SHIFT(_n) ((_n) * 4)
  61028. +
  61029. +#define MT_WMM_CWMIN 0x0218
  61030. +#define MT_WMM_CWMIN_MASK GENMASK(3, 0)
  61031. +#define MT_WMM_CWMIN_SHIFT(_n) ((_n) * 4)
  61032. +
  61033. +#define MT_WMM_CWMAX 0x021c
  61034. +#define MT_WMM_CWMAX_MASK GENMASK(3, 0)
  61035. +#define MT_WMM_CWMAX_SHIFT(_n) ((_n) * 4)
  61036. +
  61037. +#define MT_WMM_TXOP_BASE 0x0220
  61038. +#define MT_WMM_TXOP(_n) (MT_WMM_TXOP_BASE + (((_n) / 2) << 2))
  61039. +#define MT_WMM_TXOP_SHIFT(_n) ((_n & 1) * 16)
  61040. +#define MT_WMM_TXOP_MASK GENMASK(15, 0)
  61041. +
  61042. +#define MT_FCE_DMA_ADDR 0x0230
  61043. +#define MT_FCE_DMA_LEN 0x0234
  61044. +
  61045. +#define MT_USB_DMA_CFG 0x238
  61046. +#define MT_USB_DMA_CFG_RX_BULK_AGG_TOUT GENMASK(7, 0)
  61047. +#define MT_USB_DMA_CFG_RX_BULK_AGG_LMT GENMASK(15, 8)
  61048. +#define MT_USB_DMA_CFG_PHY_CLR BIT(16)
  61049. +#define MT_USB_DMA_CFG_TX_CLR BIT(19)
  61050. +#define MT_USB_DMA_CFG_TXOP_HALT BIT(20)
  61051. +#define MT_USB_DMA_CFG_RX_BULK_AGG_EN BIT(21)
  61052. +#define MT_USB_DMA_CFG_RX_BULK_EN BIT(22)
  61053. +#define MT_USB_DMA_CFG_TX_BULK_EN BIT(23)
  61054. +#define MT_USB_DMA_CFG_UDMA_RX_WL_DROP BIT(25)
  61055. +#define MT_USB_DMA_CFG_EP_OUT_VALID GENMASK(29, 27)
  61056. +#define MT_USB_DMA_CFG_RX_BUSY BIT(30)
  61057. +#define MT_USB_DMA_CFG_TX_BUSY BIT(31)
  61058. +
  61059. +#define MT_TSO_CTRL 0x0250
  61060. +#define MT_HEADER_TRANS_CTRL_REG 0x0260
  61061. +
  61062. +#define MT_US_CYC_CFG 0x02a4
  61063. +#define MT_US_CYC_CNT GENMASK(7, 0)
  61064. +
  61065. +#define MT_TX_RING_BASE 0x0300
  61066. +#define MT_RX_RING_BASE 0x03c0
  61067. +#define MT_RING_SIZE 0x10
  61068. +
  61069. +#define MT_TX_HW_QUEUE_MCU 8
  61070. +#define MT_TX_HW_QUEUE_MGMT 9
  61071. +
  61072. +#define MT_PBF_SYS_CTRL 0x0400
  61073. +#define MT_PBF_SYS_CTRL_MCU_RESET BIT(0)
  61074. +#define MT_PBF_SYS_CTRL_DMA_RESET BIT(1)
  61075. +#define MT_PBF_SYS_CTRL_MAC_RESET BIT(2)
  61076. +#define MT_PBF_SYS_CTRL_PBF_RESET BIT(3)
  61077. +#define MT_PBF_SYS_CTRL_ASY_RESET BIT(4)
  61078. +
  61079. +#define MT_PBF_CFG 0x0404
  61080. +#define MT_PBF_CFG_TX0Q_EN BIT(0)
  61081. +#define MT_PBF_CFG_TX1Q_EN BIT(1)
  61082. +#define MT_PBF_CFG_TX2Q_EN BIT(2)
  61083. +#define MT_PBF_CFG_TX3Q_EN BIT(3)
  61084. +#define MT_PBF_CFG_RX0Q_EN BIT(4)
  61085. +#define MT_PBF_CFG_RX_DROP_EN BIT(8)
  61086. +
  61087. +#define MT_PBF_TX_MAX_PCNT 0x0408
  61088. +#define MT_PBF_RX_MAX_PCNT 0x040c
  61089. +
  61090. +#define MT_BCN_OFFSET_BASE 0x041c
  61091. +#define MT_BCN_OFFSET(_n) (MT_BCN_OFFSET_BASE + ((_n) << 2))
  61092. +
  61093. +#define MT_RF_CSR_CFG 0x0500
  61094. +#define MT_RF_CSR_CFG_DATA GENMASK(7, 0)
  61095. +#define MT_RF_CSR_CFG_REG_ID GENMASK(13, 8)
  61096. +#define MT_RF_CSR_CFG_REG_BANK GENMASK(17, 14)
  61097. +#define MT_RF_CSR_CFG_WR BIT(30)
  61098. +#define MT_RF_CSR_CFG_KICK BIT(31)
  61099. +
  61100. +#define MT_RF_BYPASS_0 0x0504
  61101. +#define MT_RF_BYPASS_1 0x0508
  61102. +#define MT_RF_SETTING_0 0x050c
  61103. +
  61104. +#define MT_RF_DATA_WRITE 0x0524
  61105. +
  61106. +#define MT_RF_CTRL 0x0528
  61107. +#define MT_RF_CTRL_ADDR GENMASK(11, 0)
  61108. +#define MT_RF_CTRL_WRITE BIT(12)
  61109. +#define MT_RF_CTRL_BUSY BIT(13)
  61110. +#define MT_RF_CTRL_IDX BIT(16)
  61111. +
  61112. +#define MT_RF_DATA_READ 0x052c
  61113. +
  61114. +#define MT_FCE_PSE_CTRL 0x0800
  61115. +#define MT_FCE_PARAMETERS 0x0804
  61116. +#define MT_FCE_CSO 0x0808
  61117. +
  61118. +#define MT_FCE_L2_STUFF 0x080c
  61119. +#define MT_FCE_L2_STUFF_HT_L2_EN BIT(0)
  61120. +#define MT_FCE_L2_STUFF_QOS_L2_EN BIT(1)
  61121. +#define MT_FCE_L2_STUFF_RX_STUFF_EN BIT(2)
  61122. +#define MT_FCE_L2_STUFF_TX_STUFF_EN BIT(3)
  61123. +#define MT_FCE_L2_STUFF_WR_MPDU_LEN_EN BIT(4)
  61124. +#define MT_FCE_L2_STUFF_MVINV_BSWAP BIT(5)
  61125. +#define MT_FCE_L2_STUFF_TS_CMD_QSEL_EN GENMASK(15, 8)
  61126. +#define MT_FCE_L2_STUFF_TS_LEN_EN GENMASK(23, 16)
  61127. +#define MT_FCE_L2_STUFF_OTHER_PORT GENMASK(25, 24)
  61128. +
  61129. +#define MT_FCE_WLAN_FLOW_CONTROL1 0x0824
  61130. +
  61131. +#define MT_TX_CPU_FROM_FCE_BASE_PTR 0x09a0
  61132. +#define MT_TX_CPU_FROM_FCE_MAX_COUNT 0x09a4
  61133. +#define MT_TX_CPU_FROM_FCE_CPU_DESC_IDX 0x09a8
  61134. +
  61135. +#define MT_FCE_PDMA_GLOBAL_CONF 0x09c4
  61136. +
  61137. +#define MT_PAUSE_ENABLE_CONTROL1 0x0a38
  61138. +
  61139. +#define MT_FCE_SKIP_FS 0x0a6c
  61140. +
  61141. +#define MT_MAC_CSR0 0x1000
  61142. +
  61143. +#define MT_MAC_SYS_CTRL 0x1004
  61144. +#define MT_MAC_SYS_CTRL_RESET_CSR BIT(0)
  61145. +#define MT_MAC_SYS_CTRL_RESET_BBP BIT(1)
  61146. +#define MT_MAC_SYS_CTRL_ENABLE_TX BIT(2)
  61147. +#define MT_MAC_SYS_CTRL_ENABLE_RX BIT(3)
  61148. +
  61149. +#define MT_MAC_ADDR_DW0 0x1008
  61150. +#define MT_MAC_ADDR_DW1 0x100c
  61151. +#define MT_MAC_ADDR_DW1_U2ME_MASK GENMASK(23, 16)
  61152. +
  61153. +#define MT_MAC_BSSID_DW0 0x1010
  61154. +#define MT_MAC_BSSID_DW1 0x1014
  61155. +#define MT_MAC_BSSID_DW1_ADDR GENMASK(15, 0)
  61156. +#define MT_MAC_BSSID_DW1_MBSS_MODE GENMASK(17, 16)
  61157. +#define MT_MAC_BSSID_DW1_MBEACON_N GENMASK(20, 18)
  61158. +#define MT_MAC_BSSID_DW1_MBSS_LOCAL_BIT BIT(21)
  61159. +#define MT_MAC_BSSID_DW1_MBSS_MODE_B2 BIT(22)
  61160. +#define MT_MAC_BSSID_DW1_MBEACON_N_B3 BIT(23)
  61161. +#define MT_MAC_BSSID_DW1_MBSS_IDX_BYTE GENMASK(26, 24)
  61162. +
  61163. +#define MT_MAX_LEN_CFG 0x1018
  61164. +#define MT_MAX_LEN_CFG_AMPDU GENMASK(13, 12)
  61165. +
  61166. +#define MT_BBP_CSR_CFG 0x101c
  61167. +#define MT_BBP_CSR_CFG_VAL GENMASK(7, 0)
  61168. +#define MT_BBP_CSR_CFG_REG_NUM GENMASK(15, 8)
  61169. +#define MT_BBP_CSR_CFG_READ BIT(16)
  61170. +#define MT_BBP_CSR_CFG_BUSY BIT(17)
  61171. +#define MT_BBP_CSR_CFG_PAR_DUR BIT(18)
  61172. +#define MT_BBP_CSR_CFG_RW_MODE BIT(19)
  61173. +
  61174. +#define MT_AMPDU_MAX_LEN_20M1S 0x1030
  61175. +#define MT_AMPDU_MAX_LEN_20M2S 0x1034
  61176. +#define MT_AMPDU_MAX_LEN_40M1S 0x1038
  61177. +#define MT_AMPDU_MAX_LEN_40M2S 0x103c
  61178. +#define MT_AMPDU_MAX_LEN 0x1040
  61179. +
  61180. +#define MT_WCID_DROP_BASE 0x106c
  61181. +#define MT_WCID_DROP(_n) (MT_WCID_DROP_BASE + ((_n) >> 5) * 4)
  61182. +#define MT_WCID_DROP_MASK(_n) BIT((_n) % 32)
  61183. +
  61184. +#define MT_BCN_BYPASS_MASK 0x108c
  61185. +
  61186. +#define MT_MAC_APC_BSSID_BASE 0x1090
  61187. +#define MT_MAC_APC_BSSID_L(_n) (MT_MAC_APC_BSSID_BASE + ((_n) * 8))
  61188. +#define MT_MAC_APC_BSSID_H(_n) (MT_MAC_APC_BSSID_BASE + ((_n) * 8 + 4))
  61189. +#define MT_MAC_APC_BSSID_H_ADDR GENMASK(15, 0)
  61190. +#define MT_MAC_APC_BSSID0_H_EN BIT(16)
  61191. +
  61192. +#define MT_XIFS_TIME_CFG 0x1100
  61193. +#define MT_XIFS_TIME_CFG_CCK_SIFS GENMASK(7, 0)
  61194. +#define MT_XIFS_TIME_CFG_OFDM_SIFS GENMASK(15, 8)
  61195. +#define MT_XIFS_TIME_CFG_OFDM_XIFS GENMASK(19, 16)
  61196. +#define MT_XIFS_TIME_CFG_EIFS GENMASK(28, 20)
  61197. +#define MT_XIFS_TIME_CFG_BB_RXEND_EN BIT(29)
  61198. +
  61199. +#define MT_BKOFF_SLOT_CFG 0x1104
  61200. +#define MT_BKOFF_SLOT_CFG_SLOTTIME GENMASK(7, 0)
  61201. +#define MT_BKOFF_SLOT_CFG_CC_DELAY GENMASK(11, 8)
  61202. +
  61203. +#define MT_BEACON_TIME_CFG 0x1114
  61204. +#define MT_BEACON_TIME_CFG_INTVAL GENMASK(15, 0)
  61205. +#define MT_BEACON_TIME_CFG_TIMER_EN BIT(16)
  61206. +#define MT_BEACON_TIME_CFG_SYNC_MODE GENMASK(18, 17)
  61207. +#define MT_BEACON_TIME_CFG_TBTT_EN BIT(19)
  61208. +#define MT_BEACON_TIME_CFG_BEACON_TX BIT(20)
  61209. +#define MT_BEACON_TIME_CFG_TSF_COMP GENMASK(31, 24)
  61210. +
  61211. +#define MT_TBTT_SYNC_CFG 0x1118
  61212. +#define MT_TBTT_TIMER_CFG 0x1124
  61213. +
  61214. +#define MT_INT_TIMER_CFG 0x1128
  61215. +#define MT_INT_TIMER_CFG_PRE_TBTT GENMASK(15, 0)
  61216. +#define MT_INT_TIMER_CFG_GP_TIMER GENMASK(31, 16)
  61217. +
  61218. +#define MT_INT_TIMER_EN 0x112c
  61219. +#define MT_INT_TIMER_EN_PRE_TBTT_EN BIT(0)
  61220. +#define MT_INT_TIMER_EN_GP_TIMER_EN BIT(1)
  61221. +
  61222. +#define MT_MAC_STATUS 0x1200
  61223. +#define MT_MAC_STATUS_TX BIT(0)
  61224. +#define MT_MAC_STATUS_RX BIT(1)
  61225. +
  61226. +#define MT_PWR_PIN_CFG 0x1204
  61227. +#define MT_AUX_CLK_CFG 0x120c
  61228. +
  61229. +#define MT_BB_PA_MODE_CFG0 0x1214
  61230. +#define MT_BB_PA_MODE_CFG1 0x1218
  61231. +#define MT_RF_PA_MODE_CFG0 0x121c
  61232. +#define MT_RF_PA_MODE_CFG1 0x1220
  61233. +
  61234. +#define MT_RF_PA_MODE_ADJ0 0x1228
  61235. +#define MT_RF_PA_MODE_ADJ1 0x122c
  61236. +
  61237. +#define MT_DACCLK_EN_DLY_CFG 0x1264
  61238. +
  61239. +#define MT_EDCA_CFG_BASE 0x1300
  61240. +#define MT_EDCA_CFG_AC(_n) (MT_EDCA_CFG_BASE + ((_n) << 2))
  61241. +#define MT_EDCA_CFG_TXOP GENMASK(7, 0)
  61242. +#define MT_EDCA_CFG_AIFSN GENMASK(11, 8)
  61243. +#define MT_EDCA_CFG_CWMIN GENMASK(15, 12)
  61244. +#define MT_EDCA_CFG_CWMAX GENMASK(19, 16)
  61245. +
  61246. +#define MT_TX_PWR_CFG_0 0x1314
  61247. +#define MT_TX_PWR_CFG_1 0x1318
  61248. +#define MT_TX_PWR_CFG_2 0x131c
  61249. +#define MT_TX_PWR_CFG_3 0x1320
  61250. +#define MT_TX_PWR_CFG_4 0x1324
  61251. +
  61252. +#define MT_TX_BAND_CFG 0x132c
  61253. +#define MT_TX_BAND_CFG_UPPER_40M BIT(0)
  61254. +#define MT_TX_BAND_CFG_5G BIT(1)
  61255. +#define MT_TX_BAND_CFG_2G BIT(2)
  61256. +
  61257. +#define MT_HT_FBK_TO_LEGACY 0x1384
  61258. +#define MT_TX_MPDU_ADJ_INT 0x1388
  61259. +
  61260. +#define MT_TX_PWR_CFG_7 0x13d4
  61261. +#define MT_TX_PWR_CFG_8 0x13d8
  61262. +#define MT_TX_PWR_CFG_9 0x13dc
  61263. +
  61264. +#define MT_TX_SW_CFG0 0x1330
  61265. +#define MT_TX_SW_CFG1 0x1334
  61266. +#define MT_TX_SW_CFG2 0x1338
  61267. +
  61268. +#define MT_TXOP_CTRL_CFG 0x1340
  61269. +#define MT_TXOP_TRUN_EN GENMASK(5, 0)
  61270. +#define MT_TXOP_EXT_CCA_DLY GENMASK(15, 8)
  61271. +#define MT_TXOP_CTRL
  61272. +
  61273. +#define MT_TX_RTS_CFG 0x1344
  61274. +#define MT_TX_RTS_CFG_RETRY_LIMIT GENMASK(7, 0)
  61275. +#define MT_TX_RTS_CFG_THRESH GENMASK(23, 8)
  61276. +#define MT_TX_RTS_FALLBACK BIT(24)
  61277. +
  61278. +#define MT_TX_TIMEOUT_CFG 0x1348
  61279. +#define MT_TX_RETRY_CFG 0x134c
  61280. +#define MT_TX_LINK_CFG 0x1350
  61281. +#define MT_HT_FBK_CFG0 0x1354
  61282. +#define MT_HT_FBK_CFG1 0x1358
  61283. +#define MT_LG_FBK_CFG0 0x135c
  61284. +#define MT_LG_FBK_CFG1 0x1360
  61285. +
  61286. +#define MT_CCK_PROT_CFG 0x1364
  61287. +#define MT_OFDM_PROT_CFG 0x1368
  61288. +#define MT_MM20_PROT_CFG 0x136c
  61289. +#define MT_MM40_PROT_CFG 0x1370
  61290. +#define MT_GF20_PROT_CFG 0x1374
  61291. +#define MT_GF40_PROT_CFG 0x1378
  61292. +
  61293. +#define MT_PROT_RATE GENMASK(15, 0)
  61294. +#define MT_PROT_CTRL_RTS_CTS BIT(16)
  61295. +#define MT_PROT_CTRL_CTS2SELF BIT(17)
  61296. +#define MT_PROT_NAV_SHORT BIT(18)
  61297. +#define MT_PROT_NAV_LONG BIT(19)
  61298. +#define MT_PROT_TXOP_ALLOW_CCK BIT(20)
  61299. +#define MT_PROT_TXOP_ALLOW_OFDM BIT(21)
  61300. +#define MT_PROT_TXOP_ALLOW_MM20 BIT(22)
  61301. +#define MT_PROT_TXOP_ALLOW_MM40 BIT(23)
  61302. +#define MT_PROT_TXOP_ALLOW_GF20 BIT(24)
  61303. +#define MT_PROT_TXOP_ALLOW_GF40 BIT(25)
  61304. +#define MT_PROT_RTS_THR_EN BIT(26)
  61305. +#define MT_PROT_RATE_CCK_11 0x0003
  61306. +#define MT_PROT_RATE_OFDM_6 0x4000
  61307. +#define MT_PROT_RATE_OFDM_24 0x4004
  61308. +#define MT_PROT_RATE_DUP_OFDM_24 0x4084
  61309. +#define MT_PROT_TXOP_ALLOW_ALL GENMASK(25, 20)
  61310. +#define MT_PROT_TXOP_ALLOW_BW20 (MT_PROT_TXOP_ALLOW_ALL & \
  61311. + ~MT_PROT_TXOP_ALLOW_MM40 & \
  61312. + ~MT_PROT_TXOP_ALLOW_GF40)
  61313. +
  61314. +#define MT_EXP_ACK_TIME 0x1380
  61315. +
  61316. +#define MT_TX_PWR_CFG_0_EXT 0x1390
  61317. +#define MT_TX_PWR_CFG_1_EXT 0x1394
  61318. +
  61319. +#define MT_TX_FBK_LIMIT 0x1398
  61320. +#define MT_TX_FBK_LIMIT_MPDU_FBK GENMASK(7, 0)
  61321. +#define MT_TX_FBK_LIMIT_AMPDU_FBK GENMASK(15, 8)
  61322. +#define MT_TX_FBK_LIMIT_MPDU_UP_CLEAR BIT(16)
  61323. +#define MT_TX_FBK_LIMIT_AMPDU_UP_CLEAR BIT(17)
  61324. +#define MT_TX_FBK_LIMIT_RATE_LUT BIT(18)
  61325. +
  61326. +#define MT_TX0_RF_GAIN_CORR 0x13a0
  61327. +#define MT_TX1_RF_GAIN_CORR 0x13a4
  61328. +#define MT_TX0_RF_GAIN_ATTEN 0x13a8
  61329. +
  61330. +#define MT_TX_ALC_CFG_0 0x13b0
  61331. +#define MT_TX_ALC_CFG_0_CH_INIT_0 GENMASK(5, 0)
  61332. +#define MT_TX_ALC_CFG_0_CH_INIT_1 GENMASK(13, 8)
  61333. +#define MT_TX_ALC_CFG_0_LIMIT_0 GENMASK(21, 16)
  61334. +#define MT_TX_ALC_CFG_0_LIMIT_1 GENMASK(29, 24)
  61335. +
  61336. +#define MT_TX_ALC_CFG_1 0x13b4
  61337. +#define MT_TX_ALC_CFG_1_TEMP_COMP GENMASK(5, 0)
  61338. +
  61339. +#define MT_TX_ALC_CFG_2 0x13a8
  61340. +#define MT_TX_ALC_CFG_2_TEMP_COMP GENMASK(5, 0)
  61341. +
  61342. +#define MT_TX0_BB_GAIN_ATTEN 0x13c0
  61343. +
  61344. +#define MT_TX_ALC_VGA3 0x13c8
  61345. +
  61346. +#define MT_TX_PROT_CFG6 0x13e0
  61347. +#define MT_TX_PROT_CFG7 0x13e4
  61348. +#define MT_TX_PROT_CFG8 0x13e8
  61349. +
  61350. +#define MT_PIFS_TX_CFG 0x13ec
  61351. +
  61352. +#define MT_RX_FILTR_CFG 0x1400
  61353. +
  61354. +#define MT_RX_FILTR_CFG_CRC_ERR BIT(0)
  61355. +#define MT_RX_FILTR_CFG_PHY_ERR BIT(1)
  61356. +#define MT_RX_FILTR_CFG_PROMISC BIT(2)
  61357. +#define MT_RX_FILTR_CFG_OTHER_BSS BIT(3)
  61358. +#define MT_RX_FILTR_CFG_VER_ERR BIT(4)
  61359. +#define MT_RX_FILTR_CFG_MCAST BIT(5)
  61360. +#define MT_RX_FILTR_CFG_BCAST BIT(6)
  61361. +#define MT_RX_FILTR_CFG_DUP BIT(7)
  61362. +#define MT_RX_FILTR_CFG_CFACK BIT(8)
  61363. +#define MT_RX_FILTR_CFG_CFEND BIT(9)
  61364. +#define MT_RX_FILTR_CFG_ACK BIT(10)
  61365. +#define MT_RX_FILTR_CFG_CTS BIT(11)
  61366. +#define MT_RX_FILTR_CFG_RTS BIT(12)
  61367. +#define MT_RX_FILTR_CFG_PSPOLL BIT(13)
  61368. +#define MT_RX_FILTR_CFG_BA BIT(14)
  61369. +#define MT_RX_FILTR_CFG_BAR BIT(15)
  61370. +#define MT_RX_FILTR_CFG_CTRL_RSV BIT(16)
  61371. +
  61372. +#define MT_AUTO_RSP_CFG 0x1404
  61373. +
  61374. +#define MT_AUTO_RSP_PREAMB_SHORT BIT(4)
  61375. +
  61376. +#define MT_LEGACY_BASIC_RATE 0x1408
  61377. +#define MT_HT_BASIC_RATE 0x140c
  61378. +
  61379. +#define MT_RX_PARSER_CFG 0x1418
  61380. +#define MT_RX_PARSER_RX_SET_NAV_ALL BIT(0)
  61381. +
  61382. +#define MT_EXT_CCA_CFG 0x141c
  61383. +#define MT_EXT_CCA_CFG_CCA0 GENMASK(1, 0)
  61384. +#define MT_EXT_CCA_CFG_CCA1 GENMASK(3, 2)
  61385. +#define MT_EXT_CCA_CFG_CCA2 GENMASK(5, 4)
  61386. +#define MT_EXT_CCA_CFG_CCA3 GENMASK(7, 6)
  61387. +#define MT_EXT_CCA_CFG_CCA_MASK GENMASK(11, 8)
  61388. +#define MT_EXT_CCA_CFG_ED_CCA_MASK GENMASK(15, 12)
  61389. +
  61390. +#define MT_TX_SW_CFG3 0x1478
  61391. +
  61392. +#define MT_PN_PAD_MODE 0x150c
  61393. +
  61394. +#define MT_TXOP_HLDR_ET 0x1608
  61395. +
  61396. +#define MT_PROT_AUTO_TX_CFG 0x1648
  61397. +
  61398. +#define MT_RX_STA_CNT0 0x1700
  61399. +#define MT_RX_STA_CNT1 0x1704
  61400. +#define MT_RX_STA_CNT2 0x1708
  61401. +#define MT_TX_STA_CNT0 0x170c
  61402. +#define MT_TX_STA_CNT1 0x1710
  61403. +#define MT_TX_STA_CNT2 0x1714
  61404. +
  61405. +/* Vendor driver defines content of the second word of STAT_FIFO as follows:
  61406. + * MT_TX_STAT_FIFO_RATE GENMASK(26, 16)
  61407. + * MT_TX_STAT_FIFO_ETXBF BIT(27)
  61408. + * MT_TX_STAT_FIFO_SND BIT(28)
  61409. + * MT_TX_STAT_FIFO_ITXBF BIT(29)
  61410. + * However, tests show that b16-31 have the same layout as TXWI rate_ctl
  61411. + * with rate set to rate at which frame was acked.
  61412. + */
  61413. +#define MT_TX_STAT_FIFO 0x1718
  61414. +#define MT_TX_STAT_FIFO_VALID BIT(0)
  61415. +#define MT_TX_STAT_FIFO_PID_TYPE GENMASK(4, 1)
  61416. +#define MT_TX_STAT_FIFO_SUCCESS BIT(5)
  61417. +#define MT_TX_STAT_FIFO_AGGR BIT(6)
  61418. +#define MT_TX_STAT_FIFO_ACKREQ BIT(7)
  61419. +#define MT_TX_STAT_FIFO_WCID GENMASK(15, 8)
  61420. +#define MT_TX_STAT_FIFO_RATE GENMASK(31, 16)
  61421. +
  61422. +#define MT_TX_AGG_STAT 0x171c
  61423. +
  61424. +#define MT_TX_AGG_CNT_BASE0 0x1720
  61425. +
  61426. +#define MT_MPDU_DENSITY_CNT 0x1740
  61427. +
  61428. +#define MT_TX_AGG_CNT_BASE1 0x174c
  61429. +
  61430. +#define MT_TX_AGG_CNT(_id) ((_id) < 8 ? \
  61431. + MT_TX_AGG_CNT_BASE0 + ((_id) << 2) : \
  61432. + MT_TX_AGG_CNT_BASE1 + ((_id - 8) << 2))
  61433. +
  61434. +#define MT_TX_STAT_FIFO_EXT 0x1798
  61435. +#define MT_TX_STAT_FIFO_EXT_RETRY GENMASK(7, 0)
  61436. +
  61437. +#define MT_BBP_CORE_BASE 0x2000
  61438. +#define MT_BBP_IBI_BASE 0x2100
  61439. +#define MT_BBP_AGC_BASE 0x2300
  61440. +#define MT_BBP_TXC_BASE 0x2400
  61441. +#define MT_BBP_RXC_BASE 0x2500
  61442. +#define MT_BBP_TXO_BASE 0x2600
  61443. +#define MT_BBP_TXBE_BASE 0x2700
  61444. +#define MT_BBP_RXFE_BASE 0x2800
  61445. +#define MT_BBP_RXO_BASE 0x2900
  61446. +#define MT_BBP_DFS_BASE 0x2a00
  61447. +#define MT_BBP_TR_BASE 0x2b00
  61448. +#define MT_BBP_CAL_BASE 0x2c00
  61449. +#define MT_BBP_DSC_BASE 0x2e00
  61450. +#define MT_BBP_PFMU_BASE 0x2f00
  61451. +
  61452. +#define MT_BBP(_type, _n) (MT_BBP_##_type##_BASE + ((_n) << 2))
  61453. +
  61454. +#define MT_BBP_CORE_R1_BW GENMASK(4, 3)
  61455. +
  61456. +#define MT_BBP_AGC_R0_CTRL_CHAN GENMASK(9, 8)
  61457. +#define MT_BBP_AGC_R0_BW GENMASK(14, 12)
  61458. +
  61459. +/* AGC, R4/R5 */
  61460. +#define MT_BBP_AGC_LNA_GAIN GENMASK(21, 16)
  61461. +
  61462. +/* AGC, R8/R9 */
  61463. +#define MT_BBP_AGC_GAIN GENMASK(14, 8)
  61464. +
  61465. +#define MT_BBP_AGC20_RSSI0 GENMASK(7, 0)
  61466. +#define MT_BBP_AGC20_RSSI1 GENMASK(15, 8)
  61467. +
  61468. +#define MT_BBP_TXBE_R0_CTRL_CHAN GENMASK(1, 0)
  61469. +
  61470. +#define MT_WCID_ADDR_BASE 0x1800
  61471. +#define MT_WCID_ADDR(_n) (MT_WCID_ADDR_BASE + (_n) * 8)
  61472. +
  61473. +#define MT_SRAM_BASE 0x4000
  61474. +
  61475. +#define MT_WCID_KEY_BASE 0x8000
  61476. +#define MT_WCID_KEY(_n) (MT_WCID_KEY_BASE + (_n) * 32)
  61477. +
  61478. +#define MT_WCID_IV_BASE 0xa000
  61479. +#define MT_WCID_IV(_n) (MT_WCID_IV_BASE + (_n) * 8)
  61480. +
  61481. +#define MT_WCID_ATTR_BASE 0xa800
  61482. +#define MT_WCID_ATTR(_n) (MT_WCID_ATTR_BASE + (_n) * 4)
  61483. +
  61484. +#define MT_WCID_ATTR_PAIRWISE BIT(0)
  61485. +#define MT_WCID_ATTR_PKEY_MODE GENMASK(3, 1)
  61486. +#define MT_WCID_ATTR_BSS_IDX GENMASK(6, 4)
  61487. +#define MT_WCID_ATTR_RXWI_UDF GENMASK(9, 7)
  61488. +#define MT_WCID_ATTR_PKEY_MODE_EXT BIT(10)
  61489. +#define MT_WCID_ATTR_BSS_IDX_EXT BIT(11)
  61490. +#define MT_WCID_ATTR_WAPI_MCBC BIT(15)
  61491. +#define MT_WCID_ATTR_WAPI_KEYID GENMASK(31, 24)
  61492. +
  61493. +#define MT_SKEY_BASE_0 0xac00
  61494. +#define MT_SKEY_BASE_1 0xb400
  61495. +#define MT_SKEY_0(_bss, _idx) \
  61496. + (MT_SKEY_BASE_0 + (4 * (_bss) + _idx) * 32)
  61497. +#define MT_SKEY_1(_bss, _idx) \
  61498. + (MT_SKEY_BASE_1 + (4 * ((_bss) & 7) + _idx) * 32)
  61499. +#define MT_SKEY(_bss, _idx) \
  61500. + ((_bss & 8) ? MT_SKEY_1(_bss, _idx) : MT_SKEY_0(_bss, _idx))
  61501. +
  61502. +#define MT_SKEY_MODE_BASE_0 0xb000
  61503. +#define MT_SKEY_MODE_BASE_1 0xb3f0
  61504. +#define MT_SKEY_MODE_0(_bss) \
  61505. + (MT_SKEY_MODE_BASE_0 + ((_bss / 2) << 2))
  61506. +#define MT_SKEY_MODE_1(_bss) \
  61507. + (MT_SKEY_MODE_BASE_1 + ((((_bss) & 7) / 2) << 2))
  61508. +#define MT_SKEY_MODE(_bss) \
  61509. + ((_bss & 8) ? MT_SKEY_MODE_1(_bss) : MT_SKEY_MODE_0(_bss))
  61510. +#define MT_SKEY_MODE_MASK GENMASK(3, 0)
  61511. +#define MT_SKEY_MODE_SHIFT(_bss, _idx) (4 * ((_idx) + 4 * (_bss & 1)))
  61512. +
  61513. +#define MT_BEACON_BASE 0xc000
  61514. +
  61515. +#define MT_TEMP_SENSOR 0x1d000
  61516. +#define MT_TEMP_SENSOR_VAL GENMASK(6, 0)
  61517. +
  61518. +enum mt76_cipher_type {
  61519. + MT_CIPHER_NONE,
  61520. + MT_CIPHER_WEP40,
  61521. + MT_CIPHER_WEP104,
  61522. + MT_CIPHER_TKIP,
  61523. + MT_CIPHER_AES_CCMP,
  61524. + MT_CIPHER_CKIP40,
  61525. + MT_CIPHER_CKIP104,
  61526. + MT_CIPHER_CKIP128,
  61527. + MT_CIPHER_WAPI,
  61528. +};
  61529. +
  61530. +#endif
  61531. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/trace.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/trace.c
  61532. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/trace.c 1970-01-01 01:00:00.000000000 +0100
  61533. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/trace.c 2015-11-29 09:42:38.887167260 +0100
  61534. @@ -0,0 +1,21 @@
  61535. +/*
  61536. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  61537. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  61538. + *
  61539. + * This program is free software; you can redistribute it and/or modify
  61540. + * it under the terms of the GNU General Public License version 2
  61541. + * as published by the Free Software Foundation
  61542. + *
  61543. + * This program is distributed in the hope that it will be useful,
  61544. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  61545. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  61546. + * GNU General Public License for more details.
  61547. + */
  61548. +
  61549. +#include <linux/module.h>
  61550. +
  61551. +#ifndef __CHECKER__
  61552. +#define CREATE_TRACE_POINTS
  61553. +#include "trace.h"
  61554. +
  61555. +#endif
  61556. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/trace.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/trace.h
  61557. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/trace.h 1970-01-01 01:00:00.000000000 +0100
  61558. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/trace.h 2015-11-29 09:42:38.887167260 +0100
  61559. @@ -0,0 +1,400 @@
  61560. +/*
  61561. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  61562. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  61563. + *
  61564. + * This program is free software; you can redistribute it and/or modify
  61565. + * it under the terms of the GNU General Public License version 2
  61566. + * as published by the Free Software Foundation
  61567. + *
  61568. + * This program is distributed in the hope that it will be useful,
  61569. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  61570. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  61571. + * GNU General Public License for more details.
  61572. + */
  61573. +
  61574. +#if !defined(__MT7601U_TRACE_H) || defined(TRACE_HEADER_MULTI_READ)
  61575. +#define __MT7601U_TRACE_H
  61576. +
  61577. +#include <linux/tracepoint.h>
  61578. +#include "mt7601u.h"
  61579. +#include "mac.h"
  61580. +
  61581. +#undef TRACE_SYSTEM
  61582. +#define TRACE_SYSTEM mt7601u
  61583. +
  61584. +#define MAXNAME 32
  61585. +#define DEV_ENTRY __array(char, wiphy_name, 32)
  61586. +#define DEV_ASSIGN strlcpy(__entry->wiphy_name, \
  61587. + wiphy_name(dev->hw->wiphy), MAXNAME)
  61588. +#define DEV_PR_FMT "%s "
  61589. +#define DEV_PR_ARG __entry->wiphy_name
  61590. +
  61591. +#define REG_ENTRY __field(u32, reg) __field(u32, val)
  61592. +#define REG_ASSIGN __entry->reg = reg; __entry->val = val
  61593. +#define REG_PR_FMT "%04x=%08x"
  61594. +#define REG_PR_ARG __entry->reg, __entry->val
  61595. +
  61596. +DECLARE_EVENT_CLASS(dev_reg_evt,
  61597. + TP_PROTO(struct mt7601u_dev *dev, u32 reg, u32 val),
  61598. + TP_ARGS(dev, reg, val),
  61599. + TP_STRUCT__entry(
  61600. + DEV_ENTRY
  61601. + REG_ENTRY
  61602. + ),
  61603. + TP_fast_assign(
  61604. + DEV_ASSIGN;
  61605. + REG_ASSIGN;
  61606. + ),
  61607. + TP_printk(
  61608. + DEV_PR_FMT REG_PR_FMT,
  61609. + DEV_PR_ARG, REG_PR_ARG
  61610. + )
  61611. +);
  61612. +
  61613. +DEFINE_EVENT(dev_reg_evt, reg_read,
  61614. + TP_PROTO(struct mt7601u_dev *dev, u32 reg, u32 val),
  61615. + TP_ARGS(dev, reg, val)
  61616. +);
  61617. +
  61618. +DEFINE_EVENT(dev_reg_evt, reg_write,
  61619. + TP_PROTO(struct mt7601u_dev *dev, u32 reg, u32 val),
  61620. + TP_ARGS(dev, reg, val)
  61621. +);
  61622. +
  61623. +TRACE_EVENT(mt_submit_urb,
  61624. + TP_PROTO(struct mt7601u_dev *dev, struct urb *u),
  61625. + TP_ARGS(dev, u),
  61626. + TP_STRUCT__entry(
  61627. + DEV_ENTRY __field(unsigned, pipe) __field(u32, len)
  61628. + ),
  61629. + TP_fast_assign(
  61630. + DEV_ASSIGN;
  61631. + __entry->pipe = u->pipe;
  61632. + __entry->len = u->transfer_buffer_length;
  61633. + ),
  61634. + TP_printk(DEV_PR_FMT "p:%08x len:%u",
  61635. + DEV_PR_ARG, __entry->pipe, __entry->len)
  61636. +);
  61637. +
  61638. +#define trace_mt_submit_urb_sync(__dev, __pipe, __len) ({ \
  61639. + struct urb u; \
  61640. + u.pipe = __pipe; \
  61641. + u.transfer_buffer_length = __len; \
  61642. + trace_mt_submit_urb(__dev, &u); \
  61643. +})
  61644. +
  61645. +TRACE_EVENT(mt_mcu_msg_send,
  61646. + TP_PROTO(struct mt7601u_dev *dev,
  61647. + struct sk_buff *skb, u32 csum, bool resp),
  61648. + TP_ARGS(dev, skb, csum, resp),
  61649. + TP_STRUCT__entry(
  61650. + DEV_ENTRY
  61651. + __field(u32, info)
  61652. + __field(u32, csum)
  61653. + __field(bool, resp)
  61654. + ),
  61655. + TP_fast_assign(
  61656. + DEV_ASSIGN;
  61657. + __entry->info = *(u32 *)skb->data;
  61658. + __entry->csum = csum;
  61659. + __entry->resp = resp;
  61660. + ),
  61661. + TP_printk(DEV_PR_FMT "i:%08x c:%08x r:%d",
  61662. + DEV_PR_ARG, __entry->info, __entry->csum, __entry->resp)
  61663. +);
  61664. +
  61665. +TRACE_EVENT(mt_vend_req,
  61666. + TP_PROTO(struct mt7601u_dev *dev, unsigned pipe, u8 req, u8 req_type,
  61667. + u16 val, u16 offset, void *buf, size_t buflen, int ret),
  61668. + TP_ARGS(dev, pipe, req, req_type, val, offset, buf, buflen, ret),
  61669. + TP_STRUCT__entry(
  61670. + DEV_ENTRY
  61671. + __field(unsigned, pipe) __field(u8, req) __field(u8, req_type)
  61672. + __field(u16, val) __field(u16, offset) __field(void*, buf)
  61673. + __field(int, buflen) __field(int, ret)
  61674. + ),
  61675. + TP_fast_assign(
  61676. + DEV_ASSIGN;
  61677. + __entry->pipe = pipe;
  61678. + __entry->req = req;
  61679. + __entry->req_type = req_type;
  61680. + __entry->val = val;
  61681. + __entry->offset = offset;
  61682. + __entry->buf = buf;
  61683. + __entry->buflen = buflen;
  61684. + __entry->ret = ret;
  61685. + ),
  61686. + TP_printk(DEV_PR_FMT
  61687. + "%d p:%08x req:%02hhx %02hhx val:%04hx %04hx buf:%d %d",
  61688. + DEV_PR_ARG, __entry->ret, __entry->pipe, __entry->req,
  61689. + __entry->req_type, __entry->val, __entry->offset,
  61690. + !!__entry->buf, __entry->buflen)
  61691. +);
  61692. +
  61693. +TRACE_EVENT(ee_read,
  61694. + TP_PROTO(struct mt7601u_dev *dev, int offset, u16 val),
  61695. + TP_ARGS(dev, offset, val),
  61696. + TP_STRUCT__entry(
  61697. + DEV_ENTRY
  61698. + __field(int, o) __field(u16, v)
  61699. + ),
  61700. + TP_fast_assign(
  61701. + DEV_ASSIGN;
  61702. + __entry->o = offset;
  61703. + __entry->v = val;
  61704. + ),
  61705. + TP_printk(DEV_PR_FMT "%04x=%04x", DEV_PR_ARG, __entry->o, __entry->v)
  61706. +);
  61707. +
  61708. +DECLARE_EVENT_CLASS(dev_rf_reg_evt,
  61709. + TP_PROTO(struct mt7601u_dev *dev, u8 bank, u8 reg, u8 val),
  61710. + TP_ARGS(dev, bank, reg, val),
  61711. + TP_STRUCT__entry(
  61712. + DEV_ENTRY
  61713. + __field(u8, bank)
  61714. + __field(u8, reg)
  61715. + __field(u8, val)
  61716. + ),
  61717. + TP_fast_assign(
  61718. + DEV_ASSIGN;
  61719. + REG_ASSIGN;
  61720. + __entry->bank = bank;
  61721. + ),
  61722. + TP_printk(
  61723. + DEV_PR_FMT "%02hhx:%02hhx=%02hhx",
  61724. + DEV_PR_ARG, __entry->bank, __entry->reg, __entry->val
  61725. + )
  61726. +);
  61727. +
  61728. +DEFINE_EVENT(dev_rf_reg_evt, rf_read,
  61729. + TP_PROTO(struct mt7601u_dev *dev, u8 bank, u8 reg, u8 val),
  61730. + TP_ARGS(dev, bank, reg, val)
  61731. +);
  61732. +
  61733. +DEFINE_EVENT(dev_rf_reg_evt, rf_write,
  61734. + TP_PROTO(struct mt7601u_dev *dev, u8 bank, u8 reg, u8 val),
  61735. + TP_ARGS(dev, bank, reg, val)
  61736. +);
  61737. +
  61738. +DECLARE_EVENT_CLASS(dev_bbp_reg_evt,
  61739. + TP_PROTO(struct mt7601u_dev *dev, u8 reg, u8 val),
  61740. + TP_ARGS(dev, reg, val),
  61741. + TP_STRUCT__entry(
  61742. + DEV_ENTRY
  61743. + __field(u8, reg)
  61744. + __field(u8, val)
  61745. + ),
  61746. + TP_fast_assign(
  61747. + DEV_ASSIGN;
  61748. + REG_ASSIGN;
  61749. + ),
  61750. + TP_printk(
  61751. + DEV_PR_FMT "%02hhx=%02hhx",
  61752. + DEV_PR_ARG, __entry->reg, __entry->val
  61753. + )
  61754. +);
  61755. +
  61756. +DEFINE_EVENT(dev_bbp_reg_evt, bbp_read,
  61757. + TP_PROTO(struct mt7601u_dev *dev, u8 reg, u8 val),
  61758. + TP_ARGS(dev, reg, val)
  61759. +);
  61760. +
  61761. +DEFINE_EVENT(dev_bbp_reg_evt, bbp_write,
  61762. + TP_PROTO(struct mt7601u_dev *dev, u8 reg, u8 val),
  61763. + TP_ARGS(dev, reg, val)
  61764. +);
  61765. +
  61766. +DECLARE_EVENT_CLASS(dev_simple_evt,
  61767. + TP_PROTO(struct mt7601u_dev *dev, u8 val),
  61768. + TP_ARGS(dev, val),
  61769. + TP_STRUCT__entry(
  61770. + DEV_ENTRY
  61771. + __field(u8, val)
  61772. + ),
  61773. + TP_fast_assign(
  61774. + DEV_ASSIGN;
  61775. + __entry->val = val;
  61776. + ),
  61777. + TP_printk(
  61778. + DEV_PR_FMT "%02hhx", DEV_PR_ARG, __entry->val
  61779. + )
  61780. +);
  61781. +
  61782. +DEFINE_EVENT(dev_simple_evt, temp_mode,
  61783. + TP_PROTO(struct mt7601u_dev *dev, u8 val),
  61784. + TP_ARGS(dev, val)
  61785. +);
  61786. +
  61787. +DEFINE_EVENT(dev_simple_evt, read_temp,
  61788. + TP_PROTO(struct mt7601u_dev *dev, u8 val),
  61789. + TP_ARGS(dev, val)
  61790. +);
  61791. +
  61792. +DEFINE_EVENT(dev_simple_evt, freq_cal_adjust,
  61793. + TP_PROTO(struct mt7601u_dev *dev, u8 val),
  61794. + TP_ARGS(dev, val)
  61795. +);
  61796. +
  61797. +TRACE_EVENT(freq_cal_offset,
  61798. + TP_PROTO(struct mt7601u_dev *dev, u8 phy_mode, s8 freq_off),
  61799. + TP_ARGS(dev, phy_mode, freq_off),
  61800. + TP_STRUCT__entry(
  61801. + DEV_ENTRY
  61802. + __field(u8, phy_mode)
  61803. + __field(s8, freq_off)
  61804. + ),
  61805. + TP_fast_assign(
  61806. + DEV_ASSIGN;
  61807. + __entry->phy_mode = phy_mode;
  61808. + __entry->freq_off = freq_off;
  61809. + ),
  61810. + TP_printk(DEV_PR_FMT "phy:%02hhx off:%02hhx",
  61811. + DEV_PR_ARG, __entry->phy_mode, __entry->freq_off)
  61812. +);
  61813. +
  61814. +TRACE_EVENT(mt_rx,
  61815. + TP_PROTO(struct mt7601u_dev *dev, struct mt7601u_rxwi *rxwi, u32 f),
  61816. + TP_ARGS(dev, rxwi, f),
  61817. + TP_STRUCT__entry(
  61818. + DEV_ENTRY
  61819. + __field_struct(struct mt7601u_rxwi, rxwi)
  61820. + __field(u32, fce_info)
  61821. + ),
  61822. + TP_fast_assign(
  61823. + DEV_ASSIGN;
  61824. + __entry->rxwi = *rxwi;
  61825. + __entry->fce_info = f;
  61826. + ),
  61827. + TP_printk(DEV_PR_FMT "rxi:%08x ctl:%08x frag_sn:%04hx rate:%04hx "
  61828. + "uknw:%02hhx z:%02hhx%02hhx%02hhx snr:%02hhx "
  61829. + "ant:%02hhx gain:%02hhx freq_o:%02hhx "
  61830. + "r:%08x ea:%08x fce:%08x", DEV_PR_ARG,
  61831. + le32_to_cpu(__entry->rxwi.rxinfo),
  61832. + le32_to_cpu(__entry->rxwi.ctl),
  61833. + le16_to_cpu(__entry->rxwi.frag_sn),
  61834. + le16_to_cpu(__entry->rxwi.rate),
  61835. + __entry->rxwi.unknown,
  61836. + __entry->rxwi.zero[0], __entry->rxwi.zero[1],
  61837. + __entry->rxwi.zero[2],
  61838. + __entry->rxwi.snr, __entry->rxwi.ant,
  61839. + __entry->rxwi.gain, __entry->rxwi.freq_off,
  61840. + __entry->rxwi.resv2, __entry->rxwi.expert_ant,
  61841. + __entry->fce_info)
  61842. +);
  61843. +
  61844. +TRACE_EVENT(mt_tx,
  61845. + TP_PROTO(struct mt7601u_dev *dev, struct sk_buff *skb,
  61846. + struct mt76_sta *sta, struct mt76_txwi *h),
  61847. + TP_ARGS(dev, skb, sta, h),
  61848. + TP_STRUCT__entry(
  61849. + DEV_ENTRY
  61850. + __field_struct(struct mt76_txwi, h)
  61851. + __field(struct sk_buff *, skb)
  61852. + __field(struct mt76_sta *, sta)
  61853. + ),
  61854. + TP_fast_assign(
  61855. + DEV_ASSIGN;
  61856. + __entry->h = *h;
  61857. + __entry->skb = skb;
  61858. + __entry->sta = sta;
  61859. + ),
  61860. + TP_printk(DEV_PR_FMT "skb:%p sta:%p flg:%04hx rate_ctl:%04hx "
  61861. + "ack:%02hhx wcid:%02hhx len_ctl:%05hx", DEV_PR_ARG,
  61862. + __entry->skb, __entry->sta,
  61863. + le16_to_cpu(__entry->h.flags),
  61864. + le16_to_cpu(__entry->h.rate_ctl),
  61865. + __entry->h.ack_ctl, __entry->h.wcid,
  61866. + le16_to_cpu(__entry->h.len_ctl))
  61867. +);
  61868. +
  61869. +TRACE_EVENT(mt_tx_dma_done,
  61870. + TP_PROTO(struct mt7601u_dev *dev, struct sk_buff *skb),
  61871. + TP_ARGS(dev, skb),
  61872. + TP_STRUCT__entry(
  61873. + DEV_ENTRY
  61874. + __field(struct sk_buff *, skb)
  61875. + ),
  61876. + TP_fast_assign(
  61877. + DEV_ASSIGN;
  61878. + __entry->skb = skb;
  61879. + ),
  61880. + TP_printk(DEV_PR_FMT "%p", DEV_PR_ARG, __entry->skb)
  61881. +);
  61882. +
  61883. +TRACE_EVENT(mt_tx_status_cleaned,
  61884. + TP_PROTO(struct mt7601u_dev *dev, int cleaned),
  61885. + TP_ARGS(dev, cleaned),
  61886. + TP_STRUCT__entry(
  61887. + DEV_ENTRY
  61888. + __field(int, cleaned)
  61889. + ),
  61890. + TP_fast_assign(
  61891. + DEV_ASSIGN;
  61892. + __entry->cleaned = cleaned;
  61893. + ),
  61894. + TP_printk(DEV_PR_FMT "%d", DEV_PR_ARG, __entry->cleaned)
  61895. +);
  61896. +
  61897. +TRACE_EVENT(mt_tx_status,
  61898. + TP_PROTO(struct mt7601u_dev *dev, u32 stat1, u32 stat2),
  61899. + TP_ARGS(dev, stat1, stat2),
  61900. + TP_STRUCT__entry(
  61901. + DEV_ENTRY
  61902. + __field(u32, stat1) __field(u32, stat2)
  61903. + ),
  61904. + TP_fast_assign(
  61905. + DEV_ASSIGN;
  61906. + __entry->stat1 = stat1;
  61907. + __entry->stat2 = stat2;
  61908. + ),
  61909. + TP_printk(DEV_PR_FMT "%08x %08x",
  61910. + DEV_PR_ARG, __entry->stat1, __entry->stat2)
  61911. +);
  61912. +
  61913. +TRACE_EVENT(mt_rx_dma_aggr,
  61914. + TP_PROTO(struct mt7601u_dev *dev, int cnt, bool paged),
  61915. + TP_ARGS(dev, cnt, paged),
  61916. + TP_STRUCT__entry(
  61917. + DEV_ENTRY
  61918. + __field(u8, cnt)
  61919. + __field(bool, paged)
  61920. + ),
  61921. + TP_fast_assign(
  61922. + DEV_ASSIGN;
  61923. + __entry->cnt = cnt;
  61924. + __entry->paged = paged;
  61925. + ),
  61926. + TP_printk(DEV_PR_FMT "cnt:%d paged:%d",
  61927. + DEV_PR_ARG, __entry->cnt, __entry->paged)
  61928. +);
  61929. +
  61930. +DEFINE_EVENT(dev_simple_evt, set_key,
  61931. + TP_PROTO(struct mt7601u_dev *dev, u8 val),
  61932. + TP_ARGS(dev, val)
  61933. +);
  61934. +
  61935. +TRACE_EVENT(set_shared_key,
  61936. + TP_PROTO(struct mt7601u_dev *dev, u8 vid, u8 key),
  61937. + TP_ARGS(dev, vid, key),
  61938. + TP_STRUCT__entry(
  61939. + DEV_ENTRY
  61940. + __field(u8, vid)
  61941. + __field(u8, key)
  61942. + ),
  61943. + TP_fast_assign(
  61944. + DEV_ASSIGN;
  61945. + __entry->vid = vid;
  61946. + __entry->key = key;
  61947. + ),
  61948. + TP_printk(DEV_PR_FMT "phy:%02hhx off:%02hhx",
  61949. + DEV_PR_ARG, __entry->vid, __entry->key)
  61950. +);
  61951. +
  61952. +#endif
  61953. +
  61954. +#undef TRACE_INCLUDE_PATH
  61955. +#define TRACE_INCLUDE_PATH .
  61956. +#undef TRACE_INCLUDE_FILE
  61957. +#define TRACE_INCLUDE_FILE trace
  61958. +
  61959. +#include <trace/define_trace.h>
  61960. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/tx.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/tx.c
  61961. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/tx.c 1970-01-01 01:00:00.000000000 +0100
  61962. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/tx.c 2015-11-29 09:42:38.887167260 +0100
  61963. @@ -0,0 +1,322 @@
  61964. +/*
  61965. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  61966. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  61967. + *
  61968. + * This program is free software; you can redistribute it and/or modify
  61969. + * it under the terms of the GNU General Public License version 2
  61970. + * as published by the Free Software Foundation
  61971. + *
  61972. + * This program is distributed in the hope that it will be useful,
  61973. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  61974. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  61975. + * GNU General Public License for more details.
  61976. + */
  61977. +
  61978. +#include "mt7601u.h"
  61979. +#include "trace.h"
  61980. +
  61981. +enum mt76_txq_id {
  61982. + MT_TXQ_VO = IEEE80211_AC_VO,
  61983. + MT_TXQ_VI = IEEE80211_AC_VI,
  61984. + MT_TXQ_BE = IEEE80211_AC_BE,
  61985. + MT_TXQ_BK = IEEE80211_AC_BK,
  61986. + MT_TXQ_PSD,
  61987. + MT_TXQ_MCU,
  61988. + __MT_TXQ_MAX
  61989. +};
  61990. +
  61991. +/* Hardware uses mirrored order of queues with Q0 having the highest priority */
  61992. +static u8 q2hwq(u8 q)
  61993. +{
  61994. + return q ^ 0x3;
  61995. +}
  61996. +
  61997. +/* Take mac80211 Q id from the skb and translate it to hardware Q id */
  61998. +static u8 skb2q(struct sk_buff *skb)
  61999. +{
  62000. + int qid = skb_get_queue_mapping(skb);
  62001. +
  62002. + if (WARN_ON(qid >= MT_TXQ_PSD)) {
  62003. + qid = MT_TXQ_BE;
  62004. + skb_set_queue_mapping(skb, qid);
  62005. + }
  62006. +
  62007. + return q2hwq(qid);
  62008. +}
  62009. +
  62010. +/* Note: TX retry reporting is a bit broken.
  62011. + * Retries are reported only once per AMPDU and often come a frame early
  62012. + * i.e. they are reported in the last status preceding the AMPDU. Apart
  62013. + * from the fact that it's hard to know the length of the AMPDU (which is
  62014. + * required to know to how many consecutive frames retries should be
  62015. + * applied), if status comes early on full FIFO it gets lost and retries
  62016. + * of the whole AMPDU become invisible.
  62017. + * As a work-around encode the desired rate in PKT_ID of TX descriptor
  62018. + * and based on that guess the retries (every rate is tried once).
  62019. + * Only downside here is that for MCS0 we have to rely solely on
  62020. + * transmission failures as no retries can ever be reported.
  62021. + * Not having to read EXT_FIFO has a nice effect of doubling the number
  62022. + * of reports which can be fetched.
  62023. + * Also the vendor driver never uses the EXT_FIFO register so it may be
  62024. + * undertested.
  62025. + */
  62026. +static u8 mt7601u_tx_pktid_enc(struct mt7601u_dev *dev, u8 rate, bool is_probe)
  62027. +{
  62028. + u8 encoded = (rate + 1) + is_probe * 8;
  62029. +
  62030. + /* Because PKT_ID 0 disables status reporting only 15 values are
  62031. + * available but 16 are needed (8 MCS * 2 for encoding is_probe)
  62032. + * - we need to cram together two rates. MCS0 and MCS7 with is_probe
  62033. + * share PKT_ID 9.
  62034. + */
  62035. + if (is_probe && rate == 7)
  62036. + return encoded - 7;
  62037. +
  62038. + return encoded;
  62039. +}
  62040. +
  62041. +static void
  62042. +mt7601u_tx_pktid_dec(struct mt7601u_dev *dev, struct mt76_tx_status *stat)
  62043. +{
  62044. + u8 req_rate = stat->pktid;
  62045. + u8 eff_rate = stat->rate & 0x7;
  62046. +
  62047. + req_rate -= 1;
  62048. +
  62049. + if (req_rate > 7) {
  62050. + stat->is_probe = true;
  62051. + req_rate -= 8;
  62052. +
  62053. + /* Decide between MCS0 and MCS7 which share pktid 9 */
  62054. + if (!req_rate && eff_rate)
  62055. + req_rate = 7;
  62056. + }
  62057. +
  62058. + stat->retry = req_rate - eff_rate;
  62059. +}
  62060. +
  62061. +static void mt7601u_tx_skb_remove_dma_overhead(struct sk_buff *skb,
  62062. + struct ieee80211_tx_info *info)
  62063. +{
  62064. + int pkt_len = (unsigned long)info->status.status_driver_data[0];
  62065. +
  62066. + skb_pull(skb, sizeof(struct mt76_txwi) + 4);
  62067. + if (ieee80211_get_hdrlen_from_skb(skb) % 4)
  62068. + mt76_remove_hdr_pad(skb);
  62069. +
  62070. + skb_trim(skb, pkt_len);
  62071. +}
  62072. +
  62073. +void mt7601u_tx_status(struct mt7601u_dev *dev, struct sk_buff *skb)
  62074. +{
  62075. + struct ieee80211_tx_info *info = IEEE80211_SKB_CB(skb);
  62076. +
  62077. + mt7601u_tx_skb_remove_dma_overhead(skb, info);
  62078. +
  62079. + ieee80211_tx_info_clear_status(info);
  62080. + info->status.rates[0].idx = -1;
  62081. + info->flags |= IEEE80211_TX_STAT_ACK;
  62082. +
  62083. + spin_lock(&dev->mac_lock);
  62084. + ieee80211_tx_status(dev->hw, skb);
  62085. + spin_unlock(&dev->mac_lock);
  62086. +}
  62087. +
  62088. +static int mt7601u_skb_rooms(struct mt7601u_dev *dev, struct sk_buff *skb)
  62089. +{
  62090. + int hdr_len = ieee80211_get_hdrlen_from_skb(skb);
  62091. + u32 need_head;
  62092. +
  62093. + need_head = sizeof(struct mt76_txwi) + 4;
  62094. + if (hdr_len % 4)
  62095. + need_head += 2;
  62096. +
  62097. + return skb_cow(skb, need_head);
  62098. +}
  62099. +
  62100. +static struct mt76_txwi *
  62101. +mt7601u_push_txwi(struct mt7601u_dev *dev, struct sk_buff *skb,
  62102. + struct ieee80211_sta *sta, struct mt76_wcid *wcid,
  62103. + int pkt_len)
  62104. +{
  62105. + struct ieee80211_tx_info *info = IEEE80211_SKB_CB(skb);
  62106. + struct ieee80211_tx_rate *rate = &info->control.rates[0];
  62107. + struct mt76_txwi *txwi;
  62108. + unsigned long flags;
  62109. + bool is_probe;
  62110. + u32 pkt_id;
  62111. + u16 rate_ctl;
  62112. + u8 nss;
  62113. +
  62114. + txwi = (struct mt76_txwi *)skb_push(skb, sizeof(struct mt76_txwi));
  62115. + memset(txwi, 0, sizeof(*txwi));
  62116. +
  62117. + if (!wcid->tx_rate_set)
  62118. + ieee80211_get_tx_rates(info->control.vif, sta, skb,
  62119. + info->control.rates, 1);
  62120. +
  62121. + spin_lock_irqsave(&dev->lock, flags);
  62122. + if (rate->idx < 0 || !rate->count)
  62123. + rate_ctl = wcid->tx_rate;
  62124. + else
  62125. + rate_ctl = mt76_mac_tx_rate_val(dev, rate, &nss);
  62126. + spin_unlock_irqrestore(&dev->lock, flags);
  62127. + txwi->rate_ctl = cpu_to_le16(rate_ctl);
  62128. +
  62129. + if (!(info->flags & IEEE80211_TX_CTL_NO_ACK))
  62130. + txwi->ack_ctl |= MT_TXWI_ACK_CTL_REQ;
  62131. + if (info->flags & IEEE80211_TX_CTL_ASSIGN_SEQ)
  62132. + txwi->ack_ctl |= MT_TXWI_ACK_CTL_NSEQ;
  62133. +
  62134. + if ((info->flags & IEEE80211_TX_CTL_AMPDU) && sta) {
  62135. + u8 ba_size = IEEE80211_MIN_AMPDU_BUF;
  62136. +
  62137. + ba_size <<= sta->ht_cap.ampdu_factor;
  62138. + ba_size = min_t(int, 63, ba_size);
  62139. + if (info->flags & IEEE80211_TX_CTL_RATE_CTRL_PROBE)
  62140. + ba_size = 0;
  62141. + txwi->ack_ctl |= MT76_SET(MT_TXWI_ACK_CTL_BA_WINDOW, ba_size);
  62142. +
  62143. + txwi->flags = cpu_to_le16(MT_TXWI_FLAGS_AMPDU |
  62144. + MT76_SET(MT_TXWI_FLAGS_MPDU_DENSITY,
  62145. + sta->ht_cap.ampdu_density));
  62146. + if (info->flags & IEEE80211_TX_CTL_RATE_CTRL_PROBE)
  62147. + txwi->flags = 0;
  62148. + }
  62149. +
  62150. + txwi->wcid = wcid->idx;
  62151. +
  62152. + is_probe = !!(info->flags & IEEE80211_TX_CTL_RATE_CTRL_PROBE);
  62153. + pkt_id = mt7601u_tx_pktid_enc(dev, rate_ctl & 0x7, is_probe);
  62154. + pkt_len |= MT76_SET(MT_TXWI_LEN_PKTID, pkt_id);
  62155. + txwi->len_ctl = cpu_to_le16(pkt_len);
  62156. +
  62157. + return txwi;
  62158. +}
  62159. +
  62160. +void mt7601u_tx(struct ieee80211_hw *hw, struct ieee80211_tx_control *control,
  62161. + struct sk_buff *skb)
  62162. +{
  62163. + struct ieee80211_tx_info *info = IEEE80211_SKB_CB(skb);
  62164. + struct mt7601u_dev *dev = hw->priv;
  62165. + struct ieee80211_vif *vif = info->control.vif;
  62166. + struct ieee80211_sta *sta = control->sta;
  62167. + struct mt76_sta *msta = NULL;
  62168. + struct mt76_wcid *wcid = dev->mon_wcid;
  62169. + struct mt76_txwi *txwi;
  62170. + int pkt_len = skb->len;
  62171. + int hw_q = skb2q(skb);
  62172. +
  62173. + BUILD_BUG_ON(ARRAY_SIZE(info->status.status_driver_data) < 1);
  62174. + info->status.status_driver_data[0] = (void *)(unsigned long)pkt_len;
  62175. +
  62176. + if (mt7601u_skb_rooms(dev, skb) || mt76_insert_hdr_pad(skb)) {
  62177. + ieee80211_free_txskb(dev->hw, skb);
  62178. + return;
  62179. + }
  62180. +
  62181. + if (sta) {
  62182. + msta = (struct mt76_sta *) sta->drv_priv;
  62183. + wcid = &msta->wcid;
  62184. + } else if (vif) {
  62185. + struct mt76_vif *mvif = (struct mt76_vif *)vif->drv_priv;
  62186. +
  62187. + wcid = &mvif->group_wcid;
  62188. + }
  62189. +
  62190. + txwi = mt7601u_push_txwi(dev, skb, sta, wcid, pkt_len);
  62191. +
  62192. + if (mt7601u_dma_enqueue_tx(dev, skb, wcid, hw_q))
  62193. + return;
  62194. +
  62195. + trace_mt_tx(dev, skb, msta, txwi);
  62196. +}
  62197. +
  62198. +void mt7601u_tx_stat(struct work_struct *work)
  62199. +{
  62200. + struct mt7601u_dev *dev = container_of(work, struct mt7601u_dev,
  62201. + stat_work.work);
  62202. + struct mt76_tx_status stat;
  62203. + unsigned long flags;
  62204. + int cleaned = 0;
  62205. +
  62206. + while (!test_bit(MT7601U_STATE_REMOVED, &dev->state)) {
  62207. + stat = mt7601u_mac_fetch_tx_status(dev);
  62208. + if (!stat.valid)
  62209. + break;
  62210. +
  62211. + mt7601u_tx_pktid_dec(dev, &stat);
  62212. + mt76_send_tx_status(dev, &stat);
  62213. +
  62214. + cleaned++;
  62215. + }
  62216. + trace_mt_tx_status_cleaned(dev, cleaned);
  62217. +
  62218. + spin_lock_irqsave(&dev->tx_lock, flags);
  62219. + if (cleaned)
  62220. + queue_delayed_work(dev->stat_wq, &dev->stat_work,
  62221. + msecs_to_jiffies(10));
  62222. + else if (test_and_clear_bit(MT7601U_STATE_MORE_STATS, &dev->state))
  62223. + queue_delayed_work(dev->stat_wq, &dev->stat_work,
  62224. + msecs_to_jiffies(20));
  62225. + else
  62226. + clear_bit(MT7601U_STATE_READING_STATS, &dev->state);
  62227. + spin_unlock_irqrestore(&dev->tx_lock, flags);
  62228. +}
  62229. +
  62230. +int mt7601u_conf_tx(struct ieee80211_hw *hw, struct ieee80211_vif *vif,
  62231. + u16 queue, const struct ieee80211_tx_queue_params *params)
  62232. +{
  62233. + struct mt7601u_dev *dev = hw->priv;
  62234. + u8 cw_min = 5, cw_max = 10, hw_q = q2hwq(queue);
  62235. + u32 val;
  62236. +
  62237. + /* TODO: should we do funny things with the parameters?
  62238. + * See what mt7601u_set_default_edca() used to do in init.c.
  62239. + */
  62240. +
  62241. + if (params->cw_min)
  62242. + cw_min = fls(params->cw_min);
  62243. + if (params->cw_max)
  62244. + cw_max = fls(params->cw_max);
  62245. +
  62246. + WARN_ON(params->txop > 0xff);
  62247. + WARN_ON(params->aifs > 0xf);
  62248. + WARN_ON(cw_min > 0xf);
  62249. + WARN_ON(cw_max > 0xf);
  62250. +
  62251. + val = MT76_SET(MT_EDCA_CFG_AIFSN, params->aifs) |
  62252. + MT76_SET(MT_EDCA_CFG_CWMIN, cw_min) |
  62253. + MT76_SET(MT_EDCA_CFG_CWMAX, cw_max);
  62254. + /* TODO: based on user-controlled EnableTxBurst var vendor drv sets
  62255. + * a really long txop on AC0 (see connect.c:2009) but only on
  62256. + * connect? When not connected should be 0.
  62257. + */
  62258. + if (!hw_q)
  62259. + val |= 0x60;
  62260. + else
  62261. + val |= MT76_SET(MT_EDCA_CFG_TXOP, params->txop);
  62262. + mt76_wr(dev, MT_EDCA_CFG_AC(hw_q), val);
  62263. +
  62264. + val = mt76_rr(dev, MT_WMM_TXOP(hw_q));
  62265. + val &= ~(MT_WMM_TXOP_MASK << MT_WMM_TXOP_SHIFT(hw_q));
  62266. + val |= params->txop << MT_WMM_TXOP_SHIFT(hw_q);
  62267. + mt76_wr(dev, MT_WMM_TXOP(hw_q), val);
  62268. +
  62269. + val = mt76_rr(dev, MT_WMM_AIFSN);
  62270. + val &= ~(MT_WMM_AIFSN_MASK << MT_WMM_AIFSN_SHIFT(hw_q));
  62271. + val |= params->aifs << MT_WMM_AIFSN_SHIFT(hw_q);
  62272. + mt76_wr(dev, MT_WMM_AIFSN, val);
  62273. +
  62274. + val = mt76_rr(dev, MT_WMM_CWMIN);
  62275. + val &= ~(MT_WMM_CWMIN_MASK << MT_WMM_CWMIN_SHIFT(hw_q));
  62276. + val |= cw_min << MT_WMM_CWMIN_SHIFT(hw_q);
  62277. + mt76_wr(dev, MT_WMM_CWMIN, val);
  62278. +
  62279. + val = mt76_rr(dev, MT_WMM_CWMAX);
  62280. + val &= ~(MT_WMM_CWMAX_MASK << MT_WMM_CWMAX_SHIFT(hw_q));
  62281. + val |= cw_max << MT_WMM_CWMAX_SHIFT(hw_q);
  62282. + mt76_wr(dev, MT_WMM_CWMAX, val);
  62283. +
  62284. + return 0;
  62285. +}
  62286. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/usb.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/usb.c
  62287. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/usb.c 1970-01-01 01:00:00.000000000 +0100
  62288. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/usb.c 2015-11-29 09:42:38.887167260 +0100
  62289. @@ -0,0 +1,362 @@
  62290. +/*
  62291. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  62292. + *
  62293. + * This program is free software; you can redistribute it and/or modify
  62294. + * it under the terms of the GNU General Public License version 2
  62295. + * as published by the Free Software Foundation
  62296. + *
  62297. + * This program is distributed in the hope that it will be useful,
  62298. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  62299. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  62300. + * GNU General Public License for more details.
  62301. + */
  62302. +
  62303. +#include <linux/kernel.h>
  62304. +#include <linux/module.h>
  62305. +#include <linux/usb.h>
  62306. +
  62307. +#include "mt7601u.h"
  62308. +#include "usb.h"
  62309. +#include "trace.h"
  62310. +
  62311. +static struct usb_device_id mt7601u_device_table[] = {
  62312. + { USB_DEVICE(0x0b05, 0x17d3) },
  62313. + { USB_DEVICE(0x0e8d, 0x760a) },
  62314. + { USB_DEVICE(0x0e8d, 0x760b) },
  62315. + { USB_DEVICE(0x13d3, 0x3431) },
  62316. + { USB_DEVICE(0x13d3, 0x3434) },
  62317. + { USB_DEVICE(0x148f, 0x7601) },
  62318. + { USB_DEVICE(0x148f, 0x760a) },
  62319. + { USB_DEVICE(0x148f, 0x760b) },
  62320. + { USB_DEVICE(0x148f, 0x760c) },
  62321. + { USB_DEVICE(0x148f, 0x760d) },
  62322. + { USB_DEVICE(0x2001, 0x3d04) },
  62323. + { USB_DEVICE(0x2717, 0x4106) },
  62324. + { USB_DEVICE(0x2955, 0x0001) },
  62325. + { USB_DEVICE(0x2955, 0x1001) },
  62326. + { USB_DEVICE(0x2a5f, 0x1000) },
  62327. + { USB_DEVICE(0x7392, 0x7710) },
  62328. + { 0, }
  62329. +};
  62330. +
  62331. +bool mt7601u_usb_alloc_buf(struct mt7601u_dev *dev, size_t len,
  62332. + struct mt7601u_dma_buf *buf)
  62333. +{
  62334. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  62335. +
  62336. + buf->len = len;
  62337. + buf->urb = usb_alloc_urb(0, GFP_KERNEL);
  62338. + buf->buf = usb_alloc_coherent(usb_dev, buf->len, GFP_KERNEL, &buf->dma);
  62339. +
  62340. + return !buf->urb || !buf->buf;
  62341. +}
  62342. +
  62343. +void mt7601u_usb_free_buf(struct mt7601u_dev *dev, struct mt7601u_dma_buf *buf)
  62344. +{
  62345. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  62346. +
  62347. + usb_free_coherent(usb_dev, buf->len, buf->buf, buf->dma);
  62348. + usb_free_urb(buf->urb);
  62349. +}
  62350. +
  62351. +int mt7601u_usb_submit_buf(struct mt7601u_dev *dev, int dir, int ep_idx,
  62352. + struct mt7601u_dma_buf *buf, gfp_t gfp,
  62353. + usb_complete_t complete_fn, void *context)
  62354. +{
  62355. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  62356. + unsigned pipe;
  62357. + int ret;
  62358. +
  62359. + if (dir == USB_DIR_IN)
  62360. + pipe = usb_rcvbulkpipe(usb_dev, dev->in_eps[ep_idx]);
  62361. + else
  62362. + pipe = usb_sndbulkpipe(usb_dev, dev->out_eps[ep_idx]);
  62363. +
  62364. + usb_fill_bulk_urb(buf->urb, usb_dev, pipe, buf->buf, buf->len,
  62365. + complete_fn, context);
  62366. + buf->urb->transfer_dma = buf->dma;
  62367. + buf->urb->transfer_flags |= URB_NO_TRANSFER_DMA_MAP;
  62368. +
  62369. + trace_mt_submit_urb(dev, buf->urb);
  62370. + ret = usb_submit_urb(buf->urb, gfp);
  62371. + if (ret)
  62372. + dev_err(dev->dev, "Error: submit URB dir:%d ep:%d failed:%d\n",
  62373. + dir, ep_idx, ret);
  62374. + return ret;
  62375. +}
  62376. +
  62377. +void mt7601u_complete_urb(struct urb *urb)
  62378. +{
  62379. + struct completion *cmpl = urb->context;
  62380. +
  62381. + complete(cmpl);
  62382. +}
  62383. +
  62384. +int mt7601u_vendor_request(struct mt7601u_dev *dev, const u8 req,
  62385. + const u8 direction, const u16 val, const u16 offset,
  62386. + void *buf, const size_t buflen)
  62387. +{
  62388. + int i, ret;
  62389. + struct usb_device *usb_dev = mt7601u_to_usb_dev(dev);
  62390. + const u8 req_type = direction | USB_TYPE_VENDOR | USB_RECIP_DEVICE;
  62391. + const unsigned int pipe = (direction == USB_DIR_IN) ?
  62392. + usb_rcvctrlpipe(usb_dev, 0) : usb_sndctrlpipe(usb_dev, 0);
  62393. +
  62394. + for (i = 0; i < MT_VEND_REQ_MAX_RETRY; i++) {
  62395. + ret = usb_control_msg(usb_dev, pipe, req, req_type,
  62396. + val, offset, buf, buflen,
  62397. + MT_VEND_REQ_TOUT_MS);
  62398. + trace_mt_vend_req(dev, pipe, req, req_type, val, offset,
  62399. + buf, buflen, ret);
  62400. +
  62401. + if (ret == -ENODEV)
  62402. + set_bit(MT7601U_STATE_REMOVED, &dev->state);
  62403. + if (ret >= 0 || ret == -ENODEV)
  62404. + return ret;
  62405. +
  62406. + msleep(5);
  62407. + }
  62408. +
  62409. + dev_err(dev->dev, "Vendor request req:%02x off:%04x failed:%d\n",
  62410. + req, offset, ret);
  62411. +
  62412. + return ret;
  62413. +}
  62414. +
  62415. +void mt7601u_vendor_reset(struct mt7601u_dev *dev)
  62416. +{
  62417. + mt7601u_vendor_request(dev, MT_VEND_DEV_MODE, USB_DIR_OUT,
  62418. + MT_VEND_DEV_MODE_RESET, 0, NULL, 0);
  62419. +}
  62420. +
  62421. +u32 mt7601u_rr(struct mt7601u_dev *dev, u32 offset)
  62422. +{
  62423. + int ret;
  62424. + u32 val = ~0;
  62425. +
  62426. + WARN_ONCE(offset > USHRT_MAX, "read high off:%08x", offset);
  62427. +
  62428. + mutex_lock(&dev->vendor_req_mutex);
  62429. +
  62430. + ret = mt7601u_vendor_request(dev, MT_VEND_MULTI_READ, USB_DIR_IN,
  62431. + 0, offset, dev->vend_buf, MT_VEND_BUF);
  62432. + if (ret == MT_VEND_BUF)
  62433. + val = get_unaligned_le32(dev->vend_buf);
  62434. + else if (ret > 0)
  62435. + dev_err(dev->dev, "Error: wrong size read:%d off:%08x\n",
  62436. + ret, offset);
  62437. +
  62438. + mutex_unlock(&dev->vendor_req_mutex);
  62439. +
  62440. + trace_reg_read(dev, offset, val);
  62441. + return val;
  62442. +}
  62443. +
  62444. +int mt7601u_vendor_single_wr(struct mt7601u_dev *dev, const u8 req,
  62445. + const u16 offset, const u32 val)
  62446. +{
  62447. + int ret;
  62448. +
  62449. + mutex_lock(&dev->vendor_req_mutex);
  62450. +
  62451. + ret = mt7601u_vendor_request(dev, req, USB_DIR_OUT,
  62452. + val & 0xffff, offset, NULL, 0);
  62453. + if (!ret)
  62454. + ret = mt7601u_vendor_request(dev, req, USB_DIR_OUT,
  62455. + val >> 16, offset + 2, NULL, 0);
  62456. +
  62457. + mutex_unlock(&dev->vendor_req_mutex);
  62458. +
  62459. + return ret;
  62460. +}
  62461. +
  62462. +void mt7601u_wr(struct mt7601u_dev *dev, u32 offset, u32 val)
  62463. +{
  62464. + WARN_ONCE(offset > USHRT_MAX, "write high off:%08x", offset);
  62465. +
  62466. + mt7601u_vendor_single_wr(dev, MT_VEND_WRITE, offset, val);
  62467. + trace_reg_write(dev, offset, val);
  62468. +}
  62469. +
  62470. +u32 mt7601u_rmw(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val)
  62471. +{
  62472. + val |= mt7601u_rr(dev, offset) & ~mask;
  62473. + mt7601u_wr(dev, offset, val);
  62474. + return val;
  62475. +}
  62476. +
  62477. +u32 mt7601u_rmc(struct mt7601u_dev *dev, u32 offset, u32 mask, u32 val)
  62478. +{
  62479. + u32 reg = mt7601u_rr(dev, offset);
  62480. +
  62481. + val |= reg & ~mask;
  62482. + if (reg != val)
  62483. + mt7601u_wr(dev, offset, val);
  62484. + return val;
  62485. +}
  62486. +
  62487. +void mt7601u_wr_copy(struct mt7601u_dev *dev, u32 offset,
  62488. + const void *data, int len)
  62489. +{
  62490. + WARN_ONCE(offset & 3, "unaligned write copy off:%08x", offset);
  62491. + WARN_ONCE(len & 3, "short write copy off:%08x", offset);
  62492. +
  62493. + mt7601u_burst_write_regs(dev, offset, data, len / 4);
  62494. +}
  62495. +
  62496. +void mt7601u_addr_wr(struct mt7601u_dev *dev, const u32 offset, const u8 *addr)
  62497. +{
  62498. + mt7601u_wr(dev, offset, get_unaligned_le32(addr));
  62499. + mt7601u_wr(dev, offset + 4, addr[4] | addr[5] << 8);
  62500. +}
  62501. +
  62502. +static int mt7601u_assign_pipes(struct usb_interface *usb_intf,
  62503. + struct mt7601u_dev *dev)
  62504. +{
  62505. + struct usb_endpoint_descriptor *ep_desc;
  62506. + struct usb_host_interface *intf_desc = usb_intf->cur_altsetting;
  62507. + unsigned i, ep_i = 0, ep_o = 0;
  62508. +
  62509. + BUILD_BUG_ON(sizeof(dev->in_eps) < __MT_EP_IN_MAX);
  62510. + BUILD_BUG_ON(sizeof(dev->out_eps) < __MT_EP_OUT_MAX);
  62511. +
  62512. + for (i = 0; i < intf_desc->desc.bNumEndpoints; i++) {
  62513. + ep_desc = &intf_desc->endpoint[i].desc;
  62514. +
  62515. + if (usb_endpoint_is_bulk_in(ep_desc) &&
  62516. + ep_i++ < __MT_EP_IN_MAX) {
  62517. + dev->in_eps[ep_i - 1] = usb_endpoint_num(ep_desc);
  62518. + dev->in_max_packet = usb_endpoint_maxp(ep_desc);
  62519. + /* Note: this is ignored by usb sub-system but vendor
  62520. + * code does it. We can drop this at some point.
  62521. + */
  62522. + dev->in_eps[ep_i - 1] |= USB_DIR_IN;
  62523. + } else if (usb_endpoint_is_bulk_out(ep_desc) &&
  62524. + ep_o++ < __MT_EP_OUT_MAX) {
  62525. + dev->out_eps[ep_o - 1] = usb_endpoint_num(ep_desc);
  62526. + dev->out_max_packet = usb_endpoint_maxp(ep_desc);
  62527. + }
  62528. + }
  62529. +
  62530. + if (ep_i != __MT_EP_IN_MAX || ep_o != __MT_EP_OUT_MAX) {
  62531. + dev_err(dev->dev, "Error: wrong pipe number in:%d out:%d\n",
  62532. + ep_i, ep_o);
  62533. + return -EINVAL;
  62534. + }
  62535. +
  62536. + return 0;
  62537. +}
  62538. +
  62539. +static int mt7601u_probe(struct usb_interface *usb_intf,
  62540. + const struct usb_device_id *id)
  62541. +{
  62542. + struct usb_device *usb_dev = interface_to_usbdev(usb_intf);
  62543. + struct mt7601u_dev *dev;
  62544. + u32 asic_rev, mac_rev;
  62545. + int ret;
  62546. +
  62547. + dev = mt7601u_alloc_device(&usb_intf->dev);
  62548. + if (!dev)
  62549. + return -ENOMEM;
  62550. +
  62551. + usb_dev = usb_get_dev(usb_dev);
  62552. + usb_reset_device(usb_dev);
  62553. +
  62554. + usb_set_intfdata(usb_intf, dev);
  62555. +
  62556. + dev->vend_buf = devm_kmalloc(dev->dev, MT_VEND_BUF, GFP_KERNEL);
  62557. + if (!dev->vend_buf) {
  62558. + ret = -ENOMEM;
  62559. + goto err;
  62560. + }
  62561. +
  62562. + ret = mt7601u_assign_pipes(usb_intf, dev);
  62563. + if (ret)
  62564. + goto err;
  62565. + ret = mt7601u_wait_asic_ready(dev);
  62566. + if (ret)
  62567. + goto err;
  62568. +
  62569. + asic_rev = mt7601u_rr(dev, MT_ASIC_VERSION);
  62570. + mac_rev = mt7601u_rr(dev, MT_MAC_CSR0);
  62571. + dev_info(dev->dev, "ASIC revision: %08x MAC revision: %08x\n",
  62572. + asic_rev, mac_rev);
  62573. +
  62574. + /* Note: vendor driver skips this check for MT7601U */
  62575. + if (!(mt7601u_rr(dev, MT_EFUSE_CTRL) & MT_EFUSE_CTRL_SEL))
  62576. + dev_warn(dev->dev, "Warning: eFUSE not present\n");
  62577. +
  62578. + ret = mt7601u_init_hardware(dev);
  62579. + if (ret)
  62580. + goto err;
  62581. + ret = mt7601u_register_device(dev);
  62582. + if (ret)
  62583. + goto err_hw;
  62584. +
  62585. + set_bit(MT7601U_STATE_INITIALIZED, &dev->state);
  62586. +
  62587. + return 0;
  62588. +err_hw:
  62589. + mt7601u_cleanup(dev);
  62590. +err:
  62591. + usb_set_intfdata(usb_intf, NULL);
  62592. + usb_put_dev(interface_to_usbdev(usb_intf));
  62593. +
  62594. + destroy_workqueue(dev->stat_wq);
  62595. + ieee80211_free_hw(dev->hw);
  62596. + return ret;
  62597. +}
  62598. +
  62599. +static void mt7601u_disconnect(struct usb_interface *usb_intf)
  62600. +{
  62601. + struct mt7601u_dev *dev = usb_get_intfdata(usb_intf);
  62602. +
  62603. + ieee80211_unregister_hw(dev->hw);
  62604. + mt7601u_cleanup(dev);
  62605. +
  62606. + usb_set_intfdata(usb_intf, NULL);
  62607. + usb_put_dev(interface_to_usbdev(usb_intf));
  62608. +
  62609. + destroy_workqueue(dev->stat_wq);
  62610. + ieee80211_free_hw(dev->hw);
  62611. +}
  62612. +
  62613. +static int mt7601u_suspend(struct usb_interface *usb_intf, pm_message_t state)
  62614. +{
  62615. + struct mt7601u_dev *dev = usb_get_intfdata(usb_intf);
  62616. +
  62617. + mt7601u_cleanup(dev);
  62618. +
  62619. + return 0;
  62620. +}
  62621. +
  62622. +static int mt7601u_resume(struct usb_interface *usb_intf)
  62623. +{
  62624. + struct mt7601u_dev *dev = usb_get_intfdata(usb_intf);
  62625. + int ret;
  62626. +
  62627. + ret = mt7601u_init_hardware(dev);
  62628. + if (ret)
  62629. + return ret;
  62630. +
  62631. + set_bit(MT7601U_STATE_INITIALIZED, &dev->state);
  62632. +
  62633. + return 0;
  62634. +}
  62635. +
  62636. +MODULE_DEVICE_TABLE(usb, mt7601u_device_table);
  62637. +MODULE_FIRMWARE(MT7601U_FIRMWARE);
  62638. +MODULE_LICENSE("GPL");
  62639. +
  62640. +static struct usb_driver mt7601u_driver = {
  62641. + .name = KBUILD_MODNAME,
  62642. + .id_table = mt7601u_device_table,
  62643. + .probe = mt7601u_probe,
  62644. + .disconnect = mt7601u_disconnect,
  62645. + .suspend = mt7601u_suspend,
  62646. + .resume = mt7601u_resume,
  62647. + .reset_resume = mt7601u_resume,
  62648. + .soft_unbind = 1,
  62649. + .disable_hub_initiated_lpm = 1,
  62650. +};
  62651. +module_usb_driver(mt7601u_driver);
  62652. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/usb.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/usb.h
  62653. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/usb.h 1970-01-01 01:00:00.000000000 +0100
  62654. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/usb.h 2015-11-29 09:42:38.887167260 +0100
  62655. @@ -0,0 +1,79 @@
  62656. +/*
  62657. + * Copyright (C) 2015 Jakub Kicinski <kubakici@wp.pl>
  62658. + *
  62659. + * This program is free software; you can redistribute it and/or modify
  62660. + * it under the terms of the GNU General Public License version 2
  62661. + * as published by the Free Software Foundation
  62662. + *
  62663. + * This program is distributed in the hope that it will be useful,
  62664. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  62665. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  62666. + * GNU General Public License for more details.
  62667. + */
  62668. +
  62669. +#ifndef __MT7601U_USB_H
  62670. +#define __MT7601U_USB_H
  62671. +
  62672. +#include "mt7601u.h"
  62673. +
  62674. +#define MT7601U_FIRMWARE "mt7601u.bin"
  62675. +
  62676. +#define MT_VEND_REQ_MAX_RETRY 10
  62677. +#define MT_VEND_REQ_TOUT_MS 300
  62678. +
  62679. +#define MT_VEND_DEV_MODE_RESET 1
  62680. +
  62681. +#define MT_VEND_BUF sizeof(__le32)
  62682. +
  62683. +enum mt_vendor_req {
  62684. + MT_VEND_DEV_MODE = 1,
  62685. + MT_VEND_WRITE = 2,
  62686. + MT_VEND_MULTI_READ = 7,
  62687. + MT_VEND_WRITE_FCE = 0x42,
  62688. +};
  62689. +
  62690. +enum mt_usb_ep_in {
  62691. + MT_EP_IN_PKT_RX,
  62692. + MT_EP_IN_CMD_RESP,
  62693. + __MT_EP_IN_MAX,
  62694. +};
  62695. +
  62696. +enum mt_usb_ep_out {
  62697. + MT_EP_OUT_INBAND_CMD,
  62698. + MT_EP_OUT_AC_BK,
  62699. + MT_EP_OUT_AC_BE,
  62700. + MT_EP_OUT_AC_VI,
  62701. + MT_EP_OUT_AC_VO,
  62702. + MT_EP_OUT_HCCA,
  62703. + __MT_EP_OUT_MAX,
  62704. +};
  62705. +
  62706. +static inline struct usb_device *mt7601u_to_usb_dev(struct mt7601u_dev *mt7601u)
  62707. +{
  62708. + return interface_to_usbdev(to_usb_interface(mt7601u->dev));
  62709. +}
  62710. +
  62711. +static inline bool mt7601u_urb_has_error(struct urb *urb)
  62712. +{
  62713. + return urb->status &&
  62714. + urb->status != -ENOENT &&
  62715. + urb->status != -ECONNRESET &&
  62716. + urb->status != -ESHUTDOWN;
  62717. +}
  62718. +
  62719. +bool mt7601u_usb_alloc_buf(struct mt7601u_dev *dev, size_t len,
  62720. + struct mt7601u_dma_buf *buf);
  62721. +void mt7601u_usb_free_buf(struct mt7601u_dev *dev, struct mt7601u_dma_buf *buf);
  62722. +int mt7601u_usb_submit_buf(struct mt7601u_dev *dev, int dir, int ep_idx,
  62723. + struct mt7601u_dma_buf *buf, gfp_t gfp,
  62724. + usb_complete_t complete_fn, void *context);
  62725. +void mt7601u_complete_urb(struct urb *urb);
  62726. +
  62727. +int mt7601u_vendor_request(struct mt7601u_dev *dev, const u8 req,
  62728. + const u8 direction, const u16 val, const u16 offset,
  62729. + void *buf, const size_t buflen);
  62730. +void mt7601u_vendor_reset(struct mt7601u_dev *dev);
  62731. +int mt7601u_vendor_single_wr(struct mt7601u_dev *dev, const u8 req,
  62732. + const u16 offset, const u32 val);
  62733. +
  62734. +#endif
  62735. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/util.c linux-rpi/drivers/net/wireless/mediatek/mt7601u/util.c
  62736. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/util.c 1970-01-01 01:00:00.000000000 +0100
  62737. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/util.c 2015-11-29 09:42:38.887167260 +0100
  62738. @@ -0,0 +1,42 @@
  62739. +/*
  62740. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  62741. + *
  62742. + * This program is free software; you can redistribute it and/or modify
  62743. + * it under the terms of the GNU General Public License version 2
  62744. + * as published by the Free Software Foundation
  62745. + *
  62746. + * This program is distributed in the hope that it will be useful,
  62747. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  62748. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  62749. + * GNU General Public License for more details.
  62750. + */
  62751. +
  62752. +#include "mt7601u.h"
  62753. +
  62754. +void mt76_remove_hdr_pad(struct sk_buff *skb)
  62755. +{
  62756. + int len = ieee80211_get_hdrlen_from_skb(skb);
  62757. +
  62758. + memmove(skb->data + 2, skb->data, len);
  62759. + skb_pull(skb, 2);
  62760. +}
  62761. +
  62762. +int mt76_insert_hdr_pad(struct sk_buff *skb)
  62763. +{
  62764. + int len = ieee80211_get_hdrlen_from_skb(skb);
  62765. + int ret;
  62766. +
  62767. + if (len % 4 == 0)
  62768. + return 0;
  62769. +
  62770. + ret = skb_cow(skb, 2);
  62771. + if (ret)
  62772. + return ret;
  62773. +
  62774. + skb_push(skb, 2);
  62775. + memmove(skb->data, skb->data + 2, len);
  62776. +
  62777. + skb->data[len] = 0;
  62778. + skb->data[len + 1] = 0;
  62779. + return 0;
  62780. +}
  62781. diff -Nur linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/util.h linux-rpi/drivers/net/wireless/mediatek/mt7601u/util.h
  62782. --- linux-4.1.13.orig/drivers/net/wireless/mediatek/mt7601u/util.h 1970-01-01 01:00:00.000000000 +0100
  62783. +++ linux-rpi/drivers/net/wireless/mediatek/mt7601u/util.h 2015-11-29 09:42:38.887167260 +0100
  62784. @@ -0,0 +1,77 @@
  62785. +/*
  62786. + * Copyright (C) 2014 Felix Fietkau <nbd@openwrt.org>
  62787. + * Copyright (C) 2004 - 2009 Ivo van Doorn <IvDoorn@gmail.com>
  62788. + *
  62789. + * This program is free software; you can redistribute it and/or modify
  62790. + * it under the terms of the GNU General Public License version 2
  62791. + * as published by the Free Software Foundation
  62792. + *
  62793. + * This program is distributed in the hope that it will be useful,
  62794. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  62795. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  62796. + * GNU General Public License for more details.
  62797. + */
  62798. +
  62799. +#ifndef __MT76_UTIL_H
  62800. +#define __MT76_UTIL_H
  62801. +
  62802. +/*
  62803. + * Power of two check, this will check
  62804. + * if the mask that has been given contains and contiguous set of bits.
  62805. + * Note that we cannot use the is_power_of_2() function since this
  62806. + * check must be done at compile-time.
  62807. + */
  62808. +#define is_power_of_two(x) ( !((x) & ((x)-1)) )
  62809. +#define low_bit_mask(x) ( ((x)-1) & ~(x) )
  62810. +#define is_valid_mask(x) is_power_of_two(1LU + (x) + low_bit_mask(x))
  62811. +
  62812. +/*
  62813. + * Macros to find first set bit in a variable.
  62814. + * These macros behave the same as the __ffs() functions but
  62815. + * the most important difference that this is done during
  62816. + * compile-time rather then run-time.
  62817. + */
  62818. +#define compile_ffs2(__x) \
  62819. + __builtin_choose_expr(((__x) & 0x1), 0, 1)
  62820. +
  62821. +#define compile_ffs4(__x) \
  62822. + __builtin_choose_expr(((__x) & 0x3), \
  62823. + (compile_ffs2((__x))), \
  62824. + (compile_ffs2((__x) >> 2) + 2))
  62825. +
  62826. +#define compile_ffs8(__x) \
  62827. + __builtin_choose_expr(((__x) & 0xf), \
  62828. + (compile_ffs4((__x))), \
  62829. + (compile_ffs4((__x) >> 4) + 4))
  62830. +
  62831. +#define compile_ffs16(__x) \
  62832. + __builtin_choose_expr(((__x) & 0xff), \
  62833. + (compile_ffs8((__x))), \
  62834. + (compile_ffs8((__x) >> 8) + 8))
  62835. +
  62836. +#define compile_ffs32(__x) \
  62837. + __builtin_choose_expr(((__x) & 0xffff), \
  62838. + (compile_ffs16((__x))), \
  62839. + (compile_ffs16((__x) >> 16) + 16))
  62840. +
  62841. +/*
  62842. + * This macro will check the requirements for the FIELD{8,16,32} macros
  62843. + * The mask should be a constant non-zero contiguous set of bits which
  62844. + * does not exceed the given typelimit.
  62845. + */
  62846. +#define FIELD_CHECK(__mask) \
  62847. + BUILD_BUG_ON(!(__mask) || !is_valid_mask(__mask))
  62848. +
  62849. +#define MT76_SET(_mask, _val) \
  62850. + ({ \
  62851. + FIELD_CHECK(_mask); \
  62852. + (((u32) (_val)) << compile_ffs32(_mask)) & _mask; \
  62853. + })
  62854. +
  62855. +#define MT76_GET(_mask, _val) \
  62856. + ({ \
  62857. + FIELD_CHECK(_mask); \
  62858. + (u32) (((_val) & _mask) >> compile_ffs32(_mask)); \
  62859. + })
  62860. +
  62861. +#endif
  62862. diff -Nur linux-4.1.13.orig/drivers/of/fdt.c linux-rpi/drivers/of/fdt.c
  62863. --- linux-4.1.13.orig/drivers/of/fdt.c 2015-11-09 23:34:10.000000000 +0100
  62864. +++ linux-rpi/drivers/of/fdt.c 2015-11-29 09:42:39.031157693 +0100
  62865. @@ -933,19 +933,38 @@
  62866. /* Retrieve command line */
  62867. p = of_get_flat_dt_prop(node, "bootargs", &l);
  62868. - if (p != NULL && l > 0)
  62869. - strlcpy(data, p, min((int)l, COMMAND_LINE_SIZE));
  62870. /*
  62871. * CONFIG_CMDLINE is meant to be a default in case nothing else
  62872. * managed to set the command line, unless CONFIG_CMDLINE_FORCE
  62873. * is set in which case we override whatever was found earlier.
  62874. + *
  62875. + * However, it can be useful to be able to treat the default as
  62876. + * a starting point to be extended using CONFIG_CMDLINE_EXTEND.
  62877. */
  62878. + ((char *)data)[0] = '\0';
  62879. +
  62880. #ifdef CONFIG_CMDLINE
  62881. -#ifndef CONFIG_CMDLINE_FORCE
  62882. - if (!((char *)data)[0])
  62883. + strlcpy(data, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
  62884. +
  62885. + if (p != NULL && l > 0) {
  62886. +#if defined(CONFIG_CMDLINE_EXTEND)
  62887. + int len = strlen(data);
  62888. + if (len > 0) {
  62889. + strlcat(data, " ", COMMAND_LINE_SIZE);
  62890. + len++;
  62891. + }
  62892. + strlcpy((char *)data + len, p, min((int)l, COMMAND_LINE_SIZE - len));
  62893. +#elif defined(CONFIG_CMDLINE_FORCE)
  62894. + pr_warning("Ignoring bootargs property (using the default kernel command line)\n");
  62895. +#else
  62896. + /* Neither extend nor force - just override */
  62897. + strlcpy(data, p, min((int)l, COMMAND_LINE_SIZE));
  62898. #endif
  62899. - strlcpy(data, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
  62900. + }
  62901. +#else /* CONFIG_CMDLINE */
  62902. + if (p != NULL && l > 0) {
  62903. + strlcpy(data, p, min((int)l, COMMAND_LINE_SIZE));
  62904. #endif /* CONFIG_CMDLINE */
  62905. pr_debug("Command line is: %s\n", (char*)data);
  62906. diff -Nur linux-4.1.13.orig/drivers/pinctrl/bcm/pinctrl-bcm2835.c linux-rpi/drivers/pinctrl/bcm/pinctrl-bcm2835.c
  62907. --- linux-4.1.13.orig/drivers/pinctrl/bcm/pinctrl-bcm2835.c 2015-11-09 23:34:10.000000000 +0100
  62908. +++ linux-rpi/drivers/pinctrl/bcm/pinctrl-bcm2835.c 2015-11-29 09:42:39.071155035 +0100
  62909. @@ -47,6 +47,7 @@
  62910. #define MODULE_NAME "pinctrl-bcm2835"
  62911. #define BCM2835_NUM_GPIOS 54
  62912. #define BCM2835_NUM_BANKS 2
  62913. +#define BCM2835_NUM_IRQS 3
  62914. #define BCM2835_PIN_BITMAP_SZ \
  62915. DIV_ROUND_UP(BCM2835_NUM_GPIOS, sizeof(unsigned long) * 8)
  62916. @@ -88,13 +89,13 @@
  62917. struct bcm2835_gpio_irqdata {
  62918. struct bcm2835_pinctrl *pc;
  62919. - int bank;
  62920. + int irqgroup;
  62921. };
  62922. struct bcm2835_pinctrl {
  62923. struct device *dev;
  62924. void __iomem *base;
  62925. - int irq[BCM2835_NUM_BANKS];
  62926. + int irq[BCM2835_NUM_IRQS];
  62927. /* note: locking assumes each bank will have its own unsigned long */
  62928. unsigned long enabled_irq_map[BCM2835_NUM_BANKS];
  62929. @@ -105,7 +106,7 @@
  62930. struct gpio_chip gpio_chip;
  62931. struct pinctrl_gpio_range gpio_range;
  62932. - struct bcm2835_gpio_irqdata irq_data[BCM2835_NUM_BANKS];
  62933. + struct bcm2835_gpio_irqdata irq_data[BCM2835_NUM_IRQS];
  62934. spinlock_t irq_lock[BCM2835_NUM_BANKS];
  62935. };
  62936. @@ -355,7 +356,14 @@
  62937. static int bcm2835_gpio_direction_output(struct gpio_chip *chip,
  62938. unsigned offset, int value)
  62939. {
  62940. - return pinctrl_gpio_direction_output(chip->base + offset);
  62941. + struct bcm2835_pinctrl *pc = dev_get_drvdata(chip->dev);
  62942. + int ret;
  62943. +
  62944. + ret = pinctrl_gpio_direction_output(chip->base + offset);
  62945. + if (ret >= 0)
  62946. + bcm2835_gpio_set_bit(pc, value ? GPSET0 : GPCLR0, offset);
  62947. +
  62948. + return ret;
  62949. }
  62950. static void bcm2835_gpio_set(struct gpio_chip *chip, unsigned offset, int value)
  62951. @@ -382,22 +390,21 @@
  62952. .get = bcm2835_gpio_get,
  62953. .set = bcm2835_gpio_set,
  62954. .to_irq = bcm2835_gpio_to_irq,
  62955. - .base = -1,
  62956. + .base = 0,
  62957. .ngpio = BCM2835_NUM_GPIOS,
  62958. .can_sleep = false,
  62959. };
  62960. -static irqreturn_t bcm2835_gpio_irq_handler(int irq, void *dev_id)
  62961. +static int bcm2835_gpio_irq_handle_bank(struct bcm2835_pinctrl *pc,
  62962. + unsigned int bank, u32 mask)
  62963. {
  62964. - struct bcm2835_gpio_irqdata *irqdata = dev_id;
  62965. - struct bcm2835_pinctrl *pc = irqdata->pc;
  62966. - int bank = irqdata->bank;
  62967. unsigned long events;
  62968. unsigned offset;
  62969. unsigned gpio;
  62970. unsigned int type;
  62971. events = bcm2835_gpio_rd(pc, GPEDS0 + bank * 4);
  62972. + events &= mask;
  62973. events &= pc->enabled_irq_map[bank];
  62974. for_each_set_bit(offset, &events, 32) {
  62975. gpio = (32 * bank) + offset;
  62976. @@ -405,7 +412,30 @@
  62977. generic_handle_irq(irq_linear_revmap(pc->irq_domain, gpio));
  62978. }
  62979. - return events ? IRQ_HANDLED : IRQ_NONE;
  62980. +
  62981. + return (events != 0);
  62982. +}
  62983. +
  62984. +static irqreturn_t bcm2835_gpio_irq_handler(int irq, void *dev_id)
  62985. +{
  62986. + struct bcm2835_gpio_irqdata *irqdata = dev_id;
  62987. + struct bcm2835_pinctrl *pc = irqdata->pc;
  62988. + int handled = 0;
  62989. +
  62990. + switch (irqdata->irqgroup) {
  62991. + case 0: /* IRQ0 covers GPIOs 0-27 */
  62992. + handled = bcm2835_gpio_irq_handle_bank(pc, 0, 0x0fffffff);
  62993. + break;
  62994. + case 1: /* IRQ1 covers GPIOs 28-45 */
  62995. + handled = bcm2835_gpio_irq_handle_bank(pc, 0, 0xf0000000) |
  62996. + bcm2835_gpio_irq_handle_bank(pc, 1, 0x00003fff);
  62997. + break;
  62998. + case 2: /* IRQ2 covers GPIOs 46-53 */
  62999. + handled = bcm2835_gpio_irq_handle_bank(pc, 1, 0x003fc000);
  63000. + break;
  63001. + }
  63002. +
  63003. + return handled ? IRQ_HANDLED : IRQ_NONE;
  63004. }
  63005. static inline void __bcm2835_gpio_irq_config(struct bcm2835_pinctrl *pc,
  63006. @@ -473,6 +503,8 @@
  63007. spin_lock_irqsave(&pc->irq_lock[bank], flags);
  63008. bcm2835_gpio_irq_config(pc, gpio, false);
  63009. + /* Clear events that were latched prior to clearing event sources */
  63010. + bcm2835_gpio_set_bit(pc, GPEDS0, gpio);
  63011. clear_bit(offset, &pc->enabled_irq_map[bank]);
  63012. spin_unlock_irqrestore(&pc->irq_lock[bank], flags);
  63013. }
  63014. @@ -993,8 +1025,6 @@
  63015. for (i = 0; i < BCM2835_NUM_BANKS; i++) {
  63016. unsigned long events;
  63017. unsigned offset;
  63018. - int len;
  63019. - char *name;
  63020. /* clear event detection flags */
  63021. bcm2835_gpio_wr(pc, GPREN0 + i * 4, 0);
  63022. @@ -1009,10 +1039,17 @@
  63023. for_each_set_bit(offset, &events, 32)
  63024. bcm2835_gpio_wr(pc, GPEDS0 + i * 4, BIT(offset));
  63025. + spin_lock_init(&pc->irq_lock[i]);
  63026. + }
  63027. +
  63028. + for (i = 0; i < BCM2835_NUM_IRQS; i++) {
  63029. + int len;
  63030. + char *name;
  63031. pc->irq[i] = irq_of_parse_and_map(np, i);
  63032. + if (pc->irq[i] == 0)
  63033. + break;
  63034. pc->irq_data[i].pc = pc;
  63035. - pc->irq_data[i].bank = i;
  63036. - spin_lock_init(&pc->irq_lock[i]);
  63037. + pc->irq_data[i].irqgroup = i;
  63038. len = strlen(dev_name(pc->dev)) + 16;
  63039. name = devm_kzalloc(pc->dev, len, GFP_KERNEL);
  63040. @@ -1070,6 +1107,7 @@
  63041. .remove = bcm2835_pinctrl_remove,
  63042. .driver = {
  63043. .name = MODULE_NAME,
  63044. + .owner = THIS_MODULE,
  63045. .of_match_table = bcm2835_pinctrl_match,
  63046. },
  63047. };
  63048. diff -Nur linux-4.1.13.orig/drivers/pinctrl/Makefile linux-rpi/drivers/pinctrl/Makefile
  63049. --- linux-4.1.13.orig/drivers/pinctrl/Makefile 2015-11-09 23:34:10.000000000 +0100
  63050. +++ linux-rpi/drivers/pinctrl/Makefile 2015-11-29 09:42:39.071155035 +0100
  63051. @@ -38,6 +38,7 @@
  63052. obj-$(CONFIG_PINCTRL_ST) += pinctrl-st.o
  63053. obj-$(CONFIG_PINCTRL_ZYNQ) += pinctrl-zynq.o
  63054. +obj-$(CONFIG_ARCH_BCM2708)$(CONFIG_ARCH_BCM2709) += bcm/
  63055. obj-$(CONFIG_ARCH_BCM) += bcm/
  63056. obj-$(CONFIG_ARCH_BERLIN) += berlin/
  63057. obj-y += freescale/
  63058. diff -Nur linux-4.1.13.orig/drivers/power/reset/gpio-poweroff.c linux-rpi/drivers/power/reset/gpio-poweroff.c
  63059. --- linux-4.1.13.orig/drivers/power/reset/gpio-poweroff.c 2015-11-09 23:34:10.000000000 +0100
  63060. +++ linux-rpi/drivers/power/reset/gpio-poweroff.c 2015-11-29 09:42:39.131151049 +0100
  63061. @@ -48,9 +48,11 @@
  63062. static int gpio_poweroff_probe(struct platform_device *pdev)
  63063. {
  63064. bool input = false;
  63065. + bool force = false;
  63066. /* If a pm_power_off function has already been added, leave it alone */
  63067. - if (pm_power_off != NULL) {
  63068. + force = of_property_read_bool(pdev->dev.of_node, "force");
  63069. + if (!force && (pm_power_off != NULL)) {
  63070. dev_err(&pdev->dev,
  63071. "%s: pm_power_off function already registered",
  63072. __func__);
  63073. diff -Nur linux-4.1.13.orig/drivers/pwm/Kconfig linux-rpi/drivers/pwm/Kconfig
  63074. --- linux-4.1.13.orig/drivers/pwm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  63075. +++ linux-rpi/drivers/pwm/Kconfig 2015-11-29 09:42:39.139150517 +0100
  63076. @@ -85,7 +85,7 @@
  63077. config PWM_BCM2835
  63078. tristate "BCM2835 PWM support"
  63079. - depends on ARCH_BCM2835
  63080. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709
  63081. help
  63082. PWM framework driver for BCM2835 controller (Raspberry Pi)
  63083. diff -Nur linux-4.1.13.orig/drivers/rtc/rtc-ds1307.c linux-rpi/drivers/rtc/rtc-ds1307.c
  63084. --- linux-4.1.13.orig/drivers/rtc/rtc-ds1307.c 2015-11-09 23:34:10.000000000 +0100
  63085. +++ linux-rpi/drivers/rtc/rtc-ds1307.c 2015-11-29 09:42:39.163148923 +0100
  63086. @@ -1242,6 +1242,14 @@
  63087. return 0;
  63088. }
  63089. +#ifdef CONFIG_OF
  63090. +static const struct of_device_id ds1307_of_match[] = {
  63091. + { .compatible = "maxim,ds1307" },
  63092. + { }
  63093. +};
  63094. +MODULE_DEVICE_TABLE(of, ds1307_of_match);
  63095. +#endif
  63096. +
  63097. static struct i2c_driver ds1307_driver = {
  63098. .driver = {
  63099. .name = "rtc-ds1307",
  63100. diff -Nur linux-4.1.13.orig/drivers/spi/Kconfig linux-rpi/drivers/spi/Kconfig
  63101. --- linux-4.1.13.orig/drivers/spi/Kconfig 2015-11-09 23:34:10.000000000 +0100
  63102. +++ linux-rpi/drivers/spi/Kconfig 2015-11-29 09:42:39.435130851 +0100
  63103. @@ -77,7 +77,7 @@
  63104. config SPI_BCM2835
  63105. tristate "BCM2835 SPI controller"
  63106. - depends on ARCH_BCM2835 || COMPILE_TEST
  63107. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709 || COMPILE_TEST
  63108. depends on GPIOLIB
  63109. help
  63110. This selects a driver for the Broadcom BCM2835 SPI master.
  63111. @@ -87,6 +87,14 @@
  63112. is for the regular SPI controller. Slave mode operation is not also
  63113. not supported.
  63114. +config SPI_BCM2708
  63115. + tristate "BCM2708 SPI controller driver (SPI0)"
  63116. + depends on MACH_BCM2708 || MACH_BCM2709
  63117. + help
  63118. + This selects a driver for the Broadcom BCM2708 SPI master (SPI0). This
  63119. + driver is not compatible with the "Universal SPI Master" or the SPI slave
  63120. + device.
  63121. +
  63122. config SPI_BFIN5XX
  63123. tristate "SPI controller driver for ADI Blackfin5xx"
  63124. depends on BLACKFIN && !BF60x
  63125. diff -Nur linux-4.1.13.orig/drivers/spi/Makefile linux-rpi/drivers/spi/Makefile
  63126. --- linux-4.1.13.orig/drivers/spi/Makefile 2015-11-09 23:34:10.000000000 +0100
  63127. +++ linux-rpi/drivers/spi/Makefile 2015-11-29 09:42:39.435130851 +0100
  63128. @@ -20,6 +20,7 @@
  63129. obj-$(CONFIG_SPI_BCM63XX_HSSPI) += spi-bcm63xx-hsspi.o
  63130. obj-$(CONFIG_SPI_BFIN5XX) += spi-bfin5xx.o
  63131. obj-$(CONFIG_SPI_ADI_V3) += spi-adi-v3.o
  63132. +obj-$(CONFIG_SPI_BCM2708) += spi-bcm2708.o
  63133. obj-$(CONFIG_SPI_BFIN_SPORT) += spi-bfin-sport.o
  63134. obj-$(CONFIG_SPI_BITBANG) += spi-bitbang.o
  63135. obj-$(CONFIG_SPI_BUTTERFLY) += spi-butterfly.o
  63136. diff -Nur linux-4.1.13.orig/drivers/spi/spi-bcm2708.c linux-rpi/drivers/spi/spi-bcm2708.c
  63137. --- linux-4.1.13.orig/drivers/spi/spi-bcm2708.c 1970-01-01 01:00:00.000000000 +0100
  63138. +++ linux-rpi/drivers/spi/spi-bcm2708.c 2015-11-29 09:42:39.435130851 +0100
  63139. @@ -0,0 +1,628 @@
  63140. +/*
  63141. + * Driver for Broadcom BCM2708 SPI Controllers
  63142. + *
  63143. + * Copyright (C) 2012 Chris Boot
  63144. + *
  63145. + * This driver is inspired by:
  63146. + * spi-ath79.c, Copyright (C) 2009-2011 Gabor Juhos <juhosg@openwrt.org>
  63147. + * spi-atmel.c, Copyright (C) 2006 Atmel Corporation
  63148. + *
  63149. + * This program is free software; you can redistribute it and/or modify
  63150. + * it under the terms of the GNU General Public License as published by
  63151. + * the Free Software Foundation; either version 2 of the License, or
  63152. + * (at your option) any later version.
  63153. + *
  63154. + * This program is distributed in the hope that it will be useful,
  63155. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  63156. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  63157. + * GNU General Public License for more details.
  63158. + *
  63159. + * You should have received a copy of the GNU General Public License
  63160. + * along with this program; if not, write to the Free Software
  63161. + * Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
  63162. + */
  63163. +
  63164. +#include <linux/kernel.h>
  63165. +#include <linux/module.h>
  63166. +#include <linux/spinlock.h>
  63167. +#include <linux/clk.h>
  63168. +#include <linux/err.h>
  63169. +#include <linux/platform_device.h>
  63170. +#include <linux/io.h>
  63171. +#include <linux/spi/spi.h>
  63172. +#include <linux/interrupt.h>
  63173. +#include <linux/delay.h>
  63174. +#include <linux/log2.h>
  63175. +#include <linux/sched.h>
  63176. +#include <linux/wait.h>
  63177. +
  63178. +/* SPI register offsets */
  63179. +#define SPI_CS 0x00
  63180. +#define SPI_FIFO 0x04
  63181. +#define SPI_CLK 0x08
  63182. +#define SPI_DLEN 0x0c
  63183. +#define SPI_LTOH 0x10
  63184. +#define SPI_DC 0x14
  63185. +
  63186. +/* Bitfields in CS */
  63187. +#define SPI_CS_LEN_LONG 0x02000000
  63188. +#define SPI_CS_DMA_LEN 0x01000000
  63189. +#define SPI_CS_CSPOL2 0x00800000
  63190. +#define SPI_CS_CSPOL1 0x00400000
  63191. +#define SPI_CS_CSPOL0 0x00200000
  63192. +#define SPI_CS_RXF 0x00100000
  63193. +#define SPI_CS_RXR 0x00080000
  63194. +#define SPI_CS_TXD 0x00040000
  63195. +#define SPI_CS_RXD 0x00020000
  63196. +#define SPI_CS_DONE 0x00010000
  63197. +#define SPI_CS_LEN 0x00002000
  63198. +#define SPI_CS_REN 0x00001000
  63199. +#define SPI_CS_ADCS 0x00000800
  63200. +#define SPI_CS_INTR 0x00000400
  63201. +#define SPI_CS_INTD 0x00000200
  63202. +#define SPI_CS_DMAEN 0x00000100
  63203. +#define SPI_CS_TA 0x00000080
  63204. +#define SPI_CS_CSPOL 0x00000040
  63205. +#define SPI_CS_CLEAR_RX 0x00000020
  63206. +#define SPI_CS_CLEAR_TX 0x00000010
  63207. +#define SPI_CS_CPOL 0x00000008
  63208. +#define SPI_CS_CPHA 0x00000004
  63209. +#define SPI_CS_CS_10 0x00000002
  63210. +#define SPI_CS_CS_01 0x00000001
  63211. +
  63212. +#define SPI_TIMEOUT_MS 1000
  63213. +
  63214. +#define DRV_NAME "bcm2708_spi"
  63215. +
  63216. +struct bcm2708_spi {
  63217. + spinlock_t lock;
  63218. + void __iomem *base;
  63219. + int irq;
  63220. + struct clk *clk;
  63221. + bool stopping;
  63222. +
  63223. + struct list_head queue;
  63224. + struct workqueue_struct *workq;
  63225. + struct work_struct work;
  63226. + struct completion done;
  63227. +
  63228. + const u8 *tx_buf;
  63229. + u8 *rx_buf;
  63230. + int len;
  63231. +};
  63232. +
  63233. +struct bcm2708_spi_state {
  63234. + u32 cs;
  63235. + u16 cdiv;
  63236. +};
  63237. +
  63238. +/*
  63239. + * This function sets the ALT mode on the SPI pins so that we can use them with
  63240. + * the SPI hardware.
  63241. + *
  63242. + * FIXME: This is a hack. Use pinmux / pinctrl.
  63243. + */
  63244. +static void bcm2708_init_pinmode(void)
  63245. +{
  63246. +#define INP_GPIO(g) *(gpio+((g)/10)) &= ~(7<<(((g)%10)*3))
  63247. +#define SET_GPIO_ALT(g,a) *(gpio+(((g)/10))) |= (((a)<=3?(a)+4:(a)==4?3:2)<<(((g)%10)*3))
  63248. +
  63249. + int pin;
  63250. + u32 *gpio = ioremap(GPIO_BASE, SZ_16K);
  63251. +
  63252. + /* SPI is on GPIO 7..11 */
  63253. + for (pin = 7; pin <= 11; pin++) {
  63254. + INP_GPIO(pin); /* set mode to GPIO input first */
  63255. + SET_GPIO_ALT(pin, 0); /* set mode to ALT 0 */
  63256. + }
  63257. +
  63258. + iounmap(gpio);
  63259. +
  63260. +#undef INP_GPIO
  63261. +#undef SET_GPIO_ALT
  63262. +}
  63263. +
  63264. +static inline u32 bcm2708_rd(struct bcm2708_spi *bs, unsigned reg)
  63265. +{
  63266. + return readl(bs->base + reg);
  63267. +}
  63268. +
  63269. +static inline void bcm2708_wr(struct bcm2708_spi *bs, unsigned reg, u32 val)
  63270. +{
  63271. + writel(val, bs->base + reg);
  63272. +}
  63273. +
  63274. +static inline void bcm2708_rd_fifo(struct bcm2708_spi *bs, int len)
  63275. +{
  63276. + u8 byte;
  63277. +
  63278. + while (len--) {
  63279. + byte = bcm2708_rd(bs, SPI_FIFO);
  63280. + if (bs->rx_buf)
  63281. + *bs->rx_buf++ = byte;
  63282. + }
  63283. +}
  63284. +
  63285. +static inline void bcm2708_wr_fifo(struct bcm2708_spi *bs, int len)
  63286. +{
  63287. + u8 byte;
  63288. + u16 val;
  63289. +
  63290. + if (len > bs->len)
  63291. + len = bs->len;
  63292. +
  63293. + if (unlikely(bcm2708_rd(bs, SPI_CS) & SPI_CS_LEN)) {
  63294. + /* LoSSI mode */
  63295. + if (unlikely(len % 2)) {
  63296. + printk(KERN_ERR"bcm2708_wr_fifo: length must be even, skipping.\n");
  63297. + bs->len = 0;
  63298. + return;
  63299. + }
  63300. + while (len) {
  63301. + if (bs->tx_buf) {
  63302. + val = *(const u16 *)bs->tx_buf;
  63303. + bs->tx_buf += 2;
  63304. + } else
  63305. + val = 0;
  63306. + bcm2708_wr(bs, SPI_FIFO, val);
  63307. + bs->len -= 2;
  63308. + len -= 2;
  63309. + }
  63310. + return;
  63311. + }
  63312. +
  63313. + while (len--) {
  63314. + byte = bs->tx_buf ? *bs->tx_buf++ : 0;
  63315. + bcm2708_wr(bs, SPI_FIFO, byte);
  63316. + bs->len--;
  63317. + }
  63318. +}
  63319. +
  63320. +static irqreturn_t bcm2708_spi_interrupt(int irq, void *dev_id)
  63321. +{
  63322. + struct spi_master *master = dev_id;
  63323. + struct bcm2708_spi *bs = spi_master_get_devdata(master);
  63324. + u32 cs;
  63325. +
  63326. + spin_lock(&bs->lock);
  63327. +
  63328. + cs = bcm2708_rd(bs, SPI_CS);
  63329. +
  63330. + if (cs & SPI_CS_DONE) {
  63331. + if (bs->len) { /* first interrupt in a transfer */
  63332. + /* fill the TX fifo with up to 16 bytes */
  63333. + bcm2708_wr_fifo(bs, 16);
  63334. + } else { /* transfer complete */
  63335. + /* disable interrupts */
  63336. + cs &= ~(SPI_CS_INTR | SPI_CS_INTD);
  63337. + bcm2708_wr(bs, SPI_CS, cs);
  63338. +
  63339. + /* drain RX FIFO */
  63340. + while (cs & SPI_CS_RXD) {
  63341. + bcm2708_rd_fifo(bs, 1);
  63342. + cs = bcm2708_rd(bs, SPI_CS);
  63343. + }
  63344. +
  63345. + /* wake up our bh */
  63346. + complete(&bs->done);
  63347. + }
  63348. + } else if (cs & SPI_CS_RXR) {
  63349. + /* read 12 bytes of data */
  63350. + bcm2708_rd_fifo(bs, 12);
  63351. +
  63352. + /* write up to 12 bytes */
  63353. + bcm2708_wr_fifo(bs, 12);
  63354. + }
  63355. +
  63356. + spin_unlock(&bs->lock);
  63357. +
  63358. + return IRQ_HANDLED;
  63359. +}
  63360. +
  63361. +static int bcm2708_setup_state(struct spi_master *master,
  63362. + struct device *dev, struct bcm2708_spi_state *state,
  63363. + u32 hz, u8 csel, u8 mode, u8 bpw)
  63364. +{
  63365. + struct bcm2708_spi *bs = spi_master_get_devdata(master);
  63366. + int cdiv;
  63367. + unsigned long bus_hz;
  63368. + u32 cs = 0;
  63369. +
  63370. + bus_hz = clk_get_rate(bs->clk);
  63371. +
  63372. + if (hz >= bus_hz) {
  63373. + cdiv = 2; /* bus_hz / 2 is as fast as we can go */
  63374. + } else if (hz) {
  63375. + cdiv = DIV_ROUND_UP(bus_hz, hz);
  63376. +
  63377. + /* CDIV must be a power of 2, so round up */
  63378. + cdiv = roundup_pow_of_two(cdiv);
  63379. +
  63380. + if (cdiv > 65536) {
  63381. + dev_dbg(dev,
  63382. + "setup: %d Hz too slow, cdiv %u; min %ld Hz\n",
  63383. + hz, cdiv, bus_hz / 65536);
  63384. + return -EINVAL;
  63385. + } else if (cdiv == 65536) {
  63386. + cdiv = 0;
  63387. + } else if (cdiv == 1) {
  63388. + cdiv = 2; /* 1 gets rounded down to 0; == 65536 */
  63389. + }
  63390. + } else {
  63391. + cdiv = 0;
  63392. + }
  63393. +
  63394. + switch (bpw) {
  63395. + case 8:
  63396. + break;
  63397. + case 9:
  63398. + /* Reading in LoSSI mode is a special case. See 'BCM2835 ARM Peripherals' datasheet */
  63399. + cs |= SPI_CS_LEN;
  63400. + break;
  63401. + default:
  63402. + dev_dbg(dev, "setup: invalid bits_per_word %u (must be 8 or 9)\n",
  63403. + bpw);
  63404. + return -EINVAL;
  63405. + }
  63406. +
  63407. + if (mode & SPI_CPOL)
  63408. + cs |= SPI_CS_CPOL;
  63409. + if (mode & SPI_CPHA)
  63410. + cs |= SPI_CS_CPHA;
  63411. +
  63412. + if (!(mode & SPI_NO_CS)) {
  63413. + if (mode & SPI_CS_HIGH) {
  63414. + cs |= SPI_CS_CSPOL;
  63415. + cs |= SPI_CS_CSPOL0 << csel;
  63416. + }
  63417. +
  63418. + cs |= csel;
  63419. + } else {
  63420. + cs |= SPI_CS_CS_10 | SPI_CS_CS_01;
  63421. + }
  63422. +
  63423. + if (state) {
  63424. + state->cs = cs;
  63425. + state->cdiv = cdiv;
  63426. + dev_dbg(dev, "setup: want %d Hz; "
  63427. + "bus_hz=%lu / cdiv=%u == %lu Hz; "
  63428. + "mode %u: cs 0x%08X\n",
  63429. + hz, bus_hz, cdiv, bus_hz/cdiv, mode, cs);
  63430. + }
  63431. +
  63432. + return 0;
  63433. +}
  63434. +
  63435. +static int bcm2708_process_transfer(struct bcm2708_spi *bs,
  63436. + struct spi_message *msg, struct spi_transfer *xfer)
  63437. +{
  63438. + struct spi_device *spi = msg->spi;
  63439. + struct bcm2708_spi_state state, *stp;
  63440. + int ret;
  63441. + u32 cs;
  63442. +
  63443. + if (bs->stopping)
  63444. + return -ESHUTDOWN;
  63445. +
  63446. + if (xfer->bits_per_word || xfer->speed_hz) {
  63447. + ret = bcm2708_setup_state(spi->master, &spi->dev, &state,
  63448. + xfer->speed_hz ? xfer->speed_hz : spi->max_speed_hz,
  63449. + spi->chip_select, spi->mode,
  63450. + xfer->bits_per_word ? xfer->bits_per_word :
  63451. + spi->bits_per_word);
  63452. + if (ret)
  63453. + return ret;
  63454. +
  63455. + stp = &state;
  63456. + } else {
  63457. + stp = spi->controller_state;
  63458. + }
  63459. +
  63460. + reinit_completion(&bs->done);
  63461. + bs->tx_buf = xfer->tx_buf;
  63462. + bs->rx_buf = xfer->rx_buf;
  63463. + bs->len = xfer->len;
  63464. +
  63465. + cs = stp->cs | SPI_CS_INTR | SPI_CS_INTD | SPI_CS_TA;
  63466. +
  63467. + bcm2708_wr(bs, SPI_CLK, stp->cdiv);
  63468. + bcm2708_wr(bs, SPI_CS, cs);
  63469. +
  63470. + ret = wait_for_completion_timeout(&bs->done,
  63471. + msecs_to_jiffies(SPI_TIMEOUT_MS));
  63472. + if (ret == 0) {
  63473. + dev_err(&spi->dev, "transfer timed out\n");
  63474. + return -ETIMEDOUT;
  63475. + }
  63476. +
  63477. + if (xfer->delay_usecs)
  63478. + udelay(xfer->delay_usecs);
  63479. +
  63480. + if (list_is_last(&xfer->transfer_list, &msg->transfers) ||
  63481. + xfer->cs_change) {
  63482. + /* clear TA and interrupt flags */
  63483. + bcm2708_wr(bs, SPI_CS, stp->cs);
  63484. + }
  63485. +
  63486. + msg->actual_length += (xfer->len - bs->len);
  63487. +
  63488. + return 0;
  63489. +}
  63490. +
  63491. +static void bcm2708_work(struct work_struct *work)
  63492. +{
  63493. + struct bcm2708_spi *bs = container_of(work, struct bcm2708_spi, work);
  63494. + unsigned long flags;
  63495. + struct spi_message *msg;
  63496. + struct spi_transfer *xfer;
  63497. + int status = 0;
  63498. +
  63499. + spin_lock_irqsave(&bs->lock, flags);
  63500. + while (!list_empty(&bs->queue)) {
  63501. + msg = list_first_entry(&bs->queue, struct spi_message, queue);
  63502. + list_del_init(&msg->queue);
  63503. + spin_unlock_irqrestore(&bs->lock, flags);
  63504. +
  63505. + list_for_each_entry(xfer, &msg->transfers, transfer_list) {
  63506. + status = bcm2708_process_transfer(bs, msg, xfer);
  63507. + if (status)
  63508. + break;
  63509. + }
  63510. +
  63511. + msg->status = status;
  63512. + msg->complete(msg->context);
  63513. +
  63514. + spin_lock_irqsave(&bs->lock, flags);
  63515. + }
  63516. + spin_unlock_irqrestore(&bs->lock, flags);
  63517. +}
  63518. +
  63519. +static int bcm2708_spi_setup(struct spi_device *spi)
  63520. +{
  63521. + struct bcm2708_spi *bs = spi_master_get_devdata(spi->master);
  63522. + struct bcm2708_spi_state *state;
  63523. + int ret;
  63524. +
  63525. + if (bs->stopping)
  63526. + return -ESHUTDOWN;
  63527. +
  63528. + state = spi->controller_state;
  63529. + if (!state) {
  63530. + state = kzalloc(sizeof(*state), GFP_KERNEL);
  63531. + if (!state)
  63532. + return -ENOMEM;
  63533. +
  63534. + spi->controller_state = state;
  63535. + }
  63536. +
  63537. + ret = bcm2708_setup_state(spi->master, &spi->dev, state,
  63538. + spi->max_speed_hz, spi->chip_select, spi->mode,
  63539. + spi->bits_per_word);
  63540. + if (ret < 0) {
  63541. + kfree(state);
  63542. + spi->controller_state = NULL;
  63543. + return ret;
  63544. + }
  63545. +
  63546. + dev_dbg(&spi->dev,
  63547. + "setup: cd %d: %d Hz, bpw %u, mode 0x%x -> CS=%08x CDIV=%04x\n",
  63548. + spi->chip_select, spi->max_speed_hz, spi->bits_per_word,
  63549. + spi->mode, state->cs, state->cdiv);
  63550. +
  63551. + return 0;
  63552. +}
  63553. +
  63554. +static int bcm2708_spi_transfer(struct spi_device *spi, struct spi_message *msg)
  63555. +{
  63556. + struct bcm2708_spi *bs = spi_master_get_devdata(spi->master);
  63557. + struct spi_transfer *xfer;
  63558. + int ret;
  63559. + unsigned long flags;
  63560. +
  63561. + if (unlikely(list_empty(&msg->transfers)))
  63562. + return -EINVAL;
  63563. +
  63564. + if (bs->stopping)
  63565. + return -ESHUTDOWN;
  63566. +
  63567. + list_for_each_entry(xfer, &msg->transfers, transfer_list) {
  63568. + if (!(xfer->tx_buf || xfer->rx_buf) && xfer->len) {
  63569. + dev_dbg(&spi->dev, "missing rx or tx buf\n");
  63570. + return -EINVAL;
  63571. + }
  63572. +
  63573. + if (!xfer->bits_per_word || xfer->speed_hz)
  63574. + continue;
  63575. +
  63576. + ret = bcm2708_setup_state(spi->master, &spi->dev, NULL,
  63577. + xfer->speed_hz ? xfer->speed_hz : spi->max_speed_hz,
  63578. + spi->chip_select, spi->mode,
  63579. + xfer->bits_per_word ? xfer->bits_per_word :
  63580. + spi->bits_per_word);
  63581. + if (ret)
  63582. + return ret;
  63583. + }
  63584. +
  63585. + msg->status = -EINPROGRESS;
  63586. + msg->actual_length = 0;
  63587. +
  63588. + spin_lock_irqsave(&bs->lock, flags);
  63589. + list_add_tail(&msg->queue, &bs->queue);
  63590. + queue_work(bs->workq, &bs->work);
  63591. + spin_unlock_irqrestore(&bs->lock, flags);
  63592. +
  63593. + return 0;
  63594. +}
  63595. +
  63596. +static void bcm2708_spi_cleanup(struct spi_device *spi)
  63597. +{
  63598. + if (spi->controller_state) {
  63599. + kfree(spi->controller_state);
  63600. + spi->controller_state = NULL;
  63601. + }
  63602. +}
  63603. +
  63604. +static int bcm2708_spi_probe(struct platform_device *pdev)
  63605. +{
  63606. + struct resource *regs;
  63607. + int irq, err = -ENOMEM;
  63608. + struct clk *clk;
  63609. + struct spi_master *master;
  63610. + struct bcm2708_spi *bs;
  63611. +
  63612. + regs = platform_get_resource(pdev, IORESOURCE_MEM, 0);
  63613. + if (!regs) {
  63614. + dev_err(&pdev->dev, "could not get IO memory\n");
  63615. + return -ENXIO;
  63616. + }
  63617. +
  63618. + irq = platform_get_irq(pdev, 0);
  63619. + if (irq < 0) {
  63620. + dev_err(&pdev->dev, "could not get IRQ\n");
  63621. + return irq;
  63622. + }
  63623. +
  63624. + clk = clk_get(&pdev->dev, NULL);
  63625. + if (IS_ERR(clk)) {
  63626. + dev_err(&pdev->dev, "could not find clk: %ld\n", PTR_ERR(clk));
  63627. + return PTR_ERR(clk);
  63628. + }
  63629. +
  63630. + if (!pdev->dev.of_node)
  63631. + bcm2708_init_pinmode();
  63632. +
  63633. + master = spi_alloc_master(&pdev->dev, sizeof(*bs));
  63634. + if (!master) {
  63635. + dev_err(&pdev->dev, "spi_alloc_master() failed\n");
  63636. + goto out_clk_put;
  63637. + }
  63638. +
  63639. + /* the spi->mode bits understood by this driver: */
  63640. + master->mode_bits = SPI_CPOL | SPI_CPHA | SPI_CS_HIGH | SPI_NO_CS;
  63641. +
  63642. + master->bus_num = pdev->id;
  63643. + master->num_chipselect = 3;
  63644. + master->setup = bcm2708_spi_setup;
  63645. + master->transfer = bcm2708_spi_transfer;
  63646. + master->cleanup = bcm2708_spi_cleanup;
  63647. + master->dev.of_node = pdev->dev.of_node;
  63648. + platform_set_drvdata(pdev, master);
  63649. +
  63650. + bs = spi_master_get_devdata(master);
  63651. +
  63652. + spin_lock_init(&bs->lock);
  63653. + INIT_LIST_HEAD(&bs->queue);
  63654. + init_completion(&bs->done);
  63655. + INIT_WORK(&bs->work, bcm2708_work);
  63656. +
  63657. + bs->base = ioremap(regs->start, resource_size(regs));
  63658. + if (!bs->base) {
  63659. + dev_err(&pdev->dev, "could not remap memory\n");
  63660. + goto out_master_put;
  63661. + }
  63662. +
  63663. + bs->workq = create_singlethread_workqueue(dev_name(&pdev->dev));
  63664. + if (!bs->workq) {
  63665. + dev_err(&pdev->dev, "could not create workqueue\n");
  63666. + goto out_iounmap;
  63667. + }
  63668. +
  63669. + bs->irq = irq;
  63670. + bs->clk = clk;
  63671. + bs->stopping = false;
  63672. +
  63673. + err = request_irq(irq, bcm2708_spi_interrupt, 0, dev_name(&pdev->dev),
  63674. + master);
  63675. + if (err) {
  63676. + dev_err(&pdev->dev, "could not request IRQ: %d\n", err);
  63677. + goto out_workqueue;
  63678. + }
  63679. +
  63680. + /* initialise the hardware */
  63681. + clk_prepare_enable(clk);
  63682. + bcm2708_wr(bs, SPI_CS, SPI_CS_REN | SPI_CS_CLEAR_RX | SPI_CS_CLEAR_TX);
  63683. +
  63684. + err = spi_register_master(master);
  63685. + if (err) {
  63686. + dev_err(&pdev->dev, "could not register SPI master: %d\n", err);
  63687. + goto out_free_irq;
  63688. + }
  63689. +
  63690. + dev_info(&pdev->dev, "SPI Controller at 0x%08lx (irq %d)\n",
  63691. + (unsigned long)regs->start, irq);
  63692. +
  63693. + return 0;
  63694. +
  63695. +out_free_irq:
  63696. + free_irq(bs->irq, master);
  63697. + clk_disable_unprepare(bs->clk);
  63698. +out_workqueue:
  63699. + destroy_workqueue(bs->workq);
  63700. +out_iounmap:
  63701. + iounmap(bs->base);
  63702. +out_master_put:
  63703. + spi_master_put(master);
  63704. +out_clk_put:
  63705. + clk_put(clk);
  63706. + return err;
  63707. +}
  63708. +
  63709. +static int bcm2708_spi_remove(struct platform_device *pdev)
  63710. +{
  63711. + struct spi_master *master = platform_get_drvdata(pdev);
  63712. + struct bcm2708_spi *bs = spi_master_get_devdata(master);
  63713. +
  63714. + /* reset the hardware and block queue progress */
  63715. + spin_lock_irq(&bs->lock);
  63716. + bs->stopping = true;
  63717. + bcm2708_wr(bs, SPI_CS, SPI_CS_CLEAR_RX | SPI_CS_CLEAR_TX);
  63718. + spin_unlock_irq(&bs->lock);
  63719. +
  63720. + flush_work(&bs->work);
  63721. +
  63722. + clk_disable_unprepare(bs->clk);
  63723. + clk_put(bs->clk);
  63724. + free_irq(bs->irq, master);
  63725. + iounmap(bs->base);
  63726. +
  63727. + spi_unregister_master(master);
  63728. +
  63729. + return 0;
  63730. +}
  63731. +
  63732. +static const struct of_device_id bcm2708_spi_match[] = {
  63733. + { .compatible = "brcm,bcm2708-spi", },
  63734. + {}
  63735. +};
  63736. +MODULE_DEVICE_TABLE(of, bcm2708_spi_match);
  63737. +
  63738. +static struct platform_driver bcm2708_spi_driver = {
  63739. + .driver = {
  63740. + .name = DRV_NAME,
  63741. + .owner = THIS_MODULE,
  63742. + .of_match_table = bcm2708_spi_match,
  63743. + },
  63744. + .probe = bcm2708_spi_probe,
  63745. + .remove = bcm2708_spi_remove,
  63746. +};
  63747. +
  63748. +
  63749. +static int __init bcm2708_spi_init(void)
  63750. +{
  63751. + return platform_driver_probe(&bcm2708_spi_driver, bcm2708_spi_probe);
  63752. +}
  63753. +module_init(bcm2708_spi_init);
  63754. +
  63755. +static void __exit bcm2708_spi_exit(void)
  63756. +{
  63757. + platform_driver_unregister(&bcm2708_spi_driver);
  63758. +}
  63759. +module_exit(bcm2708_spi_exit);
  63760. +
  63761. +
  63762. +//module_platform_driver(bcm2708_spi_driver);
  63763. +
  63764. +MODULE_DESCRIPTION("SPI controller driver for Broadcom BCM2708");
  63765. +MODULE_AUTHOR("Chris Boot <bootc@bootc.net>");
  63766. +MODULE_LICENSE("GPL v2");
  63767. +MODULE_ALIAS("platform:" DRV_NAME);
  63768. diff -Nur linux-4.1.13.orig/drivers/spi/spi-bcm2835.c linux-rpi/drivers/spi/spi-bcm2835.c
  63769. --- linux-4.1.13.orig/drivers/spi/spi-bcm2835.c 2015-11-09 23:34:10.000000000 +0100
  63770. +++ linux-rpi/drivers/spi/spi-bcm2835.c 2015-11-29 09:42:39.435130851 +0100
  63771. @@ -20,18 +20,22 @@
  63772. * GNU General Public License for more details.
  63773. */
  63774. +#include <asm/page.h>
  63775. #include <linux/clk.h>
  63776. #include <linux/completion.h>
  63777. #include <linux/delay.h>
  63778. +#include <linux/dma-mapping.h>
  63779. +#include <linux/dmaengine.h>
  63780. #include <linux/err.h>
  63781. #include <linux/interrupt.h>
  63782. #include <linux/io.h>
  63783. #include <linux/kernel.h>
  63784. #include <linux/module.h>
  63785. #include <linux/of.h>
  63786. -#include <linux/of_irq.h>
  63787. -#include <linux/of_gpio.h>
  63788. +#include <linux/of_address.h>
  63789. #include <linux/of_device.h>
  63790. +#include <linux/of_gpio.h>
  63791. +#include <linux/of_irq.h>
  63792. #include <linux/spi/spi.h>
  63793. /* SPI register offsets */
  63794. @@ -69,7 +73,8 @@
  63795. #define BCM2835_SPI_CS_CS_01 0x00000001
  63796. #define BCM2835_SPI_POLLING_LIMIT_US 30
  63797. -#define BCM2835_SPI_TIMEOUT_MS 30000
  63798. +#define BCM2835_SPI_POLLING_JIFFIES 2
  63799. +#define BCM2835_SPI_DMA_MIN_LENGTH 96
  63800. #define BCM2835_SPI_MODE_BITS (SPI_CPOL | SPI_CPHA | SPI_CS_HIGH \
  63801. | SPI_NO_CS | SPI_3WIRE)
  63802. @@ -83,6 +88,7 @@
  63803. u8 *rx_buf;
  63804. int tx_len;
  63805. int rx_len;
  63806. + bool dma_pending;
  63807. };
  63808. static inline u32 bcm2835_rd(struct bcm2835_spi *bs, unsigned reg)
  63809. @@ -128,12 +134,15 @@
  63810. /* Disable SPI interrupts and transfer */
  63811. cs &= ~(BCM2835_SPI_CS_INTR |
  63812. BCM2835_SPI_CS_INTD |
  63813. + BCM2835_SPI_CS_DMAEN |
  63814. BCM2835_SPI_CS_TA);
  63815. /* and reset RX/TX FIFOS */
  63816. cs |= BCM2835_SPI_CS_CLEAR_RX | BCM2835_SPI_CS_CLEAR_TX;
  63817. /* and reset the SPI_HW */
  63818. bcm2835_wr(bs, BCM2835_SPI_CS, cs);
  63819. + /* as well as DLEN */
  63820. + bcm2835_wr(bs, BCM2835_SPI_DLEN, 0);
  63821. }
  63822. static irqreturn_t bcm2835_spi_interrupt(int irq, void *dev_id)
  63823. @@ -157,42 +166,6 @@
  63824. return IRQ_HANDLED;
  63825. }
  63826. -static int bcm2835_spi_transfer_one_poll(struct spi_master *master,
  63827. - struct spi_device *spi,
  63828. - struct spi_transfer *tfr,
  63829. - u32 cs,
  63830. - unsigned long xfer_time_us)
  63831. -{
  63832. - struct bcm2835_spi *bs = spi_master_get_devdata(master);
  63833. - /* set timeout to 1 second of maximum polling */
  63834. - unsigned long timeout = jiffies + HZ;
  63835. -
  63836. - /* enable HW block without interrupts */
  63837. - bcm2835_wr(bs, BCM2835_SPI_CS, cs | BCM2835_SPI_CS_TA);
  63838. -
  63839. - /* loop until finished the transfer */
  63840. - while (bs->rx_len) {
  63841. - /* read from fifo as much as possible */
  63842. - bcm2835_rd_fifo(bs);
  63843. - /* fill in tx fifo as much as possible */
  63844. - bcm2835_wr_fifo(bs);
  63845. - /* if we still expect some data after the read,
  63846. - * check for a possible timeout
  63847. - */
  63848. - if (bs->rx_len && time_after(jiffies, timeout)) {
  63849. - /* Transfer complete - reset SPI HW */
  63850. - bcm2835_spi_reset_hw(master);
  63851. - /* and return timeout */
  63852. - return -ETIMEDOUT;
  63853. - }
  63854. - }
  63855. -
  63856. - /* Transfer complete - reset SPI HW */
  63857. - bcm2835_spi_reset_hw(master);
  63858. - /* and return without waiting for completion */
  63859. - return 0;
  63860. -}
  63861. -
  63862. static int bcm2835_spi_transfer_one_irq(struct spi_master *master,
  63863. struct spi_device *spi,
  63864. struct spi_transfer *tfr,
  63865. @@ -229,13 +202,337 @@
  63866. return 1;
  63867. }
  63868. +/*
  63869. + * DMA support
  63870. + *
  63871. + * this implementation has currently a few issues in so far as it does
  63872. + * not work arrount limitations of the HW.
  63873. + *
  63874. + * the main one being that DMA transfers are limited to 16 bit
  63875. + * (so 0 to 65535 bytes) by the SPI HW due to BCM2835_SPI_DLEN
  63876. + *
  63877. + * also we currently assume that the scatter-gather fragments are
  63878. + * all multiple of 4 (except the last) - otherwise we would need
  63879. + * to reset the FIFO before subsequent transfers...
  63880. + * this also means that tx/rx transfers sg's need to be of equal size!
  63881. + *
  63882. + * there may be a few more border-cases we may need to address as well
  63883. + * but unfortunately this would mean splitting up the scatter-gather
  63884. + * list making it slightly unpractical...
  63885. + */
  63886. +static void bcm2835_spi_dma_done(void *data)
  63887. +{
  63888. + struct spi_master *master = data;
  63889. + struct bcm2835_spi *bs = spi_master_get_devdata(master);
  63890. +
  63891. + /* reset fifo and HW */
  63892. + bcm2835_spi_reset_hw(master);
  63893. +
  63894. + /* and terminate tx-dma as we do not have an irq for it
  63895. + * because when the rx dma will terminate and this callback
  63896. + * is called the tx-dma must have finished - can't get to this
  63897. + * situation otherwise...
  63898. + */
  63899. + dmaengine_terminate_all(master->dma_tx);
  63900. +
  63901. + /* mark as no longer pending */
  63902. + bs->dma_pending = 0;
  63903. +
  63904. + /* and mark as completed */;
  63905. + complete(&master->xfer_completion);
  63906. +}
  63907. +
  63908. +static int bcm2835_spi_prepare_sg(struct spi_master *master,
  63909. + struct spi_transfer *tfr,
  63910. + bool is_tx)
  63911. +{
  63912. + struct dma_chan *chan;
  63913. + struct scatterlist *sgl;
  63914. + unsigned int nents;
  63915. + enum dma_transfer_direction dir;
  63916. + unsigned long flags;
  63917. +
  63918. + struct dma_async_tx_descriptor *desc;
  63919. + dma_cookie_t cookie;
  63920. +
  63921. + if (is_tx) {
  63922. + dir = DMA_MEM_TO_DEV;
  63923. + chan = master->dma_tx;
  63924. + nents = tfr->tx_sg.nents;
  63925. + sgl = tfr->tx_sg.sgl;
  63926. + flags = 0 /* no tx interrupt */;
  63927. +
  63928. + } else {
  63929. + dir = DMA_DEV_TO_MEM;
  63930. + chan = master->dma_rx;
  63931. + nents = tfr->rx_sg.nents;
  63932. + sgl = tfr->rx_sg.sgl;
  63933. + flags = DMA_PREP_INTERRUPT;
  63934. + }
  63935. + /* prepare the channel */
  63936. + desc = dmaengine_prep_slave_sg(chan, sgl, nents, dir, flags);
  63937. + if (!desc)
  63938. + return -EINVAL;
  63939. +
  63940. + /* set callback for rx */
  63941. + if (!is_tx) {
  63942. + desc->callback = bcm2835_spi_dma_done;
  63943. + desc->callback_param = master;
  63944. + }
  63945. +
  63946. + /* submit it to DMA-engine */
  63947. + cookie = dmaengine_submit(desc);
  63948. +
  63949. + return dma_submit_error(cookie);
  63950. +}
  63951. +
  63952. +static inline int bcm2835_check_sg_length(struct sg_table *sgt)
  63953. +{
  63954. + int i;
  63955. + struct scatterlist *sgl;
  63956. +
  63957. + /* check that the sg entries are word-sized (except for last) */
  63958. + for_each_sg(sgt->sgl, sgl, (int)sgt->nents - 1, i) {
  63959. + if (sg_dma_len(sgl) % 4)
  63960. + return -EFAULT;
  63961. + }
  63962. +
  63963. + return 0;
  63964. +}
  63965. +
  63966. +static int bcm2835_spi_transfer_one_dma(struct spi_master *master,
  63967. + struct spi_device *spi,
  63968. + struct spi_transfer *tfr,
  63969. + u32 cs)
  63970. +{
  63971. + struct bcm2835_spi *bs = spi_master_get_devdata(master);
  63972. + int ret;
  63973. +
  63974. + /* check that the scatter gather segments are all a multiple of 4 */
  63975. + if (bcm2835_check_sg_length(&tfr->tx_sg) ||
  63976. + bcm2835_check_sg_length(&tfr->rx_sg)) {
  63977. + dev_warn_once(&spi->dev,
  63978. + "scatter gather segment length is not a multiple of 4 - falling back to interrupt mode\n");
  63979. + return bcm2835_spi_transfer_one_irq(master, spi, tfr, cs);
  63980. + }
  63981. +
  63982. + /* setup tx-DMA */
  63983. + ret = bcm2835_spi_prepare_sg(master, tfr, true);
  63984. + if (ret)
  63985. + return ret;
  63986. +
  63987. + /* start TX early */
  63988. + dma_async_issue_pending(master->dma_tx);
  63989. +
  63990. + /* mark as dma pending */
  63991. + bs->dma_pending = 1;
  63992. +
  63993. + /* set the DMA length */
  63994. + bcm2835_wr(bs, BCM2835_SPI_DLEN, tfr->len);
  63995. +
  63996. + /* start the HW */
  63997. + bcm2835_wr(bs, BCM2835_SPI_CS,
  63998. + cs | BCM2835_SPI_CS_TA | BCM2835_SPI_CS_DMAEN);
  63999. +
  64000. + /* setup rx-DMA late - to run transfers while
  64001. + * mapping of the rx buffers still takes place
  64002. + * this saves 10us or more.
  64003. + */
  64004. + ret = bcm2835_spi_prepare_sg(master, tfr, false);
  64005. + if (ret) {
  64006. + /* need to reset on errors */
  64007. + dmaengine_terminate_all(master->dma_tx);
  64008. + bcm2835_spi_reset_hw(master);
  64009. + return ret;
  64010. + }
  64011. +
  64012. + /* start rx dma late */
  64013. + dma_async_issue_pending(master->dma_rx);
  64014. +
  64015. + /* wait for wakeup in framework */
  64016. + return 1;
  64017. +}
  64018. +
  64019. +static bool bcm2835_spi_can_dma(struct spi_master *master,
  64020. + struct spi_device *spi,
  64021. + struct spi_transfer *tfr)
  64022. +{
  64023. + /* only run for gpio_cs */
  64024. + if (!gpio_is_valid(spi->cs_gpio))
  64025. + return false;
  64026. +
  64027. + /* we start DMA efforts only on bigger transfers */
  64028. + if (tfr->len < BCM2835_SPI_DMA_MIN_LENGTH)
  64029. + return false;
  64030. +
  64031. + /* BCM2835_SPI_DLEN has defined a max transfer size as
  64032. + * 16 bit, so max is 65535
  64033. + * we can revisit this by using an alternative transfer
  64034. + * method - ideally this would get done without any more
  64035. + * interaction...
  64036. + */
  64037. + if (tfr->len > 65535) {
  64038. + dev_warn_once(&spi->dev,
  64039. + "transfer size of %d too big for dma-transfer\n",
  64040. + tfr->len);
  64041. + return false;
  64042. + }
  64043. +
  64044. + /* if we run rx/tx_buf with word aligned addresses then we are OK */
  64045. + if ((((size_t)tfr->rx_buf & 3) == 0) &&
  64046. + (((size_t)tfr->tx_buf & 3) == 0))
  64047. + return true;
  64048. +
  64049. + /* otherwise we only allow transfers within the same page
  64050. + * to avoid wasting time on dma_mapping when it is not practical
  64051. + */
  64052. + if (((size_t)tfr->tx_buf & (PAGE_SIZE - 1)) + tfr->len > PAGE_SIZE) {
  64053. + dev_warn_once(&spi->dev,
  64054. + "Unaligned spi tx-transfer bridging page\n");
  64055. + return false;
  64056. + }
  64057. + if (((size_t)tfr->rx_buf & (PAGE_SIZE - 1)) + tfr->len > PAGE_SIZE) {
  64058. + dev_warn_once(&spi->dev,
  64059. + "Unaligned spi rx-transfer bridging page\n");
  64060. + return false;
  64061. + }
  64062. +
  64063. + /* return OK */
  64064. + return true;
  64065. +}
  64066. +
  64067. +static void bcm2835_dma_release(struct spi_master *master)
  64068. +{
  64069. + if (master->dma_tx) {
  64070. + dmaengine_terminate_all(master->dma_tx);
  64071. + dma_release_channel(master->dma_tx);
  64072. + master->dma_tx = NULL;
  64073. + }
  64074. + if (master->dma_rx) {
  64075. + dmaengine_terminate_all(master->dma_rx);
  64076. + dma_release_channel(master->dma_rx);
  64077. + master->dma_rx = NULL;
  64078. + }
  64079. +}
  64080. +
  64081. +static void bcm2835_dma_init(struct spi_master *master, struct device *dev)
  64082. +{
  64083. + struct dma_slave_config slave_config;
  64084. + const __be32 *addr;
  64085. + dma_addr_t dma_reg_base;
  64086. + int ret;
  64087. +
  64088. + /* base address in dma-space */
  64089. + addr = of_get_address(master->dev.of_node, 0, NULL, NULL);
  64090. + if (!addr) {
  64091. + dev_err(dev, "could not get DMA-register address - not using dma mode\n");
  64092. + goto err;
  64093. + }
  64094. + dma_reg_base = be32_to_cpup(addr);
  64095. +
  64096. + /* get tx/rx dma */
  64097. + master->dma_tx = dma_request_slave_channel(dev, "tx");
  64098. + if (!master->dma_tx) {
  64099. + dev_err(dev, "no tx-dma configuration found - not using dma mode\n");
  64100. + goto err;
  64101. + }
  64102. + master->dma_rx = dma_request_slave_channel(dev, "rx");
  64103. + if (!master->dma_rx) {
  64104. + dev_err(dev, "no rx-dma configuration found - not using dma mode\n");
  64105. + goto err_release;
  64106. + }
  64107. +
  64108. + /* configure DMAs */
  64109. + slave_config.direction = DMA_MEM_TO_DEV;
  64110. + slave_config.dst_addr = (u32)(dma_reg_base + BCM2835_SPI_FIFO);
  64111. + slave_config.dst_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  64112. +
  64113. + ret = dmaengine_slave_config(master->dma_tx, &slave_config);
  64114. + if (ret)
  64115. + goto err_config;
  64116. +
  64117. + slave_config.direction = DMA_DEV_TO_MEM;
  64118. + slave_config.src_addr = (u32)(dma_reg_base + BCM2835_SPI_FIFO);
  64119. + slave_config.src_addr_width = DMA_SLAVE_BUSWIDTH_4_BYTES;
  64120. +
  64121. + ret = dmaengine_slave_config(master->dma_rx, &slave_config);
  64122. + if (ret)
  64123. + goto err_config;
  64124. +
  64125. + /* all went well, so set can_dma */
  64126. + master->can_dma = bcm2835_spi_can_dma;
  64127. + master->max_dma_len = 65535; /* limitation by BCM2835_SPI_DLEN */
  64128. + /* need to do TX AND RX DMA, so we need dummy buffers */
  64129. + master->flags = SPI_MASTER_MUST_RX | SPI_MASTER_MUST_TX;
  64130. +
  64131. + return;
  64132. +
  64133. +err_config:
  64134. + dev_err(dev, "issue configuring dma: %d - not using DMA mode\n",
  64135. + ret);
  64136. +err_release:
  64137. + bcm2835_dma_release(master);
  64138. +err:
  64139. + return;
  64140. +}
  64141. +
  64142. +static int bcm2835_spi_transfer_one_poll(struct spi_master *master,
  64143. + struct spi_device *spi,
  64144. + struct spi_transfer *tfr,
  64145. + u32 cs,
  64146. + unsigned long long xfer_time_us)
  64147. +{
  64148. + struct bcm2835_spi *bs = spi_master_get_devdata(master);
  64149. + unsigned long timeout;
  64150. +
  64151. + /* enable HW block without interrupts */
  64152. + bcm2835_wr(bs, BCM2835_SPI_CS, cs | BCM2835_SPI_CS_TA);
  64153. +
  64154. + /* fill in the fifo before timeout calculations
  64155. + * if we are interrupted here, then the data is
  64156. + * getting transferred by the HW while we are interrupted
  64157. + */
  64158. + bcm2835_wr_fifo(bs);
  64159. +
  64160. + /* set the timeout */
  64161. + timeout = jiffies + BCM2835_SPI_POLLING_JIFFIES;
  64162. +
  64163. + /* loop until finished the transfer */
  64164. + while (bs->rx_len) {
  64165. + /* fill in tx fifo with remaining data */
  64166. + bcm2835_wr_fifo(bs);
  64167. +
  64168. + /* read from fifo as much as possible */
  64169. + bcm2835_rd_fifo(bs);
  64170. +
  64171. + /* if there is still data pending to read
  64172. + * then check the timeout
  64173. + */
  64174. + if (bs->rx_len && time_after(jiffies, timeout)) {
  64175. + dev_dbg_ratelimited(&spi->dev,
  64176. + "timeout period reached: jiffies: %lu remaining tx/rx: %d/%d - falling back to interrupt mode\n",
  64177. + jiffies - timeout,
  64178. + bs->tx_len, bs->rx_len);
  64179. + /* fall back to interrupt mode */
  64180. + return bcm2835_spi_transfer_one_irq(master, spi,
  64181. + tfr, cs);
  64182. + }
  64183. + }
  64184. +
  64185. + /* Transfer complete - reset SPI HW */
  64186. + bcm2835_spi_reset_hw(master);
  64187. + /* and return without waiting for completion */
  64188. + return 0;
  64189. +}
  64190. +
  64191. static int bcm2835_spi_transfer_one(struct spi_master *master,
  64192. struct spi_device *spi,
  64193. struct spi_transfer *tfr)
  64194. {
  64195. struct bcm2835_spi *bs = spi_master_get_devdata(master);
  64196. unsigned long spi_hz, clk_hz, cdiv;
  64197. - unsigned long spi_used_hz, xfer_time_us;
  64198. + unsigned long spi_used_hz;
  64199. + unsigned long long xfer_time_us;
  64200. u32 cs = bcm2835_rd(bs, BCM2835_SPI_CS);
  64201. /* set clock */
  64202. @@ -277,15 +574,21 @@
  64203. bs->rx_len = tfr->len;
  64204. /* calculate the estimated time in us the transfer runs */
  64205. - xfer_time_us = tfr->len
  64206. + xfer_time_us = (unsigned long long)tfr->len
  64207. * 9 /* clocks/byte - SPI-HW waits 1 clock after each byte */
  64208. - * 1000000 / spi_used_hz;
  64209. + * 1000000;
  64210. + do_div(xfer_time_us, spi_used_hz);
  64211. /* for short requests run polling*/
  64212. if (xfer_time_us <= BCM2835_SPI_POLLING_LIMIT_US)
  64213. return bcm2835_spi_transfer_one_poll(master, spi, tfr,
  64214. cs, xfer_time_us);
  64215. + /* run in dma mode if conditions are right */
  64216. + if (master->can_dma && bcm2835_spi_can_dma(master, spi, tfr))
  64217. + return bcm2835_spi_transfer_one_dma(master, spi, tfr, cs);
  64218. +
  64219. + /* run in interrupt-mode */
  64220. return bcm2835_spi_transfer_one_irq(master, spi, tfr, cs);
  64221. }
  64222. @@ -311,6 +614,15 @@
  64223. static void bcm2835_spi_handle_err(struct spi_master *master,
  64224. struct spi_message *msg)
  64225. {
  64226. + struct bcm2835_spi *bs = spi_master_get_devdata(master);
  64227. +
  64228. + /* if an error occurred and we have an active dma, then terminate */
  64229. + if (bs->dma_pending) {
  64230. + dmaengine_terminate_all(master->dma_tx);
  64231. + dmaengine_terminate_all(master->dma_rx);
  64232. + bs->dma_pending = 0;
  64233. + }
  64234. + /* and reset */
  64235. bcm2835_spi_reset_hw(master);
  64236. }
  64237. @@ -376,6 +688,8 @@
  64238. {
  64239. int err;
  64240. struct gpio_chip *chip;
  64241. + struct device_node *pins;
  64242. + u32 pingroup_index;
  64243. /*
  64244. * sanity checking the native-chipselects
  64245. */
  64246. @@ -392,15 +706,42 @@
  64247. "setup: only two native chip-selects are supported\n");
  64248. return -EINVAL;
  64249. }
  64250. - /* now translate native cs to GPIO */
  64251. - /* get the gpio chip for the base */
  64252. - chip = gpiochip_find("pinctrl-bcm2835", chip_match_name);
  64253. - if (!chip)
  64254. - return 0;
  64255. + /* now translate native cs to GPIO */
  64256. + /* first look for chip select pins in the devices pin groups */
  64257. + for (pingroup_index = 0;
  64258. + (pins = of_parse_phandle(spi->master->dev.of_node,
  64259. + "pinctrl-0",
  64260. + pingroup_index)) != 0;
  64261. + pingroup_index++) {
  64262. + u32 pin;
  64263. + u32 pin_index;
  64264. + for (pin_index = 0;
  64265. + of_property_read_u32_index(pins,
  64266. + "brcm,pins",
  64267. + pin_index,
  64268. + &pin) == 0;
  64269. + pin_index++) {
  64270. + if (((spi->chip_select == 0) &&
  64271. + ((pin == 8) || (pin == 36) || (pin == 46))) ||
  64272. + ((spi->chip_select == 1) &&
  64273. + ((pin == 7) || (pin == 35)))) {
  64274. + spi->cs_gpio = pin;
  64275. + break;
  64276. + }
  64277. + }
  64278. + of_node_put(pins);
  64279. + }
  64280. + /* if that fails, assume GPIOs 7-11 are used */
  64281. + if (!gpio_is_valid(spi->cs_gpio) ) {
  64282. + /* get the gpio chip for the base */
  64283. + chip = gpiochip_find("pinctrl-bcm2835", chip_match_name);
  64284. + if (!chip)
  64285. + return 0;
  64286. - /* and calculate the real CS */
  64287. - spi->cs_gpio = chip->base + 8 - spi->chip_select;
  64288. + /* and calculate the real CS */
  64289. + spi->cs_gpio = chip->base + 8 - spi->chip_select;
  64290. + }
  64291. /* and set up the "mode" and level */
  64292. dev_info(&spi->dev, "setting up native-CS%i as GPIO %i\n",
  64293. @@ -481,6 +822,8 @@
  64294. goto out_clk_disable;
  64295. }
  64296. + bcm2835_dma_init(master, &pdev->dev);
  64297. +
  64298. /* initialise the hardware with the default polarities */
  64299. bcm2835_wr(bs, BCM2835_SPI_CS,
  64300. BCM2835_SPI_CS_CLEAR_RX | BCM2835_SPI_CS_CLEAR_TX);
  64301. @@ -511,6 +854,8 @@
  64302. clk_disable_unprepare(bs->clk);
  64303. + bcm2835_dma_release(master);
  64304. +
  64305. return 0;
  64306. }
  64307. diff -Nur linux-4.1.13.orig/drivers/spi/spidev.c linux-rpi/drivers/spi/spidev.c
  64308. --- linux-4.1.13.orig/drivers/spi/spidev.c 2015-11-09 23:34:10.000000000 +0100
  64309. +++ linux-rpi/drivers/spi/spidev.c 2015-11-29 09:42:39.447130054 +0100
  64310. @@ -707,6 +707,7 @@
  64311. #ifdef CONFIG_OF
  64312. static const struct of_device_id spidev_dt_ids[] = {
  64313. { .compatible = "rohm,dh2228fv" },
  64314. + { .compatible = "spidev" },
  64315. {},
  64316. };
  64317. MODULE_DEVICE_TABLE(of, spidev_dt_ids);
  64318. diff -Nur linux-4.1.13.orig/drivers/staging/fbtft/fbtft-core.c linux-rpi/drivers/staging/fbtft/fbtft-core.c
  64319. --- linux-4.1.13.orig/drivers/staging/fbtft/fbtft-core.c 2015-11-09 23:34:10.000000000 +0100
  64320. +++ linux-rpi/drivers/staging/fbtft/fbtft-core.c 2015-11-29 09:42:39.491127130 +0100
  64321. @@ -1074,6 +1074,11 @@
  64322. p = of_prop_next_u32(prop, NULL, &val);
  64323. if (!p)
  64324. return -EINVAL;
  64325. +
  64326. + par->fbtftops.reset(par);
  64327. + if (par->gpio.cs != -1)
  64328. + gpio_set_value(par->gpio.cs, 0); /* Activate chip */
  64329. +
  64330. while (p) {
  64331. if (val & FBTFT_OF_INIT_CMD) {
  64332. val &= 0xFFFF;
  64333. diff -Nur linux-4.1.13.orig/drivers/staging/media/lirc/Kconfig linux-rpi/drivers/staging/media/lirc/Kconfig
  64334. --- linux-4.1.13.orig/drivers/staging/media/lirc/Kconfig 2015-11-09 23:34:10.000000000 +0100
  64335. +++ linux-rpi/drivers/staging/media/lirc/Kconfig 2015-11-29 09:42:39.643117031 +0100
  64336. @@ -32,6 +32,12 @@
  64337. help
  64338. Driver for Homebrew Parallel Port Receivers
  64339. +config LIRC_RPI
  64340. + tristate "Homebrew GPIO Port Receiver/Transmitter for the RaspberryPi"
  64341. + depends on LIRC
  64342. + help
  64343. + Driver for Homebrew GPIO Port Receiver/Transmitter for the RaspberryPi
  64344. +
  64345. config LIRC_SASEM
  64346. tristate "Sasem USB IR Remote"
  64347. depends on LIRC && USB
  64348. diff -Nur linux-4.1.13.orig/drivers/staging/media/lirc/lirc_rpi.c linux-rpi/drivers/staging/media/lirc/lirc_rpi.c
  64349. --- linux-4.1.13.orig/drivers/staging/media/lirc/lirc_rpi.c 1970-01-01 01:00:00.000000000 +0100
  64350. +++ linux-rpi/drivers/staging/media/lirc/lirc_rpi.c 2015-11-29 09:42:39.643117031 +0100
  64351. @@ -0,0 +1,765 @@
  64352. +/*
  64353. + * lirc_rpi.c
  64354. + *
  64355. + * lirc_rpi - Device driver that records pulse- and pause-lengths
  64356. + * (space-lengths) (just like the lirc_serial driver does)
  64357. + * between GPIO interrupt events on the Raspberry Pi.
  64358. + * Lots of code has been taken from the lirc_serial module,
  64359. + * so I would like say thanks to the authors.
  64360. + *
  64361. + * Copyright (C) 2012 Aron Robert Szabo <aron@reon.hu>,
  64362. + * Michael Bishop <cleverca22@gmail.com>
  64363. + * This program is free software; you can redistribute it and/or modify
  64364. + * it under the terms of the GNU General Public License as published by
  64365. + * the Free Software Foundation; either version 2 of the License, or
  64366. + * (at your option) any later version.
  64367. + *
  64368. + * This program is distributed in the hope that it will be useful,
  64369. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  64370. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  64371. + * GNU General Public License for more details.
  64372. + *
  64373. + * You should have received a copy of the GNU General Public License
  64374. + * along with this program; if not, write to the Free Software
  64375. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  64376. + */
  64377. +
  64378. +#include <linux/module.h>
  64379. +#include <linux/errno.h>
  64380. +#include <linux/interrupt.h>
  64381. +#include <linux/sched.h>
  64382. +#include <linux/kernel.h>
  64383. +#include <linux/time.h>
  64384. +#include <linux/timex.h>
  64385. +#include <linux/timekeeping.h>
  64386. +#include <linux/string.h>
  64387. +#include <linux/delay.h>
  64388. +#include <linux/platform_device.h>
  64389. +#include <linux/irq.h>
  64390. +#include <linux/spinlock.h>
  64391. +#include <media/lirc.h>
  64392. +#include <media/lirc_dev.h>
  64393. +#include <mach/gpio.h>
  64394. +#include <linux/gpio.h>
  64395. +#include <linux/of_platform.h>
  64396. +
  64397. +#include <linux/platform_data/bcm2708.h>
  64398. +
  64399. +#define LIRC_DRIVER_NAME "lirc_rpi"
  64400. +#define RBUF_LEN 256
  64401. +#define LIRC_TRANSMITTER_LATENCY 50
  64402. +
  64403. +#ifndef MAX_UDELAY_MS
  64404. +#define MAX_UDELAY_US 5000
  64405. +#else
  64406. +#define MAX_UDELAY_US (MAX_UDELAY_MS*1000)
  64407. +#endif
  64408. +
  64409. +#define dprintk(fmt, args...) \
  64410. + do { \
  64411. + if (debug) \
  64412. + printk(KERN_DEBUG LIRC_DRIVER_NAME ": " \
  64413. + fmt, ## args); \
  64414. + } while (0)
  64415. +
  64416. +/* module parameters */
  64417. +
  64418. +/* set the default GPIO input pin */
  64419. +static int gpio_in_pin = 18;
  64420. +/* set the default pull behaviour for input pin */
  64421. +static int gpio_in_pull = BCM2708_PULL_DOWN;
  64422. +/* set the default GPIO output pin */
  64423. +static int gpio_out_pin = 17;
  64424. +/* enable debugging messages */
  64425. +static bool debug;
  64426. +/* -1 = auto, 0 = active high, 1 = active low */
  64427. +static int sense = -1;
  64428. +/* use softcarrier by default */
  64429. +static bool softcarrier = 1;
  64430. +/* 0 = do not invert output, 1 = invert output */
  64431. +static bool invert = 0;
  64432. +
  64433. +struct gpio_chip *gpiochip;
  64434. +static int irq_num;
  64435. +
  64436. +/* forward declarations */
  64437. +static long send_pulse(unsigned long length);
  64438. +static void send_space(long length);
  64439. +static void lirc_rpi_exit(void);
  64440. +
  64441. +static struct platform_device *lirc_rpi_dev;
  64442. +static struct timeval lasttv = { 0, 0 };
  64443. +static struct lirc_buffer rbuf;
  64444. +static spinlock_t lock;
  64445. +
  64446. +/* initialized/set in init_timing_params() */
  64447. +static unsigned int freq = 38000;
  64448. +static unsigned int duty_cycle = 50;
  64449. +static unsigned long period;
  64450. +static unsigned long pulse_width;
  64451. +static unsigned long space_width;
  64452. +
  64453. +static void safe_udelay(unsigned long usecs)
  64454. +{
  64455. + while (usecs > MAX_UDELAY_US) {
  64456. + udelay(MAX_UDELAY_US);
  64457. + usecs -= MAX_UDELAY_US;
  64458. + }
  64459. + udelay(usecs);
  64460. +}
  64461. +
  64462. +static unsigned long read_current_us(void)
  64463. +{
  64464. + struct timespec now;
  64465. + getnstimeofday(&now);
  64466. + return (now.tv_sec * 1000000) + (now.tv_nsec/1000);
  64467. +}
  64468. +
  64469. +static int init_timing_params(unsigned int new_duty_cycle,
  64470. + unsigned int new_freq)
  64471. +{
  64472. + if (1000 * 1000000L / new_freq * new_duty_cycle / 100 <=
  64473. + LIRC_TRANSMITTER_LATENCY)
  64474. + return -EINVAL;
  64475. + if (1000 * 1000000L / new_freq * (100 - new_duty_cycle) / 100 <=
  64476. + LIRC_TRANSMITTER_LATENCY)
  64477. + return -EINVAL;
  64478. + duty_cycle = new_duty_cycle;
  64479. + freq = new_freq;
  64480. + period = 1000 * 1000000L / freq;
  64481. + pulse_width = period * duty_cycle / 100;
  64482. + space_width = period - pulse_width;
  64483. + dprintk("in init_timing_params, freq=%d pulse=%ld, "
  64484. + "space=%ld\n", freq, pulse_width, space_width);
  64485. + return 0;
  64486. +}
  64487. +
  64488. +static long send_pulse_softcarrier(unsigned long length)
  64489. +{
  64490. + int flag;
  64491. + unsigned long actual, target;
  64492. + unsigned long actual_us, initial_us, target_us;
  64493. +
  64494. + length *= 1000;
  64495. +
  64496. + actual = 0; target = 0; flag = 0;
  64497. + actual_us = read_current_us();
  64498. +
  64499. + while (actual < length) {
  64500. + if (flag) {
  64501. + gpiochip->set(gpiochip, gpio_out_pin, invert);
  64502. + target += space_width;
  64503. + } else {
  64504. + gpiochip->set(gpiochip, gpio_out_pin, !invert);
  64505. + target += pulse_width;
  64506. + }
  64507. + initial_us = actual_us;
  64508. + target_us = actual_us + (target - actual) / 1000;
  64509. + /*
  64510. + * Note - we've checked in ioctl that the pulse/space
  64511. + * widths are big enough so that d is > 0
  64512. + */
  64513. + if ((int)(target_us - actual_us) > 0)
  64514. + udelay(target_us - actual_us);
  64515. + actual_us = read_current_us();
  64516. + actual += (actual_us - initial_us) * 1000;
  64517. + flag = !flag;
  64518. + }
  64519. + return (actual-length) / 1000;
  64520. +}
  64521. +
  64522. +static long send_pulse(unsigned long length)
  64523. +{
  64524. + if (length <= 0)
  64525. + return 0;
  64526. +
  64527. + if (softcarrier) {
  64528. + return send_pulse_softcarrier(length);
  64529. + } else {
  64530. + gpiochip->set(gpiochip, gpio_out_pin, !invert);
  64531. + safe_udelay(length);
  64532. + return 0;
  64533. + }
  64534. +}
  64535. +
  64536. +static void send_space(long length)
  64537. +{
  64538. + gpiochip->set(gpiochip, gpio_out_pin, invert);
  64539. + if (length <= 0)
  64540. + return;
  64541. + safe_udelay(length);
  64542. +}
  64543. +
  64544. +static void rbwrite(int l)
  64545. +{
  64546. + if (lirc_buffer_full(&rbuf)) {
  64547. + /* no new signals will be accepted */
  64548. + dprintk("Buffer overrun\n");
  64549. + return;
  64550. + }
  64551. + lirc_buffer_write(&rbuf, (void *)&l);
  64552. +}
  64553. +
  64554. +static void frbwrite(int l)
  64555. +{
  64556. + /* simple noise filter */
  64557. + static int pulse, space;
  64558. + static unsigned int ptr;
  64559. +
  64560. + if (ptr > 0 && (l & PULSE_BIT)) {
  64561. + pulse += l & PULSE_MASK;
  64562. + if (pulse > 250) {
  64563. + rbwrite(space);
  64564. + rbwrite(pulse | PULSE_BIT);
  64565. + ptr = 0;
  64566. + pulse = 0;
  64567. + }
  64568. + return;
  64569. + }
  64570. + if (!(l & PULSE_BIT)) {
  64571. + if (ptr == 0) {
  64572. + if (l > 20000) {
  64573. + space = l;
  64574. + ptr++;
  64575. + return;
  64576. + }
  64577. + } else {
  64578. + if (l > 20000) {
  64579. + space += pulse;
  64580. + if (space > PULSE_MASK)
  64581. + space = PULSE_MASK;
  64582. + space += l;
  64583. + if (space > PULSE_MASK)
  64584. + space = PULSE_MASK;
  64585. + pulse = 0;
  64586. + return;
  64587. + }
  64588. + rbwrite(space);
  64589. + rbwrite(pulse | PULSE_BIT);
  64590. + ptr = 0;
  64591. + pulse = 0;
  64592. + }
  64593. + }
  64594. + rbwrite(l);
  64595. +}
  64596. +
  64597. +static irqreturn_t irq_handler(int i, void *blah, struct pt_regs *regs)
  64598. +{
  64599. + struct timeval tv;
  64600. + long deltv;
  64601. + int data;
  64602. + int signal;
  64603. +
  64604. + /* use the GPIO signal level */
  64605. + signal = gpiochip->get(gpiochip, gpio_in_pin);
  64606. +
  64607. + if (sense != -1) {
  64608. + /* get current time */
  64609. + do_gettimeofday(&tv);
  64610. +
  64611. + /* calc time since last interrupt in microseconds */
  64612. + deltv = tv.tv_sec-lasttv.tv_sec;
  64613. + if (tv.tv_sec < lasttv.tv_sec ||
  64614. + (tv.tv_sec == lasttv.tv_sec &&
  64615. + tv.tv_usec < lasttv.tv_usec)) {
  64616. + printk(KERN_WARNING LIRC_DRIVER_NAME
  64617. + ": AIEEEE: your clock just jumped backwards\n");
  64618. + printk(KERN_WARNING LIRC_DRIVER_NAME
  64619. + ": %d %d %lx %lx %lx %lx\n", signal, sense,
  64620. + tv.tv_sec, lasttv.tv_sec,
  64621. + tv.tv_usec, lasttv.tv_usec);
  64622. + data = PULSE_MASK;
  64623. + } else if (deltv > 15) {
  64624. + data = PULSE_MASK; /* really long time */
  64625. + if (!(signal^sense)) {
  64626. + /* sanity check */
  64627. + printk(KERN_WARNING LIRC_DRIVER_NAME
  64628. + ": AIEEEE: %d %d %lx %lx %lx %lx\n",
  64629. + signal, sense, tv.tv_sec, lasttv.tv_sec,
  64630. + tv.tv_usec, lasttv.tv_usec);
  64631. + /*
  64632. + * detecting pulse while this
  64633. + * MUST be a space!
  64634. + */
  64635. + sense = sense ? 0 : 1;
  64636. + }
  64637. + } else {
  64638. + data = (int) (deltv*1000000 +
  64639. + (tv.tv_usec - lasttv.tv_usec));
  64640. + }
  64641. + frbwrite(signal^sense ? data : (data|PULSE_BIT));
  64642. + lasttv = tv;
  64643. + wake_up_interruptible(&rbuf.wait_poll);
  64644. + }
  64645. +
  64646. + return IRQ_HANDLED;
  64647. +}
  64648. +
  64649. +static int is_right_chip(struct gpio_chip *chip, void *data)
  64650. +{
  64651. + dprintk("is_right_chip %s %d\n", chip->label, strcmp(data, chip->label));
  64652. +
  64653. + if (strcmp(data, chip->label) == 0)
  64654. + return 1;
  64655. + return 0;
  64656. +}
  64657. +
  64658. +static inline int read_bool_property(const struct device_node *np,
  64659. + const char *propname,
  64660. + bool *out_value)
  64661. +{
  64662. + u32 value = 0;
  64663. + int err = of_property_read_u32(np, propname, &value);
  64664. + if (err == 0)
  64665. + *out_value = (value != 0);
  64666. + return err;
  64667. +}
  64668. +
  64669. +static void read_pin_settings(struct device_node *node)
  64670. +{
  64671. + u32 pin;
  64672. + int index;
  64673. +
  64674. + for (index = 0;
  64675. + of_property_read_u32_index(
  64676. + node,
  64677. + "brcm,pins",
  64678. + index,
  64679. + &pin) == 0;
  64680. + index++) {
  64681. + u32 function;
  64682. + int err;
  64683. + err = of_property_read_u32_index(
  64684. + node,
  64685. + "brcm,function",
  64686. + index,
  64687. + &function);
  64688. + if (err == 0) {
  64689. + if (function == 1) /* Output */
  64690. + gpio_out_pin = pin;
  64691. + else if (function == 0) /* Input */
  64692. + gpio_in_pin = pin;
  64693. + }
  64694. + }
  64695. +}
  64696. +
  64697. +static int init_port(void)
  64698. +{
  64699. + int i, nlow, nhigh, ret;
  64700. + struct device_node *node;
  64701. +
  64702. + node = lirc_rpi_dev->dev.of_node;
  64703. +
  64704. + gpiochip = gpiochip_find("bcm2708_gpio", is_right_chip);
  64705. +
  64706. + /*
  64707. + * Because of the lack of a setpull function, only support
  64708. + * pinctrl-bcm2835 if using device tree.
  64709. + */
  64710. + if (!gpiochip && node)
  64711. + gpiochip = gpiochip_find("pinctrl-bcm2835", is_right_chip);
  64712. +
  64713. + if (!gpiochip) {
  64714. + pr_err(LIRC_DRIVER_NAME ": gpio chip not found!\n");
  64715. + return -ENODEV;
  64716. + }
  64717. +
  64718. + if (node) {
  64719. + struct device_node *pins_node;
  64720. +
  64721. + pins_node = of_parse_phandle(node, "pinctrl-0", 0);
  64722. + if (!pins_node) {
  64723. + printk(KERN_ERR LIRC_DRIVER_NAME
  64724. + ": pinctrl settings not found!\n");
  64725. + ret = -EINVAL;
  64726. + goto exit_init_port;
  64727. + }
  64728. +
  64729. + read_pin_settings(pins_node);
  64730. +
  64731. + of_property_read_u32(node, "rpi,sense", &sense);
  64732. +
  64733. + read_bool_property(node, "rpi,softcarrier", &softcarrier);
  64734. +
  64735. + read_bool_property(node, "rpi,invert", &invert);
  64736. +
  64737. + read_bool_property(node, "rpi,debug", &debug);
  64738. +
  64739. + }
  64740. + else
  64741. + {
  64742. + if (gpio_in_pin >= BCM2708_NR_GPIOS ||
  64743. + gpio_out_pin >= BCM2708_NR_GPIOS) {
  64744. + ret = -EINVAL;
  64745. + printk(KERN_ERR LIRC_DRIVER_NAME
  64746. + ": invalid GPIO pin(s) specified!\n");
  64747. + goto exit_init_port;
  64748. + }
  64749. +
  64750. + if (gpio_request(gpio_out_pin, LIRC_DRIVER_NAME " ir/out")) {
  64751. + printk(KERN_ALERT LIRC_DRIVER_NAME
  64752. + ": cant claim gpio pin %d\n", gpio_out_pin);
  64753. + ret = -ENODEV;
  64754. + goto exit_init_port;
  64755. + }
  64756. +
  64757. + if (gpio_request(gpio_in_pin, LIRC_DRIVER_NAME " ir/in")) {
  64758. + printk(KERN_ALERT LIRC_DRIVER_NAME
  64759. + ": cant claim gpio pin %d\n", gpio_in_pin);
  64760. + ret = -ENODEV;
  64761. + goto exit_gpio_free_out_pin;
  64762. + }
  64763. +
  64764. + bcm2708_gpio_setpull(gpiochip, gpio_in_pin, gpio_in_pull);
  64765. + gpiochip->direction_input(gpiochip, gpio_in_pin);
  64766. + gpiochip->direction_output(gpiochip, gpio_out_pin, 1);
  64767. + }
  64768. +
  64769. + gpiochip->set(gpiochip, gpio_out_pin, invert);
  64770. +
  64771. + irq_num = gpiochip->to_irq(gpiochip, gpio_in_pin);
  64772. + dprintk("to_irq %d\n", irq_num);
  64773. +
  64774. + /* if pin is high, then this must be an active low receiver. */
  64775. + if (sense == -1) {
  64776. + /* wait 1/2 sec for the power supply */
  64777. + msleep(500);
  64778. +
  64779. + /*
  64780. + * probe 9 times every 0.04s, collect "votes" for
  64781. + * active high/low
  64782. + */
  64783. + nlow = 0;
  64784. + nhigh = 0;
  64785. + for (i = 0; i < 9; i++) {
  64786. + if (gpiochip->get(gpiochip, gpio_in_pin))
  64787. + nlow++;
  64788. + else
  64789. + nhigh++;
  64790. + msleep(40);
  64791. + }
  64792. + sense = (nlow >= nhigh ? 1 : 0);
  64793. + printk(KERN_INFO LIRC_DRIVER_NAME
  64794. + ": auto-detected active %s receiver on GPIO pin %d\n",
  64795. + sense ? "low" : "high", gpio_in_pin);
  64796. + } else {
  64797. + printk(KERN_INFO LIRC_DRIVER_NAME
  64798. + ": manually using active %s receiver on GPIO pin %d\n",
  64799. + sense ? "low" : "high", gpio_in_pin);
  64800. + }
  64801. +
  64802. + return 0;
  64803. +
  64804. + exit_gpio_free_out_pin:
  64805. + gpio_free(gpio_out_pin);
  64806. +
  64807. + exit_init_port:
  64808. + return ret;
  64809. +}
  64810. +
  64811. +// called when the character device is opened
  64812. +static int set_use_inc(void *data)
  64813. +{
  64814. + int result;
  64815. +
  64816. + /* initialize timestamp */
  64817. + do_gettimeofday(&lasttv);
  64818. +
  64819. + result = request_irq(irq_num,
  64820. + (irq_handler_t) irq_handler,
  64821. + IRQ_TYPE_EDGE_RISING | IRQ_TYPE_EDGE_FALLING,
  64822. + LIRC_DRIVER_NAME, (void*) 0);
  64823. +
  64824. + switch (result) {
  64825. + case -EBUSY:
  64826. + printk(KERN_ERR LIRC_DRIVER_NAME
  64827. + ": IRQ %d is busy\n",
  64828. + irq_num);
  64829. + return -EBUSY;
  64830. + case -EINVAL:
  64831. + printk(KERN_ERR LIRC_DRIVER_NAME
  64832. + ": Bad irq number or handler\n");
  64833. + return -EINVAL;
  64834. + default:
  64835. + dprintk("Interrupt %d obtained\n",
  64836. + irq_num);
  64837. + break;
  64838. + };
  64839. +
  64840. + /* initialize pulse/space widths */
  64841. + init_timing_params(duty_cycle, freq);
  64842. +
  64843. + return 0;
  64844. +}
  64845. +
  64846. +static void set_use_dec(void *data)
  64847. +{
  64848. + /* GPIO Pin Falling/Rising Edge Detect Disable */
  64849. + irq_set_irq_type(irq_num, 0);
  64850. + disable_irq(irq_num);
  64851. +
  64852. + free_irq(irq_num, (void *) 0);
  64853. +
  64854. + dprintk(KERN_INFO LIRC_DRIVER_NAME
  64855. + ": freed IRQ %d\n", irq_num);
  64856. +}
  64857. +
  64858. +static ssize_t lirc_write(struct file *file, const char *buf,
  64859. + size_t n, loff_t *ppos)
  64860. +{
  64861. + int i, count;
  64862. + unsigned long flags;
  64863. + long delta = 0;
  64864. + int *wbuf;
  64865. +
  64866. + count = n / sizeof(int);
  64867. + if (n % sizeof(int) || count % 2 == 0)
  64868. + return -EINVAL;
  64869. + wbuf = memdup_user(buf, n);
  64870. + if (IS_ERR(wbuf))
  64871. + return PTR_ERR(wbuf);
  64872. + spin_lock_irqsave(&lock, flags);
  64873. +
  64874. + for (i = 0; i < count; i++) {
  64875. + if (i%2)
  64876. + send_space(wbuf[i] - delta);
  64877. + else
  64878. + delta = send_pulse(wbuf[i]);
  64879. + }
  64880. + gpiochip->set(gpiochip, gpio_out_pin, invert);
  64881. +
  64882. + spin_unlock_irqrestore(&lock, flags);
  64883. + kfree(wbuf);
  64884. + return n;
  64885. +}
  64886. +
  64887. +static long lirc_ioctl(struct file *filep, unsigned int cmd, unsigned long arg)
  64888. +{
  64889. + int result;
  64890. + __u32 value;
  64891. +
  64892. + switch (cmd) {
  64893. + case LIRC_GET_SEND_MODE:
  64894. + return -ENOIOCTLCMD;
  64895. + break;
  64896. +
  64897. + case LIRC_SET_SEND_MODE:
  64898. + result = get_user(value, (__u32 *) arg);
  64899. + if (result)
  64900. + return result;
  64901. + /* only LIRC_MODE_PULSE supported */
  64902. + if (value != LIRC_MODE_PULSE)
  64903. + return -ENOSYS;
  64904. + break;
  64905. +
  64906. + case LIRC_GET_LENGTH:
  64907. + return -ENOSYS;
  64908. + break;
  64909. +
  64910. + case LIRC_SET_SEND_DUTY_CYCLE:
  64911. + dprintk("SET_SEND_DUTY_CYCLE\n");
  64912. + result = get_user(value, (__u32 *) arg);
  64913. + if (result)
  64914. + return result;
  64915. + if (value <= 0 || value > 100)
  64916. + return -EINVAL;
  64917. + return init_timing_params(value, freq);
  64918. + break;
  64919. +
  64920. + case LIRC_SET_SEND_CARRIER:
  64921. + dprintk("SET_SEND_CARRIER\n");
  64922. + result = get_user(value, (__u32 *) arg);
  64923. + if (result)
  64924. + return result;
  64925. + if (value > 500000 || value < 20000)
  64926. + return -EINVAL;
  64927. + return init_timing_params(duty_cycle, value);
  64928. + break;
  64929. +
  64930. + default:
  64931. + return lirc_dev_fop_ioctl(filep, cmd, arg);
  64932. + }
  64933. + return 0;
  64934. +}
  64935. +
  64936. +static const struct file_operations lirc_fops = {
  64937. + .owner = THIS_MODULE,
  64938. + .write = lirc_write,
  64939. + .unlocked_ioctl = lirc_ioctl,
  64940. + .read = lirc_dev_fop_read,
  64941. + .poll = lirc_dev_fop_poll,
  64942. + .open = lirc_dev_fop_open,
  64943. + .release = lirc_dev_fop_close,
  64944. + .llseek = no_llseek,
  64945. +};
  64946. +
  64947. +static struct lirc_driver driver = {
  64948. + .name = LIRC_DRIVER_NAME,
  64949. + .minor = -1,
  64950. + .code_length = 1,
  64951. + .sample_rate = 0,
  64952. + .data = NULL,
  64953. + .add_to_buf = NULL,
  64954. + .rbuf = &rbuf,
  64955. + .set_use_inc = set_use_inc,
  64956. + .set_use_dec = set_use_dec,
  64957. + .fops = &lirc_fops,
  64958. + .dev = NULL,
  64959. + .owner = THIS_MODULE,
  64960. +};
  64961. +
  64962. +static const struct of_device_id lirc_rpi_of_match[] = {
  64963. + { .compatible = "rpi,lirc-rpi", },
  64964. + {},
  64965. +};
  64966. +MODULE_DEVICE_TABLE(of, lirc_rpi_of_match);
  64967. +
  64968. +static struct platform_driver lirc_rpi_driver = {
  64969. + .driver = {
  64970. + .name = LIRC_DRIVER_NAME,
  64971. + .owner = THIS_MODULE,
  64972. + .of_match_table = of_match_ptr(lirc_rpi_of_match),
  64973. + },
  64974. +};
  64975. +
  64976. +static int __init lirc_rpi_init(void)
  64977. +{
  64978. + struct device_node *node;
  64979. + int result;
  64980. +
  64981. + /* Init read buffer. */
  64982. + result = lirc_buffer_init(&rbuf, sizeof(int), RBUF_LEN);
  64983. + if (result < 0)
  64984. + return -ENOMEM;
  64985. +
  64986. + result = platform_driver_register(&lirc_rpi_driver);
  64987. + if (result) {
  64988. + printk(KERN_ERR LIRC_DRIVER_NAME
  64989. + ": lirc register returned %d\n", result);
  64990. + goto exit_buffer_free;
  64991. + }
  64992. +
  64993. + node = of_find_compatible_node(NULL, NULL,
  64994. + lirc_rpi_of_match[0].compatible);
  64995. +
  64996. + if (node) {
  64997. + /* DT-enabled */
  64998. + lirc_rpi_dev = of_find_device_by_node(node);
  64999. + WARN_ON(lirc_rpi_dev->dev.of_node != node);
  65000. + of_node_put(node);
  65001. + }
  65002. + else {
  65003. + lirc_rpi_dev = platform_device_alloc(LIRC_DRIVER_NAME, 0);
  65004. + if (!lirc_rpi_dev) {
  65005. + result = -ENOMEM;
  65006. + goto exit_driver_unregister;
  65007. + }
  65008. +
  65009. + result = platform_device_add(lirc_rpi_dev);
  65010. + if (result)
  65011. + goto exit_device_put;
  65012. + }
  65013. +
  65014. + return 0;
  65015. +
  65016. + exit_device_put:
  65017. + platform_device_put(lirc_rpi_dev);
  65018. +
  65019. + exit_driver_unregister:
  65020. + platform_driver_unregister(&lirc_rpi_driver);
  65021. +
  65022. + exit_buffer_free:
  65023. + lirc_buffer_free(&rbuf);
  65024. +
  65025. + return result;
  65026. +}
  65027. +
  65028. +static void lirc_rpi_exit(void)
  65029. +{
  65030. + if (!lirc_rpi_dev->dev.of_node)
  65031. + platform_device_unregister(lirc_rpi_dev);
  65032. + platform_driver_unregister(&lirc_rpi_driver);
  65033. + lirc_buffer_free(&rbuf);
  65034. +}
  65035. +
  65036. +static int __init lirc_rpi_init_module(void)
  65037. +{
  65038. + int result;
  65039. +
  65040. + result = lirc_rpi_init();
  65041. + if (result)
  65042. + return result;
  65043. +
  65044. + result = init_port();
  65045. + if (result < 0)
  65046. + goto exit_rpi;
  65047. +
  65048. + driver.features = LIRC_CAN_SET_SEND_DUTY_CYCLE |
  65049. + LIRC_CAN_SET_SEND_CARRIER |
  65050. + LIRC_CAN_SEND_PULSE |
  65051. + LIRC_CAN_REC_MODE2;
  65052. +
  65053. + driver.dev = &lirc_rpi_dev->dev;
  65054. + driver.minor = lirc_register_driver(&driver);
  65055. +
  65056. + if (driver.minor < 0) {
  65057. + printk(KERN_ERR LIRC_DRIVER_NAME
  65058. + ": device registration failed with %d\n", result);
  65059. + result = -EIO;
  65060. + goto exit_rpi;
  65061. + }
  65062. +
  65063. + printk(KERN_INFO LIRC_DRIVER_NAME ": driver registered!\n");
  65064. +
  65065. + return 0;
  65066. +
  65067. + exit_rpi:
  65068. + lirc_rpi_exit();
  65069. +
  65070. + return result;
  65071. +}
  65072. +
  65073. +static void __exit lirc_rpi_exit_module(void)
  65074. +{
  65075. + lirc_unregister_driver(driver.minor);
  65076. +
  65077. + gpio_free(gpio_out_pin);
  65078. + gpio_free(gpio_in_pin);
  65079. +
  65080. + lirc_rpi_exit();
  65081. +
  65082. + printk(KERN_INFO LIRC_DRIVER_NAME ": cleaned up module\n");
  65083. +}
  65084. +
  65085. +module_init(lirc_rpi_init_module);
  65086. +module_exit(lirc_rpi_exit_module);
  65087. +
  65088. +MODULE_DESCRIPTION("Infra-red receiver and blaster driver for Raspberry Pi GPIO.");
  65089. +MODULE_AUTHOR("Aron Robert Szabo <aron@reon.hu>");
  65090. +MODULE_AUTHOR("Michael Bishop <cleverca22@gmail.com>");
  65091. +MODULE_LICENSE("GPL");
  65092. +
  65093. +module_param(gpio_out_pin, int, S_IRUGO);
  65094. +MODULE_PARM_DESC(gpio_out_pin, "GPIO output/transmitter pin number of the BCM"
  65095. + " processor. (default 17");
  65096. +
  65097. +module_param(gpio_in_pin, int, S_IRUGO);
  65098. +MODULE_PARM_DESC(gpio_in_pin, "GPIO input pin number of the BCM processor."
  65099. + " (default 18");
  65100. +
  65101. +module_param(gpio_in_pull, int, S_IRUGO);
  65102. +MODULE_PARM_DESC(gpio_in_pull, "GPIO input pin pull configuration."
  65103. + " (0 = off, 1 = up, 2 = down, default down)");
  65104. +
  65105. +module_param(sense, int, S_IRUGO);
  65106. +MODULE_PARM_DESC(sense, "Override autodetection of IR receiver circuit"
  65107. + " (0 = active high, 1 = active low )");
  65108. +
  65109. +module_param(softcarrier, bool, S_IRUGO);
  65110. +MODULE_PARM_DESC(softcarrier, "Software carrier (0 = off, 1 = on, default on)");
  65111. +
  65112. +module_param(invert, bool, S_IRUGO);
  65113. +MODULE_PARM_DESC(invert, "Invert output (0 = off, 1 = on, default off");
  65114. +
  65115. +module_param(debug, bool, S_IRUGO | S_IWUSR);
  65116. +MODULE_PARM_DESC(debug, "Enable debugging messages");
  65117. diff -Nur linux-4.1.13.orig/drivers/staging/media/lirc/Makefile linux-rpi/drivers/staging/media/lirc/Makefile
  65118. --- linux-4.1.13.orig/drivers/staging/media/lirc/Makefile 2015-11-09 23:34:10.000000000 +0100
  65119. +++ linux-rpi/drivers/staging/media/lirc/Makefile 2015-11-29 09:42:39.643117031 +0100
  65120. @@ -6,6 +6,7 @@
  65121. obj-$(CONFIG_LIRC_BT829) += lirc_bt829.o
  65122. obj-$(CONFIG_LIRC_IMON) += lirc_imon.o
  65123. obj-$(CONFIG_LIRC_PARALLEL) += lirc_parallel.o
  65124. +obj-$(CONFIG_LIRC_RPI) += lirc_rpi.o
  65125. obj-$(CONFIG_LIRC_SASEM) += lirc_sasem.o
  65126. obj-$(CONFIG_LIRC_SERIAL) += lirc_serial.o
  65127. obj-$(CONFIG_LIRC_SIR) += lirc_sir.o
  65128. diff -Nur linux-4.1.13.orig/drivers/thermal/bcm2835-thermal.c linux-rpi/drivers/thermal/bcm2835-thermal.c
  65129. --- linux-4.1.13.orig/drivers/thermal/bcm2835-thermal.c 1970-01-01 01:00:00.000000000 +0100
  65130. +++ linux-rpi/drivers/thermal/bcm2835-thermal.c 2015-11-29 09:42:39.795106932 +0100
  65131. @@ -0,0 +1,141 @@
  65132. +/*****************************************************************************
  65133. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  65134. +*
  65135. +* Unless you and Broadcom execute a separate written software license
  65136. +* agreement governing use of this software, this software is licensed to you
  65137. +* under the terms of the GNU General Public License version 2, available at
  65138. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  65139. +*
  65140. +* Notwithstanding the above, under no circumstances may you combine this
  65141. +* software in any way with any other Broadcom software provided under a
  65142. +* license other than the GPL, without Broadcom's express prior written
  65143. +* consent.
  65144. +*****************************************************************************/
  65145. +
  65146. +#include <linux/module.h>
  65147. +#include <linux/platform_device.h>
  65148. +#include <linux/thermal.h>
  65149. +#include <soc/bcm2835/raspberrypi-firmware.h>
  65150. +
  65151. +static int bcm2835_thermal_get_property(struct thermal_zone_device *tz,
  65152. + unsigned long *temp, u32 tag)
  65153. +{
  65154. + struct rpi_firmware *fw = tz->devdata;
  65155. + struct {
  65156. + u32 id;
  65157. + u32 val;
  65158. + } packet;
  65159. + int ret;
  65160. +
  65161. + *temp = 0;
  65162. + packet.id = 0;
  65163. + ret = rpi_firmware_property(fw, tag, &packet, sizeof(packet));
  65164. + if (ret) {
  65165. + dev_err(&tz->device, "Failed to get temperature\n");
  65166. + return ret;
  65167. + }
  65168. +
  65169. + *temp = packet.val;
  65170. + dev_dbg(&tz->device, "%stemp=%lu\n",
  65171. + tag == RPI_FIRMWARE_GET_MAX_TEMPERATURE ? "max" : "", *temp);
  65172. +
  65173. + return 0;
  65174. +}
  65175. +
  65176. +static int bcm2835_thermal_get_temp(struct thermal_zone_device *tz,
  65177. + unsigned long *temp)
  65178. +{
  65179. + return bcm2835_thermal_get_property(tz, temp,
  65180. + RPI_FIRMWARE_GET_TEMPERATURE);
  65181. +}
  65182. +
  65183. +static int bcm2835_thermal_get_max_temp(struct thermal_zone_device *tz,
  65184. + int trip, unsigned long *temp)
  65185. +{
  65186. + /*
  65187. + * The maximum safe temperature of the SoC.
  65188. + * Overclock may be disabled above this temperature.
  65189. + */
  65190. + return bcm2835_thermal_get_property(tz, temp,
  65191. + RPI_FIRMWARE_GET_MAX_TEMPERATURE);
  65192. +}
  65193. +
  65194. +static int bcm2835_thermal_get_trip_type(struct thermal_zone_device *tz,
  65195. + int trip, enum thermal_trip_type *type)
  65196. +{
  65197. + *type = THERMAL_TRIP_HOT;
  65198. +
  65199. + return 0;
  65200. +}
  65201. +
  65202. +static int bcm2835_thermal_get_mode(struct thermal_zone_device *tz,
  65203. + enum thermal_device_mode *mode)
  65204. +{
  65205. + *mode = THERMAL_DEVICE_ENABLED;
  65206. +
  65207. + return 0;
  65208. +}
  65209. +
  65210. +static struct thermal_zone_device_ops ops = {
  65211. + .get_temp = bcm2835_thermal_get_temp,
  65212. + .get_trip_temp = bcm2835_thermal_get_max_temp,
  65213. + .get_trip_type = bcm2835_thermal_get_trip_type,
  65214. + .get_mode = bcm2835_thermal_get_mode,
  65215. +};
  65216. +
  65217. +static int bcm2835_thermal_probe(struct platform_device *pdev)
  65218. +{
  65219. + struct device_node *fw_np;
  65220. + struct rpi_firmware *fw;
  65221. + struct thermal_zone_device *tz;
  65222. +
  65223. + fw_np = of_parse_phandle(pdev->dev.of_node, "firmware", 0);
  65224. +/* Remove comment when booting without Device Tree is no longer supported
  65225. + if (!fw_np) {
  65226. + dev_err(&pdev->dev, "Missing firmware node\n");
  65227. + return -ENOENT;
  65228. + }
  65229. +*/
  65230. + fw = rpi_firmware_get(fw_np);
  65231. + if (!fw)
  65232. + return -EPROBE_DEFER;
  65233. +
  65234. + tz = thermal_zone_device_register("bcm2835_thermal", 1, 0, fw, &ops,
  65235. + NULL, 0, 0);
  65236. + if (IS_ERR(tz)) {
  65237. + dev_err(&pdev->dev, "Failed to register the thermal device\n");
  65238. + return PTR_ERR(tz);
  65239. + }
  65240. +
  65241. + platform_set_drvdata(pdev, tz);
  65242. +
  65243. + return 0;
  65244. +}
  65245. +
  65246. +static int bcm2835_thermal_remove(struct platform_device *pdev)
  65247. +{
  65248. + thermal_zone_device_unregister(platform_get_drvdata(pdev));
  65249. +
  65250. + return 0;
  65251. +}
  65252. +
  65253. +static const struct of_device_id bcm2835_thermal_of_match_table[] = {
  65254. + { .compatible = "brcm,bcm2835-thermal", },
  65255. + {},
  65256. +};
  65257. +MODULE_DEVICE_TABLE(of, bcm2835_thermal_of_match_table);
  65258. +
  65259. +static struct platform_driver bcm2835_thermal_driver = {
  65260. + .probe = bcm2835_thermal_probe,
  65261. + .remove = bcm2835_thermal_remove,
  65262. + .driver = {
  65263. + .name = "bcm2835_thermal",
  65264. + .of_match_table = bcm2835_thermal_of_match_table,
  65265. + },
  65266. +};
  65267. +module_platform_driver(bcm2835_thermal_driver);
  65268. +
  65269. +MODULE_AUTHOR("Dorian Peake");
  65270. +MODULE_AUTHOR("Noralf Trønnes");
  65271. +MODULE_DESCRIPTION("Thermal driver for bcm2835 chip");
  65272. +MODULE_LICENSE("GPL");
  65273. diff -Nur linux-4.1.13.orig/drivers/thermal/Kconfig linux-rpi/drivers/thermal/Kconfig
  65274. --- linux-4.1.13.orig/drivers/thermal/Kconfig 2015-11-09 23:34:10.000000000 +0100
  65275. +++ linux-rpi/drivers/thermal/Kconfig 2015-11-29 09:42:39.795106932 +0100
  65276. @@ -238,6 +238,13 @@
  65277. enforce idle time which results in more package C-state residency. The
  65278. user interface is exposed via generic thermal framework.
  65279. +config THERMAL_BCM2835
  65280. + depends on RASPBERRYPI_FIRMWARE
  65281. + tristate "BCM2835 Thermal Driver"
  65282. + help
  65283. + This will enable temperature monitoring for the Broadcom BCM2835
  65284. + chip. If built as a module, it will be called 'bcm2835-thermal'.
  65285. +
  65286. config X86_PKG_TEMP_THERMAL
  65287. tristate "X86 package temperature thermal driver"
  65288. depends on X86_THERMAL_VECTOR
  65289. diff -Nur linux-4.1.13.orig/drivers/thermal/Makefile linux-rpi/drivers/thermal/Makefile
  65290. --- linux-4.1.13.orig/drivers/thermal/Makefile 2015-11-09 23:34:10.000000000 +0100
  65291. +++ linux-rpi/drivers/thermal/Makefile 2015-11-29 09:42:39.795106932 +0100
  65292. @@ -33,6 +33,7 @@
  65293. obj-$(CONFIG_IMX_THERMAL) += imx_thermal.o
  65294. obj-$(CONFIG_DB8500_CPUFREQ_COOLING) += db8500_cpufreq_cooling.o
  65295. obj-$(CONFIG_INTEL_POWERCLAMP) += intel_powerclamp.o
  65296. +obj-$(CONFIG_THERMAL_BCM2835) += bcm2835-thermal.o
  65297. obj-$(CONFIG_X86_PKG_TEMP_THERMAL) += x86_pkg_temp_thermal.o
  65298. obj-$(CONFIG_INTEL_SOC_DTS_THERMAL) += intel_soc_dts_thermal.o
  65299. obj-$(CONFIG_TI_SOC_THERMAL) += ti-soc-thermal/
  65300. diff -Nur linux-4.1.13.orig/drivers/tty/serial/8250/8250_core.c linux-rpi/drivers/tty/serial/8250/8250_core.c
  65301. --- linux-4.1.13.orig/drivers/tty/serial/8250/8250_core.c 2015-11-09 23:34:10.000000000 +0100
  65302. +++ linux-rpi/drivers/tty/serial/8250/8250_core.c 2015-11-29 09:42:39.811105869 +0100
  65303. @@ -3270,6 +3270,8 @@
  65304. if (nr_uarts > UART_NR)
  65305. nr_uarts = UART_NR;
  65306. + if (!nr_uarts)
  65307. + return;
  65308. for (i = 0; i < nr_uarts; i++) {
  65309. struct uart_8250_port *up = &serial8250_ports[i];
  65310. diff -Nur linux-4.1.13.orig/drivers/tty/serial/amba-pl011.c linux-rpi/drivers/tty/serial/amba-pl011.c
  65311. --- linux-4.1.13.orig/drivers/tty/serial/amba-pl011.c 2015-11-09 23:34:10.000000000 +0100
  65312. +++ linux-rpi/drivers/tty/serial/amba-pl011.c 2015-11-29 09:42:39.815105604 +0100
  65313. @@ -85,7 +85,7 @@
  65314. static unsigned int get_fifosize_arm(struct amba_device *dev)
  65315. {
  65316. - return amba_rev(dev) < 3 ? 16 : 32;
  65317. + return 16; //TODO: fix: amba_rev(dev) < 3 ? 16 : 32;
  65318. }
  65319. static struct vendor_data vendor_arm = {
  65320. diff -Nur linux-4.1.13.orig/drivers/usb/core/generic.c linux-rpi/drivers/usb/core/generic.c
  65321. --- linux-4.1.13.orig/drivers/usb/core/generic.c 2015-11-09 23:34:10.000000000 +0100
  65322. +++ linux-rpi/drivers/usb/core/generic.c 2015-11-29 09:42:39.871101883 +0100
  65323. @@ -152,6 +152,7 @@
  65324. dev_warn(&udev->dev,
  65325. "no configuration chosen from %d choice%s\n",
  65326. num_configs, plural(num_configs));
  65327. + dev_warn(&udev->dev, "No support over %dmA\n", udev->bus_mA);
  65328. }
  65329. return i;
  65330. }
  65331. diff -Nur linux-4.1.13.orig/drivers/usb/core/hub.c linux-rpi/drivers/usb/core/hub.c
  65332. --- linux-4.1.13.orig/drivers/usb/core/hub.c 2015-11-09 23:34:10.000000000 +0100
  65333. +++ linux-rpi/drivers/usb/core/hub.c 2015-11-29 09:42:39.875101617 +0100
  65334. @@ -4906,7 +4906,7 @@
  65335. if (portchange & USB_PORT_STAT_C_OVERCURRENT) {
  65336. u16 status = 0, unused;
  65337. - dev_dbg(&port_dev->dev, "over-current change\n");
  65338. + dev_notice(&port_dev->dev, "over-current change\n");
  65339. usb_clear_port_feature(hdev, port1,
  65340. USB_PORT_FEAT_C_OVER_CURRENT);
  65341. msleep(100); /* Cool down */
  65342. diff -Nur linux-4.1.13.orig/drivers/usb/core/message.c linux-rpi/drivers/usb/core/message.c
  65343. --- linux-4.1.13.orig/drivers/usb/core/message.c 2015-11-09 23:34:10.000000000 +0100
  65344. +++ linux-rpi/drivers/usb/core/message.c 2015-11-29 09:42:39.875101617 +0100
  65345. @@ -1872,6 +1872,85 @@
  65346. if (cp->string == NULL &&
  65347. !(dev->quirks & USB_QUIRK_CONFIG_INTF_STRINGS))
  65348. cp->string = usb_cache_string(dev, cp->desc.iConfiguration);
  65349. +/* Uncomment this define to enable the HS Electrical Test support */
  65350. +#define DWC_HS_ELECT_TST 1
  65351. +#ifdef DWC_HS_ELECT_TST
  65352. + /* Here we implement the HS Electrical Test support. The
  65353. + * tester uses a vendor ID of 0x1A0A to indicate we should
  65354. + * run a special test sequence. The product ID tells us
  65355. + * which sequence to run. We invoke the test sequence by
  65356. + * sending a non-standard SetFeature command to our root
  65357. + * hub port. Our dwc_otg_hcd_hub_control() routine will
  65358. + * recognize the command and perform the desired test
  65359. + * sequence.
  65360. + */
  65361. + if (dev->descriptor.idVendor == 0x1A0A) {
  65362. + /* HSOTG Electrical Test */
  65363. + dev_warn(&dev->dev, "VID from HSOTG Electrical Test Fixture\n");
  65364. +
  65365. + if (dev->bus && dev->bus->root_hub) {
  65366. + struct usb_device *hdev = dev->bus->root_hub;
  65367. + dev_warn(&dev->dev, "Got PID 0x%x\n", dev->descriptor.idProduct);
  65368. +
  65369. + switch (dev->descriptor.idProduct) {
  65370. + case 0x0101: /* TEST_SE0_NAK */
  65371. + dev_warn(&dev->dev, "TEST_SE0_NAK\n");
  65372. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65373. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65374. + USB_PORT_FEAT_TEST, 0x300, NULL, 0, HZ);
  65375. + break;
  65376. +
  65377. + case 0x0102: /* TEST_J */
  65378. + dev_warn(&dev->dev, "TEST_J\n");
  65379. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65380. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65381. + USB_PORT_FEAT_TEST, 0x100, NULL, 0, HZ);
  65382. + break;
  65383. +
  65384. + case 0x0103: /* TEST_K */
  65385. + dev_warn(&dev->dev, "TEST_K\n");
  65386. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65387. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65388. + USB_PORT_FEAT_TEST, 0x200, NULL, 0, HZ);
  65389. + break;
  65390. +
  65391. + case 0x0104: /* TEST_PACKET */
  65392. + dev_warn(&dev->dev, "TEST_PACKET\n");
  65393. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65394. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65395. + USB_PORT_FEAT_TEST, 0x400, NULL, 0, HZ);
  65396. + break;
  65397. +
  65398. + case 0x0105: /* TEST_FORCE_ENABLE */
  65399. + dev_warn(&dev->dev, "TEST_FORCE_ENABLE\n");
  65400. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65401. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65402. + USB_PORT_FEAT_TEST, 0x500, NULL, 0, HZ);
  65403. + break;
  65404. +
  65405. + case 0x0106: /* HS_HOST_PORT_SUSPEND_RESUME */
  65406. + dev_warn(&dev->dev, "HS_HOST_PORT_SUSPEND_RESUME\n");
  65407. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65408. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65409. + USB_PORT_FEAT_TEST, 0x600, NULL, 0, 40 * HZ);
  65410. + break;
  65411. +
  65412. + case 0x0107: /* SINGLE_STEP_GET_DEVICE_DESCRIPTOR setup */
  65413. + dev_warn(&dev->dev, "SINGLE_STEP_GET_DEVICE_DESCRIPTOR setup\n");
  65414. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65415. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65416. + USB_PORT_FEAT_TEST, 0x700, NULL, 0, 40 * HZ);
  65417. + break;
  65418. +
  65419. + case 0x0108: /* SINGLE_STEP_GET_DEVICE_DESCRIPTOR execute */
  65420. + dev_warn(&dev->dev, "SINGLE_STEP_GET_DEVICE_DESCRIPTOR execute\n");
  65421. + usb_control_msg(hdev, usb_sndctrlpipe(hdev, 0),
  65422. + USB_REQ_SET_FEATURE, USB_RT_PORT,
  65423. + USB_PORT_FEAT_TEST, 0x800, NULL, 0, 40 * HZ);
  65424. + }
  65425. + }
  65426. + }
  65427. +#endif /* DWC_HS_ELECT_TST */
  65428. /* Now that the interfaces are installed, re-enable LPM. */
  65429. usb_unlocked_enable_lpm(dev);
  65430. diff -Nur linux-4.1.13.orig/drivers/usb/core/otg_whitelist.h linux-rpi/drivers/usb/core/otg_whitelist.h
  65431. --- linux-4.1.13.orig/drivers/usb/core/otg_whitelist.h 2015-11-09 23:34:10.000000000 +0100
  65432. +++ linux-rpi/drivers/usb/core/otg_whitelist.h 2015-11-29 09:42:39.875101617 +0100
  65433. @@ -19,33 +19,82 @@
  65434. static struct usb_device_id whitelist_table [] = {
  65435. /* hubs are optional in OTG, but very handy ... */
  65436. +#define CERT_WITHOUT_HUBS
  65437. +#if defined(CERT_WITHOUT_HUBS)
  65438. +{ USB_DEVICE( 0x0000, 0x0000 ), }, /* Root HUB Only*/
  65439. +#else
  65440. { USB_DEVICE_INFO(USB_CLASS_HUB, 0, 0), },
  65441. { USB_DEVICE_INFO(USB_CLASS_HUB, 0, 1), },
  65442. +{ USB_DEVICE_INFO(USB_CLASS_HUB, 0, 2), },
  65443. +#endif
  65444. #ifdef CONFIG_USB_PRINTER /* ignoring nonstatic linkage! */
  65445. /* FIXME actually, printers are NOT supposed to use device classes;
  65446. * they're supposed to use interface classes...
  65447. */
  65448. -{ USB_DEVICE_INFO(7, 1, 1) },
  65449. -{ USB_DEVICE_INFO(7, 1, 2) },
  65450. -{ USB_DEVICE_INFO(7, 1, 3) },
  65451. +//{ USB_DEVICE_INFO(7, 1, 1) },
  65452. +//{ USB_DEVICE_INFO(7, 1, 2) },
  65453. +//{ USB_DEVICE_INFO(7, 1, 3) },
  65454. #endif
  65455. #ifdef CONFIG_USB_NET_CDCETHER
  65456. /* Linux-USB CDC Ethernet gadget */
  65457. -{ USB_DEVICE(0x0525, 0xa4a1), },
  65458. +//{ USB_DEVICE(0x0525, 0xa4a1), },
  65459. /* Linux-USB CDC Ethernet + RNDIS gadget */
  65460. -{ USB_DEVICE(0x0525, 0xa4a2), },
  65461. +//{ USB_DEVICE(0x0525, 0xa4a2), },
  65462. #endif
  65463. #if defined(CONFIG_USB_TEST) || defined(CONFIG_USB_TEST_MODULE)
  65464. /* gadget zero, for testing */
  65465. -{ USB_DEVICE(0x0525, 0xa4a0), },
  65466. +//{ USB_DEVICE(0x0525, 0xa4a0), },
  65467. #endif
  65468. +/* OPT Tester */
  65469. +{ USB_DEVICE( 0x1a0a, 0x0101 ), }, /* TEST_SE0_NAK */
  65470. +{ USB_DEVICE( 0x1a0a, 0x0102 ), }, /* Test_J */
  65471. +{ USB_DEVICE( 0x1a0a, 0x0103 ), }, /* Test_K */
  65472. +{ USB_DEVICE( 0x1a0a, 0x0104 ), }, /* Test_PACKET */
  65473. +{ USB_DEVICE( 0x1a0a, 0x0105 ), }, /* Test_FORCE_ENABLE */
  65474. +{ USB_DEVICE( 0x1a0a, 0x0106 ), }, /* HS_PORT_SUSPEND_RESUME */
  65475. +{ USB_DEVICE( 0x1a0a, 0x0107 ), }, /* SINGLE_STEP_GET_DESCRIPTOR setup */
  65476. +{ USB_DEVICE( 0x1a0a, 0x0108 ), }, /* SINGLE_STEP_GET_DESCRIPTOR execute */
  65477. +
  65478. +/* Sony cameras */
  65479. +{ USB_DEVICE_VER(0x054c,0x0010,0x0410, 0x0500), },
  65480. +
  65481. +/* Memory Devices */
  65482. +//{ USB_DEVICE( 0x0781, 0x5150 ), }, /* SanDisk */
  65483. +//{ USB_DEVICE( 0x05DC, 0x0080 ), }, /* Lexar */
  65484. +//{ USB_DEVICE( 0x4146, 0x9281 ), }, /* IOMEGA */
  65485. +//{ USB_DEVICE( 0x067b, 0x2507 ), }, /* Hammer 20GB External HD */
  65486. +{ USB_DEVICE( 0x0EA0, 0x2168 ), }, /* Ours Technology Inc. (BUFFALO ClipDrive)*/
  65487. +//{ USB_DEVICE( 0x0457, 0x0150 ), }, /* Silicon Integrated Systems Corp. */
  65488. +
  65489. +/* HP Printers */
  65490. +//{ USB_DEVICE( 0x03F0, 0x1102 ), }, /* HP Photosmart 245 */
  65491. +//{ USB_DEVICE( 0x03F0, 0x1302 ), }, /* HP Photosmart 370 Series */
  65492. +
  65493. +/* Speakers */
  65494. +//{ USB_DEVICE( 0x0499, 0x3002 ), }, /* YAMAHA YST-MS35D USB Speakers */
  65495. +//{ USB_DEVICE( 0x0672, 0x1041 ), }, /* Labtec USB Headset */
  65496. +
  65497. { } /* Terminating entry */
  65498. };
  65499. +static inline void report_errors(struct usb_device *dev)
  65500. +{
  65501. + /* OTG MESSAGE: report errors here, customize to match your product */
  65502. + dev_info(&dev->dev, "device Vendor:%04x Product:%04x is not supported\n",
  65503. + le16_to_cpu(dev->descriptor.idVendor),
  65504. + le16_to_cpu(dev->descriptor.idProduct));
  65505. + if (USB_CLASS_HUB == dev->descriptor.bDeviceClass){
  65506. + dev_printk(KERN_CRIT, &dev->dev, "Unsupported Hub Topology\n");
  65507. + } else {
  65508. + dev_printk(KERN_CRIT, &dev->dev, "Attached Device is not Supported\n");
  65509. + }
  65510. +}
  65511. +
  65512. +
  65513. static int is_targeted(struct usb_device *dev)
  65514. {
  65515. struct usb_device_id *id = whitelist_table;
  65516. @@ -95,16 +144,57 @@
  65517. continue;
  65518. return 1;
  65519. - }
  65520. + /* NOTE: can't use usb_match_id() since interface caches
  65521. + * aren't set up yet. this is cut/paste from that code.
  65522. + */
  65523. + for (id = whitelist_table; id->match_flags; id++) {
  65524. +#ifdef DEBUG
  65525. + dev_dbg(&dev->dev,
  65526. + "ID: V:%04x P:%04x DC:%04x SC:%04x PR:%04x \n",
  65527. + id->idVendor,
  65528. + id->idProduct,
  65529. + id->bDeviceClass,
  65530. + id->bDeviceSubClass,
  65531. + id->bDeviceProtocol);
  65532. +#endif
  65533. - /* add other match criteria here ... */
  65534. + if ((id->match_flags & USB_DEVICE_ID_MATCH_VENDOR) &&
  65535. + id->idVendor != le16_to_cpu(dev->descriptor.idVendor))
  65536. + continue;
  65537. +
  65538. + if ((id->match_flags & USB_DEVICE_ID_MATCH_PRODUCT) &&
  65539. + id->idProduct != le16_to_cpu(dev->descriptor.idProduct))
  65540. + continue;
  65541. +
  65542. + /* No need to test id->bcdDevice_lo != 0, since 0 is never
  65543. + greater than any unsigned number. */
  65544. + if ((id->match_flags & USB_DEVICE_ID_MATCH_DEV_LO) &&
  65545. + (id->bcdDevice_lo > le16_to_cpu(dev->descriptor.bcdDevice)))
  65546. + continue;
  65547. +
  65548. + if ((id->match_flags & USB_DEVICE_ID_MATCH_DEV_HI) &&
  65549. + (id->bcdDevice_hi < le16_to_cpu(dev->descriptor.bcdDevice)))
  65550. + continue;
  65551. +
  65552. + if ((id->match_flags & USB_DEVICE_ID_MATCH_DEV_CLASS) &&
  65553. + (id->bDeviceClass != dev->descriptor.bDeviceClass))
  65554. + continue;
  65555. +
  65556. + if ((id->match_flags & USB_DEVICE_ID_MATCH_DEV_SUBCLASS) &&
  65557. + (id->bDeviceSubClass != dev->descriptor.bDeviceSubClass))
  65558. + continue;
  65559. +
  65560. + if ((id->match_flags & USB_DEVICE_ID_MATCH_DEV_PROTOCOL) &&
  65561. + (id->bDeviceProtocol != dev->descriptor.bDeviceProtocol))
  65562. + continue;
  65563. + return 1;
  65564. + }
  65565. + }
  65566. - /* OTG MESSAGE: report errors here, customize to match your product */
  65567. - dev_err(&dev->dev, "device v%04x p%04x is not supported\n",
  65568. - le16_to_cpu(dev->descriptor.idVendor),
  65569. - le16_to_cpu(dev->descriptor.idProduct));
  65570. + /* add other match criteria here ... */
  65571. + report_errors(dev);
  65572. return 0;
  65573. }
  65574. diff -Nur linux-4.1.13.orig/drivers/usb/gadget/file_storage.c linux-rpi/drivers/usb/gadget/file_storage.c
  65575. --- linux-4.1.13.orig/drivers/usb/gadget/file_storage.c 1970-01-01 01:00:00.000000000 +0100
  65576. +++ linux-rpi/drivers/usb/gadget/file_storage.c 2015-11-29 09:42:39.887100820 +0100
  65577. @@ -0,0 +1,3676 @@
  65578. +/*
  65579. + * file_storage.c -- File-backed USB Storage Gadget, for USB development
  65580. + *
  65581. + * Copyright (C) 2003-2008 Alan Stern
  65582. + * All rights reserved.
  65583. + *
  65584. + * Redistribution and use in source and binary forms, with or without
  65585. + * modification, are permitted provided that the following conditions
  65586. + * are met:
  65587. + * 1. Redistributions of source code must retain the above copyright
  65588. + * notice, this list of conditions, and the following disclaimer,
  65589. + * without modification.
  65590. + * 2. Redistributions in binary form must reproduce the above copyright
  65591. + * notice, this list of conditions and the following disclaimer in the
  65592. + * documentation and/or other materials provided with the distribution.
  65593. + * 3. The names of the above-listed copyright holders may not be used
  65594. + * to endorse or promote products derived from this software without
  65595. + * specific prior written permission.
  65596. + *
  65597. + * ALTERNATIVELY, this software may be distributed under the terms of the
  65598. + * GNU General Public License ("GPL") as published by the Free Software
  65599. + * Foundation, either version 2 of that License or (at your option) any
  65600. + * later version.
  65601. + *
  65602. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  65603. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  65604. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  65605. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  65606. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  65607. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  65608. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  65609. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  65610. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  65611. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  65612. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  65613. + */
  65614. +
  65615. +
  65616. +/*
  65617. + * The File-backed Storage Gadget acts as a USB Mass Storage device,
  65618. + * appearing to the host as a disk drive or as a CD-ROM drive. In addition
  65619. + * to providing an example of a genuinely useful gadget driver for a USB
  65620. + * device, it also illustrates a technique of double-buffering for increased
  65621. + * throughput. Last but not least, it gives an easy way to probe the
  65622. + * behavior of the Mass Storage drivers in a USB host.
  65623. + *
  65624. + * Backing storage is provided by a regular file or a block device, specified
  65625. + * by the "file" module parameter. Access can be limited to read-only by
  65626. + * setting the optional "ro" module parameter. (For CD-ROM emulation,
  65627. + * access is always read-only.) The gadget will indicate that it has
  65628. + * removable media if the optional "removable" module parameter is set.
  65629. + *
  65630. + * The gadget supports the Control-Bulk (CB), Control-Bulk-Interrupt (CBI),
  65631. + * and Bulk-Only (also known as Bulk-Bulk-Bulk or BBB) transports, selected
  65632. + * by the optional "transport" module parameter. It also supports the
  65633. + * following protocols: RBC (0x01), ATAPI or SFF-8020i (0x02), QIC-157 (0c03),
  65634. + * UFI (0x04), SFF-8070i (0x05), and transparent SCSI (0x06), selected by
  65635. + * the optional "protocol" module parameter. In addition, the default
  65636. + * Vendor ID, Product ID, release number and serial number can be overridden.
  65637. + *
  65638. + * There is support for multiple logical units (LUNs), each of which has
  65639. + * its own backing file. The number of LUNs can be set using the optional
  65640. + * "luns" module parameter (anywhere from 1 to 8), and the corresponding
  65641. + * files are specified using comma-separated lists for "file" and "ro".
  65642. + * The default number of LUNs is taken from the number of "file" elements;
  65643. + * it is 1 if "file" is not given. If "removable" is not set then a backing
  65644. + * file must be specified for each LUN. If it is set, then an unspecified
  65645. + * or empty backing filename means the LUN's medium is not loaded. Ideally
  65646. + * each LUN would be settable independently as a disk drive or a CD-ROM
  65647. + * drive, but currently all LUNs have to be the same type. The CD-ROM
  65648. + * emulation includes a single data track and no audio tracks; hence there
  65649. + * need be only one backing file per LUN.
  65650. + *
  65651. + * Requirements are modest; only a bulk-in and a bulk-out endpoint are
  65652. + * needed (an interrupt-out endpoint is also needed for CBI). The memory
  65653. + * requirement amounts to two 16K buffers, size configurable by a parameter.
  65654. + * Support is included for both full-speed and high-speed operation.
  65655. + *
  65656. + * Note that the driver is slightly non-portable in that it assumes a
  65657. + * single memory/DMA buffer will be useable for bulk-in, bulk-out, and
  65658. + * interrupt-in endpoints. With most device controllers this isn't an
  65659. + * issue, but there may be some with hardware restrictions that prevent
  65660. + * a buffer from being used by more than one endpoint.
  65661. + *
  65662. + * Module options:
  65663. + *
  65664. + * file=filename[,filename...]
  65665. + * Required if "removable" is not set, names of
  65666. + * the files or block devices used for
  65667. + * backing storage
  65668. + * serial=HHHH... Required serial number (string of hex chars)
  65669. + * ro=b[,b...] Default false, booleans for read-only access
  65670. + * removable Default false, boolean for removable media
  65671. + * luns=N Default N = number of filenames, number of
  65672. + * LUNs to support
  65673. + * nofua=b[,b...] Default false, booleans for ignore FUA flag
  65674. + * in SCSI WRITE(10,12) commands
  65675. + * stall Default determined according to the type of
  65676. + * USB device controller (usually true),
  65677. + * boolean to permit the driver to halt
  65678. + * bulk endpoints
  65679. + * cdrom Default false, boolean for whether to emulate
  65680. + * a CD-ROM drive
  65681. + * transport=XXX Default BBB, transport name (CB, CBI, or BBB)
  65682. + * protocol=YYY Default SCSI, protocol name (RBC, 8020 or
  65683. + * ATAPI, QIC, UFI, 8070, or SCSI;
  65684. + * also 1 - 6)
  65685. + * vendor=0xVVVV Default 0x0525 (NetChip), USB Vendor ID
  65686. + * product=0xPPPP Default 0xa4a5 (FSG), USB Product ID
  65687. + * release=0xRRRR Override the USB release number (bcdDevice)
  65688. + * buflen=N Default N=16384, buffer size used (will be
  65689. + * rounded down to a multiple of
  65690. + * PAGE_CACHE_SIZE)
  65691. + *
  65692. + * If CONFIG_USB_FILE_STORAGE_TEST is not set, only the "file", "serial", "ro",
  65693. + * "removable", "luns", "nofua", "stall", and "cdrom" options are available;
  65694. + * default values are used for everything else.
  65695. + *
  65696. + * The pathnames of the backing files and the ro settings are available in
  65697. + * the attribute files "file", "nofua", and "ro" in the lun<n> subdirectory of
  65698. + * the gadget's sysfs directory. If the "removable" option is set, writing to
  65699. + * these files will simulate ejecting/loading the medium (writing an empty
  65700. + * line means eject) and adjusting a write-enable tab. Changes to the ro
  65701. + * setting are not allowed when the medium is loaded or if CD-ROM emulation
  65702. + * is being used.
  65703. + *
  65704. + * This gadget driver is heavily based on "Gadget Zero" by David Brownell.
  65705. + * The driver's SCSI command interface was based on the "Information
  65706. + * technology - Small Computer System Interface - 2" document from
  65707. + * X3T9.2 Project 375D, Revision 10L, 7-SEP-93, available at
  65708. + * <http://www.t10.org/ftp/t10/drafts/s2/s2-r10l.pdf>. The single exception
  65709. + * is opcode 0x23 (READ FORMAT CAPACITIES), which was based on the
  65710. + * "Universal Serial Bus Mass Storage Class UFI Command Specification"
  65711. + * document, Revision 1.0, December 14, 1998, available at
  65712. + * <http://www.usb.org/developers/devclass_docs/usbmass-ufi10.pdf>.
  65713. + */
  65714. +
  65715. +
  65716. +/*
  65717. + * Driver Design
  65718. + *
  65719. + * The FSG driver is fairly straightforward. There is a main kernel
  65720. + * thread that handles most of the work. Interrupt routines field
  65721. + * callbacks from the controller driver: bulk- and interrupt-request
  65722. + * completion notifications, endpoint-0 events, and disconnect events.
  65723. + * Completion events are passed to the main thread by wakeup calls. Many
  65724. + * ep0 requests are handled at interrupt time, but SetInterface,
  65725. + * SetConfiguration, and device reset requests are forwarded to the
  65726. + * thread in the form of "exceptions" using SIGUSR1 signals (since they
  65727. + * should interrupt any ongoing file I/O operations).
  65728. + *
  65729. + * The thread's main routine implements the standard command/data/status
  65730. + * parts of a SCSI interaction. It and its subroutines are full of tests
  65731. + * for pending signals/exceptions -- all this polling is necessary since
  65732. + * the kernel has no setjmp/longjmp equivalents. (Maybe this is an
  65733. + * indication that the driver really wants to be running in userspace.)
  65734. + * An important point is that so long as the thread is alive it keeps an
  65735. + * open reference to the backing file. This will prevent unmounting
  65736. + * the backing file's underlying filesystem and could cause problems
  65737. + * during system shutdown, for example. To prevent such problems, the
  65738. + * thread catches INT, TERM, and KILL signals and converts them into
  65739. + * an EXIT exception.
  65740. + *
  65741. + * In normal operation the main thread is started during the gadget's
  65742. + * fsg_bind() callback and stopped during fsg_unbind(). But it can also
  65743. + * exit when it receives a signal, and there's no point leaving the
  65744. + * gadget running when the thread is dead. So just before the thread
  65745. + * exits, it deregisters the gadget driver. This makes things a little
  65746. + * tricky: The driver is deregistered at two places, and the exiting
  65747. + * thread can indirectly call fsg_unbind() which in turn can tell the
  65748. + * thread to exit. The first problem is resolved through the use of the
  65749. + * REGISTERED atomic bitflag; the driver will only be deregistered once.
  65750. + * The second problem is resolved by having fsg_unbind() check
  65751. + * fsg->state; it won't try to stop the thread if the state is already
  65752. + * FSG_STATE_TERMINATED.
  65753. + *
  65754. + * To provide maximum throughput, the driver uses a circular pipeline of
  65755. + * buffer heads (struct fsg_buffhd). In principle the pipeline can be
  65756. + * arbitrarily long; in practice the benefits don't justify having more
  65757. + * than 2 stages (i.e., double buffering). But it helps to think of the
  65758. + * pipeline as being a long one. Each buffer head contains a bulk-in and
  65759. + * a bulk-out request pointer (since the buffer can be used for both
  65760. + * output and input -- directions always are given from the host's
  65761. + * point of view) as well as a pointer to the buffer and various state
  65762. + * variables.
  65763. + *
  65764. + * Use of the pipeline follows a simple protocol. There is a variable
  65765. + * (fsg->next_buffhd_to_fill) that points to the next buffer head to use.
  65766. + * At any time that buffer head may still be in use from an earlier
  65767. + * request, so each buffer head has a state variable indicating whether
  65768. + * it is EMPTY, FULL, or BUSY. Typical use involves waiting for the
  65769. + * buffer head to be EMPTY, filling the buffer either by file I/O or by
  65770. + * USB I/O (during which the buffer head is BUSY), and marking the buffer
  65771. + * head FULL when the I/O is complete. Then the buffer will be emptied
  65772. + * (again possibly by USB I/O, during which it is marked BUSY) and
  65773. + * finally marked EMPTY again (possibly by a completion routine).
  65774. + *
  65775. + * A module parameter tells the driver to avoid stalling the bulk
  65776. + * endpoints wherever the transport specification allows. This is
  65777. + * necessary for some UDCs like the SuperH, which cannot reliably clear a
  65778. + * halt on a bulk endpoint. However, under certain circumstances the
  65779. + * Bulk-only specification requires a stall. In such cases the driver
  65780. + * will halt the endpoint and set a flag indicating that it should clear
  65781. + * the halt in software during the next device reset. Hopefully this
  65782. + * will permit everything to work correctly. Furthermore, although the
  65783. + * specification allows the bulk-out endpoint to halt when the host sends
  65784. + * too much data, implementing this would cause an unavoidable race.
  65785. + * The driver will always use the "no-stall" approach for OUT transfers.
  65786. + *
  65787. + * One subtle point concerns sending status-stage responses for ep0
  65788. + * requests. Some of these requests, such as device reset, can involve
  65789. + * interrupting an ongoing file I/O operation, which might take an
  65790. + * arbitrarily long time. During that delay the host might give up on
  65791. + * the original ep0 request and issue a new one. When that happens the
  65792. + * driver should not notify the host about completion of the original
  65793. + * request, as the host will no longer be waiting for it. So the driver
  65794. + * assigns to each ep0 request a unique tag, and it keeps track of the
  65795. + * tag value of the request associated with a long-running exception
  65796. + * (device-reset, interface-change, or configuration-change). When the
  65797. + * exception handler is finished, the status-stage response is submitted
  65798. + * only if the current ep0 request tag is equal to the exception request
  65799. + * tag. Thus only the most recently received ep0 request will get a
  65800. + * status-stage response.
  65801. + *
  65802. + * Warning: This driver source file is too long. It ought to be split up
  65803. + * into a header file plus about 3 separate .c files, to handle the details
  65804. + * of the Gadget, USB Mass Storage, and SCSI protocols.
  65805. + */
  65806. +
  65807. +
  65808. +/* #define VERBOSE_DEBUG */
  65809. +/* #define DUMP_MSGS */
  65810. +
  65811. +
  65812. +#include <linux/blkdev.h>
  65813. +#include <linux/completion.h>
  65814. +#include <linux/dcache.h>
  65815. +#include <linux/delay.h>
  65816. +#include <linux/device.h>
  65817. +#include <linux/fcntl.h>
  65818. +#include <linux/file.h>
  65819. +#include <linux/fs.h>
  65820. +#include <linux/kref.h>
  65821. +#include <linux/kthread.h>
  65822. +#include <linux/limits.h>
  65823. +#include <linux/module.h>
  65824. +#include <linux/rwsem.h>
  65825. +#include <linux/slab.h>
  65826. +#include <linux/spinlock.h>
  65827. +#include <linux/string.h>
  65828. +#include <linux/freezer.h>
  65829. +#include <linux/utsname.h>
  65830. +
  65831. +#include <linux/usb/ch9.h>
  65832. +#include <linux/usb/gadget.h>
  65833. +
  65834. +#include "gadget_chips.h"
  65835. +
  65836. +
  65837. +
  65838. +/*
  65839. + * Kbuild is not very cooperative with respect to linking separately
  65840. + * compiled library objects into one module. So for now we won't use
  65841. + * separate compilation ... ensuring init/exit sections work to shrink
  65842. + * the runtime footprint, and giving us at least some parts of what
  65843. + * a "gcc --combine ... part1.c part2.c part3.c ... " build would.
  65844. + */
  65845. +#include "usbstring.c"
  65846. +#include "config.c"
  65847. +#include "epautoconf.c"
  65848. +
  65849. +/*-------------------------------------------------------------------------*/
  65850. +
  65851. +#define DRIVER_DESC "File-backed Storage Gadget"
  65852. +#define DRIVER_NAME "g_file_storage"
  65853. +#define DRIVER_VERSION "1 September 2010"
  65854. +
  65855. +static char fsg_string_manufacturer[64];
  65856. +static const char fsg_string_product[] = DRIVER_DESC;
  65857. +static const char fsg_string_config[] = "Self-powered";
  65858. +static const char fsg_string_interface[] = "Mass Storage";
  65859. +
  65860. +
  65861. +#include "storage_common.c"
  65862. +
  65863. +
  65864. +MODULE_DESCRIPTION(DRIVER_DESC);
  65865. +MODULE_AUTHOR("Alan Stern");
  65866. +MODULE_LICENSE("Dual BSD/GPL");
  65867. +
  65868. +/*
  65869. + * This driver assumes self-powered hardware and has no way for users to
  65870. + * trigger remote wakeup. It uses autoconfiguration to select endpoints
  65871. + * and endpoint addresses.
  65872. + */
  65873. +
  65874. +
  65875. +/*-------------------------------------------------------------------------*/
  65876. +
  65877. +
  65878. +/* Encapsulate the module parameter settings */
  65879. +
  65880. +static struct {
  65881. + char *file[FSG_MAX_LUNS];
  65882. + char *serial;
  65883. + bool ro[FSG_MAX_LUNS];
  65884. + bool nofua[FSG_MAX_LUNS];
  65885. + unsigned int num_filenames;
  65886. + unsigned int num_ros;
  65887. + unsigned int num_nofuas;
  65888. + unsigned int nluns;
  65889. +
  65890. + bool removable;
  65891. + bool can_stall;
  65892. + bool cdrom;
  65893. +
  65894. + char *transport_parm;
  65895. + char *protocol_parm;
  65896. + unsigned short vendor;
  65897. + unsigned short product;
  65898. + unsigned short release;
  65899. + unsigned int buflen;
  65900. +
  65901. + int transport_type;
  65902. + char *transport_name;
  65903. + int protocol_type;
  65904. + char *protocol_name;
  65905. +
  65906. +} mod_data = { // Default values
  65907. + .transport_parm = "BBB",
  65908. + .protocol_parm = "SCSI",
  65909. + .removable = 0,
  65910. + .can_stall = 1,
  65911. + .cdrom = 0,
  65912. + .vendor = FSG_VENDOR_ID,
  65913. + .product = FSG_PRODUCT_ID,
  65914. + .release = 0xffff, // Use controller chip type
  65915. + .buflen = 16384,
  65916. + };
  65917. +
  65918. +
  65919. +module_param_array_named(file, mod_data.file, charp, &mod_data.num_filenames,
  65920. + S_IRUGO);
  65921. +MODULE_PARM_DESC(file, "names of backing files or devices");
  65922. +
  65923. +module_param_named(serial, mod_data.serial, charp, S_IRUGO);
  65924. +MODULE_PARM_DESC(serial, "USB serial number");
  65925. +
  65926. +module_param_array_named(ro, mod_data.ro, bool, &mod_data.num_ros, S_IRUGO);
  65927. +MODULE_PARM_DESC(ro, "true to force read-only");
  65928. +
  65929. +module_param_array_named(nofua, mod_data.nofua, bool, &mod_data.num_nofuas,
  65930. + S_IRUGO);
  65931. +MODULE_PARM_DESC(nofua, "true to ignore SCSI WRITE(10,12) FUA bit");
  65932. +
  65933. +module_param_named(luns, mod_data.nluns, uint, S_IRUGO);
  65934. +MODULE_PARM_DESC(luns, "number of LUNs");
  65935. +
  65936. +module_param_named(removable, mod_data.removable, bool, S_IRUGO);
  65937. +MODULE_PARM_DESC(removable, "true to simulate removable media");
  65938. +
  65939. +module_param_named(stall, mod_data.can_stall, bool, S_IRUGO);
  65940. +MODULE_PARM_DESC(stall, "false to prevent bulk stalls");
  65941. +
  65942. +module_param_named(cdrom, mod_data.cdrom, bool, S_IRUGO);
  65943. +MODULE_PARM_DESC(cdrom, "true to emulate cdrom instead of disk");
  65944. +
  65945. +/* In the non-TEST version, only the module parameters listed above
  65946. + * are available. */
  65947. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  65948. +
  65949. +module_param_named(transport, mod_data.transport_parm, charp, S_IRUGO);
  65950. +MODULE_PARM_DESC(transport, "type of transport (BBB, CBI, or CB)");
  65951. +
  65952. +module_param_named(protocol, mod_data.protocol_parm, charp, S_IRUGO);
  65953. +MODULE_PARM_DESC(protocol, "type of protocol (RBC, 8020, QIC, UFI, "
  65954. + "8070, or SCSI)");
  65955. +
  65956. +module_param_named(vendor, mod_data.vendor, ushort, S_IRUGO);
  65957. +MODULE_PARM_DESC(vendor, "USB Vendor ID");
  65958. +
  65959. +module_param_named(product, mod_data.product, ushort, S_IRUGO);
  65960. +MODULE_PARM_DESC(product, "USB Product ID");
  65961. +
  65962. +module_param_named(release, mod_data.release, ushort, S_IRUGO);
  65963. +MODULE_PARM_DESC(release, "USB release number");
  65964. +
  65965. +module_param_named(buflen, mod_data.buflen, uint, S_IRUGO);
  65966. +MODULE_PARM_DESC(buflen, "I/O buffer size");
  65967. +
  65968. +#endif /* CONFIG_USB_FILE_STORAGE_TEST */
  65969. +
  65970. +
  65971. +/*
  65972. + * These definitions will permit the compiler to avoid generating code for
  65973. + * parts of the driver that aren't used in the non-TEST version. Even gcc
  65974. + * can recognize when a test of a constant expression yields a dead code
  65975. + * path.
  65976. + */
  65977. +
  65978. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  65979. +
  65980. +#define transport_is_bbb() (mod_data.transport_type == USB_PR_BULK)
  65981. +#define transport_is_cbi() (mod_data.transport_type == USB_PR_CBI)
  65982. +#define protocol_is_scsi() (mod_data.protocol_type == USB_SC_SCSI)
  65983. +
  65984. +#else
  65985. +
  65986. +#define transport_is_bbb() 1
  65987. +#define transport_is_cbi() 0
  65988. +#define protocol_is_scsi() 1
  65989. +
  65990. +#endif /* CONFIG_USB_FILE_STORAGE_TEST */
  65991. +
  65992. +
  65993. +/*-------------------------------------------------------------------------*/
  65994. +
  65995. +
  65996. +struct fsg_dev {
  65997. + /* lock protects: state, all the req_busy's, and cbbuf_cmnd */
  65998. + spinlock_t lock;
  65999. + struct usb_gadget *gadget;
  66000. +
  66001. + /* filesem protects: backing files in use */
  66002. + struct rw_semaphore filesem;
  66003. +
  66004. + /* reference counting: wait until all LUNs are released */
  66005. + struct kref ref;
  66006. +
  66007. + struct usb_ep *ep0; // Handy copy of gadget->ep0
  66008. + struct usb_request *ep0req; // For control responses
  66009. + unsigned int ep0_req_tag;
  66010. + const char *ep0req_name;
  66011. +
  66012. + struct usb_request *intreq; // For interrupt responses
  66013. + int intreq_busy;
  66014. + struct fsg_buffhd *intr_buffhd;
  66015. +
  66016. + unsigned int bulk_out_maxpacket;
  66017. + enum fsg_state state; // For exception handling
  66018. + unsigned int exception_req_tag;
  66019. +
  66020. + u8 config, new_config;
  66021. +
  66022. + unsigned int running : 1;
  66023. + unsigned int bulk_in_enabled : 1;
  66024. + unsigned int bulk_out_enabled : 1;
  66025. + unsigned int intr_in_enabled : 1;
  66026. + unsigned int phase_error : 1;
  66027. + unsigned int short_packet_received : 1;
  66028. + unsigned int bad_lun_okay : 1;
  66029. +
  66030. + unsigned long atomic_bitflags;
  66031. +#define REGISTERED 0
  66032. +#define IGNORE_BULK_OUT 1
  66033. +#define SUSPENDED 2
  66034. +
  66035. + struct usb_ep *bulk_in;
  66036. + struct usb_ep *bulk_out;
  66037. + struct usb_ep *intr_in;
  66038. +
  66039. + struct fsg_buffhd *next_buffhd_to_fill;
  66040. + struct fsg_buffhd *next_buffhd_to_drain;
  66041. +
  66042. + int thread_wakeup_needed;
  66043. + struct completion thread_notifier;
  66044. + struct task_struct *thread_task;
  66045. +
  66046. + int cmnd_size;
  66047. + u8 cmnd[MAX_COMMAND_SIZE];
  66048. + enum data_direction data_dir;
  66049. + u32 data_size;
  66050. + u32 data_size_from_cmnd;
  66051. + u32 tag;
  66052. + unsigned int lun;
  66053. + u32 residue;
  66054. + u32 usb_amount_left;
  66055. +
  66056. + /* The CB protocol offers no way for a host to know when a command
  66057. + * has completed. As a result the next command may arrive early,
  66058. + * and we will still have to handle it. For that reason we need
  66059. + * a buffer to store new commands when using CB (or CBI, which
  66060. + * does not oblige a host to wait for command completion either). */
  66061. + int cbbuf_cmnd_size;
  66062. + u8 cbbuf_cmnd[MAX_COMMAND_SIZE];
  66063. +
  66064. + unsigned int nluns;
  66065. + struct fsg_lun *luns;
  66066. + struct fsg_lun *curlun;
  66067. + /* Must be the last entry */
  66068. + struct fsg_buffhd buffhds[];
  66069. +};
  66070. +
  66071. +typedef void (*fsg_routine_t)(struct fsg_dev *);
  66072. +
  66073. +static int exception_in_progress(struct fsg_dev *fsg)
  66074. +{
  66075. + return (fsg->state > FSG_STATE_IDLE);
  66076. +}
  66077. +
  66078. +/* Make bulk-out requests be divisible by the maxpacket size */
  66079. +static void set_bulk_out_req_length(struct fsg_dev *fsg,
  66080. + struct fsg_buffhd *bh, unsigned int length)
  66081. +{
  66082. + unsigned int rem;
  66083. +
  66084. + bh->bulk_out_intended_length = length;
  66085. + rem = length % fsg->bulk_out_maxpacket;
  66086. + if (rem > 0)
  66087. + length += fsg->bulk_out_maxpacket - rem;
  66088. + bh->outreq->length = length;
  66089. +}
  66090. +
  66091. +static struct fsg_dev *the_fsg;
  66092. +static struct usb_gadget_driver fsg_driver;
  66093. +
  66094. +
  66095. +/*-------------------------------------------------------------------------*/
  66096. +
  66097. +static int fsg_set_halt(struct fsg_dev *fsg, struct usb_ep *ep)
  66098. +{
  66099. + const char *name;
  66100. +
  66101. + if (ep == fsg->bulk_in)
  66102. + name = "bulk-in";
  66103. + else if (ep == fsg->bulk_out)
  66104. + name = "bulk-out";
  66105. + else
  66106. + name = ep->name;
  66107. + DBG(fsg, "%s set halt\n", name);
  66108. + return usb_ep_set_halt(ep);
  66109. +}
  66110. +
  66111. +
  66112. +/*-------------------------------------------------------------------------*/
  66113. +
  66114. +/*
  66115. + * DESCRIPTORS ... most are static, but strings and (full) configuration
  66116. + * descriptors are built on demand. Also the (static) config and interface
  66117. + * descriptors are adjusted during fsg_bind().
  66118. + */
  66119. +
  66120. +/* There is only one configuration. */
  66121. +#define CONFIG_VALUE 1
  66122. +
  66123. +static struct usb_device_descriptor
  66124. +device_desc = {
  66125. + .bLength = sizeof device_desc,
  66126. + .bDescriptorType = USB_DT_DEVICE,
  66127. +
  66128. + .bcdUSB = cpu_to_le16(0x0200),
  66129. + .bDeviceClass = USB_CLASS_PER_INTERFACE,
  66130. +
  66131. + /* The next three values can be overridden by module parameters */
  66132. + .idVendor = cpu_to_le16(FSG_VENDOR_ID),
  66133. + .idProduct = cpu_to_le16(FSG_PRODUCT_ID),
  66134. + .bcdDevice = cpu_to_le16(0xffff),
  66135. +
  66136. + .iManufacturer = FSG_STRING_MANUFACTURER,
  66137. + .iProduct = FSG_STRING_PRODUCT,
  66138. + .iSerialNumber = FSG_STRING_SERIAL,
  66139. + .bNumConfigurations = 1,
  66140. +};
  66141. +
  66142. +static struct usb_config_descriptor
  66143. +config_desc = {
  66144. + .bLength = sizeof config_desc,
  66145. + .bDescriptorType = USB_DT_CONFIG,
  66146. +
  66147. + /* wTotalLength computed by usb_gadget_config_buf() */
  66148. + .bNumInterfaces = 1,
  66149. + .bConfigurationValue = CONFIG_VALUE,
  66150. + .iConfiguration = FSG_STRING_CONFIG,
  66151. + .bmAttributes = USB_CONFIG_ATT_ONE | USB_CONFIG_ATT_SELFPOWER,
  66152. + .bMaxPower = CONFIG_USB_GADGET_VBUS_DRAW / 2,
  66153. +};
  66154. +
  66155. +
  66156. +static struct usb_qualifier_descriptor
  66157. +dev_qualifier = {
  66158. + .bLength = sizeof dev_qualifier,
  66159. + .bDescriptorType = USB_DT_DEVICE_QUALIFIER,
  66160. +
  66161. + .bcdUSB = cpu_to_le16(0x0200),
  66162. + .bDeviceClass = USB_CLASS_PER_INTERFACE,
  66163. +
  66164. + .bNumConfigurations = 1,
  66165. +};
  66166. +
  66167. +static int populate_bos(struct fsg_dev *fsg, u8 *buf)
  66168. +{
  66169. + memcpy(buf, &fsg_bos_desc, USB_DT_BOS_SIZE);
  66170. + buf += USB_DT_BOS_SIZE;
  66171. +
  66172. + memcpy(buf, &fsg_ext_cap_desc, USB_DT_USB_EXT_CAP_SIZE);
  66173. + buf += USB_DT_USB_EXT_CAP_SIZE;
  66174. +
  66175. + memcpy(buf, &fsg_ss_cap_desc, USB_DT_USB_SS_CAP_SIZE);
  66176. +
  66177. + return USB_DT_BOS_SIZE + USB_DT_USB_SS_CAP_SIZE
  66178. + + USB_DT_USB_EXT_CAP_SIZE;
  66179. +}
  66180. +
  66181. +/*
  66182. + * Config descriptors must agree with the code that sets configurations
  66183. + * and with code managing interfaces and their altsettings. They must
  66184. + * also handle different speeds and other-speed requests.
  66185. + */
  66186. +static int populate_config_buf(struct usb_gadget *gadget,
  66187. + u8 *buf, u8 type, unsigned index)
  66188. +{
  66189. + enum usb_device_speed speed = gadget->speed;
  66190. + int len;
  66191. + const struct usb_descriptor_header **function;
  66192. +
  66193. + if (index > 0)
  66194. + return -EINVAL;
  66195. +
  66196. + if (gadget_is_dualspeed(gadget) && type == USB_DT_OTHER_SPEED_CONFIG)
  66197. + speed = (USB_SPEED_FULL + USB_SPEED_HIGH) - speed;
  66198. + function = gadget_is_dualspeed(gadget) && speed == USB_SPEED_HIGH
  66199. + ? (const struct usb_descriptor_header **)fsg_hs_function
  66200. + : (const struct usb_descriptor_header **)fsg_fs_function;
  66201. +
  66202. + /* for now, don't advertise srp-only devices */
  66203. + if (!gadget_is_otg(gadget))
  66204. + function++;
  66205. +
  66206. + len = usb_gadget_config_buf(&config_desc, buf, EP0_BUFSIZE, function);
  66207. + ((struct usb_config_descriptor *) buf)->bDescriptorType = type;
  66208. + return len;
  66209. +}
  66210. +
  66211. +
  66212. +/*-------------------------------------------------------------------------*/
  66213. +
  66214. +/* These routines may be called in process context or in_irq */
  66215. +
  66216. +/* Caller must hold fsg->lock */
  66217. +static void wakeup_thread(struct fsg_dev *fsg)
  66218. +{
  66219. + /* Tell the main thread that something has happened */
  66220. + fsg->thread_wakeup_needed = 1;
  66221. + if (fsg->thread_task)
  66222. + wake_up_process(fsg->thread_task);
  66223. +}
  66224. +
  66225. +
  66226. +static void raise_exception(struct fsg_dev *fsg, enum fsg_state new_state)
  66227. +{
  66228. + unsigned long flags;
  66229. +
  66230. + /* Do nothing if a higher-priority exception is already in progress.
  66231. + * If a lower-or-equal priority exception is in progress, preempt it
  66232. + * and notify the main thread by sending it a signal. */
  66233. + spin_lock_irqsave(&fsg->lock, flags);
  66234. + if (fsg->state <= new_state) {
  66235. + fsg->exception_req_tag = fsg->ep0_req_tag;
  66236. + fsg->state = new_state;
  66237. + if (fsg->thread_task)
  66238. + send_sig_info(SIGUSR1, SEND_SIG_FORCED,
  66239. + fsg->thread_task);
  66240. + }
  66241. + spin_unlock_irqrestore(&fsg->lock, flags);
  66242. +}
  66243. +
  66244. +
  66245. +/*-------------------------------------------------------------------------*/
  66246. +
  66247. +/* The disconnect callback and ep0 routines. These always run in_irq,
  66248. + * except that ep0_queue() is called in the main thread to acknowledge
  66249. + * completion of various requests: set config, set interface, and
  66250. + * Bulk-only device reset. */
  66251. +
  66252. +static void fsg_disconnect(struct usb_gadget *gadget)
  66253. +{
  66254. + struct fsg_dev *fsg = get_gadget_data(gadget);
  66255. +
  66256. + DBG(fsg, "disconnect or port reset\n");
  66257. + raise_exception(fsg, FSG_STATE_DISCONNECT);
  66258. +}
  66259. +
  66260. +
  66261. +static int ep0_queue(struct fsg_dev *fsg)
  66262. +{
  66263. + int rc;
  66264. +
  66265. + rc = usb_ep_queue(fsg->ep0, fsg->ep0req, GFP_ATOMIC);
  66266. + if (rc != 0 && rc != -ESHUTDOWN) {
  66267. +
  66268. + /* We can't do much more than wait for a reset */
  66269. + WARNING(fsg, "error in submission: %s --> %d\n",
  66270. + fsg->ep0->name, rc);
  66271. + }
  66272. + return rc;
  66273. +}
  66274. +
  66275. +static void ep0_complete(struct usb_ep *ep, struct usb_request *req)
  66276. +{
  66277. + struct fsg_dev *fsg = ep->driver_data;
  66278. +
  66279. + if (req->actual > 0)
  66280. + dump_msg(fsg, fsg->ep0req_name, req->buf, req->actual);
  66281. + if (req->status || req->actual != req->length)
  66282. + DBG(fsg, "%s --> %d, %u/%u\n", __func__,
  66283. + req->status, req->actual, req->length);
  66284. + if (req->status == -ECONNRESET) // Request was cancelled
  66285. + usb_ep_fifo_flush(ep);
  66286. +
  66287. + if (req->status == 0 && req->context)
  66288. + ((fsg_routine_t) (req->context))(fsg);
  66289. +}
  66290. +
  66291. +
  66292. +/*-------------------------------------------------------------------------*/
  66293. +
  66294. +/* Bulk and interrupt endpoint completion handlers.
  66295. + * These always run in_irq. */
  66296. +
  66297. +static void bulk_in_complete(struct usb_ep *ep, struct usb_request *req)
  66298. +{
  66299. + struct fsg_dev *fsg = ep->driver_data;
  66300. + struct fsg_buffhd *bh = req->context;
  66301. +
  66302. + if (req->status || req->actual != req->length)
  66303. + DBG(fsg, "%s --> %d, %u/%u\n", __func__,
  66304. + req->status, req->actual, req->length);
  66305. + if (req->status == -ECONNRESET) // Request was cancelled
  66306. + usb_ep_fifo_flush(ep);
  66307. +
  66308. + /* Hold the lock while we update the request and buffer states */
  66309. + smp_wmb();
  66310. + spin_lock(&fsg->lock);
  66311. + bh->inreq_busy = 0;
  66312. + bh->state = BUF_STATE_EMPTY;
  66313. + wakeup_thread(fsg);
  66314. + spin_unlock(&fsg->lock);
  66315. +}
  66316. +
  66317. +static void bulk_out_complete(struct usb_ep *ep, struct usb_request *req)
  66318. +{
  66319. + struct fsg_dev *fsg = ep->driver_data;
  66320. + struct fsg_buffhd *bh = req->context;
  66321. +
  66322. + dump_msg(fsg, "bulk-out", req->buf, req->actual);
  66323. + if (req->status || req->actual != bh->bulk_out_intended_length)
  66324. + DBG(fsg, "%s --> %d, %u/%u\n", __func__,
  66325. + req->status, req->actual,
  66326. + bh->bulk_out_intended_length);
  66327. + if (req->status == -ECONNRESET) // Request was cancelled
  66328. + usb_ep_fifo_flush(ep);
  66329. +
  66330. + /* Hold the lock while we update the request and buffer states */
  66331. + smp_wmb();
  66332. + spin_lock(&fsg->lock);
  66333. + bh->outreq_busy = 0;
  66334. + bh->state = BUF_STATE_FULL;
  66335. + wakeup_thread(fsg);
  66336. + spin_unlock(&fsg->lock);
  66337. +}
  66338. +
  66339. +
  66340. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  66341. +static void intr_in_complete(struct usb_ep *ep, struct usb_request *req)
  66342. +{
  66343. + struct fsg_dev *fsg = ep->driver_data;
  66344. + struct fsg_buffhd *bh = req->context;
  66345. +
  66346. + if (req->status || req->actual != req->length)
  66347. + DBG(fsg, "%s --> %d, %u/%u\n", __func__,
  66348. + req->status, req->actual, req->length);
  66349. + if (req->status == -ECONNRESET) // Request was cancelled
  66350. + usb_ep_fifo_flush(ep);
  66351. +
  66352. + /* Hold the lock while we update the request and buffer states */
  66353. + smp_wmb();
  66354. + spin_lock(&fsg->lock);
  66355. + fsg->intreq_busy = 0;
  66356. + bh->state = BUF_STATE_EMPTY;
  66357. + wakeup_thread(fsg);
  66358. + spin_unlock(&fsg->lock);
  66359. +}
  66360. +
  66361. +#else
  66362. +static void intr_in_complete(struct usb_ep *ep, struct usb_request *req)
  66363. +{}
  66364. +#endif /* CONFIG_USB_FILE_STORAGE_TEST */
  66365. +
  66366. +
  66367. +/*-------------------------------------------------------------------------*/
  66368. +
  66369. +/* Ep0 class-specific handlers. These always run in_irq. */
  66370. +
  66371. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  66372. +static void received_cbi_adsc(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  66373. +{
  66374. + struct usb_request *req = fsg->ep0req;
  66375. + static u8 cbi_reset_cmnd[6] = {
  66376. + SEND_DIAGNOSTIC, 4, 0xff, 0xff, 0xff, 0xff};
  66377. +
  66378. + /* Error in command transfer? */
  66379. + if (req->status || req->length != req->actual ||
  66380. + req->actual < 6 || req->actual > MAX_COMMAND_SIZE) {
  66381. +
  66382. + /* Not all controllers allow a protocol stall after
  66383. + * receiving control-out data, but we'll try anyway. */
  66384. + fsg_set_halt(fsg, fsg->ep0);
  66385. + return; // Wait for reset
  66386. + }
  66387. +
  66388. + /* Is it the special reset command? */
  66389. + if (req->actual >= sizeof cbi_reset_cmnd &&
  66390. + memcmp(req->buf, cbi_reset_cmnd,
  66391. + sizeof cbi_reset_cmnd) == 0) {
  66392. +
  66393. + /* Raise an exception to stop the current operation
  66394. + * and reinitialize our state. */
  66395. + DBG(fsg, "cbi reset request\n");
  66396. + raise_exception(fsg, FSG_STATE_RESET);
  66397. + return;
  66398. + }
  66399. +
  66400. + VDBG(fsg, "CB[I] accept device-specific command\n");
  66401. + spin_lock(&fsg->lock);
  66402. +
  66403. + /* Save the command for later */
  66404. + if (fsg->cbbuf_cmnd_size)
  66405. + WARNING(fsg, "CB[I] overwriting previous command\n");
  66406. + fsg->cbbuf_cmnd_size = req->actual;
  66407. + memcpy(fsg->cbbuf_cmnd, req->buf, fsg->cbbuf_cmnd_size);
  66408. +
  66409. + wakeup_thread(fsg);
  66410. + spin_unlock(&fsg->lock);
  66411. +}
  66412. +
  66413. +#else
  66414. +static void received_cbi_adsc(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  66415. +{}
  66416. +#endif /* CONFIG_USB_FILE_STORAGE_TEST */
  66417. +
  66418. +
  66419. +static int class_setup_req(struct fsg_dev *fsg,
  66420. + const struct usb_ctrlrequest *ctrl)
  66421. +{
  66422. + struct usb_request *req = fsg->ep0req;
  66423. + int value = -EOPNOTSUPP;
  66424. + u16 w_index = le16_to_cpu(ctrl->wIndex);
  66425. + u16 w_value = le16_to_cpu(ctrl->wValue);
  66426. + u16 w_length = le16_to_cpu(ctrl->wLength);
  66427. +
  66428. + if (!fsg->config)
  66429. + return value;
  66430. +
  66431. + /* Handle Bulk-only class-specific requests */
  66432. + if (transport_is_bbb()) {
  66433. + switch (ctrl->bRequest) {
  66434. +
  66435. + case US_BULK_RESET_REQUEST:
  66436. + if (ctrl->bRequestType != (USB_DIR_OUT |
  66437. + USB_TYPE_CLASS | USB_RECIP_INTERFACE))
  66438. + break;
  66439. + if (w_index != 0 || w_value != 0 || w_length != 0) {
  66440. + value = -EDOM;
  66441. + break;
  66442. + }
  66443. +
  66444. + /* Raise an exception to stop the current operation
  66445. + * and reinitialize our state. */
  66446. + DBG(fsg, "bulk reset request\n");
  66447. + raise_exception(fsg, FSG_STATE_RESET);
  66448. + value = DELAYED_STATUS;
  66449. + break;
  66450. +
  66451. + case US_BULK_GET_MAX_LUN:
  66452. + if (ctrl->bRequestType != (USB_DIR_IN |
  66453. + USB_TYPE_CLASS | USB_RECIP_INTERFACE))
  66454. + break;
  66455. + if (w_index != 0 || w_value != 0 || w_length != 1) {
  66456. + value = -EDOM;
  66457. + break;
  66458. + }
  66459. + VDBG(fsg, "get max LUN\n");
  66460. + *(u8 *) req->buf = fsg->nluns - 1;
  66461. + value = 1;
  66462. + break;
  66463. + }
  66464. + }
  66465. +
  66466. + /* Handle CBI class-specific requests */
  66467. + else {
  66468. + switch (ctrl->bRequest) {
  66469. +
  66470. + case USB_CBI_ADSC_REQUEST:
  66471. + if (ctrl->bRequestType != (USB_DIR_OUT |
  66472. + USB_TYPE_CLASS | USB_RECIP_INTERFACE))
  66473. + break;
  66474. + if (w_index != 0 || w_value != 0) {
  66475. + value = -EDOM;
  66476. + break;
  66477. + }
  66478. + if (w_length > MAX_COMMAND_SIZE) {
  66479. + value = -EOVERFLOW;
  66480. + break;
  66481. + }
  66482. + value = w_length;
  66483. + fsg->ep0req->context = received_cbi_adsc;
  66484. + break;
  66485. + }
  66486. + }
  66487. +
  66488. + if (value == -EOPNOTSUPP)
  66489. + VDBG(fsg,
  66490. + "unknown class-specific control req "
  66491. + "%02x.%02x v%04x i%04x l%u\n",
  66492. + ctrl->bRequestType, ctrl->bRequest,
  66493. + le16_to_cpu(ctrl->wValue), w_index, w_length);
  66494. + return value;
  66495. +}
  66496. +
  66497. +
  66498. +/*-------------------------------------------------------------------------*/
  66499. +
  66500. +/* Ep0 standard request handlers. These always run in_irq. */
  66501. +
  66502. +static int standard_setup_req(struct fsg_dev *fsg,
  66503. + const struct usb_ctrlrequest *ctrl)
  66504. +{
  66505. + struct usb_request *req = fsg->ep0req;
  66506. + int value = -EOPNOTSUPP;
  66507. + u16 w_index = le16_to_cpu(ctrl->wIndex);
  66508. + u16 w_value = le16_to_cpu(ctrl->wValue);
  66509. +
  66510. + /* Usually this just stores reply data in the pre-allocated ep0 buffer,
  66511. + * but config change events will also reconfigure hardware. */
  66512. + switch (ctrl->bRequest) {
  66513. +
  66514. + case USB_REQ_GET_DESCRIPTOR:
  66515. + if (ctrl->bRequestType != (USB_DIR_IN | USB_TYPE_STANDARD |
  66516. + USB_RECIP_DEVICE))
  66517. + break;
  66518. + switch (w_value >> 8) {
  66519. +
  66520. + case USB_DT_DEVICE:
  66521. + VDBG(fsg, "get device descriptor\n");
  66522. + device_desc.bMaxPacketSize0 = fsg->ep0->maxpacket;
  66523. + value = sizeof device_desc;
  66524. + memcpy(req->buf, &device_desc, value);
  66525. + break;
  66526. + case USB_DT_DEVICE_QUALIFIER:
  66527. + VDBG(fsg, "get device qualifier\n");
  66528. + if (!gadget_is_dualspeed(fsg->gadget) ||
  66529. + fsg->gadget->speed == USB_SPEED_SUPER)
  66530. + break;
  66531. + /*
  66532. + * Assume ep0 uses the same maxpacket value for both
  66533. + * speeds
  66534. + */
  66535. + dev_qualifier.bMaxPacketSize0 = fsg->ep0->maxpacket;
  66536. + value = sizeof dev_qualifier;
  66537. + memcpy(req->buf, &dev_qualifier, value);
  66538. + break;
  66539. +
  66540. + case USB_DT_OTHER_SPEED_CONFIG:
  66541. + VDBG(fsg, "get other-speed config descriptor\n");
  66542. + if (!gadget_is_dualspeed(fsg->gadget) ||
  66543. + fsg->gadget->speed == USB_SPEED_SUPER)
  66544. + break;
  66545. + goto get_config;
  66546. + case USB_DT_CONFIG:
  66547. + VDBG(fsg, "get configuration descriptor\n");
  66548. +get_config:
  66549. + value = populate_config_buf(fsg->gadget,
  66550. + req->buf,
  66551. + w_value >> 8,
  66552. + w_value & 0xff);
  66553. + break;
  66554. +
  66555. + case USB_DT_STRING:
  66556. + VDBG(fsg, "get string descriptor\n");
  66557. +
  66558. + /* wIndex == language code */
  66559. + value = usb_gadget_get_string(&fsg_stringtab,
  66560. + w_value & 0xff, req->buf);
  66561. + break;
  66562. +
  66563. + case USB_DT_BOS:
  66564. + VDBG(fsg, "get bos descriptor\n");
  66565. +
  66566. + if (gadget_is_superspeed(fsg->gadget))
  66567. + value = populate_bos(fsg, req->buf);
  66568. + break;
  66569. + }
  66570. +
  66571. + break;
  66572. +
  66573. + /* One config, two speeds */
  66574. + case USB_REQ_SET_CONFIGURATION:
  66575. + if (ctrl->bRequestType != (USB_DIR_OUT | USB_TYPE_STANDARD |
  66576. + USB_RECIP_DEVICE))
  66577. + break;
  66578. + VDBG(fsg, "set configuration\n");
  66579. + if (w_value == CONFIG_VALUE || w_value == 0) {
  66580. + fsg->new_config = w_value;
  66581. +
  66582. + /* Raise an exception to wipe out previous transaction
  66583. + * state (queued bufs, etc) and set the new config. */
  66584. + raise_exception(fsg, FSG_STATE_CONFIG_CHANGE);
  66585. + value = DELAYED_STATUS;
  66586. + }
  66587. + break;
  66588. + case USB_REQ_GET_CONFIGURATION:
  66589. + if (ctrl->bRequestType != (USB_DIR_IN | USB_TYPE_STANDARD |
  66590. + USB_RECIP_DEVICE))
  66591. + break;
  66592. + VDBG(fsg, "get configuration\n");
  66593. + *(u8 *) req->buf = fsg->config;
  66594. + value = 1;
  66595. + break;
  66596. +
  66597. + case USB_REQ_SET_INTERFACE:
  66598. + if (ctrl->bRequestType != (USB_DIR_OUT| USB_TYPE_STANDARD |
  66599. + USB_RECIP_INTERFACE))
  66600. + break;
  66601. + if (fsg->config && w_index == 0) {
  66602. +
  66603. + /* Raise an exception to wipe out previous transaction
  66604. + * state (queued bufs, etc) and install the new
  66605. + * interface altsetting. */
  66606. + raise_exception(fsg, FSG_STATE_INTERFACE_CHANGE);
  66607. + value = DELAYED_STATUS;
  66608. + }
  66609. + break;
  66610. + case USB_REQ_GET_INTERFACE:
  66611. + if (ctrl->bRequestType != (USB_DIR_IN | USB_TYPE_STANDARD |
  66612. + USB_RECIP_INTERFACE))
  66613. + break;
  66614. + if (!fsg->config)
  66615. + break;
  66616. + if (w_index != 0) {
  66617. + value = -EDOM;
  66618. + break;
  66619. + }
  66620. + VDBG(fsg, "get interface\n");
  66621. + *(u8 *) req->buf = 0;
  66622. + value = 1;
  66623. + break;
  66624. +
  66625. + default:
  66626. + VDBG(fsg,
  66627. + "unknown control req %02x.%02x v%04x i%04x l%u\n",
  66628. + ctrl->bRequestType, ctrl->bRequest,
  66629. + w_value, w_index, le16_to_cpu(ctrl->wLength));
  66630. + }
  66631. +
  66632. + return value;
  66633. +}
  66634. +
  66635. +
  66636. +static int fsg_setup(struct usb_gadget *gadget,
  66637. + const struct usb_ctrlrequest *ctrl)
  66638. +{
  66639. + struct fsg_dev *fsg = get_gadget_data(gadget);
  66640. + int rc;
  66641. + int w_length = le16_to_cpu(ctrl->wLength);
  66642. +
  66643. + ++fsg->ep0_req_tag; // Record arrival of a new request
  66644. + fsg->ep0req->context = NULL;
  66645. + fsg->ep0req->length = 0;
  66646. + dump_msg(fsg, "ep0-setup", (u8 *) ctrl, sizeof(*ctrl));
  66647. +
  66648. + if ((ctrl->bRequestType & USB_TYPE_MASK) == USB_TYPE_CLASS)
  66649. + rc = class_setup_req(fsg, ctrl);
  66650. + else
  66651. + rc = standard_setup_req(fsg, ctrl);
  66652. +
  66653. + /* Respond with data/status or defer until later? */
  66654. + if (rc >= 0 && rc != DELAYED_STATUS) {
  66655. + rc = min(rc, w_length);
  66656. + fsg->ep0req->length = rc;
  66657. + fsg->ep0req->zero = rc < w_length;
  66658. + fsg->ep0req_name = (ctrl->bRequestType & USB_DIR_IN ?
  66659. + "ep0-in" : "ep0-out");
  66660. + rc = ep0_queue(fsg);
  66661. + }
  66662. +
  66663. + /* Device either stalls (rc < 0) or reports success */
  66664. + return rc;
  66665. +}
  66666. +
  66667. +
  66668. +/*-------------------------------------------------------------------------*/
  66669. +
  66670. +/* All the following routines run in process context */
  66671. +
  66672. +
  66673. +/* Use this for bulk or interrupt transfers, not ep0 */
  66674. +static void start_transfer(struct fsg_dev *fsg, struct usb_ep *ep,
  66675. + struct usb_request *req, int *pbusy,
  66676. + enum fsg_buffer_state *state)
  66677. +{
  66678. + int rc;
  66679. +
  66680. + if (ep == fsg->bulk_in)
  66681. + dump_msg(fsg, "bulk-in", req->buf, req->length);
  66682. + else if (ep == fsg->intr_in)
  66683. + dump_msg(fsg, "intr-in", req->buf, req->length);
  66684. +
  66685. + spin_lock_irq(&fsg->lock);
  66686. + *pbusy = 1;
  66687. + *state = BUF_STATE_BUSY;
  66688. + spin_unlock_irq(&fsg->lock);
  66689. + rc = usb_ep_queue(ep, req, GFP_KERNEL);
  66690. + if (rc != 0) {
  66691. + *pbusy = 0;
  66692. + *state = BUF_STATE_EMPTY;
  66693. +
  66694. + /* We can't do much more than wait for a reset */
  66695. +
  66696. + /* Note: currently the net2280 driver fails zero-length
  66697. + * submissions if DMA is enabled. */
  66698. + if (rc != -ESHUTDOWN && !(rc == -EOPNOTSUPP &&
  66699. + req->length == 0))
  66700. + WARNING(fsg, "error in submission: %s --> %d\n",
  66701. + ep->name, rc);
  66702. + }
  66703. +}
  66704. +
  66705. +
  66706. +static int sleep_thread(struct fsg_dev *fsg)
  66707. +{
  66708. + int rc = 0;
  66709. +
  66710. + /* Wait until a signal arrives or we are woken up */
  66711. + for (;;) {
  66712. + try_to_freeze();
  66713. + set_current_state(TASK_INTERRUPTIBLE);
  66714. + if (signal_pending(current)) {
  66715. + rc = -EINTR;
  66716. + break;
  66717. + }
  66718. + if (fsg->thread_wakeup_needed)
  66719. + break;
  66720. + schedule();
  66721. + }
  66722. + __set_current_state(TASK_RUNNING);
  66723. + fsg->thread_wakeup_needed = 0;
  66724. + return rc;
  66725. +}
  66726. +
  66727. +
  66728. +/*-------------------------------------------------------------------------*/
  66729. +
  66730. +static int do_read(struct fsg_dev *fsg)
  66731. +{
  66732. + struct fsg_lun *curlun = fsg->curlun;
  66733. + u32 lba;
  66734. + struct fsg_buffhd *bh;
  66735. + int rc;
  66736. + u32 amount_left;
  66737. + loff_t file_offset, file_offset_tmp;
  66738. + unsigned int amount;
  66739. + ssize_t nread;
  66740. +
  66741. + /* Get the starting Logical Block Address and check that it's
  66742. + * not too big */
  66743. + if (fsg->cmnd[0] == READ_6)
  66744. + lba = get_unaligned_be24(&fsg->cmnd[1]);
  66745. + else {
  66746. + lba = get_unaligned_be32(&fsg->cmnd[2]);
  66747. +
  66748. + /* We allow DPO (Disable Page Out = don't save data in the
  66749. + * cache) and FUA (Force Unit Access = don't read from the
  66750. + * cache), but we don't implement them. */
  66751. + if ((fsg->cmnd[1] & ~0x18) != 0) {
  66752. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  66753. + return -EINVAL;
  66754. + }
  66755. + }
  66756. + if (lba >= curlun->num_sectors) {
  66757. + curlun->sense_data = SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  66758. + return -EINVAL;
  66759. + }
  66760. + file_offset = ((loff_t) lba) << curlun->blkbits;
  66761. +
  66762. + /* Carry out the file reads */
  66763. + amount_left = fsg->data_size_from_cmnd;
  66764. + if (unlikely(amount_left == 0))
  66765. + return -EIO; // No default reply
  66766. +
  66767. + for (;;) {
  66768. +
  66769. + /* Figure out how much we need to read:
  66770. + * Try to read the remaining amount.
  66771. + * But don't read more than the buffer size.
  66772. + * And don't try to read past the end of the file.
  66773. + */
  66774. + amount = min((unsigned int) amount_left, mod_data.buflen);
  66775. + amount = min((loff_t) amount,
  66776. + curlun->file_length - file_offset);
  66777. +
  66778. + /* Wait for the next buffer to become available */
  66779. + bh = fsg->next_buffhd_to_fill;
  66780. + while (bh->state != BUF_STATE_EMPTY) {
  66781. + rc = sleep_thread(fsg);
  66782. + if (rc)
  66783. + return rc;
  66784. + }
  66785. +
  66786. + /* If we were asked to read past the end of file,
  66787. + * end with an empty buffer. */
  66788. + if (amount == 0) {
  66789. + curlun->sense_data =
  66790. + SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  66791. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  66792. + curlun->info_valid = 1;
  66793. + bh->inreq->length = 0;
  66794. + bh->state = BUF_STATE_FULL;
  66795. + break;
  66796. + }
  66797. +
  66798. + /* Perform the read */
  66799. + file_offset_tmp = file_offset;
  66800. + nread = vfs_read(curlun->filp,
  66801. + (char __user *) bh->buf,
  66802. + amount, &file_offset_tmp);
  66803. + VLDBG(curlun, "file read %u @ %llu -> %d\n", amount,
  66804. + (unsigned long long) file_offset,
  66805. + (int) nread);
  66806. + if (signal_pending(current))
  66807. + return -EINTR;
  66808. +
  66809. + if (nread < 0) {
  66810. + LDBG(curlun, "error in file read: %d\n",
  66811. + (int) nread);
  66812. + nread = 0;
  66813. + } else if (nread < amount) {
  66814. + LDBG(curlun, "partial file read: %d/%u\n",
  66815. + (int) nread, amount);
  66816. + nread = round_down(nread, curlun->blksize);
  66817. + }
  66818. + file_offset += nread;
  66819. + amount_left -= nread;
  66820. + fsg->residue -= nread;
  66821. +
  66822. + /* Except at the end of the transfer, nread will be
  66823. + * equal to the buffer size, which is divisible by the
  66824. + * bulk-in maxpacket size.
  66825. + */
  66826. + bh->inreq->length = nread;
  66827. + bh->state = BUF_STATE_FULL;
  66828. +
  66829. + /* If an error occurred, report it and its position */
  66830. + if (nread < amount) {
  66831. + curlun->sense_data = SS_UNRECOVERED_READ_ERROR;
  66832. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  66833. + curlun->info_valid = 1;
  66834. + break;
  66835. + }
  66836. +
  66837. + if (amount_left == 0)
  66838. + break; // No more left to read
  66839. +
  66840. + /* Send this buffer and go read some more */
  66841. + bh->inreq->zero = 0;
  66842. + start_transfer(fsg, fsg->bulk_in, bh->inreq,
  66843. + &bh->inreq_busy, &bh->state);
  66844. + fsg->next_buffhd_to_fill = bh->next;
  66845. + }
  66846. +
  66847. + return -EIO; // No default reply
  66848. +}
  66849. +
  66850. +
  66851. +/*-------------------------------------------------------------------------*/
  66852. +
  66853. +static int do_write(struct fsg_dev *fsg)
  66854. +{
  66855. + struct fsg_lun *curlun = fsg->curlun;
  66856. + u32 lba;
  66857. + struct fsg_buffhd *bh;
  66858. + int get_some_more;
  66859. + u32 amount_left_to_req, amount_left_to_write;
  66860. + loff_t usb_offset, file_offset, file_offset_tmp;
  66861. + unsigned int amount;
  66862. + ssize_t nwritten;
  66863. + int rc;
  66864. +
  66865. + if (curlun->ro) {
  66866. + curlun->sense_data = SS_WRITE_PROTECTED;
  66867. + return -EINVAL;
  66868. + }
  66869. + spin_lock(&curlun->filp->f_lock);
  66870. + curlun->filp->f_flags &= ~O_SYNC; // Default is not to wait
  66871. + spin_unlock(&curlun->filp->f_lock);
  66872. +
  66873. + /* Get the starting Logical Block Address and check that it's
  66874. + * not too big */
  66875. + if (fsg->cmnd[0] == WRITE_6)
  66876. + lba = get_unaligned_be24(&fsg->cmnd[1]);
  66877. + else {
  66878. + lba = get_unaligned_be32(&fsg->cmnd[2]);
  66879. +
  66880. + /* We allow DPO (Disable Page Out = don't save data in the
  66881. + * cache) and FUA (Force Unit Access = write directly to the
  66882. + * medium). We don't implement DPO; we implement FUA by
  66883. + * performing synchronous output. */
  66884. + if ((fsg->cmnd[1] & ~0x18) != 0) {
  66885. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  66886. + return -EINVAL;
  66887. + }
  66888. + /* FUA */
  66889. + if (!curlun->nofua && (fsg->cmnd[1] & 0x08)) {
  66890. + spin_lock(&curlun->filp->f_lock);
  66891. + curlun->filp->f_flags |= O_DSYNC;
  66892. + spin_unlock(&curlun->filp->f_lock);
  66893. + }
  66894. + }
  66895. + if (lba >= curlun->num_sectors) {
  66896. + curlun->sense_data = SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  66897. + return -EINVAL;
  66898. + }
  66899. +
  66900. + /* Carry out the file writes */
  66901. + get_some_more = 1;
  66902. + file_offset = usb_offset = ((loff_t) lba) << curlun->blkbits;
  66903. + amount_left_to_req = amount_left_to_write = fsg->data_size_from_cmnd;
  66904. +
  66905. + while (amount_left_to_write > 0) {
  66906. +
  66907. + /* Queue a request for more data from the host */
  66908. + bh = fsg->next_buffhd_to_fill;
  66909. + if (bh->state == BUF_STATE_EMPTY && get_some_more) {
  66910. +
  66911. + /* Figure out how much we want to get:
  66912. + * Try to get the remaining amount,
  66913. + * but not more than the buffer size.
  66914. + */
  66915. + amount = min(amount_left_to_req, mod_data.buflen);
  66916. +
  66917. + /* Beyond the end of the backing file? */
  66918. + if (usb_offset >= curlun->file_length) {
  66919. + get_some_more = 0;
  66920. + curlun->sense_data =
  66921. + SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  66922. + curlun->sense_data_info = usb_offset >> curlun->blkbits;
  66923. + curlun->info_valid = 1;
  66924. + continue;
  66925. + }
  66926. +
  66927. + /* Get the next buffer */
  66928. + usb_offset += amount;
  66929. + fsg->usb_amount_left -= amount;
  66930. + amount_left_to_req -= amount;
  66931. + if (amount_left_to_req == 0)
  66932. + get_some_more = 0;
  66933. +
  66934. + /* Except at the end of the transfer, amount will be
  66935. + * equal to the buffer size, which is divisible by
  66936. + * the bulk-out maxpacket size.
  66937. + */
  66938. + set_bulk_out_req_length(fsg, bh, amount);
  66939. + start_transfer(fsg, fsg->bulk_out, bh->outreq,
  66940. + &bh->outreq_busy, &bh->state);
  66941. + fsg->next_buffhd_to_fill = bh->next;
  66942. + continue;
  66943. + }
  66944. +
  66945. + /* Write the received data to the backing file */
  66946. + bh = fsg->next_buffhd_to_drain;
  66947. + if (bh->state == BUF_STATE_EMPTY && !get_some_more)
  66948. + break; // We stopped early
  66949. + if (bh->state == BUF_STATE_FULL) {
  66950. + smp_rmb();
  66951. + fsg->next_buffhd_to_drain = bh->next;
  66952. + bh->state = BUF_STATE_EMPTY;
  66953. +
  66954. + /* Did something go wrong with the transfer? */
  66955. + if (bh->outreq->status != 0) {
  66956. + curlun->sense_data = SS_COMMUNICATION_FAILURE;
  66957. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  66958. + curlun->info_valid = 1;
  66959. + break;
  66960. + }
  66961. +
  66962. + amount = bh->outreq->actual;
  66963. + if (curlun->file_length - file_offset < amount) {
  66964. + LERROR(curlun,
  66965. + "write %u @ %llu beyond end %llu\n",
  66966. + amount, (unsigned long long) file_offset,
  66967. + (unsigned long long) curlun->file_length);
  66968. + amount = curlun->file_length - file_offset;
  66969. + }
  66970. +
  66971. + /* Don't accept excess data. The spec doesn't say
  66972. + * what to do in this case. We'll ignore the error.
  66973. + */
  66974. + amount = min(amount, bh->bulk_out_intended_length);
  66975. +
  66976. + /* Don't write a partial block */
  66977. + amount = round_down(amount, curlun->blksize);
  66978. + if (amount == 0)
  66979. + goto empty_write;
  66980. +
  66981. + /* Perform the write */
  66982. + file_offset_tmp = file_offset;
  66983. + nwritten = vfs_write(curlun->filp,
  66984. + (char __user *) bh->buf,
  66985. + amount, &file_offset_tmp);
  66986. + VLDBG(curlun, "file write %u @ %llu -> %d\n", amount,
  66987. + (unsigned long long) file_offset,
  66988. + (int) nwritten);
  66989. + if (signal_pending(current))
  66990. + return -EINTR; // Interrupted!
  66991. +
  66992. + if (nwritten < 0) {
  66993. + LDBG(curlun, "error in file write: %d\n",
  66994. + (int) nwritten);
  66995. + nwritten = 0;
  66996. + } else if (nwritten < amount) {
  66997. + LDBG(curlun, "partial file write: %d/%u\n",
  66998. + (int) nwritten, amount);
  66999. + nwritten = round_down(nwritten, curlun->blksize);
  67000. + }
  67001. + file_offset += nwritten;
  67002. + amount_left_to_write -= nwritten;
  67003. + fsg->residue -= nwritten;
  67004. +
  67005. + /* If an error occurred, report it and its position */
  67006. + if (nwritten < amount) {
  67007. + curlun->sense_data = SS_WRITE_ERROR;
  67008. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  67009. + curlun->info_valid = 1;
  67010. + break;
  67011. + }
  67012. +
  67013. + empty_write:
  67014. + /* Did the host decide to stop early? */
  67015. + if (bh->outreq->actual < bh->bulk_out_intended_length) {
  67016. + fsg->short_packet_received = 1;
  67017. + break;
  67018. + }
  67019. + continue;
  67020. + }
  67021. +
  67022. + /* Wait for something to happen */
  67023. + rc = sleep_thread(fsg);
  67024. + if (rc)
  67025. + return rc;
  67026. + }
  67027. +
  67028. + return -EIO; // No default reply
  67029. +}
  67030. +
  67031. +
  67032. +/*-------------------------------------------------------------------------*/
  67033. +
  67034. +static int do_synchronize_cache(struct fsg_dev *fsg)
  67035. +{
  67036. + struct fsg_lun *curlun = fsg->curlun;
  67037. + int rc;
  67038. +
  67039. + /* We ignore the requested LBA and write out all file's
  67040. + * dirty data buffers. */
  67041. + rc = fsg_lun_fsync_sub(curlun);
  67042. + if (rc)
  67043. + curlun->sense_data = SS_WRITE_ERROR;
  67044. + return 0;
  67045. +}
  67046. +
  67047. +
  67048. +/*-------------------------------------------------------------------------*/
  67049. +
  67050. +static void invalidate_sub(struct fsg_lun *curlun)
  67051. +{
  67052. + struct file *filp = curlun->filp;
  67053. + struct inode *inode = filp->f_path.dentry->d_inode;
  67054. + unsigned long rc;
  67055. +
  67056. + rc = invalidate_mapping_pages(inode->i_mapping, 0, -1);
  67057. + VLDBG(curlun, "invalidate_mapping_pages -> %ld\n", rc);
  67058. +}
  67059. +
  67060. +static int do_verify(struct fsg_dev *fsg)
  67061. +{
  67062. + struct fsg_lun *curlun = fsg->curlun;
  67063. + u32 lba;
  67064. + u32 verification_length;
  67065. + struct fsg_buffhd *bh = fsg->next_buffhd_to_fill;
  67066. + loff_t file_offset, file_offset_tmp;
  67067. + u32 amount_left;
  67068. + unsigned int amount;
  67069. + ssize_t nread;
  67070. +
  67071. + /* Get the starting Logical Block Address and check that it's
  67072. + * not too big */
  67073. + lba = get_unaligned_be32(&fsg->cmnd[2]);
  67074. + if (lba >= curlun->num_sectors) {
  67075. + curlun->sense_data = SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  67076. + return -EINVAL;
  67077. + }
  67078. +
  67079. + /* We allow DPO (Disable Page Out = don't save data in the
  67080. + * cache) but we don't implement it. */
  67081. + if ((fsg->cmnd[1] & ~0x10) != 0) {
  67082. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67083. + return -EINVAL;
  67084. + }
  67085. +
  67086. + verification_length = get_unaligned_be16(&fsg->cmnd[7]);
  67087. + if (unlikely(verification_length == 0))
  67088. + return -EIO; // No default reply
  67089. +
  67090. + /* Prepare to carry out the file verify */
  67091. + amount_left = verification_length << curlun->blkbits;
  67092. + file_offset = ((loff_t) lba) << curlun->blkbits;
  67093. +
  67094. + /* Write out all the dirty buffers before invalidating them */
  67095. + fsg_lun_fsync_sub(curlun);
  67096. + if (signal_pending(current))
  67097. + return -EINTR;
  67098. +
  67099. + invalidate_sub(curlun);
  67100. + if (signal_pending(current))
  67101. + return -EINTR;
  67102. +
  67103. + /* Just try to read the requested blocks */
  67104. + while (amount_left > 0) {
  67105. +
  67106. + /* Figure out how much we need to read:
  67107. + * Try to read the remaining amount, but not more than
  67108. + * the buffer size.
  67109. + * And don't try to read past the end of the file.
  67110. + */
  67111. + amount = min((unsigned int) amount_left, mod_data.buflen);
  67112. + amount = min((loff_t) amount,
  67113. + curlun->file_length - file_offset);
  67114. + if (amount == 0) {
  67115. + curlun->sense_data =
  67116. + SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  67117. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  67118. + curlun->info_valid = 1;
  67119. + break;
  67120. + }
  67121. +
  67122. + /* Perform the read */
  67123. + file_offset_tmp = file_offset;
  67124. + nread = vfs_read(curlun->filp,
  67125. + (char __user *) bh->buf,
  67126. + amount, &file_offset_tmp);
  67127. + VLDBG(curlun, "file read %u @ %llu -> %d\n", amount,
  67128. + (unsigned long long) file_offset,
  67129. + (int) nread);
  67130. + if (signal_pending(current))
  67131. + return -EINTR;
  67132. +
  67133. + if (nread < 0) {
  67134. + LDBG(curlun, "error in file verify: %d\n",
  67135. + (int) nread);
  67136. + nread = 0;
  67137. + } else if (nread < amount) {
  67138. + LDBG(curlun, "partial file verify: %d/%u\n",
  67139. + (int) nread, amount);
  67140. + nread = round_down(nread, curlun->blksize);
  67141. + }
  67142. + if (nread == 0) {
  67143. + curlun->sense_data = SS_UNRECOVERED_READ_ERROR;
  67144. + curlun->sense_data_info = file_offset >> curlun->blkbits;
  67145. + curlun->info_valid = 1;
  67146. + break;
  67147. + }
  67148. + file_offset += nread;
  67149. + amount_left -= nread;
  67150. + }
  67151. + return 0;
  67152. +}
  67153. +
  67154. +
  67155. +/*-------------------------------------------------------------------------*/
  67156. +
  67157. +static int do_inquiry(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67158. +{
  67159. + u8 *buf = (u8 *) bh->buf;
  67160. +
  67161. + static char vendor_id[] = "Linux ";
  67162. + static char product_disk_id[] = "File-Stor Gadget";
  67163. + static char product_cdrom_id[] = "File-CD Gadget ";
  67164. +
  67165. + if (!fsg->curlun) { // Unsupported LUNs are okay
  67166. + fsg->bad_lun_okay = 1;
  67167. + memset(buf, 0, 36);
  67168. + buf[0] = 0x7f; // Unsupported, no device-type
  67169. + buf[4] = 31; // Additional length
  67170. + return 36;
  67171. + }
  67172. +
  67173. + memset(buf, 0, 8);
  67174. + buf[0] = (mod_data.cdrom ? TYPE_ROM : TYPE_DISK);
  67175. + if (mod_data.removable)
  67176. + buf[1] = 0x80;
  67177. + buf[2] = 2; // ANSI SCSI level 2
  67178. + buf[3] = 2; // SCSI-2 INQUIRY data format
  67179. + buf[4] = 31; // Additional length
  67180. + // No special options
  67181. + sprintf(buf + 8, "%-8s%-16s%04x", vendor_id,
  67182. + (mod_data.cdrom ? product_cdrom_id :
  67183. + product_disk_id),
  67184. + mod_data.release);
  67185. + return 36;
  67186. +}
  67187. +
  67188. +
  67189. +static int do_request_sense(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67190. +{
  67191. + struct fsg_lun *curlun = fsg->curlun;
  67192. + u8 *buf = (u8 *) bh->buf;
  67193. + u32 sd, sdinfo;
  67194. + int valid;
  67195. +
  67196. + /*
  67197. + * From the SCSI-2 spec., section 7.9 (Unit attention condition):
  67198. + *
  67199. + * If a REQUEST SENSE command is received from an initiator
  67200. + * with a pending unit attention condition (before the target
  67201. + * generates the contingent allegiance condition), then the
  67202. + * target shall either:
  67203. + * a) report any pending sense data and preserve the unit
  67204. + * attention condition on the logical unit, or,
  67205. + * b) report the unit attention condition, may discard any
  67206. + * pending sense data, and clear the unit attention
  67207. + * condition on the logical unit for that initiator.
  67208. + *
  67209. + * FSG normally uses option a); enable this code to use option b).
  67210. + */
  67211. +#if 0
  67212. + if (curlun && curlun->unit_attention_data != SS_NO_SENSE) {
  67213. + curlun->sense_data = curlun->unit_attention_data;
  67214. + curlun->unit_attention_data = SS_NO_SENSE;
  67215. + }
  67216. +#endif
  67217. +
  67218. + if (!curlun) { // Unsupported LUNs are okay
  67219. + fsg->bad_lun_okay = 1;
  67220. + sd = SS_LOGICAL_UNIT_NOT_SUPPORTED;
  67221. + sdinfo = 0;
  67222. + valid = 0;
  67223. + } else {
  67224. + sd = curlun->sense_data;
  67225. + sdinfo = curlun->sense_data_info;
  67226. + valid = curlun->info_valid << 7;
  67227. + curlun->sense_data = SS_NO_SENSE;
  67228. + curlun->sense_data_info = 0;
  67229. + curlun->info_valid = 0;
  67230. + }
  67231. +
  67232. + memset(buf, 0, 18);
  67233. + buf[0] = valid | 0x70; // Valid, current error
  67234. + buf[2] = SK(sd);
  67235. + put_unaligned_be32(sdinfo, &buf[3]); /* Sense information */
  67236. + buf[7] = 18 - 8; // Additional sense length
  67237. + buf[12] = ASC(sd);
  67238. + buf[13] = ASCQ(sd);
  67239. + return 18;
  67240. +}
  67241. +
  67242. +
  67243. +static int do_read_capacity(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67244. +{
  67245. + struct fsg_lun *curlun = fsg->curlun;
  67246. + u32 lba = get_unaligned_be32(&fsg->cmnd[2]);
  67247. + int pmi = fsg->cmnd[8];
  67248. + u8 *buf = (u8 *) bh->buf;
  67249. +
  67250. + /* Check the PMI and LBA fields */
  67251. + if (pmi > 1 || (pmi == 0 && lba != 0)) {
  67252. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67253. + return -EINVAL;
  67254. + }
  67255. +
  67256. + put_unaligned_be32(curlun->num_sectors - 1, &buf[0]);
  67257. + /* Max logical block */
  67258. + put_unaligned_be32(curlun->blksize, &buf[4]); /* Block length */
  67259. + return 8;
  67260. +}
  67261. +
  67262. +
  67263. +static int do_read_header(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67264. +{
  67265. + struct fsg_lun *curlun = fsg->curlun;
  67266. + int msf = fsg->cmnd[1] & 0x02;
  67267. + u32 lba = get_unaligned_be32(&fsg->cmnd[2]);
  67268. + u8 *buf = (u8 *) bh->buf;
  67269. +
  67270. + if ((fsg->cmnd[1] & ~0x02) != 0) { /* Mask away MSF */
  67271. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67272. + return -EINVAL;
  67273. + }
  67274. + if (lba >= curlun->num_sectors) {
  67275. + curlun->sense_data = SS_LOGICAL_BLOCK_ADDRESS_OUT_OF_RANGE;
  67276. + return -EINVAL;
  67277. + }
  67278. +
  67279. + memset(buf, 0, 8);
  67280. + buf[0] = 0x01; /* 2048 bytes of user data, rest is EC */
  67281. + store_cdrom_address(&buf[4], msf, lba);
  67282. + return 8;
  67283. +}
  67284. +
  67285. +
  67286. +static int do_read_toc(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67287. +{
  67288. + struct fsg_lun *curlun = fsg->curlun;
  67289. + int msf = fsg->cmnd[1] & 0x02;
  67290. + int start_track = fsg->cmnd[6];
  67291. + u8 *buf = (u8 *) bh->buf;
  67292. +
  67293. + if ((fsg->cmnd[1] & ~0x02) != 0 || /* Mask away MSF */
  67294. + start_track > 1) {
  67295. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67296. + return -EINVAL;
  67297. + }
  67298. +
  67299. + memset(buf, 0, 20);
  67300. + buf[1] = (20-2); /* TOC data length */
  67301. + buf[2] = 1; /* First track number */
  67302. + buf[3] = 1; /* Last track number */
  67303. + buf[5] = 0x16; /* Data track, copying allowed */
  67304. + buf[6] = 0x01; /* Only track is number 1 */
  67305. + store_cdrom_address(&buf[8], msf, 0);
  67306. +
  67307. + buf[13] = 0x16; /* Lead-out track is data */
  67308. + buf[14] = 0xAA; /* Lead-out track number */
  67309. + store_cdrom_address(&buf[16], msf, curlun->num_sectors);
  67310. + return 20;
  67311. +}
  67312. +
  67313. +
  67314. +static int do_mode_sense(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67315. +{
  67316. + struct fsg_lun *curlun = fsg->curlun;
  67317. + int mscmnd = fsg->cmnd[0];
  67318. + u8 *buf = (u8 *) bh->buf;
  67319. + u8 *buf0 = buf;
  67320. + int pc, page_code;
  67321. + int changeable_values, all_pages;
  67322. + int valid_page = 0;
  67323. + int len, limit;
  67324. +
  67325. + if ((fsg->cmnd[1] & ~0x08) != 0) { // Mask away DBD
  67326. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67327. + return -EINVAL;
  67328. + }
  67329. + pc = fsg->cmnd[2] >> 6;
  67330. + page_code = fsg->cmnd[2] & 0x3f;
  67331. + if (pc == 3) {
  67332. + curlun->sense_data = SS_SAVING_PARAMETERS_NOT_SUPPORTED;
  67333. + return -EINVAL;
  67334. + }
  67335. + changeable_values = (pc == 1);
  67336. + all_pages = (page_code == 0x3f);
  67337. +
  67338. + /* Write the mode parameter header. Fixed values are: default
  67339. + * medium type, no cache control (DPOFUA), and no block descriptors.
  67340. + * The only variable value is the WriteProtect bit. We will fill in
  67341. + * the mode data length later. */
  67342. + memset(buf, 0, 8);
  67343. + if (mscmnd == MODE_SENSE) {
  67344. + buf[2] = (curlun->ro ? 0x80 : 0x00); // WP, DPOFUA
  67345. + buf += 4;
  67346. + limit = 255;
  67347. + } else { // MODE_SENSE_10
  67348. + buf[3] = (curlun->ro ? 0x80 : 0x00); // WP, DPOFUA
  67349. + buf += 8;
  67350. + limit = 65535; // Should really be mod_data.buflen
  67351. + }
  67352. +
  67353. + /* No block descriptors */
  67354. +
  67355. + /* The mode pages, in numerical order. The only page we support
  67356. + * is the Caching page. */
  67357. + if (page_code == 0x08 || all_pages) {
  67358. + valid_page = 1;
  67359. + buf[0] = 0x08; // Page code
  67360. + buf[1] = 10; // Page length
  67361. + memset(buf+2, 0, 10); // None of the fields are changeable
  67362. +
  67363. + if (!changeable_values) {
  67364. + buf[2] = 0x04; // Write cache enable,
  67365. + // Read cache not disabled
  67366. + // No cache retention priorities
  67367. + put_unaligned_be16(0xffff, &buf[4]);
  67368. + /* Don't disable prefetch */
  67369. + /* Minimum prefetch = 0 */
  67370. + put_unaligned_be16(0xffff, &buf[8]);
  67371. + /* Maximum prefetch */
  67372. + put_unaligned_be16(0xffff, &buf[10]);
  67373. + /* Maximum prefetch ceiling */
  67374. + }
  67375. + buf += 12;
  67376. + }
  67377. +
  67378. + /* Check that a valid page was requested and the mode data length
  67379. + * isn't too long. */
  67380. + len = buf - buf0;
  67381. + if (!valid_page || len > limit) {
  67382. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67383. + return -EINVAL;
  67384. + }
  67385. +
  67386. + /* Store the mode data length */
  67387. + if (mscmnd == MODE_SENSE)
  67388. + buf0[0] = len - 1;
  67389. + else
  67390. + put_unaligned_be16(len - 2, buf0);
  67391. + return len;
  67392. +}
  67393. +
  67394. +
  67395. +static int do_start_stop(struct fsg_dev *fsg)
  67396. +{
  67397. + struct fsg_lun *curlun = fsg->curlun;
  67398. + int loej, start;
  67399. +
  67400. + if (!mod_data.removable) {
  67401. + curlun->sense_data = SS_INVALID_COMMAND;
  67402. + return -EINVAL;
  67403. + }
  67404. +
  67405. + // int immed = fsg->cmnd[1] & 0x01;
  67406. + loej = fsg->cmnd[4] & 0x02;
  67407. + start = fsg->cmnd[4] & 0x01;
  67408. +
  67409. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  67410. + if ((fsg->cmnd[1] & ~0x01) != 0 || // Mask away Immed
  67411. + (fsg->cmnd[4] & ~0x03) != 0) { // Mask LoEj, Start
  67412. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67413. + return -EINVAL;
  67414. + }
  67415. +
  67416. + if (!start) {
  67417. +
  67418. + /* Are we allowed to unload the media? */
  67419. + if (curlun->prevent_medium_removal) {
  67420. + LDBG(curlun, "unload attempt prevented\n");
  67421. + curlun->sense_data = SS_MEDIUM_REMOVAL_PREVENTED;
  67422. + return -EINVAL;
  67423. + }
  67424. + if (loej) { // Simulate an unload/eject
  67425. + up_read(&fsg->filesem);
  67426. + down_write(&fsg->filesem);
  67427. + fsg_lun_close(curlun);
  67428. + up_write(&fsg->filesem);
  67429. + down_read(&fsg->filesem);
  67430. + }
  67431. + } else {
  67432. +
  67433. + /* Our emulation doesn't support mounting; the medium is
  67434. + * available for use as soon as it is loaded. */
  67435. + if (!fsg_lun_is_open(curlun)) {
  67436. + curlun->sense_data = SS_MEDIUM_NOT_PRESENT;
  67437. + return -EINVAL;
  67438. + }
  67439. + }
  67440. +#endif
  67441. + return 0;
  67442. +}
  67443. +
  67444. +
  67445. +static int do_prevent_allow(struct fsg_dev *fsg)
  67446. +{
  67447. + struct fsg_lun *curlun = fsg->curlun;
  67448. + int prevent;
  67449. +
  67450. + if (!mod_data.removable) {
  67451. + curlun->sense_data = SS_INVALID_COMMAND;
  67452. + return -EINVAL;
  67453. + }
  67454. +
  67455. + prevent = fsg->cmnd[4] & 0x01;
  67456. + if ((fsg->cmnd[4] & ~0x01) != 0) { // Mask away Prevent
  67457. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67458. + return -EINVAL;
  67459. + }
  67460. +
  67461. + if (curlun->prevent_medium_removal && !prevent)
  67462. + fsg_lun_fsync_sub(curlun);
  67463. + curlun->prevent_medium_removal = prevent;
  67464. + return 0;
  67465. +}
  67466. +
  67467. +
  67468. +static int do_read_format_capacities(struct fsg_dev *fsg,
  67469. + struct fsg_buffhd *bh)
  67470. +{
  67471. + struct fsg_lun *curlun = fsg->curlun;
  67472. + u8 *buf = (u8 *) bh->buf;
  67473. +
  67474. + buf[0] = buf[1] = buf[2] = 0;
  67475. + buf[3] = 8; // Only the Current/Maximum Capacity Descriptor
  67476. + buf += 4;
  67477. +
  67478. + put_unaligned_be32(curlun->num_sectors, &buf[0]);
  67479. + /* Number of blocks */
  67480. + put_unaligned_be32(curlun->blksize, &buf[4]); /* Block length */
  67481. + buf[4] = 0x02; /* Current capacity */
  67482. + return 12;
  67483. +}
  67484. +
  67485. +
  67486. +static int do_mode_select(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  67487. +{
  67488. + struct fsg_lun *curlun = fsg->curlun;
  67489. +
  67490. + /* We don't support MODE SELECT */
  67491. + curlun->sense_data = SS_INVALID_COMMAND;
  67492. + return -EINVAL;
  67493. +}
  67494. +
  67495. +
  67496. +/*-------------------------------------------------------------------------*/
  67497. +
  67498. +static int halt_bulk_in_endpoint(struct fsg_dev *fsg)
  67499. +{
  67500. + int rc;
  67501. +
  67502. + rc = fsg_set_halt(fsg, fsg->bulk_in);
  67503. + if (rc == -EAGAIN)
  67504. + VDBG(fsg, "delayed bulk-in endpoint halt\n");
  67505. + while (rc != 0) {
  67506. + if (rc != -EAGAIN) {
  67507. + WARNING(fsg, "usb_ep_set_halt -> %d\n", rc);
  67508. + rc = 0;
  67509. + break;
  67510. + }
  67511. +
  67512. + /* Wait for a short time and then try again */
  67513. + if (msleep_interruptible(100) != 0)
  67514. + return -EINTR;
  67515. + rc = usb_ep_set_halt(fsg->bulk_in);
  67516. + }
  67517. + return rc;
  67518. +}
  67519. +
  67520. +static int wedge_bulk_in_endpoint(struct fsg_dev *fsg)
  67521. +{
  67522. + int rc;
  67523. +
  67524. + DBG(fsg, "bulk-in set wedge\n");
  67525. + rc = usb_ep_set_wedge(fsg->bulk_in);
  67526. + if (rc == -EAGAIN)
  67527. + VDBG(fsg, "delayed bulk-in endpoint wedge\n");
  67528. + while (rc != 0) {
  67529. + if (rc != -EAGAIN) {
  67530. + WARNING(fsg, "usb_ep_set_wedge -> %d\n", rc);
  67531. + rc = 0;
  67532. + break;
  67533. + }
  67534. +
  67535. + /* Wait for a short time and then try again */
  67536. + if (msleep_interruptible(100) != 0)
  67537. + return -EINTR;
  67538. + rc = usb_ep_set_wedge(fsg->bulk_in);
  67539. + }
  67540. + return rc;
  67541. +}
  67542. +
  67543. +static int throw_away_data(struct fsg_dev *fsg)
  67544. +{
  67545. + struct fsg_buffhd *bh;
  67546. + u32 amount;
  67547. + int rc;
  67548. +
  67549. + while ((bh = fsg->next_buffhd_to_drain)->state != BUF_STATE_EMPTY ||
  67550. + fsg->usb_amount_left > 0) {
  67551. +
  67552. + /* Throw away the data in a filled buffer */
  67553. + if (bh->state == BUF_STATE_FULL) {
  67554. + smp_rmb();
  67555. + bh->state = BUF_STATE_EMPTY;
  67556. + fsg->next_buffhd_to_drain = bh->next;
  67557. +
  67558. + /* A short packet or an error ends everything */
  67559. + if (bh->outreq->actual < bh->bulk_out_intended_length ||
  67560. + bh->outreq->status != 0) {
  67561. + raise_exception(fsg, FSG_STATE_ABORT_BULK_OUT);
  67562. + return -EINTR;
  67563. + }
  67564. + continue;
  67565. + }
  67566. +
  67567. + /* Try to submit another request if we need one */
  67568. + bh = fsg->next_buffhd_to_fill;
  67569. + if (bh->state == BUF_STATE_EMPTY && fsg->usb_amount_left > 0) {
  67570. + amount = min(fsg->usb_amount_left,
  67571. + (u32) mod_data.buflen);
  67572. +
  67573. + /* Except at the end of the transfer, amount will be
  67574. + * equal to the buffer size, which is divisible by
  67575. + * the bulk-out maxpacket size.
  67576. + */
  67577. + set_bulk_out_req_length(fsg, bh, amount);
  67578. + start_transfer(fsg, fsg->bulk_out, bh->outreq,
  67579. + &bh->outreq_busy, &bh->state);
  67580. + fsg->next_buffhd_to_fill = bh->next;
  67581. + fsg->usb_amount_left -= amount;
  67582. + continue;
  67583. + }
  67584. +
  67585. + /* Otherwise wait for something to happen */
  67586. + rc = sleep_thread(fsg);
  67587. + if (rc)
  67588. + return rc;
  67589. + }
  67590. + return 0;
  67591. +}
  67592. +
  67593. +
  67594. +static int finish_reply(struct fsg_dev *fsg)
  67595. +{
  67596. + struct fsg_buffhd *bh = fsg->next_buffhd_to_fill;
  67597. + int rc = 0;
  67598. +
  67599. + switch (fsg->data_dir) {
  67600. + case DATA_DIR_NONE:
  67601. + break; // Nothing to send
  67602. +
  67603. + /* If we don't know whether the host wants to read or write,
  67604. + * this must be CB or CBI with an unknown command. We mustn't
  67605. + * try to send or receive any data. So stall both bulk pipes
  67606. + * if we can and wait for a reset. */
  67607. + case DATA_DIR_UNKNOWN:
  67608. + if (mod_data.can_stall) {
  67609. + fsg_set_halt(fsg, fsg->bulk_out);
  67610. + rc = halt_bulk_in_endpoint(fsg);
  67611. + }
  67612. + break;
  67613. +
  67614. + /* All but the last buffer of data must have already been sent */
  67615. + case DATA_DIR_TO_HOST:
  67616. + if (fsg->data_size == 0)
  67617. + ; // Nothing to send
  67618. +
  67619. + /* If there's no residue, simply send the last buffer */
  67620. + else if (fsg->residue == 0) {
  67621. + bh->inreq->zero = 0;
  67622. + start_transfer(fsg, fsg->bulk_in, bh->inreq,
  67623. + &bh->inreq_busy, &bh->state);
  67624. + fsg->next_buffhd_to_fill = bh->next;
  67625. + }
  67626. +
  67627. + /* There is a residue. For CB and CBI, simply mark the end
  67628. + * of the data with a short packet. However, if we are
  67629. + * allowed to stall, there was no data at all (residue ==
  67630. + * data_size), and the command failed (invalid LUN or
  67631. + * sense data is set), then halt the bulk-in endpoint
  67632. + * instead. */
  67633. + else if (!transport_is_bbb()) {
  67634. + if (mod_data.can_stall &&
  67635. + fsg->residue == fsg->data_size &&
  67636. + (!fsg->curlun || fsg->curlun->sense_data != SS_NO_SENSE)) {
  67637. + bh->state = BUF_STATE_EMPTY;
  67638. + rc = halt_bulk_in_endpoint(fsg);
  67639. + } else {
  67640. + bh->inreq->zero = 1;
  67641. + start_transfer(fsg, fsg->bulk_in, bh->inreq,
  67642. + &bh->inreq_busy, &bh->state);
  67643. + fsg->next_buffhd_to_fill = bh->next;
  67644. + }
  67645. + }
  67646. +
  67647. + /*
  67648. + * For Bulk-only, mark the end of the data with a short
  67649. + * packet. If we are allowed to stall, halt the bulk-in
  67650. + * endpoint. (Note: This violates the Bulk-Only Transport
  67651. + * specification, which requires us to pad the data if we
  67652. + * don't halt the endpoint. Presumably nobody will mind.)
  67653. + */
  67654. + else {
  67655. + bh->inreq->zero = 1;
  67656. + start_transfer(fsg, fsg->bulk_in, bh->inreq,
  67657. + &bh->inreq_busy, &bh->state);
  67658. + fsg->next_buffhd_to_fill = bh->next;
  67659. + if (mod_data.can_stall)
  67660. + rc = halt_bulk_in_endpoint(fsg);
  67661. + }
  67662. + break;
  67663. +
  67664. + /* We have processed all we want from the data the host has sent.
  67665. + * There may still be outstanding bulk-out requests. */
  67666. + case DATA_DIR_FROM_HOST:
  67667. + if (fsg->residue == 0)
  67668. + ; // Nothing to receive
  67669. +
  67670. + /* Did the host stop sending unexpectedly early? */
  67671. + else if (fsg->short_packet_received) {
  67672. + raise_exception(fsg, FSG_STATE_ABORT_BULK_OUT);
  67673. + rc = -EINTR;
  67674. + }
  67675. +
  67676. + /* We haven't processed all the incoming data. Even though
  67677. + * we may be allowed to stall, doing so would cause a race.
  67678. + * The controller may already have ACK'ed all the remaining
  67679. + * bulk-out packets, in which case the host wouldn't see a
  67680. + * STALL. Not realizing the endpoint was halted, it wouldn't
  67681. + * clear the halt -- leading to problems later on. */
  67682. +#if 0
  67683. + else if (mod_data.can_stall) {
  67684. + fsg_set_halt(fsg, fsg->bulk_out);
  67685. + raise_exception(fsg, FSG_STATE_ABORT_BULK_OUT);
  67686. + rc = -EINTR;
  67687. + }
  67688. +#endif
  67689. +
  67690. + /* We can't stall. Read in the excess data and throw it
  67691. + * all away. */
  67692. + else
  67693. + rc = throw_away_data(fsg);
  67694. + break;
  67695. + }
  67696. + return rc;
  67697. +}
  67698. +
  67699. +
  67700. +static int send_status(struct fsg_dev *fsg)
  67701. +{
  67702. + struct fsg_lun *curlun = fsg->curlun;
  67703. + struct fsg_buffhd *bh;
  67704. + int rc;
  67705. + u8 status = US_BULK_STAT_OK;
  67706. + u32 sd, sdinfo = 0;
  67707. +
  67708. + /* Wait for the next buffer to become available */
  67709. + bh = fsg->next_buffhd_to_fill;
  67710. + while (bh->state != BUF_STATE_EMPTY) {
  67711. + rc = sleep_thread(fsg);
  67712. + if (rc)
  67713. + return rc;
  67714. + }
  67715. +
  67716. + if (curlun) {
  67717. + sd = curlun->sense_data;
  67718. + sdinfo = curlun->sense_data_info;
  67719. + } else if (fsg->bad_lun_okay)
  67720. + sd = SS_NO_SENSE;
  67721. + else
  67722. + sd = SS_LOGICAL_UNIT_NOT_SUPPORTED;
  67723. +
  67724. + if (fsg->phase_error) {
  67725. + DBG(fsg, "sending phase-error status\n");
  67726. + status = US_BULK_STAT_PHASE;
  67727. + sd = SS_INVALID_COMMAND;
  67728. + } else if (sd != SS_NO_SENSE) {
  67729. + DBG(fsg, "sending command-failure status\n");
  67730. + status = US_BULK_STAT_FAIL;
  67731. + VDBG(fsg, " sense data: SK x%02x, ASC x%02x, ASCQ x%02x;"
  67732. + " info x%x\n",
  67733. + SK(sd), ASC(sd), ASCQ(sd), sdinfo);
  67734. + }
  67735. +
  67736. + if (transport_is_bbb()) {
  67737. + struct bulk_cs_wrap *csw = bh->buf;
  67738. +
  67739. + /* Store and send the Bulk-only CSW */
  67740. + csw->Signature = cpu_to_le32(US_BULK_CS_SIGN);
  67741. + csw->Tag = fsg->tag;
  67742. + csw->Residue = cpu_to_le32(fsg->residue);
  67743. + csw->Status = status;
  67744. +
  67745. + bh->inreq->length = US_BULK_CS_WRAP_LEN;
  67746. + bh->inreq->zero = 0;
  67747. + start_transfer(fsg, fsg->bulk_in, bh->inreq,
  67748. + &bh->inreq_busy, &bh->state);
  67749. +
  67750. + } else if (mod_data.transport_type == USB_PR_CB) {
  67751. +
  67752. + /* Control-Bulk transport has no status phase! */
  67753. + return 0;
  67754. +
  67755. + } else { // USB_PR_CBI
  67756. + struct interrupt_data *buf = bh->buf;
  67757. +
  67758. + /* Store and send the Interrupt data. UFI sends the ASC
  67759. + * and ASCQ bytes. Everything else sends a Type (which
  67760. + * is always 0) and the status Value. */
  67761. + if (mod_data.protocol_type == USB_SC_UFI) {
  67762. + buf->bType = ASC(sd);
  67763. + buf->bValue = ASCQ(sd);
  67764. + } else {
  67765. + buf->bType = 0;
  67766. + buf->bValue = status;
  67767. + }
  67768. + fsg->intreq->length = CBI_INTERRUPT_DATA_LEN;
  67769. +
  67770. + fsg->intr_buffhd = bh; // Point to the right buffhd
  67771. + fsg->intreq->buf = bh->inreq->buf;
  67772. + fsg->intreq->context = bh;
  67773. + start_transfer(fsg, fsg->intr_in, fsg->intreq,
  67774. + &fsg->intreq_busy, &bh->state);
  67775. + }
  67776. +
  67777. + fsg->next_buffhd_to_fill = bh->next;
  67778. + return 0;
  67779. +}
  67780. +
  67781. +
  67782. +/*-------------------------------------------------------------------------*/
  67783. +
  67784. +/* Check whether the command is properly formed and whether its data size
  67785. + * and direction agree with the values we already have. */
  67786. +static int check_command(struct fsg_dev *fsg, int cmnd_size,
  67787. + enum data_direction data_dir, unsigned int mask,
  67788. + int needs_medium, const char *name)
  67789. +{
  67790. + int i;
  67791. + int lun = fsg->cmnd[1] >> 5;
  67792. + static const char dirletter[4] = {'u', 'o', 'i', 'n'};
  67793. + char hdlen[20];
  67794. + struct fsg_lun *curlun;
  67795. +
  67796. + /* Adjust the expected cmnd_size for protocol encapsulation padding.
  67797. + * Transparent SCSI doesn't pad. */
  67798. + if (protocol_is_scsi())
  67799. + ;
  67800. +
  67801. + /* There's some disagreement as to whether RBC pads commands or not.
  67802. + * We'll play it safe and accept either form. */
  67803. + else if (mod_data.protocol_type == USB_SC_RBC) {
  67804. + if (fsg->cmnd_size == 12)
  67805. + cmnd_size = 12;
  67806. +
  67807. + /* All the other protocols pad to 12 bytes */
  67808. + } else
  67809. + cmnd_size = 12;
  67810. +
  67811. + hdlen[0] = 0;
  67812. + if (fsg->data_dir != DATA_DIR_UNKNOWN)
  67813. + sprintf(hdlen, ", H%c=%u", dirletter[(int) fsg->data_dir],
  67814. + fsg->data_size);
  67815. + VDBG(fsg, "SCSI command: %s; Dc=%d, D%c=%u; Hc=%d%s\n",
  67816. + name, cmnd_size, dirletter[(int) data_dir],
  67817. + fsg->data_size_from_cmnd, fsg->cmnd_size, hdlen);
  67818. +
  67819. + /* We can't reply at all until we know the correct data direction
  67820. + * and size. */
  67821. + if (fsg->data_size_from_cmnd == 0)
  67822. + data_dir = DATA_DIR_NONE;
  67823. + if (fsg->data_dir == DATA_DIR_UNKNOWN) { // CB or CBI
  67824. + fsg->data_dir = data_dir;
  67825. + fsg->data_size = fsg->data_size_from_cmnd;
  67826. +
  67827. + } else { // Bulk-only
  67828. + if (fsg->data_size < fsg->data_size_from_cmnd) {
  67829. +
  67830. + /* Host data size < Device data size is a phase error.
  67831. + * Carry out the command, but only transfer as much
  67832. + * as we are allowed. */
  67833. + fsg->data_size_from_cmnd = fsg->data_size;
  67834. + fsg->phase_error = 1;
  67835. + }
  67836. + }
  67837. + fsg->residue = fsg->usb_amount_left = fsg->data_size;
  67838. +
  67839. + /* Conflicting data directions is a phase error */
  67840. + if (fsg->data_dir != data_dir && fsg->data_size_from_cmnd > 0) {
  67841. + fsg->phase_error = 1;
  67842. + return -EINVAL;
  67843. + }
  67844. +
  67845. + /* Verify the length of the command itself */
  67846. + if (cmnd_size != fsg->cmnd_size) {
  67847. +
  67848. + /* Special case workaround: There are plenty of buggy SCSI
  67849. + * implementations. Many have issues with cbw->Length
  67850. + * field passing a wrong command size. For those cases we
  67851. + * always try to work around the problem by using the length
  67852. + * sent by the host side provided it is at least as large
  67853. + * as the correct command length.
  67854. + * Examples of such cases would be MS-Windows, which issues
  67855. + * REQUEST SENSE with cbw->Length == 12 where it should
  67856. + * be 6, and xbox360 issuing INQUIRY, TEST UNIT READY and
  67857. + * REQUEST SENSE with cbw->Length == 10 where it should
  67858. + * be 6 as well.
  67859. + */
  67860. + if (cmnd_size <= fsg->cmnd_size) {
  67861. + DBG(fsg, "%s is buggy! Expected length %d "
  67862. + "but we got %d\n", name,
  67863. + cmnd_size, fsg->cmnd_size);
  67864. + cmnd_size = fsg->cmnd_size;
  67865. + } else {
  67866. + fsg->phase_error = 1;
  67867. + return -EINVAL;
  67868. + }
  67869. + }
  67870. +
  67871. + /* Check that the LUN values are consistent */
  67872. + if (transport_is_bbb()) {
  67873. + if (fsg->lun != lun)
  67874. + DBG(fsg, "using LUN %d from CBW, "
  67875. + "not LUN %d from CDB\n",
  67876. + fsg->lun, lun);
  67877. + }
  67878. +
  67879. + /* Check the LUN */
  67880. + curlun = fsg->curlun;
  67881. + if (curlun) {
  67882. + if (fsg->cmnd[0] != REQUEST_SENSE) {
  67883. + curlun->sense_data = SS_NO_SENSE;
  67884. + curlun->sense_data_info = 0;
  67885. + curlun->info_valid = 0;
  67886. + }
  67887. + } else {
  67888. + fsg->bad_lun_okay = 0;
  67889. +
  67890. + /* INQUIRY and REQUEST SENSE commands are explicitly allowed
  67891. + * to use unsupported LUNs; all others may not. */
  67892. + if (fsg->cmnd[0] != INQUIRY &&
  67893. + fsg->cmnd[0] != REQUEST_SENSE) {
  67894. + DBG(fsg, "unsupported LUN %d\n", fsg->lun);
  67895. + return -EINVAL;
  67896. + }
  67897. + }
  67898. +
  67899. + /* If a unit attention condition exists, only INQUIRY and
  67900. + * REQUEST SENSE commands are allowed; anything else must fail. */
  67901. + if (curlun && curlun->unit_attention_data != SS_NO_SENSE &&
  67902. + fsg->cmnd[0] != INQUIRY &&
  67903. + fsg->cmnd[0] != REQUEST_SENSE) {
  67904. + curlun->sense_data = curlun->unit_attention_data;
  67905. + curlun->unit_attention_data = SS_NO_SENSE;
  67906. + return -EINVAL;
  67907. + }
  67908. +
  67909. + /* Check that only command bytes listed in the mask are non-zero */
  67910. + fsg->cmnd[1] &= 0x1f; // Mask away the LUN
  67911. + for (i = 1; i < cmnd_size; ++i) {
  67912. + if (fsg->cmnd[i] && !(mask & (1 << i))) {
  67913. + if (curlun)
  67914. + curlun->sense_data = SS_INVALID_FIELD_IN_CDB;
  67915. + return -EINVAL;
  67916. + }
  67917. + }
  67918. +
  67919. + /* If the medium isn't mounted and the command needs to access
  67920. + * it, return an error. */
  67921. + if (curlun && !fsg_lun_is_open(curlun) && needs_medium) {
  67922. + curlun->sense_data = SS_MEDIUM_NOT_PRESENT;
  67923. + return -EINVAL;
  67924. + }
  67925. +
  67926. + return 0;
  67927. +}
  67928. +
  67929. +/* wrapper of check_command for data size in blocks handling */
  67930. +static int check_command_size_in_blocks(struct fsg_dev *fsg, int cmnd_size,
  67931. + enum data_direction data_dir, unsigned int mask,
  67932. + int needs_medium, const char *name)
  67933. +{
  67934. + if (fsg->curlun)
  67935. + fsg->data_size_from_cmnd <<= fsg->curlun->blkbits;
  67936. + return check_command(fsg, cmnd_size, data_dir,
  67937. + mask, needs_medium, name);
  67938. +}
  67939. +
  67940. +static int do_scsi_command(struct fsg_dev *fsg)
  67941. +{
  67942. + struct fsg_buffhd *bh;
  67943. + int rc;
  67944. + int reply = -EINVAL;
  67945. + int i;
  67946. + static char unknown[16];
  67947. +
  67948. + dump_cdb(fsg);
  67949. +
  67950. + /* Wait for the next buffer to become available for data or status */
  67951. + bh = fsg->next_buffhd_to_drain = fsg->next_buffhd_to_fill;
  67952. + while (bh->state != BUF_STATE_EMPTY) {
  67953. + rc = sleep_thread(fsg);
  67954. + if (rc)
  67955. + return rc;
  67956. + }
  67957. + fsg->phase_error = 0;
  67958. + fsg->short_packet_received = 0;
  67959. +
  67960. + down_read(&fsg->filesem); // We're using the backing file
  67961. + switch (fsg->cmnd[0]) {
  67962. +
  67963. + case INQUIRY:
  67964. + fsg->data_size_from_cmnd = fsg->cmnd[4];
  67965. + if ((reply = check_command(fsg, 6, DATA_DIR_TO_HOST,
  67966. + (1<<4), 0,
  67967. + "INQUIRY")) == 0)
  67968. + reply = do_inquiry(fsg, bh);
  67969. + break;
  67970. +
  67971. + case MODE_SELECT:
  67972. + fsg->data_size_from_cmnd = fsg->cmnd[4];
  67973. + if ((reply = check_command(fsg, 6, DATA_DIR_FROM_HOST,
  67974. + (1<<1) | (1<<4), 0,
  67975. + "MODE SELECT(6)")) == 0)
  67976. + reply = do_mode_select(fsg, bh);
  67977. + break;
  67978. +
  67979. + case MODE_SELECT_10:
  67980. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  67981. + if ((reply = check_command(fsg, 10, DATA_DIR_FROM_HOST,
  67982. + (1<<1) | (3<<7), 0,
  67983. + "MODE SELECT(10)")) == 0)
  67984. + reply = do_mode_select(fsg, bh);
  67985. + break;
  67986. +
  67987. + case MODE_SENSE:
  67988. + fsg->data_size_from_cmnd = fsg->cmnd[4];
  67989. + if ((reply = check_command(fsg, 6, DATA_DIR_TO_HOST,
  67990. + (1<<1) | (1<<2) | (1<<4), 0,
  67991. + "MODE SENSE(6)")) == 0)
  67992. + reply = do_mode_sense(fsg, bh);
  67993. + break;
  67994. +
  67995. + case MODE_SENSE_10:
  67996. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  67997. + if ((reply = check_command(fsg, 10, DATA_DIR_TO_HOST,
  67998. + (1<<1) | (1<<2) | (3<<7), 0,
  67999. + "MODE SENSE(10)")) == 0)
  68000. + reply = do_mode_sense(fsg, bh);
  68001. + break;
  68002. +
  68003. + case ALLOW_MEDIUM_REMOVAL:
  68004. + fsg->data_size_from_cmnd = 0;
  68005. + if ((reply = check_command(fsg, 6, DATA_DIR_NONE,
  68006. + (1<<4), 0,
  68007. + "PREVENT-ALLOW MEDIUM REMOVAL")) == 0)
  68008. + reply = do_prevent_allow(fsg);
  68009. + break;
  68010. +
  68011. + case READ_6:
  68012. + i = fsg->cmnd[4];
  68013. + fsg->data_size_from_cmnd = (i == 0) ? 256 : i;
  68014. + if ((reply = check_command_size_in_blocks(fsg, 6,
  68015. + DATA_DIR_TO_HOST,
  68016. + (7<<1) | (1<<4), 1,
  68017. + "READ(6)")) == 0)
  68018. + reply = do_read(fsg);
  68019. + break;
  68020. +
  68021. + case READ_10:
  68022. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  68023. + if ((reply = check_command_size_in_blocks(fsg, 10,
  68024. + DATA_DIR_TO_HOST,
  68025. + (1<<1) | (0xf<<2) | (3<<7), 1,
  68026. + "READ(10)")) == 0)
  68027. + reply = do_read(fsg);
  68028. + break;
  68029. +
  68030. + case READ_12:
  68031. + fsg->data_size_from_cmnd = get_unaligned_be32(&fsg->cmnd[6]);
  68032. + if ((reply = check_command_size_in_blocks(fsg, 12,
  68033. + DATA_DIR_TO_HOST,
  68034. + (1<<1) | (0xf<<2) | (0xf<<6), 1,
  68035. + "READ(12)")) == 0)
  68036. + reply = do_read(fsg);
  68037. + break;
  68038. +
  68039. + case READ_CAPACITY:
  68040. + fsg->data_size_from_cmnd = 8;
  68041. + if ((reply = check_command(fsg, 10, DATA_DIR_TO_HOST,
  68042. + (0xf<<2) | (1<<8), 1,
  68043. + "READ CAPACITY")) == 0)
  68044. + reply = do_read_capacity(fsg, bh);
  68045. + break;
  68046. +
  68047. + case READ_HEADER:
  68048. + if (!mod_data.cdrom)
  68049. + goto unknown_cmnd;
  68050. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  68051. + if ((reply = check_command(fsg, 10, DATA_DIR_TO_HOST,
  68052. + (3<<7) | (0x1f<<1), 1,
  68053. + "READ HEADER")) == 0)
  68054. + reply = do_read_header(fsg, bh);
  68055. + break;
  68056. +
  68057. + case READ_TOC:
  68058. + if (!mod_data.cdrom)
  68059. + goto unknown_cmnd;
  68060. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  68061. + if ((reply = check_command(fsg, 10, DATA_DIR_TO_HOST,
  68062. + (7<<6) | (1<<1), 1,
  68063. + "READ TOC")) == 0)
  68064. + reply = do_read_toc(fsg, bh);
  68065. + break;
  68066. +
  68067. + case READ_FORMAT_CAPACITIES:
  68068. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  68069. + if ((reply = check_command(fsg, 10, DATA_DIR_TO_HOST,
  68070. + (3<<7), 1,
  68071. + "READ FORMAT CAPACITIES")) == 0)
  68072. + reply = do_read_format_capacities(fsg, bh);
  68073. + break;
  68074. +
  68075. + case REQUEST_SENSE:
  68076. + fsg->data_size_from_cmnd = fsg->cmnd[4];
  68077. + if ((reply = check_command(fsg, 6, DATA_DIR_TO_HOST,
  68078. + (1<<4), 0,
  68079. + "REQUEST SENSE")) == 0)
  68080. + reply = do_request_sense(fsg, bh);
  68081. + break;
  68082. +
  68083. + case START_STOP:
  68084. + fsg->data_size_from_cmnd = 0;
  68085. + if ((reply = check_command(fsg, 6, DATA_DIR_NONE,
  68086. + (1<<1) | (1<<4), 0,
  68087. + "START-STOP UNIT")) == 0)
  68088. + reply = do_start_stop(fsg);
  68089. + break;
  68090. +
  68091. + case SYNCHRONIZE_CACHE:
  68092. + fsg->data_size_from_cmnd = 0;
  68093. + if ((reply = check_command(fsg, 10, DATA_DIR_NONE,
  68094. + (0xf<<2) | (3<<7), 1,
  68095. + "SYNCHRONIZE CACHE")) == 0)
  68096. + reply = do_synchronize_cache(fsg);
  68097. + break;
  68098. +
  68099. + case TEST_UNIT_READY:
  68100. + fsg->data_size_from_cmnd = 0;
  68101. + reply = check_command(fsg, 6, DATA_DIR_NONE,
  68102. + 0, 1,
  68103. + "TEST UNIT READY");
  68104. + break;
  68105. +
  68106. + /* Although optional, this command is used by MS-Windows. We
  68107. + * support a minimal version: BytChk must be 0. */
  68108. + case VERIFY:
  68109. + fsg->data_size_from_cmnd = 0;
  68110. + if ((reply = check_command(fsg, 10, DATA_DIR_NONE,
  68111. + (1<<1) | (0xf<<2) | (3<<7), 1,
  68112. + "VERIFY")) == 0)
  68113. + reply = do_verify(fsg);
  68114. + break;
  68115. +
  68116. + case WRITE_6:
  68117. + i = fsg->cmnd[4];
  68118. + fsg->data_size_from_cmnd = (i == 0) ? 256 : i;
  68119. + if ((reply = check_command_size_in_blocks(fsg, 6,
  68120. + DATA_DIR_FROM_HOST,
  68121. + (7<<1) | (1<<4), 1,
  68122. + "WRITE(6)")) == 0)
  68123. + reply = do_write(fsg);
  68124. + break;
  68125. +
  68126. + case WRITE_10:
  68127. + fsg->data_size_from_cmnd = get_unaligned_be16(&fsg->cmnd[7]);
  68128. + if ((reply = check_command_size_in_blocks(fsg, 10,
  68129. + DATA_DIR_FROM_HOST,
  68130. + (1<<1) | (0xf<<2) | (3<<7), 1,
  68131. + "WRITE(10)")) == 0)
  68132. + reply = do_write(fsg);
  68133. + break;
  68134. +
  68135. + case WRITE_12:
  68136. + fsg->data_size_from_cmnd = get_unaligned_be32(&fsg->cmnd[6]);
  68137. + if ((reply = check_command_size_in_blocks(fsg, 12,
  68138. + DATA_DIR_FROM_HOST,
  68139. + (1<<1) | (0xf<<2) | (0xf<<6), 1,
  68140. + "WRITE(12)")) == 0)
  68141. + reply = do_write(fsg);
  68142. + break;
  68143. +
  68144. + /* Some mandatory commands that we recognize but don't implement.
  68145. + * They don't mean much in this setting. It's left as an exercise
  68146. + * for anyone interested to implement RESERVE and RELEASE in terms
  68147. + * of Posix locks. */
  68148. + case FORMAT_UNIT:
  68149. + case RELEASE:
  68150. + case RESERVE:
  68151. + case SEND_DIAGNOSTIC:
  68152. + // Fall through
  68153. +
  68154. + default:
  68155. + unknown_cmnd:
  68156. + fsg->data_size_from_cmnd = 0;
  68157. + sprintf(unknown, "Unknown x%02x", fsg->cmnd[0]);
  68158. + if ((reply = check_command(fsg, fsg->cmnd_size,
  68159. + DATA_DIR_UNKNOWN, ~0, 0, unknown)) == 0) {
  68160. + fsg->curlun->sense_data = SS_INVALID_COMMAND;
  68161. + reply = -EINVAL;
  68162. + }
  68163. + break;
  68164. + }
  68165. + up_read(&fsg->filesem);
  68166. +
  68167. + if (reply == -EINTR || signal_pending(current))
  68168. + return -EINTR;
  68169. +
  68170. + /* Set up the single reply buffer for finish_reply() */
  68171. + if (reply == -EINVAL)
  68172. + reply = 0; // Error reply length
  68173. + if (reply >= 0 && fsg->data_dir == DATA_DIR_TO_HOST) {
  68174. + reply = min((u32) reply, fsg->data_size_from_cmnd);
  68175. + bh->inreq->length = reply;
  68176. + bh->state = BUF_STATE_FULL;
  68177. + fsg->residue -= reply;
  68178. + } // Otherwise it's already set
  68179. +
  68180. + return 0;
  68181. +}
  68182. +
  68183. +
  68184. +/*-------------------------------------------------------------------------*/
  68185. +
  68186. +static int received_cbw(struct fsg_dev *fsg, struct fsg_buffhd *bh)
  68187. +{
  68188. + struct usb_request *req = bh->outreq;
  68189. + struct bulk_cb_wrap *cbw = req->buf;
  68190. +
  68191. + /* Was this a real packet? Should it be ignored? */
  68192. + if (req->status || test_bit(IGNORE_BULK_OUT, &fsg->atomic_bitflags))
  68193. + return -EINVAL;
  68194. +
  68195. + /* Is the CBW valid? */
  68196. + if (req->actual != US_BULK_CB_WRAP_LEN ||
  68197. + cbw->Signature != cpu_to_le32(
  68198. + US_BULK_CB_SIGN)) {
  68199. + DBG(fsg, "invalid CBW: len %u sig 0x%x\n",
  68200. + req->actual,
  68201. + le32_to_cpu(cbw->Signature));
  68202. +
  68203. + /* The Bulk-only spec says we MUST stall the IN endpoint
  68204. + * (6.6.1), so it's unavoidable. It also says we must
  68205. + * retain this state until the next reset, but there's
  68206. + * no way to tell the controller driver it should ignore
  68207. + * Clear-Feature(HALT) requests.
  68208. + *
  68209. + * We aren't required to halt the OUT endpoint; instead
  68210. + * we can simply accept and discard any data received
  68211. + * until the next reset. */
  68212. + wedge_bulk_in_endpoint(fsg);
  68213. + set_bit(IGNORE_BULK_OUT, &fsg->atomic_bitflags);
  68214. + return -EINVAL;
  68215. + }
  68216. +
  68217. + /* Is the CBW meaningful? */
  68218. + if (cbw->Lun >= FSG_MAX_LUNS || cbw->Flags & ~US_BULK_FLAG_IN ||
  68219. + cbw->Length <= 0 || cbw->Length > MAX_COMMAND_SIZE) {
  68220. + DBG(fsg, "non-meaningful CBW: lun = %u, flags = 0x%x, "
  68221. + "cmdlen %u\n",
  68222. + cbw->Lun, cbw->Flags, cbw->Length);
  68223. +
  68224. + /* We can do anything we want here, so let's stall the
  68225. + * bulk pipes if we are allowed to. */
  68226. + if (mod_data.can_stall) {
  68227. + fsg_set_halt(fsg, fsg->bulk_out);
  68228. + halt_bulk_in_endpoint(fsg);
  68229. + }
  68230. + return -EINVAL;
  68231. + }
  68232. +
  68233. + /* Save the command for later */
  68234. + fsg->cmnd_size = cbw->Length;
  68235. + memcpy(fsg->cmnd, cbw->CDB, fsg->cmnd_size);
  68236. + if (cbw->Flags & US_BULK_FLAG_IN)
  68237. + fsg->data_dir = DATA_DIR_TO_HOST;
  68238. + else
  68239. + fsg->data_dir = DATA_DIR_FROM_HOST;
  68240. + fsg->data_size = le32_to_cpu(cbw->DataTransferLength);
  68241. + if (fsg->data_size == 0)
  68242. + fsg->data_dir = DATA_DIR_NONE;
  68243. + fsg->lun = cbw->Lun;
  68244. + fsg->tag = cbw->Tag;
  68245. + return 0;
  68246. +}
  68247. +
  68248. +
  68249. +static int get_next_command(struct fsg_dev *fsg)
  68250. +{
  68251. + struct fsg_buffhd *bh;
  68252. + int rc = 0;
  68253. +
  68254. + if (transport_is_bbb()) {
  68255. +
  68256. + /* Wait for the next buffer to become available */
  68257. + bh = fsg->next_buffhd_to_fill;
  68258. + while (bh->state != BUF_STATE_EMPTY) {
  68259. + rc = sleep_thread(fsg);
  68260. + if (rc)
  68261. + return rc;
  68262. + }
  68263. +
  68264. + /* Queue a request to read a Bulk-only CBW */
  68265. + set_bulk_out_req_length(fsg, bh, US_BULK_CB_WRAP_LEN);
  68266. + start_transfer(fsg, fsg->bulk_out, bh->outreq,
  68267. + &bh->outreq_busy, &bh->state);
  68268. +
  68269. + /* We will drain the buffer in software, which means we
  68270. + * can reuse it for the next filling. No need to advance
  68271. + * next_buffhd_to_fill. */
  68272. +
  68273. + /* Wait for the CBW to arrive */
  68274. + while (bh->state != BUF_STATE_FULL) {
  68275. + rc = sleep_thread(fsg);
  68276. + if (rc)
  68277. + return rc;
  68278. + }
  68279. + smp_rmb();
  68280. + rc = received_cbw(fsg, bh);
  68281. + bh->state = BUF_STATE_EMPTY;
  68282. +
  68283. + } else { // USB_PR_CB or USB_PR_CBI
  68284. +
  68285. + /* Wait for the next command to arrive */
  68286. + while (fsg->cbbuf_cmnd_size == 0) {
  68287. + rc = sleep_thread(fsg);
  68288. + if (rc)
  68289. + return rc;
  68290. + }
  68291. +
  68292. + /* Is the previous status interrupt request still busy?
  68293. + * The host is allowed to skip reading the status,
  68294. + * so we must cancel it. */
  68295. + if (fsg->intreq_busy)
  68296. + usb_ep_dequeue(fsg->intr_in, fsg->intreq);
  68297. +
  68298. + /* Copy the command and mark the buffer empty */
  68299. + fsg->data_dir = DATA_DIR_UNKNOWN;
  68300. + spin_lock_irq(&fsg->lock);
  68301. + fsg->cmnd_size = fsg->cbbuf_cmnd_size;
  68302. + memcpy(fsg->cmnd, fsg->cbbuf_cmnd, fsg->cmnd_size);
  68303. + fsg->cbbuf_cmnd_size = 0;
  68304. + spin_unlock_irq(&fsg->lock);
  68305. +
  68306. + /* Use LUN from the command */
  68307. + fsg->lun = fsg->cmnd[1] >> 5;
  68308. + }
  68309. +
  68310. + /* Update current lun */
  68311. + if (fsg->lun >= 0 && fsg->lun < fsg->nluns)
  68312. + fsg->curlun = &fsg->luns[fsg->lun];
  68313. + else
  68314. + fsg->curlun = NULL;
  68315. +
  68316. + return rc;
  68317. +}
  68318. +
  68319. +
  68320. +/*-------------------------------------------------------------------------*/
  68321. +
  68322. +static int enable_endpoint(struct fsg_dev *fsg, struct usb_ep *ep,
  68323. + const struct usb_endpoint_descriptor *d)
  68324. +{
  68325. + int rc;
  68326. +
  68327. + ep->driver_data = fsg;
  68328. + ep->desc = d;
  68329. + rc = usb_ep_enable(ep);
  68330. + if (rc)
  68331. + ERROR(fsg, "can't enable %s, result %d\n", ep->name, rc);
  68332. + return rc;
  68333. +}
  68334. +
  68335. +static int alloc_request(struct fsg_dev *fsg, struct usb_ep *ep,
  68336. + struct usb_request **preq)
  68337. +{
  68338. + *preq = usb_ep_alloc_request(ep, GFP_ATOMIC);
  68339. + if (*preq)
  68340. + return 0;
  68341. + ERROR(fsg, "can't allocate request for %s\n", ep->name);
  68342. + return -ENOMEM;
  68343. +}
  68344. +
  68345. +/*
  68346. + * Reset interface setting and re-init endpoint state (toggle etc).
  68347. + * Call with altsetting < 0 to disable the interface. The only other
  68348. + * available altsetting is 0, which enables the interface.
  68349. + */
  68350. +static int do_set_interface(struct fsg_dev *fsg, int altsetting)
  68351. +{
  68352. + int rc = 0;
  68353. + int i;
  68354. + const struct usb_endpoint_descriptor *d;
  68355. +
  68356. + if (fsg->running)
  68357. + DBG(fsg, "reset interface\n");
  68358. +
  68359. +reset:
  68360. + /* Deallocate the requests */
  68361. + for (i = 0; i < fsg_num_buffers; ++i) {
  68362. + struct fsg_buffhd *bh = &fsg->buffhds[i];
  68363. +
  68364. + if (bh->inreq) {
  68365. + usb_ep_free_request(fsg->bulk_in, bh->inreq);
  68366. + bh->inreq = NULL;
  68367. + }
  68368. + if (bh->outreq) {
  68369. + usb_ep_free_request(fsg->bulk_out, bh->outreq);
  68370. + bh->outreq = NULL;
  68371. + }
  68372. + }
  68373. + if (fsg->intreq) {
  68374. + usb_ep_free_request(fsg->intr_in, fsg->intreq);
  68375. + fsg->intreq = NULL;
  68376. + }
  68377. +
  68378. + /* Disable the endpoints */
  68379. + if (fsg->bulk_in_enabled) {
  68380. + usb_ep_disable(fsg->bulk_in);
  68381. + fsg->bulk_in_enabled = 0;
  68382. + }
  68383. + if (fsg->bulk_out_enabled) {
  68384. + usb_ep_disable(fsg->bulk_out);
  68385. + fsg->bulk_out_enabled = 0;
  68386. + }
  68387. + if (fsg->intr_in_enabled) {
  68388. + usb_ep_disable(fsg->intr_in);
  68389. + fsg->intr_in_enabled = 0;
  68390. + }
  68391. +
  68392. + fsg->running = 0;
  68393. + if (altsetting < 0 || rc != 0)
  68394. + return rc;
  68395. +
  68396. + DBG(fsg, "set interface %d\n", altsetting);
  68397. +
  68398. + /* Enable the endpoints */
  68399. + d = fsg_ep_desc(fsg->gadget,
  68400. + &fsg_fs_bulk_in_desc, &fsg_hs_bulk_in_desc,
  68401. + &fsg_ss_bulk_in_desc);
  68402. + if ((rc = enable_endpoint(fsg, fsg->bulk_in, d)) != 0)
  68403. + goto reset;
  68404. + fsg->bulk_in_enabled = 1;
  68405. +
  68406. + d = fsg_ep_desc(fsg->gadget,
  68407. + &fsg_fs_bulk_out_desc, &fsg_hs_bulk_out_desc,
  68408. + &fsg_ss_bulk_out_desc);
  68409. + if ((rc = enable_endpoint(fsg, fsg->bulk_out, d)) != 0)
  68410. + goto reset;
  68411. + fsg->bulk_out_enabled = 1;
  68412. + fsg->bulk_out_maxpacket = usb_endpoint_maxp(d);
  68413. + clear_bit(IGNORE_BULK_OUT, &fsg->atomic_bitflags);
  68414. +
  68415. + if (transport_is_cbi()) {
  68416. + d = fsg_ep_desc(fsg->gadget,
  68417. + &fsg_fs_intr_in_desc, &fsg_hs_intr_in_desc,
  68418. + &fsg_ss_intr_in_desc);
  68419. + if ((rc = enable_endpoint(fsg, fsg->intr_in, d)) != 0)
  68420. + goto reset;
  68421. + fsg->intr_in_enabled = 1;
  68422. + }
  68423. +
  68424. + /* Allocate the requests */
  68425. + for (i = 0; i < fsg_num_buffers; ++i) {
  68426. + struct fsg_buffhd *bh = &fsg->buffhds[i];
  68427. +
  68428. + if ((rc = alloc_request(fsg, fsg->bulk_in, &bh->inreq)) != 0)
  68429. + goto reset;
  68430. + if ((rc = alloc_request(fsg, fsg->bulk_out, &bh->outreq)) != 0)
  68431. + goto reset;
  68432. + bh->inreq->buf = bh->outreq->buf = bh->buf;
  68433. + bh->inreq->context = bh->outreq->context = bh;
  68434. + bh->inreq->complete = bulk_in_complete;
  68435. + bh->outreq->complete = bulk_out_complete;
  68436. + }
  68437. + if (transport_is_cbi()) {
  68438. + if ((rc = alloc_request(fsg, fsg->intr_in, &fsg->intreq)) != 0)
  68439. + goto reset;
  68440. + fsg->intreq->complete = intr_in_complete;
  68441. + }
  68442. +
  68443. + fsg->running = 1;
  68444. + for (i = 0; i < fsg->nluns; ++i)
  68445. + fsg->luns[i].unit_attention_data = SS_RESET_OCCURRED;
  68446. + return rc;
  68447. +}
  68448. +
  68449. +
  68450. +/*
  68451. + * Change our operational configuration. This code must agree with the code
  68452. + * that returns config descriptors, and with interface altsetting code.
  68453. + *
  68454. + * It's also responsible for power management interactions. Some
  68455. + * configurations might not work with our current power sources.
  68456. + * For now we just assume the gadget is always self-powered.
  68457. + */
  68458. +static int do_set_config(struct fsg_dev *fsg, u8 new_config)
  68459. +{
  68460. + int rc = 0;
  68461. +
  68462. + /* Disable the single interface */
  68463. + if (fsg->config != 0) {
  68464. + DBG(fsg, "reset config\n");
  68465. + fsg->config = 0;
  68466. + rc = do_set_interface(fsg, -1);
  68467. + }
  68468. +
  68469. + /* Enable the interface */
  68470. + if (new_config != 0) {
  68471. + fsg->config = new_config;
  68472. + if ((rc = do_set_interface(fsg, 0)) != 0)
  68473. + fsg->config = 0; // Reset on errors
  68474. + else
  68475. + INFO(fsg, "%s config #%d\n",
  68476. + usb_speed_string(fsg->gadget->speed),
  68477. + fsg->config);
  68478. + }
  68479. + return rc;
  68480. +}
  68481. +
  68482. +
  68483. +/*-------------------------------------------------------------------------*/
  68484. +
  68485. +static void handle_exception(struct fsg_dev *fsg)
  68486. +{
  68487. + siginfo_t info;
  68488. + int sig;
  68489. + int i;
  68490. + int num_active;
  68491. + struct fsg_buffhd *bh;
  68492. + enum fsg_state old_state;
  68493. + u8 new_config;
  68494. + struct fsg_lun *curlun;
  68495. + unsigned int exception_req_tag;
  68496. + int rc;
  68497. +
  68498. + /* Clear the existing signals. Anything but SIGUSR1 is converted
  68499. + * into a high-priority EXIT exception. */
  68500. + for (;;) {
  68501. + sig = dequeue_signal_lock(current, &current->blocked, &info);
  68502. + if (!sig)
  68503. + break;
  68504. + if (sig != SIGUSR1) {
  68505. + if (fsg->state < FSG_STATE_EXIT)
  68506. + DBG(fsg, "Main thread exiting on signal\n");
  68507. + raise_exception(fsg, FSG_STATE_EXIT);
  68508. + }
  68509. + }
  68510. +
  68511. + /* Cancel all the pending transfers */
  68512. + if (fsg->intreq_busy)
  68513. + usb_ep_dequeue(fsg->intr_in, fsg->intreq);
  68514. + for (i = 0; i < fsg_num_buffers; ++i) {
  68515. + bh = &fsg->buffhds[i];
  68516. + if (bh->inreq_busy)
  68517. + usb_ep_dequeue(fsg->bulk_in, bh->inreq);
  68518. + if (bh->outreq_busy)
  68519. + usb_ep_dequeue(fsg->bulk_out, bh->outreq);
  68520. + }
  68521. +
  68522. + /* Wait until everything is idle */
  68523. + for (;;) {
  68524. + num_active = fsg->intreq_busy;
  68525. + for (i = 0; i < fsg_num_buffers; ++i) {
  68526. + bh = &fsg->buffhds[i];
  68527. + num_active += bh->inreq_busy + bh->outreq_busy;
  68528. + }
  68529. + if (num_active == 0)
  68530. + break;
  68531. + if (sleep_thread(fsg))
  68532. + return;
  68533. + }
  68534. +
  68535. + /* Clear out the controller's fifos */
  68536. + if (fsg->bulk_in_enabled)
  68537. + usb_ep_fifo_flush(fsg->bulk_in);
  68538. + if (fsg->bulk_out_enabled)
  68539. + usb_ep_fifo_flush(fsg->bulk_out);
  68540. + if (fsg->intr_in_enabled)
  68541. + usb_ep_fifo_flush(fsg->intr_in);
  68542. +
  68543. + /* Reset the I/O buffer states and pointers, the SCSI
  68544. + * state, and the exception. Then invoke the handler. */
  68545. + spin_lock_irq(&fsg->lock);
  68546. +
  68547. + for (i = 0; i < fsg_num_buffers; ++i) {
  68548. + bh = &fsg->buffhds[i];
  68549. + bh->state = BUF_STATE_EMPTY;
  68550. + }
  68551. + fsg->next_buffhd_to_fill = fsg->next_buffhd_to_drain =
  68552. + &fsg->buffhds[0];
  68553. +
  68554. + exception_req_tag = fsg->exception_req_tag;
  68555. + new_config = fsg->new_config;
  68556. + old_state = fsg->state;
  68557. +
  68558. + if (old_state == FSG_STATE_ABORT_BULK_OUT)
  68559. + fsg->state = FSG_STATE_STATUS_PHASE;
  68560. + else {
  68561. + for (i = 0; i < fsg->nluns; ++i) {
  68562. + curlun = &fsg->luns[i];
  68563. + curlun->prevent_medium_removal = 0;
  68564. + curlun->sense_data = curlun->unit_attention_data =
  68565. + SS_NO_SENSE;
  68566. + curlun->sense_data_info = 0;
  68567. + curlun->info_valid = 0;
  68568. + }
  68569. + fsg->state = FSG_STATE_IDLE;
  68570. + }
  68571. + spin_unlock_irq(&fsg->lock);
  68572. +
  68573. + /* Carry out any extra actions required for the exception */
  68574. + switch (old_state) {
  68575. + default:
  68576. + break;
  68577. +
  68578. + case FSG_STATE_ABORT_BULK_OUT:
  68579. + send_status(fsg);
  68580. + spin_lock_irq(&fsg->lock);
  68581. + if (fsg->state == FSG_STATE_STATUS_PHASE)
  68582. + fsg->state = FSG_STATE_IDLE;
  68583. + spin_unlock_irq(&fsg->lock);
  68584. + break;
  68585. +
  68586. + case FSG_STATE_RESET:
  68587. + /* In case we were forced against our will to halt a
  68588. + * bulk endpoint, clear the halt now. (The SuperH UDC
  68589. + * requires this.) */
  68590. + if (test_and_clear_bit(IGNORE_BULK_OUT, &fsg->atomic_bitflags))
  68591. + usb_ep_clear_halt(fsg->bulk_in);
  68592. +
  68593. + if (transport_is_bbb()) {
  68594. + if (fsg->ep0_req_tag == exception_req_tag)
  68595. + ep0_queue(fsg); // Complete the status stage
  68596. +
  68597. + } else if (transport_is_cbi())
  68598. + send_status(fsg); // Status by interrupt pipe
  68599. +
  68600. + /* Technically this should go here, but it would only be
  68601. + * a waste of time. Ditto for the INTERFACE_CHANGE and
  68602. + * CONFIG_CHANGE cases. */
  68603. + // for (i = 0; i < fsg->nluns; ++i)
  68604. + // fsg->luns[i].unit_attention_data = SS_RESET_OCCURRED;
  68605. + break;
  68606. +
  68607. + case FSG_STATE_INTERFACE_CHANGE:
  68608. + rc = do_set_interface(fsg, 0);
  68609. + if (fsg->ep0_req_tag != exception_req_tag)
  68610. + break;
  68611. + if (rc != 0) // STALL on errors
  68612. + fsg_set_halt(fsg, fsg->ep0);
  68613. + else // Complete the status stage
  68614. + ep0_queue(fsg);
  68615. + break;
  68616. +
  68617. + case FSG_STATE_CONFIG_CHANGE:
  68618. + rc = do_set_config(fsg, new_config);
  68619. + if (fsg->ep0_req_tag != exception_req_tag)
  68620. + break;
  68621. + if (rc != 0) // STALL on errors
  68622. + fsg_set_halt(fsg, fsg->ep0);
  68623. + else // Complete the status stage
  68624. + ep0_queue(fsg);
  68625. + break;
  68626. +
  68627. + case FSG_STATE_DISCONNECT:
  68628. + for (i = 0; i < fsg->nluns; ++i)
  68629. + fsg_lun_fsync_sub(fsg->luns + i);
  68630. + do_set_config(fsg, 0); // Unconfigured state
  68631. + break;
  68632. +
  68633. + case FSG_STATE_EXIT:
  68634. + case FSG_STATE_TERMINATED:
  68635. + do_set_config(fsg, 0); // Free resources
  68636. + spin_lock_irq(&fsg->lock);
  68637. + fsg->state = FSG_STATE_TERMINATED; // Stop the thread
  68638. + spin_unlock_irq(&fsg->lock);
  68639. + break;
  68640. + }
  68641. +}
  68642. +
  68643. +
  68644. +/*-------------------------------------------------------------------------*/
  68645. +
  68646. +static int fsg_main_thread(void *fsg_)
  68647. +{
  68648. + struct fsg_dev *fsg = fsg_;
  68649. +
  68650. + /* Allow the thread to be killed by a signal, but set the signal mask
  68651. + * to block everything but INT, TERM, KILL, and USR1. */
  68652. + allow_signal(SIGINT);
  68653. + allow_signal(SIGTERM);
  68654. + allow_signal(SIGKILL);
  68655. + allow_signal(SIGUSR1);
  68656. +
  68657. + /* Allow the thread to be frozen */
  68658. + set_freezable();
  68659. +
  68660. + /* Arrange for userspace references to be interpreted as kernel
  68661. + * pointers. That way we can pass a kernel pointer to a routine
  68662. + * that expects a __user pointer and it will work okay. */
  68663. + set_fs(get_ds());
  68664. +
  68665. + /* The main loop */
  68666. + while (fsg->state != FSG_STATE_TERMINATED) {
  68667. + if (exception_in_progress(fsg) || signal_pending(current)) {
  68668. + handle_exception(fsg);
  68669. + continue;
  68670. + }
  68671. +
  68672. + if (!fsg->running) {
  68673. + sleep_thread(fsg);
  68674. + continue;
  68675. + }
  68676. +
  68677. + if (get_next_command(fsg))
  68678. + continue;
  68679. +
  68680. + spin_lock_irq(&fsg->lock);
  68681. + if (!exception_in_progress(fsg))
  68682. + fsg->state = FSG_STATE_DATA_PHASE;
  68683. + spin_unlock_irq(&fsg->lock);
  68684. +
  68685. + if (do_scsi_command(fsg) || finish_reply(fsg))
  68686. + continue;
  68687. +
  68688. + spin_lock_irq(&fsg->lock);
  68689. + if (!exception_in_progress(fsg))
  68690. + fsg->state = FSG_STATE_STATUS_PHASE;
  68691. + spin_unlock_irq(&fsg->lock);
  68692. +
  68693. + if (send_status(fsg))
  68694. + continue;
  68695. +
  68696. + spin_lock_irq(&fsg->lock);
  68697. + if (!exception_in_progress(fsg))
  68698. + fsg->state = FSG_STATE_IDLE;
  68699. + spin_unlock_irq(&fsg->lock);
  68700. + }
  68701. +
  68702. + spin_lock_irq(&fsg->lock);
  68703. + fsg->thread_task = NULL;
  68704. + spin_unlock_irq(&fsg->lock);
  68705. +
  68706. + /* If we are exiting because of a signal, unregister the
  68707. + * gadget driver. */
  68708. + if (test_and_clear_bit(REGISTERED, &fsg->atomic_bitflags))
  68709. + usb_gadget_unregister_driver(&fsg_driver);
  68710. +
  68711. + /* Let the unbind and cleanup routines know the thread has exited */
  68712. + complete_and_exit(&fsg->thread_notifier, 0);
  68713. +}
  68714. +
  68715. +
  68716. +/*-------------------------------------------------------------------------*/
  68717. +
  68718. +
  68719. +/* The write permissions and store_xxx pointers are set in fsg_bind() */
  68720. +static DEVICE_ATTR(ro, 0444, fsg_show_ro, NULL);
  68721. +static DEVICE_ATTR(nofua, 0644, fsg_show_nofua, NULL);
  68722. +static DEVICE_ATTR(file, 0444, fsg_show_file, NULL);
  68723. +
  68724. +
  68725. +/*-------------------------------------------------------------------------*/
  68726. +
  68727. +static void fsg_release(struct kref *ref)
  68728. +{
  68729. + struct fsg_dev *fsg = container_of(ref, struct fsg_dev, ref);
  68730. +
  68731. + kfree(fsg->luns);
  68732. + kfree(fsg);
  68733. +}
  68734. +
  68735. +static void lun_release(struct device *dev)
  68736. +{
  68737. + struct rw_semaphore *filesem = dev_get_drvdata(dev);
  68738. + struct fsg_dev *fsg =
  68739. + container_of(filesem, struct fsg_dev, filesem);
  68740. +
  68741. + kref_put(&fsg->ref, fsg_release);
  68742. +}
  68743. +
  68744. +static void /* __init_or_exit */ fsg_unbind(struct usb_gadget *gadget)
  68745. +{
  68746. + struct fsg_dev *fsg = get_gadget_data(gadget);
  68747. + int i;
  68748. + struct fsg_lun *curlun;
  68749. + struct usb_request *req = fsg->ep0req;
  68750. +
  68751. + DBG(fsg, "unbind\n");
  68752. + clear_bit(REGISTERED, &fsg->atomic_bitflags);
  68753. +
  68754. + /* If the thread isn't already dead, tell it to exit now */
  68755. + if (fsg->state != FSG_STATE_TERMINATED) {
  68756. + raise_exception(fsg, FSG_STATE_EXIT);
  68757. + wait_for_completion(&fsg->thread_notifier);
  68758. +
  68759. + /* The cleanup routine waits for this completion also */
  68760. + complete(&fsg->thread_notifier);
  68761. + }
  68762. +
  68763. + /* Unregister the sysfs attribute files and the LUNs */
  68764. + for (i = 0; i < fsg->nluns; ++i) {
  68765. + curlun = &fsg->luns[i];
  68766. + if (curlun->registered) {
  68767. + device_remove_file(&curlun->dev, &dev_attr_nofua);
  68768. + device_remove_file(&curlun->dev, &dev_attr_ro);
  68769. + device_remove_file(&curlun->dev, &dev_attr_file);
  68770. + fsg_lun_close(curlun);
  68771. + device_unregister(&curlun->dev);
  68772. + curlun->registered = 0;
  68773. + }
  68774. + }
  68775. +
  68776. + /* Free the data buffers */
  68777. + for (i = 0; i < fsg_num_buffers; ++i)
  68778. + kfree(fsg->buffhds[i].buf);
  68779. +
  68780. + /* Free the request and buffer for endpoint 0 */
  68781. + if (req) {
  68782. + kfree(req->buf);
  68783. + usb_ep_free_request(fsg->ep0, req);
  68784. + }
  68785. +
  68786. + set_gadget_data(gadget, NULL);
  68787. +}
  68788. +
  68789. +
  68790. +static int __init check_parameters(struct fsg_dev *fsg)
  68791. +{
  68792. + int prot;
  68793. + int gcnum;
  68794. +
  68795. + /* Store the default values */
  68796. + mod_data.transport_type = USB_PR_BULK;
  68797. + mod_data.transport_name = "Bulk-only";
  68798. + mod_data.protocol_type = USB_SC_SCSI;
  68799. + mod_data.protocol_name = "Transparent SCSI";
  68800. +
  68801. + /* Some peripheral controllers are known not to be able to
  68802. + * halt bulk endpoints correctly. If one of them is present,
  68803. + * disable stalls.
  68804. + */
  68805. + if (gadget_is_at91(fsg->gadget))
  68806. + mod_data.can_stall = 0;
  68807. +
  68808. + if (mod_data.release == 0xffff) { // Parameter wasn't set
  68809. + gcnum = usb_gadget_controller_number(fsg->gadget);
  68810. + if (gcnum >= 0)
  68811. + mod_data.release = 0x0300 + gcnum;
  68812. + else {
  68813. + WARNING(fsg, "controller '%s' not recognized\n",
  68814. + fsg->gadget->name);
  68815. + mod_data.release = 0x0399;
  68816. + }
  68817. + }
  68818. +
  68819. + prot = simple_strtol(mod_data.protocol_parm, NULL, 0);
  68820. +
  68821. +#ifdef CONFIG_USB_FILE_STORAGE_TEST
  68822. + if (strnicmp(mod_data.transport_parm, "BBB", 10) == 0) {
  68823. + ; // Use default setting
  68824. + } else if (strnicmp(mod_data.transport_parm, "CB", 10) == 0) {
  68825. + mod_data.transport_type = USB_PR_CB;
  68826. + mod_data.transport_name = "Control-Bulk";
  68827. + } else if (strnicmp(mod_data.transport_parm, "CBI", 10) == 0) {
  68828. + mod_data.transport_type = USB_PR_CBI;
  68829. + mod_data.transport_name = "Control-Bulk-Interrupt";
  68830. + } else {
  68831. + ERROR(fsg, "invalid transport: %s\n", mod_data.transport_parm);
  68832. + return -EINVAL;
  68833. + }
  68834. +
  68835. + if (strnicmp(mod_data.protocol_parm, "SCSI", 10) == 0 ||
  68836. + prot == USB_SC_SCSI) {
  68837. + ; // Use default setting
  68838. + } else if (strnicmp(mod_data.protocol_parm, "RBC", 10) == 0 ||
  68839. + prot == USB_SC_RBC) {
  68840. + mod_data.protocol_type = USB_SC_RBC;
  68841. + mod_data.protocol_name = "RBC";
  68842. + } else if (strnicmp(mod_data.protocol_parm, "8020", 4) == 0 ||
  68843. + strnicmp(mod_data.protocol_parm, "ATAPI", 10) == 0 ||
  68844. + prot == USB_SC_8020) {
  68845. + mod_data.protocol_type = USB_SC_8020;
  68846. + mod_data.protocol_name = "8020i (ATAPI)";
  68847. + } else if (strnicmp(mod_data.protocol_parm, "QIC", 3) == 0 ||
  68848. + prot == USB_SC_QIC) {
  68849. + mod_data.protocol_type = USB_SC_QIC;
  68850. + mod_data.protocol_name = "QIC-157";
  68851. + } else if (strnicmp(mod_data.protocol_parm, "UFI", 10) == 0 ||
  68852. + prot == USB_SC_UFI) {
  68853. + mod_data.protocol_type = USB_SC_UFI;
  68854. + mod_data.protocol_name = "UFI";
  68855. + } else if (strnicmp(mod_data.protocol_parm, "8070", 4) == 0 ||
  68856. + prot == USB_SC_8070) {
  68857. + mod_data.protocol_type = USB_SC_8070;
  68858. + mod_data.protocol_name = "8070i";
  68859. + } else {
  68860. + ERROR(fsg, "invalid protocol: %s\n", mod_data.protocol_parm);
  68861. + return -EINVAL;
  68862. + }
  68863. +
  68864. + mod_data.buflen &= PAGE_CACHE_MASK;
  68865. + if (mod_data.buflen <= 0) {
  68866. + ERROR(fsg, "invalid buflen\n");
  68867. + return -ETOOSMALL;
  68868. + }
  68869. +
  68870. +#endif /* CONFIG_USB_FILE_STORAGE_TEST */
  68871. +
  68872. + /* Serial string handling.
  68873. + * On a real device, the serial string would be loaded
  68874. + * from permanent storage. */
  68875. + if (mod_data.serial) {
  68876. + const char *ch;
  68877. + unsigned len = 0;
  68878. +
  68879. + /* Sanity check :
  68880. + * The CB[I] specification limits the serial string to
  68881. + * 12 uppercase hexadecimal characters.
  68882. + * BBB need at least 12 uppercase hexadecimal characters,
  68883. + * with a maximum of 126. */
  68884. + for (ch = mod_data.serial; *ch; ++ch) {
  68885. + ++len;
  68886. + if ((*ch < '0' || *ch > '9') &&
  68887. + (*ch < 'A' || *ch > 'F')) { /* not uppercase hex */
  68888. + WARNING(fsg,
  68889. + "Invalid serial string character: %c\n",
  68890. + *ch);
  68891. + goto no_serial;
  68892. + }
  68893. + }
  68894. + if (len > 126 ||
  68895. + (mod_data.transport_type == USB_PR_BULK && len < 12) ||
  68896. + (mod_data.transport_type != USB_PR_BULK && len > 12)) {
  68897. + WARNING(fsg, "Invalid serial string length!\n");
  68898. + goto no_serial;
  68899. + }
  68900. + fsg_strings[FSG_STRING_SERIAL - 1].s = mod_data.serial;
  68901. + } else {
  68902. + WARNING(fsg, "No serial-number string provided!\n");
  68903. + no_serial:
  68904. + device_desc.iSerialNumber = 0;
  68905. + }
  68906. +
  68907. + return 0;
  68908. +}
  68909. +
  68910. +
  68911. +static int __init fsg_bind(struct usb_gadget *gadget)
  68912. +{
  68913. + struct fsg_dev *fsg = the_fsg;
  68914. + int rc;
  68915. + int i;
  68916. + struct fsg_lun *curlun;
  68917. + struct usb_ep *ep;
  68918. + struct usb_request *req;
  68919. + char *pathbuf, *p;
  68920. +
  68921. + fsg->gadget = gadget;
  68922. + set_gadget_data(gadget, fsg);
  68923. + fsg->ep0 = gadget->ep0;
  68924. + fsg->ep0->driver_data = fsg;
  68925. +
  68926. + if ((rc = check_parameters(fsg)) != 0)
  68927. + goto out;
  68928. +
  68929. + if (mod_data.removable) { // Enable the store_xxx attributes
  68930. + dev_attr_file.attr.mode = 0644;
  68931. + dev_attr_file.store = fsg_store_file;
  68932. + if (!mod_data.cdrom) {
  68933. + dev_attr_ro.attr.mode = 0644;
  68934. + dev_attr_ro.store = fsg_store_ro;
  68935. + }
  68936. + }
  68937. +
  68938. + /* Only for removable media? */
  68939. + dev_attr_nofua.attr.mode = 0644;
  68940. + dev_attr_nofua.store = fsg_store_nofua;
  68941. +
  68942. + /* Find out how many LUNs there should be */
  68943. + i = mod_data.nluns;
  68944. + if (i == 0)
  68945. + i = max(mod_data.num_filenames, 1u);
  68946. + if (i > FSG_MAX_LUNS) {
  68947. + ERROR(fsg, "invalid number of LUNs: %d\n", i);
  68948. + rc = -EINVAL;
  68949. + goto out;
  68950. + }
  68951. +
  68952. + /* Create the LUNs, open their backing files, and register the
  68953. + * LUN devices in sysfs. */
  68954. + fsg->luns = kzalloc(i * sizeof(struct fsg_lun), GFP_KERNEL);
  68955. + if (!fsg->luns) {
  68956. + rc = -ENOMEM;
  68957. + goto out;
  68958. + }
  68959. + fsg->nluns = i;
  68960. +
  68961. + for (i = 0; i < fsg->nluns; ++i) {
  68962. + curlun = &fsg->luns[i];
  68963. + curlun->cdrom = !!mod_data.cdrom;
  68964. + curlun->ro = mod_data.cdrom || mod_data.ro[i];
  68965. + curlun->initially_ro = curlun->ro;
  68966. + curlun->removable = mod_data.removable;
  68967. + curlun->nofua = mod_data.nofua[i];
  68968. + curlun->dev.release = lun_release;
  68969. + curlun->dev.parent = &gadget->dev;
  68970. + curlun->dev.driver = &fsg_driver.driver;
  68971. + dev_set_drvdata(&curlun->dev, &fsg->filesem);
  68972. + dev_set_name(&curlun->dev,"%s-lun%d",
  68973. + dev_name(&gadget->dev), i);
  68974. +
  68975. + kref_get(&fsg->ref);
  68976. + rc = device_register(&curlun->dev);
  68977. + if (rc) {
  68978. + INFO(fsg, "failed to register LUN%d: %d\n", i, rc);
  68979. + put_device(&curlun->dev);
  68980. + goto out;
  68981. + }
  68982. + curlun->registered = 1;
  68983. +
  68984. + rc = device_create_file(&curlun->dev, &dev_attr_ro);
  68985. + if (rc)
  68986. + goto out;
  68987. + rc = device_create_file(&curlun->dev, &dev_attr_nofua);
  68988. + if (rc)
  68989. + goto out;
  68990. + rc = device_create_file(&curlun->dev, &dev_attr_file);
  68991. + if (rc)
  68992. + goto out;
  68993. +
  68994. + if (mod_data.file[i] && *mod_data.file[i]) {
  68995. + rc = fsg_lun_open(curlun, mod_data.file[i]);
  68996. + if (rc)
  68997. + goto out;
  68998. + } else if (!mod_data.removable) {
  68999. + ERROR(fsg, "no file given for LUN%d\n", i);
  69000. + rc = -EINVAL;
  69001. + goto out;
  69002. + }
  69003. + }
  69004. +
  69005. + /* Find all the endpoints we will use */
  69006. + usb_ep_autoconfig_reset(gadget);
  69007. + ep = usb_ep_autoconfig(gadget, &fsg_fs_bulk_in_desc);
  69008. + if (!ep)
  69009. + goto autoconf_fail;
  69010. + ep->driver_data = fsg; // claim the endpoint
  69011. + fsg->bulk_in = ep;
  69012. +
  69013. + ep = usb_ep_autoconfig(gadget, &fsg_fs_bulk_out_desc);
  69014. + if (!ep)
  69015. + goto autoconf_fail;
  69016. + ep->driver_data = fsg; // claim the endpoint
  69017. + fsg->bulk_out = ep;
  69018. +
  69019. + if (transport_is_cbi()) {
  69020. + ep = usb_ep_autoconfig(gadget, &fsg_fs_intr_in_desc);
  69021. + if (!ep)
  69022. + goto autoconf_fail;
  69023. + ep->driver_data = fsg; // claim the endpoint
  69024. + fsg->intr_in = ep;
  69025. + }
  69026. +
  69027. + /* Fix up the descriptors */
  69028. + device_desc.idVendor = cpu_to_le16(mod_data.vendor);
  69029. + device_desc.idProduct = cpu_to_le16(mod_data.product);
  69030. + device_desc.bcdDevice = cpu_to_le16(mod_data.release);
  69031. +
  69032. + i = (transport_is_cbi() ? 3 : 2); // Number of endpoints
  69033. + fsg_intf_desc.bNumEndpoints = i;
  69034. + fsg_intf_desc.bInterfaceSubClass = mod_data.protocol_type;
  69035. + fsg_intf_desc.bInterfaceProtocol = mod_data.transport_type;
  69036. + fsg_fs_function[i + FSG_FS_FUNCTION_PRE_EP_ENTRIES] = NULL;
  69037. +
  69038. + if (gadget_is_dualspeed(gadget)) {
  69039. + fsg_hs_function[i + FSG_HS_FUNCTION_PRE_EP_ENTRIES] = NULL;
  69040. +
  69041. + /* Assume endpoint addresses are the same for both speeds */
  69042. + fsg_hs_bulk_in_desc.bEndpointAddress =
  69043. + fsg_fs_bulk_in_desc.bEndpointAddress;
  69044. + fsg_hs_bulk_out_desc.bEndpointAddress =
  69045. + fsg_fs_bulk_out_desc.bEndpointAddress;
  69046. + fsg_hs_intr_in_desc.bEndpointAddress =
  69047. + fsg_fs_intr_in_desc.bEndpointAddress;
  69048. + }
  69049. +
  69050. + if (gadget_is_superspeed(gadget)) {
  69051. + unsigned max_burst;
  69052. +
  69053. + fsg_ss_function[i + FSG_SS_FUNCTION_PRE_EP_ENTRIES] = NULL;
  69054. +
  69055. + /* Calculate bMaxBurst, we know packet size is 1024 */
  69056. + max_burst = min_t(unsigned, mod_data.buflen / 1024, 15);
  69057. +
  69058. + /* Assume endpoint addresses are the same for both speeds */
  69059. + fsg_ss_bulk_in_desc.bEndpointAddress =
  69060. + fsg_fs_bulk_in_desc.bEndpointAddress;
  69061. + fsg_ss_bulk_in_comp_desc.bMaxBurst = max_burst;
  69062. +
  69063. + fsg_ss_bulk_out_desc.bEndpointAddress =
  69064. + fsg_fs_bulk_out_desc.bEndpointAddress;
  69065. + fsg_ss_bulk_out_comp_desc.bMaxBurst = max_burst;
  69066. + }
  69067. +
  69068. + if (gadget_is_otg(gadget))
  69069. + fsg_otg_desc.bmAttributes |= USB_OTG_HNP;
  69070. +
  69071. + rc = -ENOMEM;
  69072. +
  69073. + /* Allocate the request and buffer for endpoint 0 */
  69074. + fsg->ep0req = req = usb_ep_alloc_request(fsg->ep0, GFP_KERNEL);
  69075. + if (!req)
  69076. + goto out;
  69077. + req->buf = kmalloc(EP0_BUFSIZE, GFP_KERNEL);
  69078. + if (!req->buf)
  69079. + goto out;
  69080. + req->complete = ep0_complete;
  69081. +
  69082. + /* Allocate the data buffers */
  69083. + for (i = 0; i < fsg_num_buffers; ++i) {
  69084. + struct fsg_buffhd *bh = &fsg->buffhds[i];
  69085. +
  69086. + /* Allocate for the bulk-in endpoint. We assume that
  69087. + * the buffer will also work with the bulk-out (and
  69088. + * interrupt-in) endpoint. */
  69089. + bh->buf = kmalloc(mod_data.buflen, GFP_KERNEL);
  69090. + if (!bh->buf)
  69091. + goto out;
  69092. + bh->next = bh + 1;
  69093. + }
  69094. + fsg->buffhds[fsg_num_buffers - 1].next = &fsg->buffhds[0];
  69095. +
  69096. + /* This should reflect the actual gadget power source */
  69097. + usb_gadget_set_selfpowered(gadget);
  69098. +
  69099. + snprintf(fsg_string_manufacturer, sizeof fsg_string_manufacturer,
  69100. + "%s %s with %s",
  69101. + init_utsname()->sysname, init_utsname()->release,
  69102. + gadget->name);
  69103. +
  69104. + fsg->thread_task = kthread_create(fsg_main_thread, fsg,
  69105. + "file-storage-gadget");
  69106. + if (IS_ERR(fsg->thread_task)) {
  69107. + rc = PTR_ERR(fsg->thread_task);
  69108. + goto out;
  69109. + }
  69110. +
  69111. + INFO(fsg, DRIVER_DESC ", version: " DRIVER_VERSION "\n");
  69112. + INFO(fsg, "NOTE: This driver is deprecated. "
  69113. + "Consider using g_mass_storage instead.\n");
  69114. + INFO(fsg, "Number of LUNs=%d\n", fsg->nluns);
  69115. +
  69116. + pathbuf = kmalloc(PATH_MAX, GFP_KERNEL);
  69117. + for (i = 0; i < fsg->nluns; ++i) {
  69118. + curlun = &fsg->luns[i];
  69119. + if (fsg_lun_is_open(curlun)) {
  69120. + p = NULL;
  69121. + if (pathbuf) {
  69122. + p = d_path(&curlun->filp->f_path,
  69123. + pathbuf, PATH_MAX);
  69124. + if (IS_ERR(p))
  69125. + p = NULL;
  69126. + }
  69127. + LINFO(curlun, "ro=%d, nofua=%d, file: %s\n",
  69128. + curlun->ro, curlun->nofua, (p ? p : "(error)"));
  69129. + }
  69130. + }
  69131. + kfree(pathbuf);
  69132. +
  69133. + DBG(fsg, "transport=%s (x%02x)\n",
  69134. + mod_data.transport_name, mod_data.transport_type);
  69135. + DBG(fsg, "protocol=%s (x%02x)\n",
  69136. + mod_data.protocol_name, mod_data.protocol_type);
  69137. + DBG(fsg, "VendorID=x%04x, ProductID=x%04x, Release=x%04x\n",
  69138. + mod_data.vendor, mod_data.product, mod_data.release);
  69139. + DBG(fsg, "removable=%d, stall=%d, cdrom=%d, buflen=%u\n",
  69140. + mod_data.removable, mod_data.can_stall,
  69141. + mod_data.cdrom, mod_data.buflen);
  69142. + DBG(fsg, "I/O thread pid: %d\n", task_pid_nr(fsg->thread_task));
  69143. +
  69144. + set_bit(REGISTERED, &fsg->atomic_bitflags);
  69145. +
  69146. + /* Tell the thread to start working */
  69147. + wake_up_process(fsg->thread_task);
  69148. + return 0;
  69149. +
  69150. +autoconf_fail:
  69151. + ERROR(fsg, "unable to autoconfigure all endpoints\n");
  69152. + rc = -ENOTSUPP;
  69153. +
  69154. +out:
  69155. + fsg->state = FSG_STATE_TERMINATED; // The thread is dead
  69156. + fsg_unbind(gadget);
  69157. + complete(&fsg->thread_notifier);
  69158. + return rc;
  69159. +}
  69160. +
  69161. +
  69162. +/*-------------------------------------------------------------------------*/
  69163. +
  69164. +static void fsg_suspend(struct usb_gadget *gadget)
  69165. +{
  69166. + struct fsg_dev *fsg = get_gadget_data(gadget);
  69167. +
  69168. + DBG(fsg, "suspend\n");
  69169. + set_bit(SUSPENDED, &fsg->atomic_bitflags);
  69170. +}
  69171. +
  69172. +static void fsg_resume(struct usb_gadget *gadget)
  69173. +{
  69174. + struct fsg_dev *fsg = get_gadget_data(gadget);
  69175. +
  69176. + DBG(fsg, "resume\n");
  69177. + clear_bit(SUSPENDED, &fsg->atomic_bitflags);
  69178. +}
  69179. +
  69180. +
  69181. +/*-------------------------------------------------------------------------*/
  69182. +
  69183. +static struct usb_gadget_driver fsg_driver = {
  69184. + .max_speed = USB_SPEED_SUPER,
  69185. + .function = (char *) fsg_string_product,
  69186. + .unbind = fsg_unbind,
  69187. + .disconnect = fsg_disconnect,
  69188. + .setup = fsg_setup,
  69189. + .suspend = fsg_suspend,
  69190. + .resume = fsg_resume,
  69191. +
  69192. + .driver = {
  69193. + .name = DRIVER_NAME,
  69194. + .owner = THIS_MODULE,
  69195. + // .release = ...
  69196. + // .suspend = ...
  69197. + // .resume = ...
  69198. + },
  69199. +};
  69200. +
  69201. +
  69202. +static int __init fsg_alloc(void)
  69203. +{
  69204. + struct fsg_dev *fsg;
  69205. +
  69206. + fsg = kzalloc(sizeof *fsg +
  69207. + fsg_num_buffers * sizeof *(fsg->buffhds), GFP_KERNEL);
  69208. +
  69209. + if (!fsg)
  69210. + return -ENOMEM;
  69211. + spin_lock_init(&fsg->lock);
  69212. + init_rwsem(&fsg->filesem);
  69213. + kref_init(&fsg->ref);
  69214. + init_completion(&fsg->thread_notifier);
  69215. +
  69216. + the_fsg = fsg;
  69217. + return 0;
  69218. +}
  69219. +
  69220. +
  69221. +static int __init fsg_init(void)
  69222. +{
  69223. + int rc;
  69224. + struct fsg_dev *fsg;
  69225. +
  69226. + rc = fsg_num_buffers_validate();
  69227. + if (rc != 0)
  69228. + return rc;
  69229. +
  69230. + if ((rc = fsg_alloc()) != 0)
  69231. + return rc;
  69232. + fsg = the_fsg;
  69233. + if ((rc = usb_gadget_probe_driver(&fsg_driver, fsg_bind)) != 0)
  69234. + kref_put(&fsg->ref, fsg_release);
  69235. + return rc;
  69236. +}
  69237. +module_init(fsg_init);
  69238. +
  69239. +
  69240. +static void __exit fsg_cleanup(void)
  69241. +{
  69242. + struct fsg_dev *fsg = the_fsg;
  69243. +
  69244. + /* Unregister the driver iff the thread hasn't already done so */
  69245. + if (test_and_clear_bit(REGISTERED, &fsg->atomic_bitflags))
  69246. + usb_gadget_unregister_driver(&fsg_driver);
  69247. +
  69248. + /* Wait for the thread to finish up */
  69249. + wait_for_completion(&fsg->thread_notifier);
  69250. +
  69251. + kref_put(&fsg->ref, fsg_release);
  69252. +}
  69253. +module_exit(fsg_cleanup);
  69254. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/changes.txt linux-rpi/drivers/usb/host/dwc_common_port/changes.txt
  69255. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/changes.txt 1970-01-01 01:00:00.000000000 +0100
  69256. +++ linux-rpi/drivers/usb/host/dwc_common_port/changes.txt 2015-11-29 09:42:39.915098960 +0100
  69257. @@ -0,0 +1,174 @@
  69258. +
  69259. +dwc_read_reg32() and friends now take an additional parameter, a pointer to an
  69260. +IO context struct. The IO context struct should live in an os-dependent struct
  69261. +in your driver. As an example, the dwc_usb3 driver has an os-dependent struct
  69262. +named 'os_dep' embedded in the main device struct. So there these calls look
  69263. +like this:
  69264. +
  69265. + dwc_read_reg32(&usb3_dev->os_dep.ioctx, &pcd->dev_global_regs->dcfg);
  69266. +
  69267. + dwc_write_reg32(&usb3_dev->os_dep.ioctx,
  69268. + &pcd->dev_global_regs->dcfg, 0);
  69269. +
  69270. +Note that for the existing Linux driver ports, it is not necessary to actually
  69271. +define the 'ioctx' member in the os-dependent struct. Since Linux does not
  69272. +require an IO context, its macros for dwc_read_reg32() and friends do not
  69273. +use the context pointer, so it is optimized away by the compiler. But it is
  69274. +necessary to add the pointer parameter to all of the call sites, to be ready
  69275. +for any future ports (such as FreeBSD) which do require an IO context.
  69276. +
  69277. +
  69278. +Similarly, dwc_alloc(), dwc_alloc_atomic(), dwc_strdup(), and dwc_free() now
  69279. +take an additional parameter, a pointer to a memory context. Examples:
  69280. +
  69281. + addr = dwc_alloc(&usb3_dev->os_dep.memctx, size);
  69282. +
  69283. + dwc_free(&usb3_dev->os_dep.memctx, addr);
  69284. +
  69285. +Again, for the Linux ports, it is not necessary to actually define the memctx
  69286. +member, but it is necessary to add the pointer parameter to all of the call
  69287. +sites.
  69288. +
  69289. +
  69290. +Same for dwc_dma_alloc() and dwc_dma_free(). Examples:
  69291. +
  69292. + virt_addr = dwc_dma_alloc(&usb3_dev->os_dep.dmactx, size, &phys_addr);
  69293. +
  69294. + dwc_dma_free(&usb3_dev->os_dep.dmactx, size, virt_addr, phys_addr);
  69295. +
  69296. +
  69297. +Same for dwc_mutex_alloc() and dwc_mutex_free(). Examples:
  69298. +
  69299. + mutex = dwc_mutex_alloc(&usb3_dev->os_dep.mtxctx);
  69300. +
  69301. + dwc_mutex_free(&usb3_dev->os_dep.mtxctx, mutex);
  69302. +
  69303. +
  69304. +Same for dwc_spinlock_alloc() and dwc_spinlock_free(). Examples:
  69305. +
  69306. + lock = dwc_spinlock_alloc(&usb3_dev->osdep.splctx);
  69307. +
  69308. + dwc_spinlock_free(&usb3_dev->osdep.splctx, lock);
  69309. +
  69310. +
  69311. +Same for dwc_timer_alloc(). Example:
  69312. +
  69313. + timer = dwc_timer_alloc(&usb3_dev->os_dep.tmrctx, "dwc_usb3_tmr1",
  69314. + cb_func, cb_data);
  69315. +
  69316. +
  69317. +Same for dwc_waitq_alloc(). Example:
  69318. +
  69319. + waitq = dwc_waitq_alloc(&usb3_dev->os_dep.wtqctx);
  69320. +
  69321. +
  69322. +Same for dwc_thread_run(). Example:
  69323. +
  69324. + thread = dwc_thread_run(&usb3_dev->os_dep.thdctx, func,
  69325. + "dwc_usb3_thd1", data);
  69326. +
  69327. +
  69328. +Same for dwc_workq_alloc(). Example:
  69329. +
  69330. + workq = dwc_workq_alloc(&usb3_dev->osdep.wkqctx, "dwc_usb3_wkq1");
  69331. +
  69332. +
  69333. +Same for dwc_task_alloc(). Example:
  69334. +
  69335. + task = dwc_task_alloc(&usb3_dev->os_dep.tskctx, "dwc_usb3_tsk1",
  69336. + cb_func, cb_data);
  69337. +
  69338. +
  69339. +In addition to the context pointer additions, a few core functions have had
  69340. +other changes made to their parameters:
  69341. +
  69342. +The 'flags' parameter to dwc_spinlock_irqsave() and dwc_spinunlock_irqrestore()
  69343. +has been changed from a uint64_t to a dwc_irqflags_t.
  69344. +
  69345. +dwc_thread_should_stop() now takes a 'dwc_thread_t *' parameter, because the
  69346. +FreeBSD equivalent of that function requires it.
  69347. +
  69348. +And, in addition to the context pointer, dwc_task_alloc() also adds a
  69349. +'char *name' parameter, to be consistent with dwc_thread_run() and
  69350. +dwc_workq_alloc(), and because the FreeBSD equivalent of that function
  69351. +requires a unique name.
  69352. +
  69353. +
  69354. +Here is a complete list of the core functions that now take a pointer to a
  69355. +context as their first parameter:
  69356. +
  69357. + dwc_read_reg32
  69358. + dwc_read_reg64
  69359. + dwc_write_reg32
  69360. + dwc_write_reg64
  69361. + dwc_modify_reg32
  69362. + dwc_modify_reg64
  69363. + dwc_alloc
  69364. + dwc_alloc_atomic
  69365. + dwc_strdup
  69366. + dwc_free
  69367. + dwc_dma_alloc
  69368. + dwc_dma_free
  69369. + dwc_mutex_alloc
  69370. + dwc_mutex_free
  69371. + dwc_spinlock_alloc
  69372. + dwc_spinlock_free
  69373. + dwc_timer_alloc
  69374. + dwc_waitq_alloc
  69375. + dwc_thread_run
  69376. + dwc_workq_alloc
  69377. + dwc_task_alloc Also adds a 'char *name' as its 2nd parameter
  69378. +
  69379. +And here are the core functions that have other changes to their parameters:
  69380. +
  69381. + dwc_spinlock_irqsave 'flags' param is now a 'dwc_irqflags_t *'
  69382. + dwc_spinunlock_irqrestore 'flags' param is now a 'dwc_irqflags_t'
  69383. + dwc_thread_should_stop Adds a 'dwc_thread_t *' parameter
  69384. +
  69385. +
  69386. +
  69387. +The changes to the core functions also require some of the other library
  69388. +functions to change:
  69389. +
  69390. + dwc_cc_if_alloc() and dwc_cc_if_free() now take a 'void *memctx'
  69391. + (for memory allocation) as the 1st param and a 'void *mtxctx'
  69392. + (for mutex allocation) as the 2nd param.
  69393. +
  69394. + dwc_cc_clear(), dwc_cc_add(), dwc_cc_change(), dwc_cc_remove(),
  69395. + dwc_cc_data_for_save(), and dwc_cc_restore_from_data() now take a
  69396. + 'void *memctx' as the 1st param.
  69397. +
  69398. + dwc_dh_modpow(), dwc_dh_pk(), and dwc_dh_derive_keys() now take a
  69399. + 'void *memctx' as the 1st param.
  69400. +
  69401. + dwc_modpow() now takes a 'void *memctx' as the 1st param.
  69402. +
  69403. + dwc_alloc_notification_manager() now takes a 'void *memctx' as the
  69404. + 1st param and a 'void *wkqctx' (for work queue allocation) as the 2nd
  69405. + param, and also now returns an integer value that is non-zero if
  69406. + allocation of its data structures or work queue fails.
  69407. +
  69408. + dwc_register_notifier() now takes a 'void *memctx' as the 1st param.
  69409. +
  69410. + dwc_memory_debug_start() now takes a 'void *mem_ctx' as the first
  69411. + param, and also now returns an integer value that is non-zero if
  69412. + allocation of its data structures fails.
  69413. +
  69414. +
  69415. +
  69416. +Other miscellaneous changes:
  69417. +
  69418. +The DEBUG_MEMORY and DEBUG_REGS #define's have been renamed to
  69419. +DWC_DEBUG_MEMORY and DWC_DEBUG_REGS.
  69420. +
  69421. +The following #define's have been added to allow selectively compiling library
  69422. +features:
  69423. +
  69424. + DWC_CCLIB
  69425. + DWC_CRYPTOLIB
  69426. + DWC_NOTIFYLIB
  69427. + DWC_UTFLIB
  69428. +
  69429. +A DWC_LIBMODULE #define has also been added. If this is not defined, then the
  69430. +module code in dwc_common_linux.c is not compiled in. This allows linking the
  69431. +library code directly into a driver module, instead of as a standalone module.
  69432. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/doc/doxygen.cfg linux-rpi/drivers/usb/host/dwc_common_port/doc/doxygen.cfg
  69433. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/doc/doxygen.cfg 1970-01-01 01:00:00.000000000 +0100
  69434. +++ linux-rpi/drivers/usb/host/dwc_common_port/doc/doxygen.cfg 2015-11-29 09:42:39.915098960 +0100
  69435. @@ -0,0 +1,270 @@
  69436. +# Doxyfile 1.4.5
  69437. +
  69438. +#---------------------------------------------------------------------------
  69439. +# Project related configuration options
  69440. +#---------------------------------------------------------------------------
  69441. +PROJECT_NAME = "Synopsys DWC Portability and Common Library for UWB"
  69442. +PROJECT_NUMBER =
  69443. +OUTPUT_DIRECTORY = doc
  69444. +CREATE_SUBDIRS = NO
  69445. +OUTPUT_LANGUAGE = English
  69446. +BRIEF_MEMBER_DESC = YES
  69447. +REPEAT_BRIEF = YES
  69448. +ABBREVIATE_BRIEF = "The $name class" \
  69449. + "The $name widget" \
  69450. + "The $name file" \
  69451. + is \
  69452. + provides \
  69453. + specifies \
  69454. + contains \
  69455. + represents \
  69456. + a \
  69457. + an \
  69458. + the
  69459. +ALWAYS_DETAILED_SEC = YES
  69460. +INLINE_INHERITED_MEMB = NO
  69461. +FULL_PATH_NAMES = NO
  69462. +STRIP_FROM_PATH = ..
  69463. +STRIP_FROM_INC_PATH =
  69464. +SHORT_NAMES = NO
  69465. +JAVADOC_AUTOBRIEF = YES
  69466. +MULTILINE_CPP_IS_BRIEF = NO
  69467. +DETAILS_AT_TOP = YES
  69468. +INHERIT_DOCS = YES
  69469. +SEPARATE_MEMBER_PAGES = NO
  69470. +TAB_SIZE = 8
  69471. +ALIASES =
  69472. +OPTIMIZE_OUTPUT_FOR_C = YES
  69473. +OPTIMIZE_OUTPUT_JAVA = NO
  69474. +BUILTIN_STL_SUPPORT = NO
  69475. +DISTRIBUTE_GROUP_DOC = NO
  69476. +SUBGROUPING = NO
  69477. +#---------------------------------------------------------------------------
  69478. +# Build related configuration options
  69479. +#---------------------------------------------------------------------------
  69480. +EXTRACT_ALL = NO
  69481. +EXTRACT_PRIVATE = NO
  69482. +EXTRACT_STATIC = YES
  69483. +EXTRACT_LOCAL_CLASSES = NO
  69484. +EXTRACT_LOCAL_METHODS = NO
  69485. +HIDE_UNDOC_MEMBERS = NO
  69486. +HIDE_UNDOC_CLASSES = NO
  69487. +HIDE_FRIEND_COMPOUNDS = NO
  69488. +HIDE_IN_BODY_DOCS = NO
  69489. +INTERNAL_DOCS = NO
  69490. +CASE_SENSE_NAMES = YES
  69491. +HIDE_SCOPE_NAMES = NO
  69492. +SHOW_INCLUDE_FILES = NO
  69493. +INLINE_INFO = YES
  69494. +SORT_MEMBER_DOCS = NO
  69495. +SORT_BRIEF_DOCS = NO
  69496. +SORT_BY_SCOPE_NAME = NO
  69497. +GENERATE_TODOLIST = YES
  69498. +GENERATE_TESTLIST = YES
  69499. +GENERATE_BUGLIST = YES
  69500. +GENERATE_DEPRECATEDLIST= YES
  69501. +ENABLED_SECTIONS =
  69502. +MAX_INITIALIZER_LINES = 30
  69503. +SHOW_USED_FILES = YES
  69504. +SHOW_DIRECTORIES = YES
  69505. +FILE_VERSION_FILTER =
  69506. +#---------------------------------------------------------------------------
  69507. +# configuration options related to warning and progress messages
  69508. +#---------------------------------------------------------------------------
  69509. +QUIET = YES
  69510. +WARNINGS = YES
  69511. +WARN_IF_UNDOCUMENTED = NO
  69512. +WARN_IF_DOC_ERROR = YES
  69513. +WARN_NO_PARAMDOC = YES
  69514. +WARN_FORMAT = "$file:$line: $text"
  69515. +WARN_LOGFILE =
  69516. +#---------------------------------------------------------------------------
  69517. +# configuration options related to the input files
  69518. +#---------------------------------------------------------------------------
  69519. +INPUT = .
  69520. +FILE_PATTERNS = *.c \
  69521. + *.cc \
  69522. + *.cxx \
  69523. + *.cpp \
  69524. + *.c++ \
  69525. + *.d \
  69526. + *.java \
  69527. + *.ii \
  69528. + *.ixx \
  69529. + *.ipp \
  69530. + *.i++ \
  69531. + *.inl \
  69532. + *.h \
  69533. + *.hh \
  69534. + *.hxx \
  69535. + *.hpp \
  69536. + *.h++ \
  69537. + *.idl \
  69538. + *.odl \
  69539. + *.cs \
  69540. + *.php \
  69541. + *.php3 \
  69542. + *.inc \
  69543. + *.m \
  69544. + *.mm \
  69545. + *.dox \
  69546. + *.py \
  69547. + *.C \
  69548. + *.CC \
  69549. + *.C++ \
  69550. + *.II \
  69551. + *.I++ \
  69552. + *.H \
  69553. + *.HH \
  69554. + *.H++ \
  69555. + *.CS \
  69556. + *.PHP \
  69557. + *.PHP3 \
  69558. + *.M \
  69559. + *.MM \
  69560. + *.PY
  69561. +RECURSIVE = NO
  69562. +EXCLUDE =
  69563. +EXCLUDE_SYMLINKS = NO
  69564. +EXCLUDE_PATTERNS =
  69565. +EXAMPLE_PATH =
  69566. +EXAMPLE_PATTERNS = *
  69567. +EXAMPLE_RECURSIVE = NO
  69568. +IMAGE_PATH =
  69569. +INPUT_FILTER =
  69570. +FILTER_PATTERNS =
  69571. +FILTER_SOURCE_FILES = NO
  69572. +#---------------------------------------------------------------------------
  69573. +# configuration options related to source browsing
  69574. +#---------------------------------------------------------------------------
  69575. +SOURCE_BROWSER = NO
  69576. +INLINE_SOURCES = NO
  69577. +STRIP_CODE_COMMENTS = YES
  69578. +REFERENCED_BY_RELATION = YES
  69579. +REFERENCES_RELATION = YES
  69580. +USE_HTAGS = NO
  69581. +VERBATIM_HEADERS = NO
  69582. +#---------------------------------------------------------------------------
  69583. +# configuration options related to the alphabetical class index
  69584. +#---------------------------------------------------------------------------
  69585. +ALPHABETICAL_INDEX = NO
  69586. +COLS_IN_ALPHA_INDEX = 5
  69587. +IGNORE_PREFIX =
  69588. +#---------------------------------------------------------------------------
  69589. +# configuration options related to the HTML output
  69590. +#---------------------------------------------------------------------------
  69591. +GENERATE_HTML = YES
  69592. +HTML_OUTPUT = html
  69593. +HTML_FILE_EXTENSION = .html
  69594. +HTML_HEADER =
  69595. +HTML_FOOTER =
  69596. +HTML_STYLESHEET =
  69597. +HTML_ALIGN_MEMBERS = YES
  69598. +GENERATE_HTMLHELP = NO
  69599. +CHM_FILE =
  69600. +HHC_LOCATION =
  69601. +GENERATE_CHI = NO
  69602. +BINARY_TOC = NO
  69603. +TOC_EXPAND = NO
  69604. +DISABLE_INDEX = NO
  69605. +ENUM_VALUES_PER_LINE = 4
  69606. +GENERATE_TREEVIEW = YES
  69607. +TREEVIEW_WIDTH = 250
  69608. +#---------------------------------------------------------------------------
  69609. +# configuration options related to the LaTeX output
  69610. +#---------------------------------------------------------------------------
  69611. +GENERATE_LATEX = NO
  69612. +LATEX_OUTPUT = latex
  69613. +LATEX_CMD_NAME = latex
  69614. +MAKEINDEX_CMD_NAME = makeindex
  69615. +COMPACT_LATEX = NO
  69616. +PAPER_TYPE = a4wide
  69617. +EXTRA_PACKAGES =
  69618. +LATEX_HEADER =
  69619. +PDF_HYPERLINKS = NO
  69620. +USE_PDFLATEX = NO
  69621. +LATEX_BATCHMODE = NO
  69622. +LATEX_HIDE_INDICES = NO
  69623. +#---------------------------------------------------------------------------
  69624. +# configuration options related to the RTF output
  69625. +#---------------------------------------------------------------------------
  69626. +GENERATE_RTF = NO
  69627. +RTF_OUTPUT = rtf
  69628. +COMPACT_RTF = NO
  69629. +RTF_HYPERLINKS = NO
  69630. +RTF_STYLESHEET_FILE =
  69631. +RTF_EXTENSIONS_FILE =
  69632. +#---------------------------------------------------------------------------
  69633. +# configuration options related to the man page output
  69634. +#---------------------------------------------------------------------------
  69635. +GENERATE_MAN = NO
  69636. +MAN_OUTPUT = man
  69637. +MAN_EXTENSION = .3
  69638. +MAN_LINKS = NO
  69639. +#---------------------------------------------------------------------------
  69640. +# configuration options related to the XML output
  69641. +#---------------------------------------------------------------------------
  69642. +GENERATE_XML = NO
  69643. +XML_OUTPUT = xml
  69644. +XML_SCHEMA =
  69645. +XML_DTD =
  69646. +XML_PROGRAMLISTING = YES
  69647. +#---------------------------------------------------------------------------
  69648. +# configuration options for the AutoGen Definitions output
  69649. +#---------------------------------------------------------------------------
  69650. +GENERATE_AUTOGEN_DEF = NO
  69651. +#---------------------------------------------------------------------------
  69652. +# configuration options related to the Perl module output
  69653. +#---------------------------------------------------------------------------
  69654. +GENERATE_PERLMOD = NO
  69655. +PERLMOD_LATEX = NO
  69656. +PERLMOD_PRETTY = YES
  69657. +PERLMOD_MAKEVAR_PREFIX =
  69658. +#---------------------------------------------------------------------------
  69659. +# Configuration options related to the preprocessor
  69660. +#---------------------------------------------------------------------------
  69661. +ENABLE_PREPROCESSING = YES
  69662. +MACRO_EXPANSION = NO
  69663. +EXPAND_ONLY_PREDEF = NO
  69664. +SEARCH_INCLUDES = YES
  69665. +INCLUDE_PATH =
  69666. +INCLUDE_FILE_PATTERNS =
  69667. +PREDEFINED = DEBUG DEBUG_MEMORY
  69668. +EXPAND_AS_DEFINED =
  69669. +SKIP_FUNCTION_MACROS = YES
  69670. +#---------------------------------------------------------------------------
  69671. +# Configuration::additions related to external references
  69672. +#---------------------------------------------------------------------------
  69673. +TAGFILES =
  69674. +GENERATE_TAGFILE =
  69675. +ALLEXTERNALS = NO
  69676. +EXTERNAL_GROUPS = YES
  69677. +PERL_PATH = /usr/bin/perl
  69678. +#---------------------------------------------------------------------------
  69679. +# Configuration options related to the dot tool
  69680. +#---------------------------------------------------------------------------
  69681. +CLASS_DIAGRAMS = YES
  69682. +HIDE_UNDOC_RELATIONS = YES
  69683. +HAVE_DOT = NO
  69684. +CLASS_GRAPH = YES
  69685. +COLLABORATION_GRAPH = YES
  69686. +GROUP_GRAPHS = YES
  69687. +UML_LOOK = NO
  69688. +TEMPLATE_RELATIONS = NO
  69689. +INCLUDE_GRAPH = NO
  69690. +INCLUDED_BY_GRAPH = YES
  69691. +CALL_GRAPH = NO
  69692. +GRAPHICAL_HIERARCHY = YES
  69693. +DIRECTORY_GRAPH = YES
  69694. +DOT_IMAGE_FORMAT = png
  69695. +DOT_PATH =
  69696. +DOTFILE_DIRS =
  69697. +MAX_DOT_GRAPH_DEPTH = 1000
  69698. +DOT_TRANSPARENT = NO
  69699. +DOT_MULTI_TARGETS = NO
  69700. +GENERATE_LEGEND = YES
  69701. +DOT_CLEANUP = YES
  69702. +#---------------------------------------------------------------------------
  69703. +# Configuration::additions related to the search engine
  69704. +#---------------------------------------------------------------------------
  69705. +SEARCHENGINE = NO
  69706. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_cc.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_cc.c
  69707. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_cc.c 1970-01-01 01:00:00.000000000 +0100
  69708. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_cc.c 2015-11-29 09:42:39.915098960 +0100
  69709. @@ -0,0 +1,532 @@
  69710. +/* =========================================================================
  69711. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_cc.c $
  69712. + * $Revision: #4 $
  69713. + * $Date: 2010/11/04 $
  69714. + * $Change: 1621692 $
  69715. + *
  69716. + * Synopsys Portability Library Software and documentation
  69717. + * (hereinafter, "Software") is an Unsupported proprietary work of
  69718. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  69719. + * between Synopsys and you.
  69720. + *
  69721. + * The Software IS NOT an item of Licensed Software or Licensed Product
  69722. + * under any End User Software License Agreement or Agreement for
  69723. + * Licensed Product with Synopsys or any supplement thereto. You are
  69724. + * permitted to use and redistribute this Software in source and binary
  69725. + * forms, with or without modification, provided that redistributions
  69726. + * of source code must retain this notice. You may not view, use,
  69727. + * disclose, copy or distribute this file or any information contained
  69728. + * herein except pursuant to this license grant from Synopsys. If you
  69729. + * do not agree with this notice, including the disclaimer below, then
  69730. + * you are not authorized to use the Software.
  69731. + *
  69732. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  69733. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  69734. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  69735. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  69736. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  69737. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  69738. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  69739. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  69740. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  69741. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  69742. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  69743. + * DAMAGE.
  69744. + * ========================================================================= */
  69745. +#ifdef DWC_CCLIB
  69746. +
  69747. +#include "dwc_cc.h"
  69748. +
  69749. +typedef struct dwc_cc
  69750. +{
  69751. + uint32_t uid;
  69752. + uint8_t chid[16];
  69753. + uint8_t cdid[16];
  69754. + uint8_t ck[16];
  69755. + uint8_t *name;
  69756. + uint8_t length;
  69757. + DWC_CIRCLEQ_ENTRY(dwc_cc) list_entry;
  69758. +} dwc_cc_t;
  69759. +
  69760. +DWC_CIRCLEQ_HEAD(context_list, dwc_cc);
  69761. +
  69762. +/** The main structure for CC management. */
  69763. +struct dwc_cc_if
  69764. +{
  69765. + dwc_mutex_t *mutex;
  69766. + char *filename;
  69767. +
  69768. + unsigned is_host:1;
  69769. +
  69770. + dwc_notifier_t *notifier;
  69771. +
  69772. + struct context_list list;
  69773. +};
  69774. +
  69775. +#ifdef DEBUG
  69776. +static inline void dump_bytes(char *name, uint8_t *bytes, int len)
  69777. +{
  69778. + int i;
  69779. + DWC_PRINTF("%s: ", name);
  69780. + for (i=0; i<len; i++) {
  69781. + DWC_PRINTF("%02x ", bytes[i]);
  69782. + }
  69783. + DWC_PRINTF("\n");
  69784. +}
  69785. +#else
  69786. +#define dump_bytes(x...)
  69787. +#endif
  69788. +
  69789. +static dwc_cc_t *alloc_cc(void *mem_ctx, uint8_t *name, uint32_t length)
  69790. +{
  69791. + dwc_cc_t *cc = dwc_alloc(mem_ctx, sizeof(dwc_cc_t));
  69792. + if (!cc) {
  69793. + return NULL;
  69794. + }
  69795. + DWC_MEMSET(cc, 0, sizeof(dwc_cc_t));
  69796. +
  69797. + if (name) {
  69798. + cc->length = length;
  69799. + cc->name = dwc_alloc(mem_ctx, length);
  69800. + if (!cc->name) {
  69801. + dwc_free(mem_ctx, cc);
  69802. + return NULL;
  69803. + }
  69804. +
  69805. + DWC_MEMCPY(cc->name, name, length);
  69806. + }
  69807. +
  69808. + return cc;
  69809. +}
  69810. +
  69811. +static void free_cc(void *mem_ctx, dwc_cc_t *cc)
  69812. +{
  69813. + if (cc->name) {
  69814. + dwc_free(mem_ctx, cc->name);
  69815. + }
  69816. + dwc_free(mem_ctx, cc);
  69817. +}
  69818. +
  69819. +static uint32_t next_uid(dwc_cc_if_t *cc_if)
  69820. +{
  69821. + uint32_t uid = 0;
  69822. + dwc_cc_t *cc;
  69823. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  69824. + if (cc->uid > uid) {
  69825. + uid = cc->uid;
  69826. + }
  69827. + }
  69828. +
  69829. + if (uid == 0) {
  69830. + uid = 255;
  69831. + }
  69832. +
  69833. + return uid + 1;
  69834. +}
  69835. +
  69836. +static dwc_cc_t *cc_find(dwc_cc_if_t *cc_if, uint32_t uid)
  69837. +{
  69838. + dwc_cc_t *cc;
  69839. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  69840. + if (cc->uid == uid) {
  69841. + return cc;
  69842. + }
  69843. + }
  69844. + return NULL;
  69845. +}
  69846. +
  69847. +static unsigned int cc_data_size(dwc_cc_if_t *cc_if)
  69848. +{
  69849. + unsigned int size = 0;
  69850. + dwc_cc_t *cc;
  69851. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  69852. + size += (48 + 1);
  69853. + if (cc->name) {
  69854. + size += cc->length;
  69855. + }
  69856. + }
  69857. + return size;
  69858. +}
  69859. +
  69860. +static uint32_t cc_match_chid(dwc_cc_if_t *cc_if, uint8_t *chid)
  69861. +{
  69862. + uint32_t uid = 0;
  69863. + dwc_cc_t *cc;
  69864. +
  69865. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  69866. + if (DWC_MEMCMP(cc->chid, chid, 16) == 0) {
  69867. + uid = cc->uid;
  69868. + break;
  69869. + }
  69870. + }
  69871. + return uid;
  69872. +}
  69873. +static uint32_t cc_match_cdid(dwc_cc_if_t *cc_if, uint8_t *cdid)
  69874. +{
  69875. + uint32_t uid = 0;
  69876. + dwc_cc_t *cc;
  69877. +
  69878. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  69879. + if (DWC_MEMCMP(cc->cdid, cdid, 16) == 0) {
  69880. + uid = cc->uid;
  69881. + break;
  69882. + }
  69883. + }
  69884. + return uid;
  69885. +}
  69886. +
  69887. +/* Internal cc_add */
  69888. +static int32_t cc_add(void *mem_ctx, dwc_cc_if_t *cc_if, uint8_t *chid,
  69889. + uint8_t *cdid, uint8_t *ck, uint8_t *name, uint8_t length)
  69890. +{
  69891. + dwc_cc_t *cc;
  69892. + uint32_t uid;
  69893. +
  69894. + if (cc_if->is_host) {
  69895. + uid = cc_match_cdid(cc_if, cdid);
  69896. + }
  69897. + else {
  69898. + uid = cc_match_chid(cc_if, chid);
  69899. + }
  69900. +
  69901. + if (uid) {
  69902. + DWC_DEBUGC("Replacing previous connection context id=%d name=%p name_len=%d", uid, name, length);
  69903. + cc = cc_find(cc_if, uid);
  69904. + }
  69905. + else {
  69906. + cc = alloc_cc(mem_ctx, name, length);
  69907. + cc->uid = next_uid(cc_if);
  69908. + DWC_CIRCLEQ_INSERT_TAIL(&cc_if->list, cc, list_entry);
  69909. + }
  69910. +
  69911. + DWC_MEMCPY(&(cc->chid[0]), chid, 16);
  69912. + DWC_MEMCPY(&(cc->cdid[0]), cdid, 16);
  69913. + DWC_MEMCPY(&(cc->ck[0]), ck, 16);
  69914. +
  69915. + DWC_DEBUGC("Added connection context id=%d name=%p name_len=%d", cc->uid, name, length);
  69916. + dump_bytes("CHID", cc->chid, 16);
  69917. + dump_bytes("CDID", cc->cdid, 16);
  69918. + dump_bytes("CK", cc->ck, 16);
  69919. + return cc->uid;
  69920. +}
  69921. +
  69922. +/* Internal cc_clear */
  69923. +static void cc_clear(void *mem_ctx, dwc_cc_if_t *cc_if)
  69924. +{
  69925. + while (!DWC_CIRCLEQ_EMPTY(&cc_if->list)) {
  69926. + dwc_cc_t *cc = DWC_CIRCLEQ_FIRST(&cc_if->list);
  69927. + DWC_CIRCLEQ_REMOVE_INIT(&cc_if->list, cc, list_entry);
  69928. + free_cc(mem_ctx, cc);
  69929. + }
  69930. +}
  69931. +
  69932. +dwc_cc_if_t *dwc_cc_if_alloc(void *mem_ctx, void *mtx_ctx,
  69933. + dwc_notifier_t *notifier, unsigned is_host)
  69934. +{
  69935. + dwc_cc_if_t *cc_if = NULL;
  69936. +
  69937. + /* Allocate a common_cc_if structure */
  69938. + cc_if = dwc_alloc(mem_ctx, sizeof(dwc_cc_if_t));
  69939. +
  69940. + if (!cc_if)
  69941. + return NULL;
  69942. +
  69943. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES))
  69944. + DWC_MUTEX_ALLOC_LINUX_DEBUG(cc_if->mutex);
  69945. +#else
  69946. + cc_if->mutex = dwc_mutex_alloc(mtx_ctx);
  69947. +#endif
  69948. + if (!cc_if->mutex) {
  69949. + dwc_free(mem_ctx, cc_if);
  69950. + return NULL;
  69951. + }
  69952. +
  69953. + DWC_CIRCLEQ_INIT(&cc_if->list);
  69954. + cc_if->is_host = is_host;
  69955. + cc_if->notifier = notifier;
  69956. + return cc_if;
  69957. +}
  69958. +
  69959. +void dwc_cc_if_free(void *mem_ctx, void *mtx_ctx, dwc_cc_if_t *cc_if)
  69960. +{
  69961. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES))
  69962. + DWC_MUTEX_FREE(cc_if->mutex);
  69963. +#else
  69964. + dwc_mutex_free(mtx_ctx, cc_if->mutex);
  69965. +#endif
  69966. + cc_clear(mem_ctx, cc_if);
  69967. + dwc_free(mem_ctx, cc_if);
  69968. +}
  69969. +
  69970. +static void cc_changed(dwc_cc_if_t *cc_if)
  69971. +{
  69972. + if (cc_if->notifier) {
  69973. + dwc_notify(cc_if->notifier, DWC_CC_LIST_CHANGED_NOTIFICATION, cc_if);
  69974. + }
  69975. +}
  69976. +
  69977. +void dwc_cc_clear(void *mem_ctx, dwc_cc_if_t *cc_if)
  69978. +{
  69979. + DWC_MUTEX_LOCK(cc_if->mutex);
  69980. + cc_clear(mem_ctx, cc_if);
  69981. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  69982. + cc_changed(cc_if);
  69983. +}
  69984. +
  69985. +int32_t dwc_cc_add(void *mem_ctx, dwc_cc_if_t *cc_if, uint8_t *chid,
  69986. + uint8_t *cdid, uint8_t *ck, uint8_t *name, uint8_t length)
  69987. +{
  69988. + uint32_t uid;
  69989. +
  69990. + DWC_MUTEX_LOCK(cc_if->mutex);
  69991. + uid = cc_add(mem_ctx, cc_if, chid, cdid, ck, name, length);
  69992. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  69993. + cc_changed(cc_if);
  69994. +
  69995. + return uid;
  69996. +}
  69997. +
  69998. +void dwc_cc_change(void *mem_ctx, dwc_cc_if_t *cc_if, int32_t id, uint8_t *chid,
  69999. + uint8_t *cdid, uint8_t *ck, uint8_t *name, uint8_t length)
  70000. +{
  70001. + dwc_cc_t* cc;
  70002. +
  70003. + DWC_DEBUGC("Change connection context %d", id);
  70004. +
  70005. + DWC_MUTEX_LOCK(cc_if->mutex);
  70006. + cc = cc_find(cc_if, id);
  70007. + if (!cc) {
  70008. + DWC_ERROR("Uid %d not found in cc list\n", id);
  70009. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70010. + return;
  70011. + }
  70012. +
  70013. + if (chid) {
  70014. + DWC_MEMCPY(&(cc->chid[0]), chid, 16);
  70015. + }
  70016. + if (cdid) {
  70017. + DWC_MEMCPY(&(cc->cdid[0]), cdid, 16);
  70018. + }
  70019. + if (ck) {
  70020. + DWC_MEMCPY(&(cc->ck[0]), ck, 16);
  70021. + }
  70022. +
  70023. + if (name) {
  70024. + if (cc->name) {
  70025. + dwc_free(mem_ctx, cc->name);
  70026. + }
  70027. + cc->name = dwc_alloc(mem_ctx, length);
  70028. + if (!cc->name) {
  70029. + DWC_ERROR("Out of memory in dwc_cc_change()\n");
  70030. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70031. + return;
  70032. + }
  70033. + cc->length = length;
  70034. + DWC_MEMCPY(cc->name, name, length);
  70035. + }
  70036. +
  70037. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70038. +
  70039. + cc_changed(cc_if);
  70040. +
  70041. + DWC_DEBUGC("Changed connection context id=%d\n", id);
  70042. + dump_bytes("New CHID", cc->chid, 16);
  70043. + dump_bytes("New CDID", cc->cdid, 16);
  70044. + dump_bytes("New CK", cc->ck, 16);
  70045. +}
  70046. +
  70047. +void dwc_cc_remove(void *mem_ctx, dwc_cc_if_t *cc_if, int32_t id)
  70048. +{
  70049. + dwc_cc_t *cc;
  70050. +
  70051. + DWC_DEBUGC("Removing connection context %d", id);
  70052. +
  70053. + DWC_MUTEX_LOCK(cc_if->mutex);
  70054. + cc = cc_find(cc_if, id);
  70055. + if (!cc) {
  70056. + DWC_ERROR("Uid %d not found in cc list\n", id);
  70057. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70058. + return;
  70059. + }
  70060. +
  70061. + DWC_CIRCLEQ_REMOVE_INIT(&cc_if->list, cc, list_entry);
  70062. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70063. + free_cc(mem_ctx, cc);
  70064. +
  70065. + cc_changed(cc_if);
  70066. +}
  70067. +
  70068. +uint8_t *dwc_cc_data_for_save(void *mem_ctx, dwc_cc_if_t *cc_if, unsigned int *length)
  70069. +{
  70070. + uint8_t *buf, *x;
  70071. + uint8_t zero = 0;
  70072. + dwc_cc_t *cc;
  70073. +
  70074. + DWC_MUTEX_LOCK(cc_if->mutex);
  70075. + *length = cc_data_size(cc_if);
  70076. + if (!(*length)) {
  70077. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70078. + return NULL;
  70079. + }
  70080. +
  70081. + DWC_DEBUGC("Creating data for saving (length=%d)", *length);
  70082. +
  70083. + buf = dwc_alloc(mem_ctx, *length);
  70084. + if (!buf) {
  70085. + *length = 0;
  70086. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70087. + return NULL;
  70088. + }
  70089. +
  70090. + x = buf;
  70091. + DWC_CIRCLEQ_FOREACH(cc, &cc_if->list, list_entry) {
  70092. + DWC_MEMCPY(x, cc->chid, 16);
  70093. + x += 16;
  70094. + DWC_MEMCPY(x, cc->cdid, 16);
  70095. + x += 16;
  70096. + DWC_MEMCPY(x, cc->ck, 16);
  70097. + x += 16;
  70098. + if (cc->name) {
  70099. + DWC_MEMCPY(x, &cc->length, 1);
  70100. + x += 1;
  70101. + DWC_MEMCPY(x, cc->name, cc->length);
  70102. + x += cc->length;
  70103. + }
  70104. + else {
  70105. + DWC_MEMCPY(x, &zero, 1);
  70106. + x += 1;
  70107. + }
  70108. + }
  70109. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70110. +
  70111. + return buf;
  70112. +}
  70113. +
  70114. +void dwc_cc_restore_from_data(void *mem_ctx, dwc_cc_if_t *cc_if, uint8_t *data, uint32_t length)
  70115. +{
  70116. + uint8_t name_length;
  70117. + uint8_t *name;
  70118. + uint8_t *chid;
  70119. + uint8_t *cdid;
  70120. + uint8_t *ck;
  70121. + uint32_t i = 0;
  70122. +
  70123. + DWC_MUTEX_LOCK(cc_if->mutex);
  70124. + cc_clear(mem_ctx, cc_if);
  70125. +
  70126. + while (i < length) {
  70127. + chid = &data[i];
  70128. + i += 16;
  70129. + cdid = &data[i];
  70130. + i += 16;
  70131. + ck = &data[i];
  70132. + i += 16;
  70133. +
  70134. + name_length = data[i];
  70135. + i ++;
  70136. +
  70137. + if (name_length) {
  70138. + name = &data[i];
  70139. + i += name_length;
  70140. + }
  70141. + else {
  70142. + name = NULL;
  70143. + }
  70144. +
  70145. + /* check to see if we haven't overflown the buffer */
  70146. + if (i > length) {
  70147. + DWC_ERROR("Data format error while attempting to load CCs "
  70148. + "(nlen=%d, iter=%d, buflen=%d).\n", name_length, i, length);
  70149. + break;
  70150. + }
  70151. +
  70152. + cc_add(mem_ctx, cc_if, chid, cdid, ck, name, name_length);
  70153. + }
  70154. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70155. +
  70156. + cc_changed(cc_if);
  70157. +}
  70158. +
  70159. +uint32_t dwc_cc_match_chid(dwc_cc_if_t *cc_if, uint8_t *chid)
  70160. +{
  70161. + uint32_t uid = 0;
  70162. +
  70163. + DWC_MUTEX_LOCK(cc_if->mutex);
  70164. + uid = cc_match_chid(cc_if, chid);
  70165. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70166. + return uid;
  70167. +}
  70168. +uint32_t dwc_cc_match_cdid(dwc_cc_if_t *cc_if, uint8_t *cdid)
  70169. +{
  70170. + uint32_t uid = 0;
  70171. +
  70172. + DWC_MUTEX_LOCK(cc_if->mutex);
  70173. + uid = cc_match_cdid(cc_if, cdid);
  70174. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70175. + return uid;
  70176. +}
  70177. +
  70178. +uint8_t *dwc_cc_ck(dwc_cc_if_t *cc_if, int32_t id)
  70179. +{
  70180. + uint8_t *ck = NULL;
  70181. + dwc_cc_t *cc;
  70182. +
  70183. + DWC_MUTEX_LOCK(cc_if->mutex);
  70184. + cc = cc_find(cc_if, id);
  70185. + if (cc) {
  70186. + ck = cc->ck;
  70187. + }
  70188. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70189. +
  70190. + return ck;
  70191. +
  70192. +}
  70193. +
  70194. +uint8_t *dwc_cc_chid(dwc_cc_if_t *cc_if, int32_t id)
  70195. +{
  70196. + uint8_t *retval = NULL;
  70197. + dwc_cc_t *cc;
  70198. +
  70199. + DWC_MUTEX_LOCK(cc_if->mutex);
  70200. + cc = cc_find(cc_if, id);
  70201. + if (cc) {
  70202. + retval = cc->chid;
  70203. + }
  70204. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70205. +
  70206. + return retval;
  70207. +}
  70208. +
  70209. +uint8_t *dwc_cc_cdid(dwc_cc_if_t *cc_if, int32_t id)
  70210. +{
  70211. + uint8_t *retval = NULL;
  70212. + dwc_cc_t *cc;
  70213. +
  70214. + DWC_MUTEX_LOCK(cc_if->mutex);
  70215. + cc = cc_find(cc_if, id);
  70216. + if (cc) {
  70217. + retval = cc->cdid;
  70218. + }
  70219. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70220. +
  70221. + return retval;
  70222. +}
  70223. +
  70224. +uint8_t *dwc_cc_name(dwc_cc_if_t *cc_if, int32_t id, uint8_t *length)
  70225. +{
  70226. + uint8_t *retval = NULL;
  70227. + dwc_cc_t *cc;
  70228. +
  70229. + DWC_MUTEX_LOCK(cc_if->mutex);
  70230. + *length = 0;
  70231. + cc = cc_find(cc_if, id);
  70232. + if (cc) {
  70233. + *length = cc->length;
  70234. + retval = cc->name;
  70235. + }
  70236. + DWC_MUTEX_UNLOCK(cc_if->mutex);
  70237. +
  70238. + return retval;
  70239. +}
  70240. +
  70241. +#endif /* DWC_CCLIB */
  70242. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_cc.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_cc.h
  70243. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_cc.h 1970-01-01 01:00:00.000000000 +0100
  70244. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_cc.h 2015-11-29 09:42:39.915098960 +0100
  70245. @@ -0,0 +1,224 @@
  70246. +/* =========================================================================
  70247. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_cc.h $
  70248. + * $Revision: #4 $
  70249. + * $Date: 2010/09/28 $
  70250. + * $Change: 1596182 $
  70251. + *
  70252. + * Synopsys Portability Library Software and documentation
  70253. + * (hereinafter, "Software") is an Unsupported proprietary work of
  70254. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  70255. + * between Synopsys and you.
  70256. + *
  70257. + * The Software IS NOT an item of Licensed Software or Licensed Product
  70258. + * under any End User Software License Agreement or Agreement for
  70259. + * Licensed Product with Synopsys or any supplement thereto. You are
  70260. + * permitted to use and redistribute this Software in source and binary
  70261. + * forms, with or without modification, provided that redistributions
  70262. + * of source code must retain this notice. You may not view, use,
  70263. + * disclose, copy or distribute this file or any information contained
  70264. + * herein except pursuant to this license grant from Synopsys. If you
  70265. + * do not agree with this notice, including the disclaimer below, then
  70266. + * you are not authorized to use the Software.
  70267. + *
  70268. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  70269. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  70270. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  70271. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  70272. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  70273. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  70274. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  70275. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  70276. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  70277. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  70278. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  70279. + * DAMAGE.
  70280. + * ========================================================================= */
  70281. +#ifndef _DWC_CC_H_
  70282. +#define _DWC_CC_H_
  70283. +
  70284. +#ifdef __cplusplus
  70285. +extern "C" {
  70286. +#endif
  70287. +
  70288. +/** @file
  70289. + *
  70290. + * This file defines the Context Context library.
  70291. + *
  70292. + * The main data structure is dwc_cc_if_t which is returned by either the
  70293. + * dwc_cc_if_alloc function or returned by the module to the user via a provided
  70294. + * function. The data structure is opaque and should only be manipulated via the
  70295. + * functions provied in this API.
  70296. + *
  70297. + * It manages a list of connection contexts and operations can be performed to
  70298. + * add, remove, query, search, and change, those contexts. Additionally,
  70299. + * a dwc_notifier_t object can be requested from the manager so that
  70300. + * the user can be notified whenever the context list has changed.
  70301. + */
  70302. +
  70303. +#include "dwc_os.h"
  70304. +#include "dwc_list.h"
  70305. +#include "dwc_notifier.h"
  70306. +
  70307. +
  70308. +/* Notifications */
  70309. +#define DWC_CC_LIST_CHANGED_NOTIFICATION "DWC_CC_LIST_CHANGED_NOTIFICATION"
  70310. +
  70311. +struct dwc_cc_if;
  70312. +typedef struct dwc_cc_if dwc_cc_if_t;
  70313. +
  70314. +
  70315. +/** @name Connection Context Operations */
  70316. +/** @{ */
  70317. +
  70318. +/** This function allocates memory for a dwc_cc_if_t structure, initializes
  70319. + * fields to default values, and returns a pointer to the structure or NULL on
  70320. + * error. */
  70321. +extern dwc_cc_if_t *dwc_cc_if_alloc(void *mem_ctx, void *mtx_ctx,
  70322. + dwc_notifier_t *notifier, unsigned is_host);
  70323. +
  70324. +/** Frees the memory for the specified CC structure allocated from
  70325. + * dwc_cc_if_alloc(). */
  70326. +extern void dwc_cc_if_free(void *mem_ctx, void *mtx_ctx, dwc_cc_if_t *cc_if);
  70327. +
  70328. +/** Removes all contexts from the connection context list */
  70329. +extern void dwc_cc_clear(void *mem_ctx, dwc_cc_if_t *cc_if);
  70330. +
  70331. +/** Adds a connection context (CHID, CK, CDID, Name) to the connection context list.
  70332. + * If a CHID already exists, the CK and name are overwritten. Statistics are
  70333. + * not overwritten.
  70334. + *
  70335. + * @param cc_if The cc_if structure.
  70336. + * @param chid A pointer to the 16-byte CHID. This value will be copied.
  70337. + * @param ck A pointer to the 16-byte CK. This value will be copied.
  70338. + * @param cdid A pointer to the 16-byte CDID. This value will be copied.
  70339. + * @param name An optional host friendly name as defined in the association model
  70340. + * spec. Must be a UTF16-LE unicode string. Can be NULL to indicated no name.
  70341. + * @param length The length othe unicode string.
  70342. + * @return A unique identifier used to refer to this context that is valid for
  70343. + * as long as this context is still in the list. */
  70344. +extern int32_t dwc_cc_add(void *mem_ctx, dwc_cc_if_t *cc_if, uint8_t *chid,
  70345. + uint8_t *cdid, uint8_t *ck, uint8_t *name,
  70346. + uint8_t length);
  70347. +
  70348. +/** Changes the CHID, CK, CDID, or Name values of a connection context in the
  70349. + * list, preserving any accumulated statistics. This would typically be called
  70350. + * if the host decideds to change the context with a SET_CONNECTION request.
  70351. + *
  70352. + * @param cc_if The cc_if structure.
  70353. + * @param id The identifier of the connection context.
  70354. + * @param chid A pointer to the 16-byte CHID. This value will be copied. NULL
  70355. + * indicates no change.
  70356. + * @param cdid A pointer to the 16-byte CDID. This value will be copied. NULL
  70357. + * indicates no change.
  70358. + * @param ck A pointer to the 16-byte CK. This value will be copied. NULL
  70359. + * indicates no change.
  70360. + * @param name Host friendly name UTF16-LE. NULL indicates no change.
  70361. + * @param length Length of name. */
  70362. +extern void dwc_cc_change(void *mem_ctx, dwc_cc_if_t *cc_if, int32_t id,
  70363. + uint8_t *chid, uint8_t *cdid, uint8_t *ck,
  70364. + uint8_t *name, uint8_t length);
  70365. +
  70366. +/** Remove the specified connection context.
  70367. + * @param cc_if The cc_if structure.
  70368. + * @param id The identifier of the connection context to remove. */
  70369. +extern void dwc_cc_remove(void *mem_ctx, dwc_cc_if_t *cc_if, int32_t id);
  70370. +
  70371. +/** Get a binary block of data for the connection context list and attributes.
  70372. + * This data can be used by the OS specific driver to save the connection
  70373. + * context list into non-volatile memory.
  70374. + *
  70375. + * @param cc_if The cc_if structure.
  70376. + * @param length Return the length of the data buffer.
  70377. + * @return A pointer to the data buffer. The memory for this buffer should be
  70378. + * freed with DWC_FREE() after use. */
  70379. +extern uint8_t *dwc_cc_data_for_save(void *mem_ctx, dwc_cc_if_t *cc_if,
  70380. + unsigned int *length);
  70381. +
  70382. +/** Restore the connection context list from the binary data that was previously
  70383. + * returned from a call to dwc_cc_data_for_save. This can be used by the OS specific
  70384. + * driver to load a connection context list from non-volatile memory.
  70385. + *
  70386. + * @param cc_if The cc_if structure.
  70387. + * @param data The data bytes as returned from dwc_cc_data_for_save.
  70388. + * @param length The length of the data. */
  70389. +extern void dwc_cc_restore_from_data(void *mem_ctx, dwc_cc_if_t *cc_if,
  70390. + uint8_t *data, unsigned int length);
  70391. +
  70392. +/** Find the connection context from the specified CHID.
  70393. + *
  70394. + * @param cc_if The cc_if structure.
  70395. + * @param chid A pointer to the CHID data.
  70396. + * @return A non-zero identifier of the connection context if the CHID matches.
  70397. + * Otherwise returns 0. */
  70398. +extern uint32_t dwc_cc_match_chid(dwc_cc_if_t *cc_if, uint8_t *chid);
  70399. +
  70400. +/** Find the connection context from the specified CDID.
  70401. + *
  70402. + * @param cc_if The cc_if structure.
  70403. + * @param cdid A pointer to the CDID data.
  70404. + * @return A non-zero identifier of the connection context if the CHID matches.
  70405. + * Otherwise returns 0. */
  70406. +extern uint32_t dwc_cc_match_cdid(dwc_cc_if_t *cc_if, uint8_t *cdid);
  70407. +
  70408. +/** Retrieve the CK from the specified connection context.
  70409. + *
  70410. + * @param cc_if The cc_if structure.
  70411. + * @param id The identifier of the connection context.
  70412. + * @return A pointer to the CK data. The memory does not need to be freed. */
  70413. +extern uint8_t *dwc_cc_ck(dwc_cc_if_t *cc_if, int32_t id);
  70414. +
  70415. +/** Retrieve the CHID from the specified connection context.
  70416. + *
  70417. + * @param cc_if The cc_if structure.
  70418. + * @param id The identifier of the connection context.
  70419. + * @return A pointer to the CHID data. The memory does not need to be freed. */
  70420. +extern uint8_t *dwc_cc_chid(dwc_cc_if_t *cc_if, int32_t id);
  70421. +
  70422. +/** Retrieve the CDID from the specified connection context.
  70423. + *
  70424. + * @param cc_if The cc_if structure.
  70425. + * @param id The identifier of the connection context.
  70426. + * @return A pointer to the CDID data. The memory does not need to be freed. */
  70427. +extern uint8_t *dwc_cc_cdid(dwc_cc_if_t *cc_if, int32_t id);
  70428. +
  70429. +extern uint8_t *dwc_cc_name(dwc_cc_if_t *cc_if, int32_t id, uint8_t *length);
  70430. +
  70431. +/** Checks a buffer for non-zero.
  70432. + * @param id A pointer to a 16 byte buffer.
  70433. + * @return true if the 16 byte value is non-zero. */
  70434. +static inline unsigned dwc_assoc_is_not_zero_id(uint8_t *id) {
  70435. + int i;
  70436. + for (i=0; i<16; i++) {
  70437. + if (id[i]) return 1;
  70438. + }
  70439. + return 0;
  70440. +}
  70441. +
  70442. +/** Checks a buffer for zero.
  70443. + * @param id A pointer to a 16 byte buffer.
  70444. + * @return true if the 16 byte value is zero. */
  70445. +static inline unsigned dwc_assoc_is_zero_id(uint8_t *id) {
  70446. + return !dwc_assoc_is_not_zero_id(id);
  70447. +}
  70448. +
  70449. +/** Prints an ASCII representation for the 16-byte chid, cdid, or ck, into
  70450. + * buffer. */
  70451. +static inline int dwc_print_id_string(char *buffer, uint8_t *id) {
  70452. + char *ptr = buffer;
  70453. + int i;
  70454. + for (i=0; i<16; i++) {
  70455. + ptr += DWC_SPRINTF(ptr, "%02x", id[i]);
  70456. + if (i < 15) {
  70457. + ptr += DWC_SPRINTF(ptr, " ");
  70458. + }
  70459. + }
  70460. + return ptr - buffer;
  70461. +}
  70462. +
  70463. +/** @} */
  70464. +
  70465. +#ifdef __cplusplus
  70466. +}
  70467. +#endif
  70468. +
  70469. +#endif /* _DWC_CC_H_ */
  70470. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_fbsd.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_fbsd.c
  70471. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_fbsd.c 1970-01-01 01:00:00.000000000 +0100
  70472. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_fbsd.c 2015-11-29 09:42:39.915098960 +0100
  70473. @@ -0,0 +1,1308 @@
  70474. +#include "dwc_os.h"
  70475. +#include "dwc_list.h"
  70476. +
  70477. +#ifdef DWC_CCLIB
  70478. +# include "dwc_cc.h"
  70479. +#endif
  70480. +
  70481. +#ifdef DWC_CRYPTOLIB
  70482. +# include "dwc_modpow.h"
  70483. +# include "dwc_dh.h"
  70484. +# include "dwc_crypto.h"
  70485. +#endif
  70486. +
  70487. +#ifdef DWC_NOTIFYLIB
  70488. +# include "dwc_notifier.h"
  70489. +#endif
  70490. +
  70491. +/* OS-Level Implementations */
  70492. +
  70493. +/* This is the FreeBSD 7.0 kernel implementation of the DWC platform library. */
  70494. +
  70495. +
  70496. +/* MISC */
  70497. +
  70498. +void *DWC_MEMSET(void *dest, uint8_t byte, uint32_t size)
  70499. +{
  70500. + return memset(dest, byte, size);
  70501. +}
  70502. +
  70503. +void *DWC_MEMCPY(void *dest, void const *src, uint32_t size)
  70504. +{
  70505. + return memcpy(dest, src, size);
  70506. +}
  70507. +
  70508. +void *DWC_MEMMOVE(void *dest, void *src, uint32_t size)
  70509. +{
  70510. + bcopy(src, dest, size);
  70511. + return dest;
  70512. +}
  70513. +
  70514. +int DWC_MEMCMP(void *m1, void *m2, uint32_t size)
  70515. +{
  70516. + return memcmp(m1, m2, size);
  70517. +}
  70518. +
  70519. +int DWC_STRNCMP(void *s1, void *s2, uint32_t size)
  70520. +{
  70521. + return strncmp(s1, s2, size);
  70522. +}
  70523. +
  70524. +int DWC_STRCMP(void *s1, void *s2)
  70525. +{
  70526. + return strcmp(s1, s2);
  70527. +}
  70528. +
  70529. +int DWC_STRLEN(char const *str)
  70530. +{
  70531. + return strlen(str);
  70532. +}
  70533. +
  70534. +char *DWC_STRCPY(char *to, char const *from)
  70535. +{
  70536. + return strcpy(to, from);
  70537. +}
  70538. +
  70539. +char *DWC_STRDUP(char const *str)
  70540. +{
  70541. + int len = DWC_STRLEN(str) + 1;
  70542. + char *new = DWC_ALLOC_ATOMIC(len);
  70543. +
  70544. + if (!new) {
  70545. + return NULL;
  70546. + }
  70547. +
  70548. + DWC_MEMCPY(new, str, len);
  70549. + return new;
  70550. +}
  70551. +
  70552. +int DWC_ATOI(char *str, int32_t *value)
  70553. +{
  70554. + char *end = NULL;
  70555. +
  70556. + *value = strtol(str, &end, 0);
  70557. + if (*end == '\0') {
  70558. + return 0;
  70559. + }
  70560. +
  70561. + return -1;
  70562. +}
  70563. +
  70564. +int DWC_ATOUI(char *str, uint32_t *value)
  70565. +{
  70566. + char *end = NULL;
  70567. +
  70568. + *value = strtoul(str, &end, 0);
  70569. + if (*end == '\0') {
  70570. + return 0;
  70571. + }
  70572. +
  70573. + return -1;
  70574. +}
  70575. +
  70576. +
  70577. +#ifdef DWC_UTFLIB
  70578. +/* From usbstring.c */
  70579. +
  70580. +int DWC_UTF8_TO_UTF16LE(uint8_t const *s, uint16_t *cp, unsigned len)
  70581. +{
  70582. + int count = 0;
  70583. + u8 c;
  70584. + u16 uchar;
  70585. +
  70586. + /* this insists on correct encodings, though not minimal ones.
  70587. + * BUT it currently rejects legit 4-byte UTF-8 code points,
  70588. + * which need surrogate pairs. (Unicode 3.1 can use them.)
  70589. + */
  70590. + while (len != 0 && (c = (u8) *s++) != 0) {
  70591. + if (unlikely(c & 0x80)) {
  70592. + // 2-byte sequence:
  70593. + // 00000yyyyyxxxxxx = 110yyyyy 10xxxxxx
  70594. + if ((c & 0xe0) == 0xc0) {
  70595. + uchar = (c & 0x1f) << 6;
  70596. +
  70597. + c = (u8) *s++;
  70598. + if ((c & 0xc0) != 0xc0)
  70599. + goto fail;
  70600. + c &= 0x3f;
  70601. + uchar |= c;
  70602. +
  70603. + // 3-byte sequence (most CJKV characters):
  70604. + // zzzzyyyyyyxxxxxx = 1110zzzz 10yyyyyy 10xxxxxx
  70605. + } else if ((c & 0xf0) == 0xe0) {
  70606. + uchar = (c & 0x0f) << 12;
  70607. +
  70608. + c = (u8) *s++;
  70609. + if ((c & 0xc0) != 0xc0)
  70610. + goto fail;
  70611. + c &= 0x3f;
  70612. + uchar |= c << 6;
  70613. +
  70614. + c = (u8) *s++;
  70615. + if ((c & 0xc0) != 0xc0)
  70616. + goto fail;
  70617. + c &= 0x3f;
  70618. + uchar |= c;
  70619. +
  70620. + /* no bogus surrogates */
  70621. + if (0xd800 <= uchar && uchar <= 0xdfff)
  70622. + goto fail;
  70623. +
  70624. + // 4-byte sequence (surrogate pairs, currently rare):
  70625. + // 11101110wwwwzzzzyy + 110111yyyyxxxxxx
  70626. + // = 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx
  70627. + // (uuuuu = wwww + 1)
  70628. + // FIXME accept the surrogate code points (only)
  70629. + } else
  70630. + goto fail;
  70631. + } else
  70632. + uchar = c;
  70633. + put_unaligned (cpu_to_le16 (uchar), cp++);
  70634. + count++;
  70635. + len--;
  70636. + }
  70637. + return count;
  70638. +fail:
  70639. + return -1;
  70640. +}
  70641. +
  70642. +#endif /* DWC_UTFLIB */
  70643. +
  70644. +
  70645. +/* dwc_debug.h */
  70646. +
  70647. +dwc_bool_t DWC_IN_IRQ(void)
  70648. +{
  70649. +// return in_irq();
  70650. + return 0;
  70651. +}
  70652. +
  70653. +dwc_bool_t DWC_IN_BH(void)
  70654. +{
  70655. +// return in_softirq();
  70656. + return 0;
  70657. +}
  70658. +
  70659. +void DWC_VPRINTF(char *format, va_list args)
  70660. +{
  70661. + vprintf(format, args);
  70662. +}
  70663. +
  70664. +int DWC_VSNPRINTF(char *str, int size, char *format, va_list args)
  70665. +{
  70666. + return vsnprintf(str, size, format, args);
  70667. +}
  70668. +
  70669. +void DWC_PRINTF(char *format, ...)
  70670. +{
  70671. + va_list args;
  70672. +
  70673. + va_start(args, format);
  70674. + DWC_VPRINTF(format, args);
  70675. + va_end(args);
  70676. +}
  70677. +
  70678. +int DWC_SPRINTF(char *buffer, char *format, ...)
  70679. +{
  70680. + int retval;
  70681. + va_list args;
  70682. +
  70683. + va_start(args, format);
  70684. + retval = vsprintf(buffer, format, args);
  70685. + va_end(args);
  70686. + return retval;
  70687. +}
  70688. +
  70689. +int DWC_SNPRINTF(char *buffer, int size, char *format, ...)
  70690. +{
  70691. + int retval;
  70692. + va_list args;
  70693. +
  70694. + va_start(args, format);
  70695. + retval = vsnprintf(buffer, size, format, args);
  70696. + va_end(args);
  70697. + return retval;
  70698. +}
  70699. +
  70700. +void __DWC_WARN(char *format, ...)
  70701. +{
  70702. + va_list args;
  70703. +
  70704. + va_start(args, format);
  70705. + DWC_VPRINTF(format, args);
  70706. + va_end(args);
  70707. +}
  70708. +
  70709. +void __DWC_ERROR(char *format, ...)
  70710. +{
  70711. + va_list args;
  70712. +
  70713. + va_start(args, format);
  70714. + DWC_VPRINTF(format, args);
  70715. + va_end(args);
  70716. +}
  70717. +
  70718. +void DWC_EXCEPTION(char *format, ...)
  70719. +{
  70720. + va_list args;
  70721. +
  70722. + va_start(args, format);
  70723. + DWC_VPRINTF(format, args);
  70724. + va_end(args);
  70725. +// BUG_ON(1); ???
  70726. +}
  70727. +
  70728. +#ifdef DEBUG
  70729. +void __DWC_DEBUG(char *format, ...)
  70730. +{
  70731. + va_list args;
  70732. +
  70733. + va_start(args, format);
  70734. + DWC_VPRINTF(format, args);
  70735. + va_end(args);
  70736. +}
  70737. +#endif
  70738. +
  70739. +
  70740. +/* dwc_mem.h */
  70741. +
  70742. +#if 0
  70743. +dwc_pool_t *DWC_DMA_POOL_CREATE(uint32_t size,
  70744. + uint32_t align,
  70745. + uint32_t alloc)
  70746. +{
  70747. + struct dma_pool *pool = dma_pool_create("Pool", NULL,
  70748. + size, align, alloc);
  70749. + return (dwc_pool_t *)pool;
  70750. +}
  70751. +
  70752. +void DWC_DMA_POOL_DESTROY(dwc_pool_t *pool)
  70753. +{
  70754. + dma_pool_destroy((struct dma_pool *)pool);
  70755. +}
  70756. +
  70757. +void *DWC_DMA_POOL_ALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  70758. +{
  70759. +// return dma_pool_alloc((struct dma_pool *)pool, GFP_KERNEL, dma_addr);
  70760. + return dma_pool_alloc((struct dma_pool *)pool, M_WAITOK, dma_addr);
  70761. +}
  70762. +
  70763. +void *DWC_DMA_POOL_ZALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  70764. +{
  70765. + void *vaddr = DWC_DMA_POOL_ALLOC(pool, dma_addr);
  70766. + memset(..);
  70767. +}
  70768. +
  70769. +void DWC_DMA_POOL_FREE(dwc_pool_t *pool, void *vaddr, void *daddr)
  70770. +{
  70771. + dma_pool_free(pool, vaddr, daddr);
  70772. +}
  70773. +#endif
  70774. +
  70775. +static void dmamap_cb(void *arg, bus_dma_segment_t *segs, int nseg, int error)
  70776. +{
  70777. + if (error)
  70778. + return;
  70779. + *(bus_addr_t *)arg = segs[0].ds_addr;
  70780. +}
  70781. +
  70782. +void *__DWC_DMA_ALLOC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr)
  70783. +{
  70784. + dwc_dmactx_t *dma = (dwc_dmactx_t *)dma_ctx;
  70785. + int error;
  70786. +
  70787. + error = bus_dma_tag_create(
  70788. +#if __FreeBSD_version >= 700000
  70789. + bus_get_dma_tag(dma->dev), /* parent */
  70790. +#else
  70791. + NULL, /* parent */
  70792. +#endif
  70793. + 4, 0, /* alignment, bounds */
  70794. + BUS_SPACE_MAXADDR_32BIT, /* lowaddr */
  70795. + BUS_SPACE_MAXADDR, /* highaddr */
  70796. + NULL, NULL, /* filter, filterarg */
  70797. + size, /* maxsize */
  70798. + 1, /* nsegments */
  70799. + size, /* maxsegsize */
  70800. + 0, /* flags */
  70801. + NULL, /* lockfunc */
  70802. + NULL, /* lockarg */
  70803. + &dma->dma_tag);
  70804. + if (error) {
  70805. + device_printf(dma->dev, "%s: bus_dma_tag_create failed: %d\n",
  70806. + __func__, error);
  70807. + goto fail_0;
  70808. + }
  70809. +
  70810. + error = bus_dmamem_alloc(dma->dma_tag, &dma->dma_vaddr,
  70811. + BUS_DMA_NOWAIT | BUS_DMA_COHERENT, &dma->dma_map);
  70812. + if (error) {
  70813. + device_printf(dma->dev, "%s: bus_dmamem_alloc(%ju) failed: %d\n",
  70814. + __func__, (uintmax_t)size, error);
  70815. + goto fail_1;
  70816. + }
  70817. +
  70818. + dma->dma_paddr = 0;
  70819. + error = bus_dmamap_load(dma->dma_tag, dma->dma_map, dma->dma_vaddr, size,
  70820. + dmamap_cb, &dma->dma_paddr, BUS_DMA_NOWAIT);
  70821. + if (error || dma->dma_paddr == 0) {
  70822. + device_printf(dma->dev, "%s: bus_dmamap_load failed: %d\n",
  70823. + __func__, error);
  70824. + goto fail_2;
  70825. + }
  70826. +
  70827. + *dma_addr = dma->dma_paddr;
  70828. + return dma->dma_vaddr;
  70829. +
  70830. +fail_2:
  70831. + bus_dmamap_unload(dma->dma_tag, dma->dma_map);
  70832. +fail_1:
  70833. + bus_dmamem_free(dma->dma_tag, dma->dma_vaddr, dma->dma_map);
  70834. + bus_dma_tag_destroy(dma->dma_tag);
  70835. +fail_0:
  70836. + dma->dma_map = NULL;
  70837. + dma->dma_tag = NULL;
  70838. +
  70839. + return NULL;
  70840. +}
  70841. +
  70842. +void __DWC_DMA_FREE(void *dma_ctx, uint32_t size, void *virt_addr, dwc_dma_t dma_addr)
  70843. +{
  70844. + dwc_dmactx_t *dma = (dwc_dmactx_t *)dma_ctx;
  70845. +
  70846. + if (dma->dma_tag == NULL)
  70847. + return;
  70848. + if (dma->dma_map != NULL) {
  70849. + bus_dmamap_sync(dma->dma_tag, dma->dma_map,
  70850. + BUS_DMASYNC_POSTREAD | BUS_DMASYNC_POSTWRITE);
  70851. + bus_dmamap_unload(dma->dma_tag, dma->dma_map);
  70852. + bus_dmamem_free(dma->dma_tag, dma->dma_vaddr, dma->dma_map);
  70853. + dma->dma_map = NULL;
  70854. + }
  70855. +
  70856. + bus_dma_tag_destroy(dma->dma_tag);
  70857. + dma->dma_tag = NULL;
  70858. +}
  70859. +
  70860. +void *__DWC_ALLOC(void *mem_ctx, uint32_t size)
  70861. +{
  70862. + return malloc(size, M_DEVBUF, M_WAITOK | M_ZERO);
  70863. +}
  70864. +
  70865. +void *__DWC_ALLOC_ATOMIC(void *mem_ctx, uint32_t size)
  70866. +{
  70867. + return malloc(size, M_DEVBUF, M_NOWAIT | M_ZERO);
  70868. +}
  70869. +
  70870. +void __DWC_FREE(void *mem_ctx, void *addr)
  70871. +{
  70872. + free(addr, M_DEVBUF);
  70873. +}
  70874. +
  70875. +
  70876. +#ifdef DWC_CRYPTOLIB
  70877. +/* dwc_crypto.h */
  70878. +
  70879. +void DWC_RANDOM_BYTES(uint8_t *buffer, uint32_t length)
  70880. +{
  70881. + get_random_bytes(buffer, length);
  70882. +}
  70883. +
  70884. +int DWC_AES_CBC(uint8_t *message, uint32_t messagelen, uint8_t *key, uint32_t keylen, uint8_t iv[16], uint8_t *out)
  70885. +{
  70886. + struct crypto_blkcipher *tfm;
  70887. + struct blkcipher_desc desc;
  70888. + struct scatterlist sgd;
  70889. + struct scatterlist sgs;
  70890. +
  70891. + tfm = crypto_alloc_blkcipher("cbc(aes)", 0, CRYPTO_ALG_ASYNC);
  70892. + if (tfm == NULL) {
  70893. + printk("failed to load transform for aes CBC\n");
  70894. + return -1;
  70895. + }
  70896. +
  70897. + crypto_blkcipher_setkey(tfm, key, keylen);
  70898. + crypto_blkcipher_set_iv(tfm, iv, 16);
  70899. +
  70900. + sg_init_one(&sgd, out, messagelen);
  70901. + sg_init_one(&sgs, message, messagelen);
  70902. +
  70903. + desc.tfm = tfm;
  70904. + desc.flags = 0;
  70905. +
  70906. + if (crypto_blkcipher_encrypt(&desc, &sgd, &sgs, messagelen)) {
  70907. + crypto_free_blkcipher(tfm);
  70908. + DWC_ERROR("AES CBC encryption failed");
  70909. + return -1;
  70910. + }
  70911. +
  70912. + crypto_free_blkcipher(tfm);
  70913. + return 0;
  70914. +}
  70915. +
  70916. +int DWC_SHA256(uint8_t *message, uint32_t len, uint8_t *out)
  70917. +{
  70918. + struct crypto_hash *tfm;
  70919. + struct hash_desc desc;
  70920. + struct scatterlist sg;
  70921. +
  70922. + tfm = crypto_alloc_hash("sha256", 0, CRYPTO_ALG_ASYNC);
  70923. + if (IS_ERR(tfm)) {
  70924. + DWC_ERROR("Failed to load transform for sha256: %ld", PTR_ERR(tfm));
  70925. + return 0;
  70926. + }
  70927. + desc.tfm = tfm;
  70928. + desc.flags = 0;
  70929. +
  70930. + sg_init_one(&sg, message, len);
  70931. + crypto_hash_digest(&desc, &sg, len, out);
  70932. + crypto_free_hash(tfm);
  70933. +
  70934. + return 1;
  70935. +}
  70936. +
  70937. +int DWC_HMAC_SHA256(uint8_t *message, uint32_t messagelen,
  70938. + uint8_t *key, uint32_t keylen, uint8_t *out)
  70939. +{
  70940. + struct crypto_hash *tfm;
  70941. + struct hash_desc desc;
  70942. + struct scatterlist sg;
  70943. +
  70944. + tfm = crypto_alloc_hash("hmac(sha256)", 0, CRYPTO_ALG_ASYNC);
  70945. + if (IS_ERR(tfm)) {
  70946. + DWC_ERROR("Failed to load transform for hmac(sha256): %ld", PTR_ERR(tfm));
  70947. + return 0;
  70948. + }
  70949. + desc.tfm = tfm;
  70950. + desc.flags = 0;
  70951. +
  70952. + sg_init_one(&sg, message, messagelen);
  70953. + crypto_hash_setkey(tfm, key, keylen);
  70954. + crypto_hash_digest(&desc, &sg, messagelen, out);
  70955. + crypto_free_hash(tfm);
  70956. +
  70957. + return 1;
  70958. +}
  70959. +
  70960. +#endif /* DWC_CRYPTOLIB */
  70961. +
  70962. +
  70963. +/* Byte Ordering Conversions */
  70964. +
  70965. +uint32_t DWC_CPU_TO_LE32(uint32_t *p)
  70966. +{
  70967. +#ifdef __LITTLE_ENDIAN
  70968. + return *p;
  70969. +#else
  70970. + uint8_t *u_p = (uint8_t *)p;
  70971. +
  70972. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  70973. +#endif
  70974. +}
  70975. +
  70976. +uint32_t DWC_CPU_TO_BE32(uint32_t *p)
  70977. +{
  70978. +#ifdef __BIG_ENDIAN
  70979. + return *p;
  70980. +#else
  70981. + uint8_t *u_p = (uint8_t *)p;
  70982. +
  70983. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  70984. +#endif
  70985. +}
  70986. +
  70987. +uint32_t DWC_LE32_TO_CPU(uint32_t *p)
  70988. +{
  70989. +#ifdef __LITTLE_ENDIAN
  70990. + return *p;
  70991. +#else
  70992. + uint8_t *u_p = (uint8_t *)p;
  70993. +
  70994. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  70995. +#endif
  70996. +}
  70997. +
  70998. +uint32_t DWC_BE32_TO_CPU(uint32_t *p)
  70999. +{
  71000. +#ifdef __BIG_ENDIAN
  71001. + return *p;
  71002. +#else
  71003. + uint8_t *u_p = (uint8_t *)p;
  71004. +
  71005. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  71006. +#endif
  71007. +}
  71008. +
  71009. +uint16_t DWC_CPU_TO_LE16(uint16_t *p)
  71010. +{
  71011. +#ifdef __LITTLE_ENDIAN
  71012. + return *p;
  71013. +#else
  71014. + uint8_t *u_p = (uint8_t *)p;
  71015. + return (u_p[1] | (u_p[0] << 8));
  71016. +#endif
  71017. +}
  71018. +
  71019. +uint16_t DWC_CPU_TO_BE16(uint16_t *p)
  71020. +{
  71021. +#ifdef __BIG_ENDIAN
  71022. + return *p;
  71023. +#else
  71024. + uint8_t *u_p = (uint8_t *)p;
  71025. + return (u_p[1] | (u_p[0] << 8));
  71026. +#endif
  71027. +}
  71028. +
  71029. +uint16_t DWC_LE16_TO_CPU(uint16_t *p)
  71030. +{
  71031. +#ifdef __LITTLE_ENDIAN
  71032. + return *p;
  71033. +#else
  71034. + uint8_t *u_p = (uint8_t *)p;
  71035. + return (u_p[1] | (u_p[0] << 8));
  71036. +#endif
  71037. +}
  71038. +
  71039. +uint16_t DWC_BE16_TO_CPU(uint16_t *p)
  71040. +{
  71041. +#ifdef __BIG_ENDIAN
  71042. + return *p;
  71043. +#else
  71044. + uint8_t *u_p = (uint8_t *)p;
  71045. + return (u_p[1] | (u_p[0] << 8));
  71046. +#endif
  71047. +}
  71048. +
  71049. +
  71050. +/* Registers */
  71051. +
  71052. +uint32_t DWC_READ_REG32(void *io_ctx, uint32_t volatile *reg)
  71053. +{
  71054. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71055. + bus_size_t ior = (bus_size_t)reg;
  71056. +
  71057. + return bus_space_read_4(io->iot, io->ioh, ior);
  71058. +}
  71059. +
  71060. +#if 0
  71061. +uint64_t DWC_READ_REG64(void *io_ctx, uint64_t volatile *reg)
  71062. +{
  71063. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71064. + bus_size_t ior = (bus_size_t)reg;
  71065. +
  71066. + return bus_space_read_8(io->iot, io->ioh, ior);
  71067. +}
  71068. +#endif
  71069. +
  71070. +void DWC_WRITE_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t value)
  71071. +{
  71072. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71073. + bus_size_t ior = (bus_size_t)reg;
  71074. +
  71075. + bus_space_write_4(io->iot, io->ioh, ior, value);
  71076. +}
  71077. +
  71078. +#if 0
  71079. +void DWC_WRITE_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t value)
  71080. +{
  71081. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71082. + bus_size_t ior = (bus_size_t)reg;
  71083. +
  71084. + bus_space_write_8(io->iot, io->ioh, ior, value);
  71085. +}
  71086. +#endif
  71087. +
  71088. +void DWC_MODIFY_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t clear_mask,
  71089. + uint32_t set_mask)
  71090. +{
  71091. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71092. + bus_size_t ior = (bus_size_t)reg;
  71093. +
  71094. + bus_space_write_4(io->iot, io->ioh, ior,
  71095. + (bus_space_read_4(io->iot, io->ioh, ior) &
  71096. + ~clear_mask) | set_mask);
  71097. +}
  71098. +
  71099. +#if 0
  71100. +void DWC_MODIFY_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t clear_mask,
  71101. + uint64_t set_mask)
  71102. +{
  71103. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  71104. + bus_size_t ior = (bus_size_t)reg;
  71105. +
  71106. + bus_space_write_8(io->iot, io->ioh, ior,
  71107. + (bus_space_read_8(io->iot, io->ioh, ior) &
  71108. + ~clear_mask) | set_mask);
  71109. +}
  71110. +#endif
  71111. +
  71112. +
  71113. +/* Locking */
  71114. +
  71115. +dwc_spinlock_t *DWC_SPINLOCK_ALLOC(void)
  71116. +{
  71117. + struct mtx *sl = DWC_ALLOC(sizeof(*sl));
  71118. +
  71119. + if (!sl) {
  71120. + DWC_ERROR("Cannot allocate memory for spinlock");
  71121. + return NULL;
  71122. + }
  71123. +
  71124. + mtx_init(sl, "dw3spn", NULL, MTX_SPIN);
  71125. + return (dwc_spinlock_t *)sl;
  71126. +}
  71127. +
  71128. +void DWC_SPINLOCK_FREE(dwc_spinlock_t *lock)
  71129. +{
  71130. + struct mtx *sl = (struct mtx *)lock;
  71131. +
  71132. + mtx_destroy(sl);
  71133. + DWC_FREE(sl);
  71134. +}
  71135. +
  71136. +void DWC_SPINLOCK(dwc_spinlock_t *lock)
  71137. +{
  71138. + mtx_lock_spin((struct mtx *)lock); // ???
  71139. +}
  71140. +
  71141. +void DWC_SPINUNLOCK(dwc_spinlock_t *lock)
  71142. +{
  71143. + mtx_unlock_spin((struct mtx *)lock); // ???
  71144. +}
  71145. +
  71146. +void DWC_SPINLOCK_IRQSAVE(dwc_spinlock_t *lock, dwc_irqflags_t *flags)
  71147. +{
  71148. + mtx_lock_spin((struct mtx *)lock);
  71149. +}
  71150. +
  71151. +void DWC_SPINUNLOCK_IRQRESTORE(dwc_spinlock_t *lock, dwc_irqflags_t flags)
  71152. +{
  71153. + mtx_unlock_spin((struct mtx *)lock);
  71154. +}
  71155. +
  71156. +dwc_mutex_t *DWC_MUTEX_ALLOC(void)
  71157. +{
  71158. + struct mtx *m;
  71159. + dwc_mutex_t *mutex = (dwc_mutex_t *)DWC_ALLOC(sizeof(struct mtx));
  71160. +
  71161. + if (!mutex) {
  71162. + DWC_ERROR("Cannot allocate memory for mutex");
  71163. + return NULL;
  71164. + }
  71165. +
  71166. + m = (struct mtx *)mutex;
  71167. + mtx_init(m, "dw3mtx", NULL, MTX_DEF);
  71168. + return mutex;
  71169. +}
  71170. +
  71171. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES))
  71172. +#else
  71173. +void DWC_MUTEX_FREE(dwc_mutex_t *mutex)
  71174. +{
  71175. + mtx_destroy((struct mtx *)mutex);
  71176. + DWC_FREE(mutex);
  71177. +}
  71178. +#endif
  71179. +
  71180. +void DWC_MUTEX_LOCK(dwc_mutex_t *mutex)
  71181. +{
  71182. + struct mtx *m = (struct mtx *)mutex;
  71183. +
  71184. + mtx_lock(m);
  71185. +}
  71186. +
  71187. +int DWC_MUTEX_TRYLOCK(dwc_mutex_t *mutex)
  71188. +{
  71189. + struct mtx *m = (struct mtx *)mutex;
  71190. +
  71191. + return mtx_trylock(m);
  71192. +}
  71193. +
  71194. +void DWC_MUTEX_UNLOCK(dwc_mutex_t *mutex)
  71195. +{
  71196. + struct mtx *m = (struct mtx *)mutex;
  71197. +
  71198. + mtx_unlock(m);
  71199. +}
  71200. +
  71201. +
  71202. +/* Timing */
  71203. +
  71204. +void DWC_UDELAY(uint32_t usecs)
  71205. +{
  71206. + DELAY(usecs);
  71207. +}
  71208. +
  71209. +void DWC_MDELAY(uint32_t msecs)
  71210. +{
  71211. + do {
  71212. + DELAY(1000);
  71213. + } while (--msecs);
  71214. +}
  71215. +
  71216. +void DWC_MSLEEP(uint32_t msecs)
  71217. +{
  71218. + struct timeval tv;
  71219. +
  71220. + tv.tv_sec = msecs / 1000;
  71221. + tv.tv_usec = (msecs - tv.tv_sec * 1000) * 1000;
  71222. + pause("dw3slp", tvtohz(&tv));
  71223. +}
  71224. +
  71225. +uint32_t DWC_TIME(void)
  71226. +{
  71227. + struct timeval tv;
  71228. +
  71229. + microuptime(&tv); // or getmicrouptime? (less precise, but faster)
  71230. + return tv.tv_sec * 1000 + tv.tv_usec / 1000;
  71231. +}
  71232. +
  71233. +
  71234. +/* Timers */
  71235. +
  71236. +struct dwc_timer {
  71237. + struct callout t;
  71238. + char *name;
  71239. + dwc_spinlock_t *lock;
  71240. + dwc_timer_callback_t cb;
  71241. + void *data;
  71242. +};
  71243. +
  71244. +dwc_timer_t *DWC_TIMER_ALLOC(char *name, dwc_timer_callback_t cb, void *data)
  71245. +{
  71246. + dwc_timer_t *t = DWC_ALLOC(sizeof(*t));
  71247. +
  71248. + if (!t) {
  71249. + DWC_ERROR("Cannot allocate memory for timer");
  71250. + return NULL;
  71251. + }
  71252. +
  71253. + callout_init(&t->t, 1);
  71254. +
  71255. + t->name = DWC_STRDUP(name);
  71256. + if (!t->name) {
  71257. + DWC_ERROR("Cannot allocate memory for timer->name");
  71258. + goto no_name;
  71259. + }
  71260. +
  71261. + t->lock = DWC_SPINLOCK_ALLOC();
  71262. + if (!t->lock) {
  71263. + DWC_ERROR("Cannot allocate memory for lock");
  71264. + goto no_lock;
  71265. + }
  71266. +
  71267. + t->cb = cb;
  71268. + t->data = data;
  71269. +
  71270. + return t;
  71271. +
  71272. + no_lock:
  71273. + DWC_FREE(t->name);
  71274. + no_name:
  71275. + DWC_FREE(t);
  71276. +
  71277. + return NULL;
  71278. +}
  71279. +
  71280. +void DWC_TIMER_FREE(dwc_timer_t *timer)
  71281. +{
  71282. + callout_stop(&timer->t);
  71283. + DWC_SPINLOCK_FREE(timer->lock);
  71284. + DWC_FREE(timer->name);
  71285. + DWC_FREE(timer);
  71286. +}
  71287. +
  71288. +void DWC_TIMER_SCHEDULE(dwc_timer_t *timer, uint32_t time)
  71289. +{
  71290. + struct timeval tv;
  71291. +
  71292. + tv.tv_sec = time / 1000;
  71293. + tv.tv_usec = (time - tv.tv_sec * 1000) * 1000;
  71294. + callout_reset(&timer->t, tvtohz(&tv), timer->cb, timer->data);
  71295. +}
  71296. +
  71297. +void DWC_TIMER_CANCEL(dwc_timer_t *timer)
  71298. +{
  71299. + callout_stop(&timer->t);
  71300. +}
  71301. +
  71302. +
  71303. +/* Wait Queues */
  71304. +
  71305. +struct dwc_waitq {
  71306. + struct mtx lock;
  71307. + int abort;
  71308. +};
  71309. +
  71310. +dwc_waitq_t *DWC_WAITQ_ALLOC(void)
  71311. +{
  71312. + dwc_waitq_t *wq = DWC_ALLOC(sizeof(*wq));
  71313. +
  71314. + if (!wq) {
  71315. + DWC_ERROR("Cannot allocate memory for waitqueue");
  71316. + return NULL;
  71317. + }
  71318. +
  71319. + mtx_init(&wq->lock, "dw3wtq", NULL, MTX_DEF);
  71320. + wq->abort = 0;
  71321. +
  71322. + return wq;
  71323. +}
  71324. +
  71325. +void DWC_WAITQ_FREE(dwc_waitq_t *wq)
  71326. +{
  71327. + mtx_destroy(&wq->lock);
  71328. + DWC_FREE(wq);
  71329. +}
  71330. +
  71331. +int32_t DWC_WAITQ_WAIT(dwc_waitq_t *wq, dwc_waitq_condition_t cond, void *data)
  71332. +{
  71333. +// intrmask_t ipl;
  71334. + int result = 0;
  71335. +
  71336. + mtx_lock(&wq->lock);
  71337. +// ipl = splbio();
  71338. +
  71339. + /* Skip the sleep if already aborted or triggered */
  71340. + if (!wq->abort && !cond(data)) {
  71341. +// splx(ipl);
  71342. + result = msleep(wq, &wq->lock, PCATCH, "dw3wat", 0); // infinite timeout
  71343. +// ipl = splbio();
  71344. + }
  71345. +
  71346. + if (result == ERESTART) { // signaled - restart
  71347. + result = -DWC_E_RESTART;
  71348. +
  71349. + } else if (result == EINTR) { // signaled - interrupt
  71350. + result = -DWC_E_ABORT;
  71351. +
  71352. + } else if (wq->abort) {
  71353. + result = -DWC_E_ABORT;
  71354. +
  71355. + } else {
  71356. + result = 0;
  71357. + }
  71358. +
  71359. + wq->abort = 0;
  71360. +// splx(ipl);
  71361. + mtx_unlock(&wq->lock);
  71362. + return result;
  71363. +}
  71364. +
  71365. +int32_t DWC_WAITQ_WAIT_TIMEOUT(dwc_waitq_t *wq, dwc_waitq_condition_t cond,
  71366. + void *data, int32_t msecs)
  71367. +{
  71368. + struct timeval tv, tv1, tv2;
  71369. +// intrmask_t ipl;
  71370. + int result = 0;
  71371. +
  71372. + tv.tv_sec = msecs / 1000;
  71373. + tv.tv_usec = (msecs - tv.tv_sec * 1000) * 1000;
  71374. +
  71375. + mtx_lock(&wq->lock);
  71376. +// ipl = splbio();
  71377. +
  71378. + /* Skip the sleep if already aborted or triggered */
  71379. + if (!wq->abort && !cond(data)) {
  71380. +// splx(ipl);
  71381. + getmicrouptime(&tv1);
  71382. + result = msleep(wq, &wq->lock, PCATCH, "dw3wto", tvtohz(&tv));
  71383. + getmicrouptime(&tv2);
  71384. +// ipl = splbio();
  71385. + }
  71386. +
  71387. + if (result == 0) { // awoken
  71388. + if (wq->abort) {
  71389. + result = -DWC_E_ABORT;
  71390. + } else {
  71391. + tv2.tv_usec -= tv1.tv_usec;
  71392. + if (tv2.tv_usec < 0) {
  71393. + tv2.tv_usec += 1000000;
  71394. + tv2.tv_sec--;
  71395. + }
  71396. +
  71397. + tv2.tv_sec -= tv1.tv_sec;
  71398. + result = tv2.tv_sec * 1000 + tv2.tv_usec / 1000;
  71399. + result = msecs - result;
  71400. + if (result <= 0)
  71401. + result = 1;
  71402. + }
  71403. + } else if (result == ERESTART) { // signaled - restart
  71404. + result = -DWC_E_RESTART;
  71405. +
  71406. + } else if (result == EINTR) { // signaled - interrupt
  71407. + result = -DWC_E_ABORT;
  71408. +
  71409. + } else { // timed out
  71410. + result = -DWC_E_TIMEOUT;
  71411. + }
  71412. +
  71413. + wq->abort = 0;
  71414. +// splx(ipl);
  71415. + mtx_unlock(&wq->lock);
  71416. + return result;
  71417. +}
  71418. +
  71419. +void DWC_WAITQ_TRIGGER(dwc_waitq_t *wq)
  71420. +{
  71421. + wakeup(wq);
  71422. +}
  71423. +
  71424. +void DWC_WAITQ_ABORT(dwc_waitq_t *wq)
  71425. +{
  71426. +// intrmask_t ipl;
  71427. +
  71428. + mtx_lock(&wq->lock);
  71429. +// ipl = splbio();
  71430. + wq->abort = 1;
  71431. + wakeup(wq);
  71432. +// splx(ipl);
  71433. + mtx_unlock(&wq->lock);
  71434. +}
  71435. +
  71436. +
  71437. +/* Threading */
  71438. +
  71439. +struct dwc_thread {
  71440. + struct proc *proc;
  71441. + int abort;
  71442. +};
  71443. +
  71444. +dwc_thread_t *DWC_THREAD_RUN(dwc_thread_function_t func, char *name, void *data)
  71445. +{
  71446. + int retval;
  71447. + dwc_thread_t *thread = DWC_ALLOC(sizeof(*thread));
  71448. +
  71449. + if (!thread) {
  71450. + return NULL;
  71451. + }
  71452. +
  71453. + thread->abort = 0;
  71454. + retval = kthread_create((void (*)(void *))func, data, &thread->proc,
  71455. + RFPROC | RFNOWAIT, 0, "%s", name);
  71456. + if (retval) {
  71457. + DWC_FREE(thread);
  71458. + return NULL;
  71459. + }
  71460. +
  71461. + return thread;
  71462. +}
  71463. +
  71464. +int DWC_THREAD_STOP(dwc_thread_t *thread)
  71465. +{
  71466. + int retval;
  71467. +
  71468. + thread->abort = 1;
  71469. + retval = tsleep(&thread->abort, 0, "dw3stp", 60 * hz);
  71470. +
  71471. + if (retval == 0) {
  71472. + /* DWC_THREAD_EXIT() will free the thread struct */
  71473. + return 0;
  71474. + }
  71475. +
  71476. + /* NOTE: We leak the thread struct if thread doesn't die */
  71477. +
  71478. + if (retval == EWOULDBLOCK) {
  71479. + return -DWC_E_TIMEOUT;
  71480. + }
  71481. +
  71482. + return -DWC_E_UNKNOWN;
  71483. +}
  71484. +
  71485. +dwc_bool_t DWC_THREAD_SHOULD_STOP(dwc_thread_t *thread)
  71486. +{
  71487. + return thread->abort;
  71488. +}
  71489. +
  71490. +void DWC_THREAD_EXIT(dwc_thread_t *thread)
  71491. +{
  71492. + wakeup(&thread->abort);
  71493. + DWC_FREE(thread);
  71494. + kthread_exit(0);
  71495. +}
  71496. +
  71497. +
  71498. +/* tasklets
  71499. + - Runs in interrupt context (cannot sleep)
  71500. + - Each tasklet runs on a single CPU [ How can we ensure this on FreeBSD? Does it matter? ]
  71501. + - Different tasklets can be running simultaneously on different CPUs [ shouldn't matter ]
  71502. + */
  71503. +struct dwc_tasklet {
  71504. + struct task t;
  71505. + dwc_tasklet_callback_t cb;
  71506. + void *data;
  71507. +};
  71508. +
  71509. +static void tasklet_callback(void *data, int pending) // what to do with pending ???
  71510. +{
  71511. + dwc_tasklet_t *task = (dwc_tasklet_t *)data;
  71512. +
  71513. + task->cb(task->data);
  71514. +}
  71515. +
  71516. +dwc_tasklet_t *DWC_TASK_ALLOC(char *name, dwc_tasklet_callback_t cb, void *data)
  71517. +{
  71518. + dwc_tasklet_t *task = DWC_ALLOC(sizeof(*task));
  71519. +
  71520. + if (task) {
  71521. + task->cb = cb;
  71522. + task->data = data;
  71523. + TASK_INIT(&task->t, 0, tasklet_callback, task);
  71524. + } else {
  71525. + DWC_ERROR("Cannot allocate memory for tasklet");
  71526. + }
  71527. +
  71528. + return task;
  71529. +}
  71530. +
  71531. +void DWC_TASK_FREE(dwc_tasklet_t *task)
  71532. +{
  71533. + taskqueue_drain(taskqueue_fast, &task->t); // ???
  71534. + DWC_FREE(task);
  71535. +}
  71536. +
  71537. +void DWC_TASK_SCHEDULE(dwc_tasklet_t *task)
  71538. +{
  71539. + /* Uses predefined system queue */
  71540. + taskqueue_enqueue_fast(taskqueue_fast, &task->t);
  71541. +}
  71542. +
  71543. +
  71544. +/* workqueues
  71545. + - Runs in process context (can sleep)
  71546. + */
  71547. +typedef struct work_container {
  71548. + dwc_work_callback_t cb;
  71549. + void *data;
  71550. + dwc_workq_t *wq;
  71551. + char *name;
  71552. + int hz;
  71553. +
  71554. +#ifdef DEBUG
  71555. + DWC_CIRCLEQ_ENTRY(work_container) entry;
  71556. +#endif
  71557. + struct task task;
  71558. +} work_container_t;
  71559. +
  71560. +#ifdef DEBUG
  71561. +DWC_CIRCLEQ_HEAD(work_container_queue, work_container);
  71562. +#endif
  71563. +
  71564. +struct dwc_workq {
  71565. + struct taskqueue *taskq;
  71566. + dwc_spinlock_t *lock;
  71567. + dwc_waitq_t *waitq;
  71568. + int pending;
  71569. +
  71570. +#ifdef DEBUG
  71571. + struct work_container_queue entries;
  71572. +#endif
  71573. +};
  71574. +
  71575. +static void do_work(void *data, int pending) // what to do with pending ???
  71576. +{
  71577. + work_container_t *container = (work_container_t *)data;
  71578. + dwc_workq_t *wq = container->wq;
  71579. + dwc_irqflags_t flags;
  71580. +
  71581. + if (container->hz) {
  71582. + pause("dw3wrk", container->hz);
  71583. + }
  71584. +
  71585. + container->cb(container->data);
  71586. + DWC_DEBUG("Work done: %s, container=%p", container->name, container);
  71587. +
  71588. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  71589. +
  71590. +#ifdef DEBUG
  71591. + DWC_CIRCLEQ_REMOVE(&wq->entries, container, entry);
  71592. +#endif
  71593. + if (container->name)
  71594. + DWC_FREE(container->name);
  71595. + DWC_FREE(container);
  71596. + wq->pending--;
  71597. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  71598. + DWC_WAITQ_TRIGGER(wq->waitq);
  71599. +}
  71600. +
  71601. +static int work_done(void *data)
  71602. +{
  71603. + dwc_workq_t *workq = (dwc_workq_t *)data;
  71604. +
  71605. + return workq->pending == 0;
  71606. +}
  71607. +
  71608. +int DWC_WORKQ_WAIT_WORK_DONE(dwc_workq_t *workq, int timeout)
  71609. +{
  71610. + return DWC_WAITQ_WAIT_TIMEOUT(workq->waitq, work_done, workq, timeout);
  71611. +}
  71612. +
  71613. +dwc_workq_t *DWC_WORKQ_ALLOC(char *name)
  71614. +{
  71615. + dwc_workq_t *wq = DWC_ALLOC(sizeof(*wq));
  71616. +
  71617. + if (!wq) {
  71618. + DWC_ERROR("Cannot allocate memory for workqueue");
  71619. + return NULL;
  71620. + }
  71621. +
  71622. + wq->taskq = taskqueue_create(name, M_NOWAIT, taskqueue_thread_enqueue, &wq->taskq);
  71623. + if (!wq->taskq) {
  71624. + DWC_ERROR("Cannot allocate memory for taskqueue");
  71625. + goto no_taskq;
  71626. + }
  71627. +
  71628. + wq->pending = 0;
  71629. +
  71630. + wq->lock = DWC_SPINLOCK_ALLOC();
  71631. + if (!wq->lock) {
  71632. + DWC_ERROR("Cannot allocate memory for spinlock");
  71633. + goto no_lock;
  71634. + }
  71635. +
  71636. + wq->waitq = DWC_WAITQ_ALLOC();
  71637. + if (!wq->waitq) {
  71638. + DWC_ERROR("Cannot allocate memory for waitqueue");
  71639. + goto no_waitq;
  71640. + }
  71641. +
  71642. + taskqueue_start_threads(&wq->taskq, 1, PWAIT, "%s taskq", "dw3tsk");
  71643. +
  71644. +#ifdef DEBUG
  71645. + DWC_CIRCLEQ_INIT(&wq->entries);
  71646. +#endif
  71647. + return wq;
  71648. +
  71649. + no_waitq:
  71650. + DWC_SPINLOCK_FREE(wq->lock);
  71651. + no_lock:
  71652. + taskqueue_free(wq->taskq);
  71653. + no_taskq:
  71654. + DWC_FREE(wq);
  71655. +
  71656. + return NULL;
  71657. +}
  71658. +
  71659. +void DWC_WORKQ_FREE(dwc_workq_t *wq)
  71660. +{
  71661. +#ifdef DEBUG
  71662. + dwc_irqflags_t flags;
  71663. +
  71664. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  71665. +
  71666. + if (wq->pending != 0) {
  71667. + struct work_container *container;
  71668. +
  71669. + DWC_ERROR("Destroying work queue with pending work");
  71670. +
  71671. + DWC_CIRCLEQ_FOREACH(container, &wq->entries, entry) {
  71672. + DWC_ERROR("Work %s still pending", container->name);
  71673. + }
  71674. + }
  71675. +
  71676. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  71677. +#endif
  71678. + DWC_WAITQ_FREE(wq->waitq);
  71679. + DWC_SPINLOCK_FREE(wq->lock);
  71680. + taskqueue_free(wq->taskq);
  71681. + DWC_FREE(wq);
  71682. +}
  71683. +
  71684. +void DWC_WORKQ_SCHEDULE(dwc_workq_t *wq, dwc_work_callback_t cb, void *data,
  71685. + char *format, ...)
  71686. +{
  71687. + dwc_irqflags_t flags;
  71688. + work_container_t *container;
  71689. + static char name[128];
  71690. + va_list args;
  71691. +
  71692. + va_start(args, format);
  71693. + DWC_VSNPRINTF(name, 128, format, args);
  71694. + va_end(args);
  71695. +
  71696. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  71697. + wq->pending++;
  71698. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  71699. + DWC_WAITQ_TRIGGER(wq->waitq);
  71700. +
  71701. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  71702. + if (!container) {
  71703. + DWC_ERROR("Cannot allocate memory for container");
  71704. + return;
  71705. + }
  71706. +
  71707. + container->name = DWC_STRDUP(name);
  71708. + if (!container->name) {
  71709. + DWC_ERROR("Cannot allocate memory for container->name");
  71710. + DWC_FREE(container);
  71711. + return;
  71712. + }
  71713. +
  71714. + container->cb = cb;
  71715. + container->data = data;
  71716. + container->wq = wq;
  71717. + container->hz = 0;
  71718. +
  71719. + DWC_DEBUG("Queueing work: %s, container=%p", container->name, container);
  71720. +
  71721. + TASK_INIT(&container->task, 0, do_work, container);
  71722. +
  71723. +#ifdef DEBUG
  71724. + DWC_CIRCLEQ_INSERT_TAIL(&wq->entries, container, entry);
  71725. +#endif
  71726. + taskqueue_enqueue_fast(wq->taskq, &container->task);
  71727. +}
  71728. +
  71729. +void DWC_WORKQ_SCHEDULE_DELAYED(dwc_workq_t *wq, dwc_work_callback_t cb,
  71730. + void *data, uint32_t time, char *format, ...)
  71731. +{
  71732. + dwc_irqflags_t flags;
  71733. + work_container_t *container;
  71734. + static char name[128];
  71735. + struct timeval tv;
  71736. + va_list args;
  71737. +
  71738. + va_start(args, format);
  71739. + DWC_VSNPRINTF(name, 128, format, args);
  71740. + va_end(args);
  71741. +
  71742. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  71743. + wq->pending++;
  71744. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  71745. + DWC_WAITQ_TRIGGER(wq->waitq);
  71746. +
  71747. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  71748. + if (!container) {
  71749. + DWC_ERROR("Cannot allocate memory for container");
  71750. + return;
  71751. + }
  71752. +
  71753. + container->name = DWC_STRDUP(name);
  71754. + if (!container->name) {
  71755. + DWC_ERROR("Cannot allocate memory for container->name");
  71756. + DWC_FREE(container);
  71757. + return;
  71758. + }
  71759. +
  71760. + container->cb = cb;
  71761. + container->data = data;
  71762. + container->wq = wq;
  71763. +
  71764. + tv.tv_sec = time / 1000;
  71765. + tv.tv_usec = (time - tv.tv_sec * 1000) * 1000;
  71766. + container->hz = tvtohz(&tv);
  71767. +
  71768. + DWC_DEBUG("Queueing work: %s, container=%p", container->name, container);
  71769. +
  71770. + TASK_INIT(&container->task, 0, do_work, container);
  71771. +
  71772. +#ifdef DEBUG
  71773. + DWC_CIRCLEQ_INSERT_TAIL(&wq->entries, container, entry);
  71774. +#endif
  71775. + taskqueue_enqueue_fast(wq->taskq, &container->task);
  71776. +}
  71777. +
  71778. +int DWC_WORKQ_PENDING(dwc_workq_t *wq)
  71779. +{
  71780. + return wq->pending;
  71781. +}
  71782. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_linux.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_linux.c
  71783. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_linux.c 1970-01-01 01:00:00.000000000 +0100
  71784. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_linux.c 2015-11-29 09:42:39.915098960 +0100
  71785. @@ -0,0 +1,1434 @@
  71786. +#include <linux/kernel.h>
  71787. +#include <linux/init.h>
  71788. +#include <linux/module.h>
  71789. +#include <linux/kthread.h>
  71790. +
  71791. +#ifdef DWC_CCLIB
  71792. +# include "dwc_cc.h"
  71793. +#endif
  71794. +
  71795. +#ifdef DWC_CRYPTOLIB
  71796. +# include "dwc_modpow.h"
  71797. +# include "dwc_dh.h"
  71798. +# include "dwc_crypto.h"
  71799. +#endif
  71800. +
  71801. +#ifdef DWC_NOTIFYLIB
  71802. +# include "dwc_notifier.h"
  71803. +#endif
  71804. +
  71805. +/* OS-Level Implementations */
  71806. +
  71807. +/* This is the Linux kernel implementation of the DWC platform library. */
  71808. +#include <linux/moduleparam.h>
  71809. +#include <linux/ctype.h>
  71810. +#include <linux/crypto.h>
  71811. +#include <linux/delay.h>
  71812. +#include <linux/device.h>
  71813. +#include <linux/dma-mapping.h>
  71814. +#include <linux/cdev.h>
  71815. +#include <linux/errno.h>
  71816. +#include <linux/interrupt.h>
  71817. +#include <linux/jiffies.h>
  71818. +#include <linux/list.h>
  71819. +#include <linux/pci.h>
  71820. +#include <linux/random.h>
  71821. +#include <linux/scatterlist.h>
  71822. +#include <linux/slab.h>
  71823. +#include <linux/stat.h>
  71824. +#include <linux/string.h>
  71825. +#include <linux/timer.h>
  71826. +#include <linux/usb.h>
  71827. +
  71828. +#include <linux/version.h>
  71829. +
  71830. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,24)
  71831. +# include <linux/usb/gadget.h>
  71832. +#else
  71833. +# include <linux/usb_gadget.h>
  71834. +#endif
  71835. +
  71836. +#include <asm/io.h>
  71837. +#include <asm/page.h>
  71838. +#include <asm/uaccess.h>
  71839. +#include <asm/unaligned.h>
  71840. +
  71841. +#include "dwc_os.h"
  71842. +#include "dwc_list.h"
  71843. +
  71844. +
  71845. +/* MISC */
  71846. +
  71847. +void *DWC_MEMSET(void *dest, uint8_t byte, uint32_t size)
  71848. +{
  71849. + return memset(dest, byte, size);
  71850. +}
  71851. +
  71852. +void *DWC_MEMCPY(void *dest, void const *src, uint32_t size)
  71853. +{
  71854. + return memcpy(dest, src, size);
  71855. +}
  71856. +
  71857. +void *DWC_MEMMOVE(void *dest, void *src, uint32_t size)
  71858. +{
  71859. + return memmove(dest, src, size);
  71860. +}
  71861. +
  71862. +int DWC_MEMCMP(void *m1, void *m2, uint32_t size)
  71863. +{
  71864. + return memcmp(m1, m2, size);
  71865. +}
  71866. +
  71867. +int DWC_STRNCMP(void *s1, void *s2, uint32_t size)
  71868. +{
  71869. + return strncmp(s1, s2, size);
  71870. +}
  71871. +
  71872. +int DWC_STRCMP(void *s1, void *s2)
  71873. +{
  71874. + return strcmp(s1, s2);
  71875. +}
  71876. +
  71877. +int DWC_STRLEN(char const *str)
  71878. +{
  71879. + return strlen(str);
  71880. +}
  71881. +
  71882. +char *DWC_STRCPY(char *to, char const *from)
  71883. +{
  71884. + return strcpy(to, from);
  71885. +}
  71886. +
  71887. +char *DWC_STRDUP(char const *str)
  71888. +{
  71889. + int len = DWC_STRLEN(str) + 1;
  71890. + char *new = DWC_ALLOC_ATOMIC(len);
  71891. +
  71892. + if (!new) {
  71893. + return NULL;
  71894. + }
  71895. +
  71896. + DWC_MEMCPY(new, str, len);
  71897. + return new;
  71898. +}
  71899. +
  71900. +int DWC_ATOI(const char *str, int32_t *value)
  71901. +{
  71902. + char *end = NULL;
  71903. +
  71904. + *value = simple_strtol(str, &end, 0);
  71905. + if (*end == '\0') {
  71906. + return 0;
  71907. + }
  71908. +
  71909. + return -1;
  71910. +}
  71911. +
  71912. +int DWC_ATOUI(const char *str, uint32_t *value)
  71913. +{
  71914. + char *end = NULL;
  71915. +
  71916. + *value = simple_strtoul(str, &end, 0);
  71917. + if (*end == '\0') {
  71918. + return 0;
  71919. + }
  71920. +
  71921. + return -1;
  71922. +}
  71923. +
  71924. +
  71925. +#ifdef DWC_UTFLIB
  71926. +/* From usbstring.c */
  71927. +
  71928. +int DWC_UTF8_TO_UTF16LE(uint8_t const *s, uint16_t *cp, unsigned len)
  71929. +{
  71930. + int count = 0;
  71931. + u8 c;
  71932. + u16 uchar;
  71933. +
  71934. + /* this insists on correct encodings, though not minimal ones.
  71935. + * BUT it currently rejects legit 4-byte UTF-8 code points,
  71936. + * which need surrogate pairs. (Unicode 3.1 can use them.)
  71937. + */
  71938. + while (len != 0 && (c = (u8) *s++) != 0) {
  71939. + if (unlikely(c & 0x80)) {
  71940. + // 2-byte sequence:
  71941. + // 00000yyyyyxxxxxx = 110yyyyy 10xxxxxx
  71942. + if ((c & 0xe0) == 0xc0) {
  71943. + uchar = (c & 0x1f) << 6;
  71944. +
  71945. + c = (u8) *s++;
  71946. + if ((c & 0xc0) != 0xc0)
  71947. + goto fail;
  71948. + c &= 0x3f;
  71949. + uchar |= c;
  71950. +
  71951. + // 3-byte sequence (most CJKV characters):
  71952. + // zzzzyyyyyyxxxxxx = 1110zzzz 10yyyyyy 10xxxxxx
  71953. + } else if ((c & 0xf0) == 0xe0) {
  71954. + uchar = (c & 0x0f) << 12;
  71955. +
  71956. + c = (u8) *s++;
  71957. + if ((c & 0xc0) != 0xc0)
  71958. + goto fail;
  71959. + c &= 0x3f;
  71960. + uchar |= c << 6;
  71961. +
  71962. + c = (u8) *s++;
  71963. + if ((c & 0xc0) != 0xc0)
  71964. + goto fail;
  71965. + c &= 0x3f;
  71966. + uchar |= c;
  71967. +
  71968. + /* no bogus surrogates */
  71969. + if (0xd800 <= uchar && uchar <= 0xdfff)
  71970. + goto fail;
  71971. +
  71972. + // 4-byte sequence (surrogate pairs, currently rare):
  71973. + // 11101110wwwwzzzzyy + 110111yyyyxxxxxx
  71974. + // = 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx
  71975. + // (uuuuu = wwww + 1)
  71976. + // FIXME accept the surrogate code points (only)
  71977. + } else
  71978. + goto fail;
  71979. + } else
  71980. + uchar = c;
  71981. + put_unaligned (cpu_to_le16 (uchar), cp++);
  71982. + count++;
  71983. + len--;
  71984. + }
  71985. + return count;
  71986. +fail:
  71987. + return -1;
  71988. +}
  71989. +#endif /* DWC_UTFLIB */
  71990. +
  71991. +
  71992. +/* dwc_debug.h */
  71993. +
  71994. +dwc_bool_t DWC_IN_IRQ(void)
  71995. +{
  71996. + return in_irq();
  71997. +}
  71998. +
  71999. +dwc_bool_t DWC_IN_BH(void)
  72000. +{
  72001. + return in_softirq();
  72002. +}
  72003. +
  72004. +void DWC_VPRINTF(char *format, va_list args)
  72005. +{
  72006. + vprintk(format, args);
  72007. +}
  72008. +
  72009. +int DWC_VSNPRINTF(char *str, int size, char *format, va_list args)
  72010. +{
  72011. + return vsnprintf(str, size, format, args);
  72012. +}
  72013. +
  72014. +void DWC_PRINTF(char *format, ...)
  72015. +{
  72016. + va_list args;
  72017. +
  72018. + va_start(args, format);
  72019. + DWC_VPRINTF(format, args);
  72020. + va_end(args);
  72021. +}
  72022. +
  72023. +int DWC_SPRINTF(char *buffer, char *format, ...)
  72024. +{
  72025. + int retval;
  72026. + va_list args;
  72027. +
  72028. + va_start(args, format);
  72029. + retval = vsprintf(buffer, format, args);
  72030. + va_end(args);
  72031. + return retval;
  72032. +}
  72033. +
  72034. +int DWC_SNPRINTF(char *buffer, int size, char *format, ...)
  72035. +{
  72036. + int retval;
  72037. + va_list args;
  72038. +
  72039. + va_start(args, format);
  72040. + retval = vsnprintf(buffer, size, format, args);
  72041. + va_end(args);
  72042. + return retval;
  72043. +}
  72044. +
  72045. +void __DWC_WARN(char *format, ...)
  72046. +{
  72047. + va_list args;
  72048. +
  72049. + va_start(args, format);
  72050. + DWC_PRINTF(KERN_WARNING);
  72051. + DWC_VPRINTF(format, args);
  72052. + va_end(args);
  72053. +}
  72054. +
  72055. +void __DWC_ERROR(char *format, ...)
  72056. +{
  72057. + va_list args;
  72058. +
  72059. + va_start(args, format);
  72060. + DWC_PRINTF(KERN_ERR);
  72061. + DWC_VPRINTF(format, args);
  72062. + va_end(args);
  72063. +}
  72064. +
  72065. +void DWC_EXCEPTION(char *format, ...)
  72066. +{
  72067. + va_list args;
  72068. +
  72069. + va_start(args, format);
  72070. + DWC_PRINTF(KERN_ERR);
  72071. + DWC_VPRINTF(format, args);
  72072. + va_end(args);
  72073. + BUG_ON(1);
  72074. +}
  72075. +
  72076. +#ifdef DEBUG
  72077. +void __DWC_DEBUG(char *format, ...)
  72078. +{
  72079. + va_list args;
  72080. +
  72081. + va_start(args, format);
  72082. + DWC_PRINTF(KERN_DEBUG);
  72083. + DWC_VPRINTF(format, args);
  72084. + va_end(args);
  72085. +}
  72086. +#endif
  72087. +
  72088. +
  72089. +/* dwc_mem.h */
  72090. +
  72091. +#if 0
  72092. +dwc_pool_t *DWC_DMA_POOL_CREATE(uint32_t size,
  72093. + uint32_t align,
  72094. + uint32_t alloc)
  72095. +{
  72096. + struct dma_pool *pool = dma_pool_create("Pool", NULL,
  72097. + size, align, alloc);
  72098. + return (dwc_pool_t *)pool;
  72099. +}
  72100. +
  72101. +void DWC_DMA_POOL_DESTROY(dwc_pool_t *pool)
  72102. +{
  72103. + dma_pool_destroy((struct dma_pool *)pool);
  72104. +}
  72105. +
  72106. +void *DWC_DMA_POOL_ALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  72107. +{
  72108. + return dma_pool_alloc((struct dma_pool *)pool, GFP_KERNEL, dma_addr);
  72109. +}
  72110. +
  72111. +void *DWC_DMA_POOL_ZALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  72112. +{
  72113. + void *vaddr = DWC_DMA_POOL_ALLOC(pool, dma_addr);
  72114. + memset(..);
  72115. +}
  72116. +
  72117. +void DWC_DMA_POOL_FREE(dwc_pool_t *pool, void *vaddr, void *daddr)
  72118. +{
  72119. + dma_pool_free(pool, vaddr, daddr);
  72120. +}
  72121. +#endif
  72122. +
  72123. +void *__DWC_DMA_ALLOC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr)
  72124. +{
  72125. +#ifdef xxCOSIM /* Only works for 32-bit cosim */
  72126. + void *buf = dma_alloc_coherent(dma_ctx, (size_t)size, dma_addr, GFP_KERNEL);
  72127. +#else
  72128. + void *buf = dma_alloc_coherent(dma_ctx, (size_t)size, dma_addr, GFP_KERNEL | GFP_DMA32);
  72129. +#endif
  72130. + if (!buf) {
  72131. + return NULL;
  72132. + }
  72133. +
  72134. + memset(buf, 0, (size_t)size);
  72135. + return buf;
  72136. +}
  72137. +
  72138. +void *__DWC_DMA_ALLOC_ATOMIC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr)
  72139. +{
  72140. + void *buf = dma_alloc_coherent(NULL, (size_t)size, dma_addr, GFP_ATOMIC);
  72141. + if (!buf) {
  72142. + return NULL;
  72143. + }
  72144. + memset(buf, 0, (size_t)size);
  72145. + return buf;
  72146. +}
  72147. +
  72148. +void __DWC_DMA_FREE(void *dma_ctx, uint32_t size, void *virt_addr, dwc_dma_t dma_addr)
  72149. +{
  72150. + dma_free_coherent(dma_ctx, size, virt_addr, dma_addr);
  72151. +}
  72152. +
  72153. +void *__DWC_ALLOC(void *mem_ctx, uint32_t size)
  72154. +{
  72155. + return kzalloc(size, GFP_KERNEL);
  72156. +}
  72157. +
  72158. +void *__DWC_ALLOC_ATOMIC(void *mem_ctx, uint32_t size)
  72159. +{
  72160. + return kzalloc(size, GFP_ATOMIC);
  72161. +}
  72162. +
  72163. +void __DWC_FREE(void *mem_ctx, void *addr)
  72164. +{
  72165. + kfree(addr);
  72166. +}
  72167. +
  72168. +
  72169. +#ifdef DWC_CRYPTOLIB
  72170. +/* dwc_crypto.h */
  72171. +
  72172. +void DWC_RANDOM_BYTES(uint8_t *buffer, uint32_t length)
  72173. +{
  72174. + get_random_bytes(buffer, length);
  72175. +}
  72176. +
  72177. +int DWC_AES_CBC(uint8_t *message, uint32_t messagelen, uint8_t *key, uint32_t keylen, uint8_t iv[16], uint8_t *out)
  72178. +{
  72179. + struct crypto_blkcipher *tfm;
  72180. + struct blkcipher_desc desc;
  72181. + struct scatterlist sgd;
  72182. + struct scatterlist sgs;
  72183. +
  72184. + tfm = crypto_alloc_blkcipher("cbc(aes)", 0, CRYPTO_ALG_ASYNC);
  72185. + if (tfm == NULL) {
  72186. + printk("failed to load transform for aes CBC\n");
  72187. + return -1;
  72188. + }
  72189. +
  72190. + crypto_blkcipher_setkey(tfm, key, keylen);
  72191. + crypto_blkcipher_set_iv(tfm, iv, 16);
  72192. +
  72193. + sg_init_one(&sgd, out, messagelen);
  72194. + sg_init_one(&sgs, message, messagelen);
  72195. +
  72196. + desc.tfm = tfm;
  72197. + desc.flags = 0;
  72198. +
  72199. + if (crypto_blkcipher_encrypt(&desc, &sgd, &sgs, messagelen)) {
  72200. + crypto_free_blkcipher(tfm);
  72201. + DWC_ERROR("AES CBC encryption failed");
  72202. + return -1;
  72203. + }
  72204. +
  72205. + crypto_free_blkcipher(tfm);
  72206. + return 0;
  72207. +}
  72208. +
  72209. +int DWC_SHA256(uint8_t *message, uint32_t len, uint8_t *out)
  72210. +{
  72211. + struct crypto_hash *tfm;
  72212. + struct hash_desc desc;
  72213. + struct scatterlist sg;
  72214. +
  72215. + tfm = crypto_alloc_hash("sha256", 0, CRYPTO_ALG_ASYNC);
  72216. + if (IS_ERR(tfm)) {
  72217. + DWC_ERROR("Failed to load transform for sha256: %ld\n", PTR_ERR(tfm));
  72218. + return 0;
  72219. + }
  72220. + desc.tfm = tfm;
  72221. + desc.flags = 0;
  72222. +
  72223. + sg_init_one(&sg, message, len);
  72224. + crypto_hash_digest(&desc, &sg, len, out);
  72225. + crypto_free_hash(tfm);
  72226. +
  72227. + return 1;
  72228. +}
  72229. +
  72230. +int DWC_HMAC_SHA256(uint8_t *message, uint32_t messagelen,
  72231. + uint8_t *key, uint32_t keylen, uint8_t *out)
  72232. +{
  72233. + struct crypto_hash *tfm;
  72234. + struct hash_desc desc;
  72235. + struct scatterlist sg;
  72236. +
  72237. + tfm = crypto_alloc_hash("hmac(sha256)", 0, CRYPTO_ALG_ASYNC);
  72238. + if (IS_ERR(tfm)) {
  72239. + DWC_ERROR("Failed to load transform for hmac(sha256): %ld\n", PTR_ERR(tfm));
  72240. + return 0;
  72241. + }
  72242. + desc.tfm = tfm;
  72243. + desc.flags = 0;
  72244. +
  72245. + sg_init_one(&sg, message, messagelen);
  72246. + crypto_hash_setkey(tfm, key, keylen);
  72247. + crypto_hash_digest(&desc, &sg, messagelen, out);
  72248. + crypto_free_hash(tfm);
  72249. +
  72250. + return 1;
  72251. +}
  72252. +#endif /* DWC_CRYPTOLIB */
  72253. +
  72254. +
  72255. +/* Byte Ordering Conversions */
  72256. +
  72257. +uint32_t DWC_CPU_TO_LE32(uint32_t *p)
  72258. +{
  72259. +#ifdef __LITTLE_ENDIAN
  72260. + return *p;
  72261. +#else
  72262. + uint8_t *u_p = (uint8_t *)p;
  72263. +
  72264. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  72265. +#endif
  72266. +}
  72267. +
  72268. +uint32_t DWC_CPU_TO_BE32(uint32_t *p)
  72269. +{
  72270. +#ifdef __BIG_ENDIAN
  72271. + return *p;
  72272. +#else
  72273. + uint8_t *u_p = (uint8_t *)p;
  72274. +
  72275. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  72276. +#endif
  72277. +}
  72278. +
  72279. +uint32_t DWC_LE32_TO_CPU(uint32_t *p)
  72280. +{
  72281. +#ifdef __LITTLE_ENDIAN
  72282. + return *p;
  72283. +#else
  72284. + uint8_t *u_p = (uint8_t *)p;
  72285. +
  72286. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  72287. +#endif
  72288. +}
  72289. +
  72290. +uint32_t DWC_BE32_TO_CPU(uint32_t *p)
  72291. +{
  72292. +#ifdef __BIG_ENDIAN
  72293. + return *p;
  72294. +#else
  72295. + uint8_t *u_p = (uint8_t *)p;
  72296. +
  72297. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  72298. +#endif
  72299. +}
  72300. +
  72301. +uint16_t DWC_CPU_TO_LE16(uint16_t *p)
  72302. +{
  72303. +#ifdef __LITTLE_ENDIAN
  72304. + return *p;
  72305. +#else
  72306. + uint8_t *u_p = (uint8_t *)p;
  72307. + return (u_p[1] | (u_p[0] << 8));
  72308. +#endif
  72309. +}
  72310. +
  72311. +uint16_t DWC_CPU_TO_BE16(uint16_t *p)
  72312. +{
  72313. +#ifdef __BIG_ENDIAN
  72314. + return *p;
  72315. +#else
  72316. + uint8_t *u_p = (uint8_t *)p;
  72317. + return (u_p[1] | (u_p[0] << 8));
  72318. +#endif
  72319. +}
  72320. +
  72321. +uint16_t DWC_LE16_TO_CPU(uint16_t *p)
  72322. +{
  72323. +#ifdef __LITTLE_ENDIAN
  72324. + return *p;
  72325. +#else
  72326. + uint8_t *u_p = (uint8_t *)p;
  72327. + return (u_p[1] | (u_p[0] << 8));
  72328. +#endif
  72329. +}
  72330. +
  72331. +uint16_t DWC_BE16_TO_CPU(uint16_t *p)
  72332. +{
  72333. +#ifdef __BIG_ENDIAN
  72334. + return *p;
  72335. +#else
  72336. + uint8_t *u_p = (uint8_t *)p;
  72337. + return (u_p[1] | (u_p[0] << 8));
  72338. +#endif
  72339. +}
  72340. +
  72341. +
  72342. +/* Registers */
  72343. +
  72344. +uint32_t DWC_READ_REG32(uint32_t volatile *reg)
  72345. +{
  72346. + return readl(reg);
  72347. +}
  72348. +
  72349. +#if 0
  72350. +uint64_t DWC_READ_REG64(uint64_t volatile *reg)
  72351. +{
  72352. +}
  72353. +#endif
  72354. +
  72355. +void DWC_WRITE_REG32(uint32_t volatile *reg, uint32_t value)
  72356. +{
  72357. + writel(value, reg);
  72358. +}
  72359. +
  72360. +#if 0
  72361. +void DWC_WRITE_REG64(uint64_t volatile *reg, uint64_t value)
  72362. +{
  72363. +}
  72364. +#endif
  72365. +
  72366. +void DWC_MODIFY_REG32(uint32_t volatile *reg, uint32_t clear_mask, uint32_t set_mask)
  72367. +{
  72368. + writel((readl(reg) & ~clear_mask) | set_mask, reg);
  72369. +}
  72370. +
  72371. +#if 0
  72372. +void DWC_MODIFY_REG64(uint64_t volatile *reg, uint64_t clear_mask, uint64_t set_mask)
  72373. +{
  72374. +}
  72375. +#endif
  72376. +
  72377. +
  72378. +/* Locking */
  72379. +
  72380. +dwc_spinlock_t *DWC_SPINLOCK_ALLOC(void)
  72381. +{
  72382. + spinlock_t *sl = (spinlock_t *)1;
  72383. +
  72384. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72385. + sl = DWC_ALLOC(sizeof(*sl));
  72386. + if (!sl) {
  72387. + DWC_ERROR("Cannot allocate memory for spinlock\n");
  72388. + return NULL;
  72389. + }
  72390. +
  72391. + spin_lock_init(sl);
  72392. +#endif
  72393. + return (dwc_spinlock_t *)sl;
  72394. +}
  72395. +
  72396. +void DWC_SPINLOCK_FREE(dwc_spinlock_t *lock)
  72397. +{
  72398. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72399. + DWC_FREE(lock);
  72400. +#endif
  72401. +}
  72402. +
  72403. +void DWC_SPINLOCK(dwc_spinlock_t *lock)
  72404. +{
  72405. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72406. + spin_lock((spinlock_t *)lock);
  72407. +#endif
  72408. +}
  72409. +
  72410. +void DWC_SPINUNLOCK(dwc_spinlock_t *lock)
  72411. +{
  72412. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72413. + spin_unlock((spinlock_t *)lock);
  72414. +#endif
  72415. +}
  72416. +
  72417. +void DWC_SPINLOCK_IRQSAVE(dwc_spinlock_t *lock, dwc_irqflags_t *flags)
  72418. +{
  72419. + dwc_irqflags_t f;
  72420. +
  72421. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72422. + spin_lock_irqsave((spinlock_t *)lock, f);
  72423. +#else
  72424. + local_irq_save(f);
  72425. +#endif
  72426. + *flags = f;
  72427. +}
  72428. +
  72429. +void DWC_SPINUNLOCK_IRQRESTORE(dwc_spinlock_t *lock, dwc_irqflags_t flags)
  72430. +{
  72431. +#if defined(CONFIG_PREEMPT) || defined(CONFIG_SMP)
  72432. + spin_unlock_irqrestore((spinlock_t *)lock, flags);
  72433. +#else
  72434. + local_irq_restore(flags);
  72435. +#endif
  72436. +}
  72437. +
  72438. +dwc_mutex_t *DWC_MUTEX_ALLOC(void)
  72439. +{
  72440. + struct mutex *m;
  72441. + dwc_mutex_t *mutex = (dwc_mutex_t *)DWC_ALLOC(sizeof(struct mutex));
  72442. +
  72443. + if (!mutex) {
  72444. + DWC_ERROR("Cannot allocate memory for mutex\n");
  72445. + return NULL;
  72446. + }
  72447. +
  72448. + m = (struct mutex *)mutex;
  72449. + mutex_init(m);
  72450. + return mutex;
  72451. +}
  72452. +
  72453. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES))
  72454. +#else
  72455. +void DWC_MUTEX_FREE(dwc_mutex_t *mutex)
  72456. +{
  72457. + mutex_destroy((struct mutex *)mutex);
  72458. + DWC_FREE(mutex);
  72459. +}
  72460. +#endif
  72461. +
  72462. +void DWC_MUTEX_LOCK(dwc_mutex_t *mutex)
  72463. +{
  72464. + struct mutex *m = (struct mutex *)mutex;
  72465. + mutex_lock(m);
  72466. +}
  72467. +
  72468. +int DWC_MUTEX_TRYLOCK(dwc_mutex_t *mutex)
  72469. +{
  72470. + struct mutex *m = (struct mutex *)mutex;
  72471. + return mutex_trylock(m);
  72472. +}
  72473. +
  72474. +void DWC_MUTEX_UNLOCK(dwc_mutex_t *mutex)
  72475. +{
  72476. + struct mutex *m = (struct mutex *)mutex;
  72477. + mutex_unlock(m);
  72478. +}
  72479. +
  72480. +
  72481. +/* Timing */
  72482. +
  72483. +void DWC_UDELAY(uint32_t usecs)
  72484. +{
  72485. + udelay(usecs);
  72486. +}
  72487. +
  72488. +void DWC_MDELAY(uint32_t msecs)
  72489. +{
  72490. + mdelay(msecs);
  72491. +}
  72492. +
  72493. +void DWC_MSLEEP(uint32_t msecs)
  72494. +{
  72495. + msleep(msecs);
  72496. +}
  72497. +
  72498. +uint32_t DWC_TIME(void)
  72499. +{
  72500. + return jiffies_to_msecs(jiffies);
  72501. +}
  72502. +
  72503. +
  72504. +/* Timers */
  72505. +
  72506. +struct dwc_timer {
  72507. + struct timer_list *t;
  72508. + char *name;
  72509. + dwc_timer_callback_t cb;
  72510. + void *data;
  72511. + uint8_t scheduled;
  72512. + dwc_spinlock_t *lock;
  72513. +};
  72514. +
  72515. +static void timer_callback(unsigned long data)
  72516. +{
  72517. + dwc_timer_t *timer = (dwc_timer_t *)data;
  72518. + dwc_irqflags_t flags;
  72519. +
  72520. + DWC_SPINLOCK_IRQSAVE(timer->lock, &flags);
  72521. + timer->scheduled = 0;
  72522. + DWC_SPINUNLOCK_IRQRESTORE(timer->lock, flags);
  72523. + DWC_DEBUGC("Timer %s callback", timer->name);
  72524. + timer->cb(timer->data);
  72525. +}
  72526. +
  72527. +dwc_timer_t *DWC_TIMER_ALLOC(char *name, dwc_timer_callback_t cb, void *data)
  72528. +{
  72529. + dwc_timer_t *t = DWC_ALLOC(sizeof(*t));
  72530. +
  72531. + if (!t) {
  72532. + DWC_ERROR("Cannot allocate memory for timer");
  72533. + return NULL;
  72534. + }
  72535. +
  72536. + t->t = DWC_ALLOC(sizeof(*t->t));
  72537. + if (!t->t) {
  72538. + DWC_ERROR("Cannot allocate memory for timer->t");
  72539. + goto no_timer;
  72540. + }
  72541. +
  72542. + t->name = DWC_STRDUP(name);
  72543. + if (!t->name) {
  72544. + DWC_ERROR("Cannot allocate memory for timer->name");
  72545. + goto no_name;
  72546. + }
  72547. +
  72548. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_SPINLOCK))
  72549. + DWC_SPINLOCK_ALLOC_LINUX_DEBUG(t->lock);
  72550. +#else
  72551. + t->lock = DWC_SPINLOCK_ALLOC();
  72552. +#endif
  72553. + if (!t->lock) {
  72554. + DWC_ERROR("Cannot allocate memory for lock");
  72555. + goto no_lock;
  72556. + }
  72557. +
  72558. + t->scheduled = 0;
  72559. + t->t->base = &boot_tvec_bases;
  72560. + t->t->expires = jiffies;
  72561. + setup_timer(t->t, timer_callback, (unsigned long)t);
  72562. +
  72563. + t->cb = cb;
  72564. + t->data = data;
  72565. +
  72566. + return t;
  72567. +
  72568. + no_lock:
  72569. + DWC_FREE(t->name);
  72570. + no_name:
  72571. + DWC_FREE(t->t);
  72572. + no_timer:
  72573. + DWC_FREE(t);
  72574. + return NULL;
  72575. +}
  72576. +
  72577. +void DWC_TIMER_FREE(dwc_timer_t *timer)
  72578. +{
  72579. + dwc_irqflags_t flags;
  72580. +
  72581. + DWC_SPINLOCK_IRQSAVE(timer->lock, &flags);
  72582. +
  72583. + if (timer->scheduled) {
  72584. + del_timer(timer->t);
  72585. + timer->scheduled = 0;
  72586. + }
  72587. +
  72588. + DWC_SPINUNLOCK_IRQRESTORE(timer->lock, flags);
  72589. + DWC_SPINLOCK_FREE(timer->lock);
  72590. + DWC_FREE(timer->t);
  72591. + DWC_FREE(timer->name);
  72592. + DWC_FREE(timer);
  72593. +}
  72594. +
  72595. +void DWC_TIMER_SCHEDULE(dwc_timer_t *timer, uint32_t time)
  72596. +{
  72597. + dwc_irqflags_t flags;
  72598. +
  72599. + DWC_SPINLOCK_IRQSAVE(timer->lock, &flags);
  72600. +
  72601. + if (!timer->scheduled) {
  72602. + timer->scheduled = 1;
  72603. + DWC_DEBUGC("Scheduling timer %s to expire in +%d msec", timer->name, time);
  72604. + timer->t->expires = jiffies + msecs_to_jiffies(time);
  72605. + add_timer(timer->t);
  72606. + } else {
  72607. + DWC_DEBUGC("Modifying timer %s to expire in +%d msec", timer->name, time);
  72608. + mod_timer(timer->t, jiffies + msecs_to_jiffies(time));
  72609. + }
  72610. +
  72611. + DWC_SPINUNLOCK_IRQRESTORE(timer->lock, flags);
  72612. +}
  72613. +
  72614. +void DWC_TIMER_CANCEL(dwc_timer_t *timer)
  72615. +{
  72616. + del_timer(timer->t);
  72617. +}
  72618. +
  72619. +
  72620. +/* Wait Queues */
  72621. +
  72622. +struct dwc_waitq {
  72623. + wait_queue_head_t queue;
  72624. + int abort;
  72625. +};
  72626. +
  72627. +dwc_waitq_t *DWC_WAITQ_ALLOC(void)
  72628. +{
  72629. + dwc_waitq_t *wq = DWC_ALLOC(sizeof(*wq));
  72630. +
  72631. + if (!wq) {
  72632. + DWC_ERROR("Cannot allocate memory for waitqueue\n");
  72633. + return NULL;
  72634. + }
  72635. +
  72636. + init_waitqueue_head(&wq->queue);
  72637. + wq->abort = 0;
  72638. + return wq;
  72639. +}
  72640. +
  72641. +void DWC_WAITQ_FREE(dwc_waitq_t *wq)
  72642. +{
  72643. + DWC_FREE(wq);
  72644. +}
  72645. +
  72646. +int32_t DWC_WAITQ_WAIT(dwc_waitq_t *wq, dwc_waitq_condition_t cond, void *data)
  72647. +{
  72648. + int result = wait_event_interruptible(wq->queue,
  72649. + cond(data) || wq->abort);
  72650. + if (result == -ERESTARTSYS) {
  72651. + wq->abort = 0;
  72652. + return -DWC_E_RESTART;
  72653. + }
  72654. +
  72655. + if (wq->abort == 1) {
  72656. + wq->abort = 0;
  72657. + return -DWC_E_ABORT;
  72658. + }
  72659. +
  72660. + wq->abort = 0;
  72661. +
  72662. + if (result == 0) {
  72663. + return 0;
  72664. + }
  72665. +
  72666. + return -DWC_E_UNKNOWN;
  72667. +}
  72668. +
  72669. +int32_t DWC_WAITQ_WAIT_TIMEOUT(dwc_waitq_t *wq, dwc_waitq_condition_t cond,
  72670. + void *data, int32_t msecs)
  72671. +{
  72672. + int32_t tmsecs;
  72673. + int result = wait_event_interruptible_timeout(wq->queue,
  72674. + cond(data) || wq->abort,
  72675. + msecs_to_jiffies(msecs));
  72676. + if (result == -ERESTARTSYS) {
  72677. + wq->abort = 0;
  72678. + return -DWC_E_RESTART;
  72679. + }
  72680. +
  72681. + if (wq->abort == 1) {
  72682. + wq->abort = 0;
  72683. + return -DWC_E_ABORT;
  72684. + }
  72685. +
  72686. + wq->abort = 0;
  72687. +
  72688. + if (result > 0) {
  72689. + tmsecs = jiffies_to_msecs(result);
  72690. + if (!tmsecs) {
  72691. + return 1;
  72692. + }
  72693. +
  72694. + return tmsecs;
  72695. + }
  72696. +
  72697. + if (result == 0) {
  72698. + return -DWC_E_TIMEOUT;
  72699. + }
  72700. +
  72701. + return -DWC_E_UNKNOWN;
  72702. +}
  72703. +
  72704. +void DWC_WAITQ_TRIGGER(dwc_waitq_t *wq)
  72705. +{
  72706. + wq->abort = 0;
  72707. + wake_up_interruptible(&wq->queue);
  72708. +}
  72709. +
  72710. +void DWC_WAITQ_ABORT(dwc_waitq_t *wq)
  72711. +{
  72712. + wq->abort = 1;
  72713. + wake_up_interruptible(&wq->queue);
  72714. +}
  72715. +
  72716. +
  72717. +/* Threading */
  72718. +
  72719. +dwc_thread_t *DWC_THREAD_RUN(dwc_thread_function_t func, char *name, void *data)
  72720. +{
  72721. + struct task_struct *thread = kthread_run(func, data, name);
  72722. +
  72723. + if (thread == ERR_PTR(-ENOMEM)) {
  72724. + return NULL;
  72725. + }
  72726. +
  72727. + return (dwc_thread_t *)thread;
  72728. +}
  72729. +
  72730. +int DWC_THREAD_STOP(dwc_thread_t *thread)
  72731. +{
  72732. + return kthread_stop((struct task_struct *)thread);
  72733. +}
  72734. +
  72735. +dwc_bool_t DWC_THREAD_SHOULD_STOP(void)
  72736. +{
  72737. + return kthread_should_stop();
  72738. +}
  72739. +
  72740. +
  72741. +/* tasklets
  72742. + - run in interrupt context (cannot sleep)
  72743. + - each tasklet runs on a single CPU
  72744. + - different tasklets can be running simultaneously on different CPUs
  72745. + */
  72746. +struct dwc_tasklet {
  72747. + struct tasklet_struct t;
  72748. + dwc_tasklet_callback_t cb;
  72749. + void *data;
  72750. +};
  72751. +
  72752. +static void tasklet_callback(unsigned long data)
  72753. +{
  72754. + dwc_tasklet_t *t = (dwc_tasklet_t *)data;
  72755. + t->cb(t->data);
  72756. +}
  72757. +
  72758. +dwc_tasklet_t *DWC_TASK_ALLOC(char *name, dwc_tasklet_callback_t cb, void *data)
  72759. +{
  72760. + dwc_tasklet_t *t = DWC_ALLOC(sizeof(*t));
  72761. +
  72762. + if (t) {
  72763. + t->cb = cb;
  72764. + t->data = data;
  72765. + tasklet_init(&t->t, tasklet_callback, (unsigned long)t);
  72766. + } else {
  72767. + DWC_ERROR("Cannot allocate memory for tasklet\n");
  72768. + }
  72769. +
  72770. + return t;
  72771. +}
  72772. +
  72773. +void DWC_TASK_FREE(dwc_tasklet_t *task)
  72774. +{
  72775. + DWC_FREE(task);
  72776. +}
  72777. +
  72778. +void DWC_TASK_SCHEDULE(dwc_tasklet_t *task)
  72779. +{
  72780. + tasklet_schedule(&task->t);
  72781. +}
  72782. +
  72783. +void DWC_TASK_HI_SCHEDULE(dwc_tasklet_t *task)
  72784. +{
  72785. + tasklet_hi_schedule(&task->t);
  72786. +}
  72787. +
  72788. +
  72789. +/* workqueues
  72790. + - run in process context (can sleep)
  72791. + */
  72792. +typedef struct work_container {
  72793. + dwc_work_callback_t cb;
  72794. + void *data;
  72795. + dwc_workq_t *wq;
  72796. + char *name;
  72797. +
  72798. +#ifdef DEBUG
  72799. + DWC_CIRCLEQ_ENTRY(work_container) entry;
  72800. +#endif
  72801. + struct delayed_work work;
  72802. +} work_container_t;
  72803. +
  72804. +#ifdef DEBUG
  72805. +DWC_CIRCLEQ_HEAD(work_container_queue, work_container);
  72806. +#endif
  72807. +
  72808. +struct dwc_workq {
  72809. + struct workqueue_struct *wq;
  72810. + dwc_spinlock_t *lock;
  72811. + dwc_waitq_t *waitq;
  72812. + int pending;
  72813. +
  72814. +#ifdef DEBUG
  72815. + struct work_container_queue entries;
  72816. +#endif
  72817. +};
  72818. +
  72819. +static void do_work(struct work_struct *work)
  72820. +{
  72821. + dwc_irqflags_t flags;
  72822. + struct delayed_work *dw = container_of(work, struct delayed_work, work);
  72823. + work_container_t *container = container_of(dw, struct work_container, work);
  72824. + dwc_workq_t *wq = container->wq;
  72825. +
  72826. + container->cb(container->data);
  72827. +
  72828. +#ifdef DEBUG
  72829. + DWC_CIRCLEQ_REMOVE(&wq->entries, container, entry);
  72830. +#endif
  72831. + DWC_DEBUGC("Work done: %s, container=%p", container->name, container);
  72832. + if (container->name) {
  72833. + DWC_FREE(container->name);
  72834. + }
  72835. + DWC_FREE(container);
  72836. +
  72837. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  72838. + wq->pending--;
  72839. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  72840. + DWC_WAITQ_TRIGGER(wq->waitq);
  72841. +}
  72842. +
  72843. +static int work_done(void *data)
  72844. +{
  72845. + dwc_workq_t *workq = (dwc_workq_t *)data;
  72846. + return workq->pending == 0;
  72847. +}
  72848. +
  72849. +int DWC_WORKQ_WAIT_WORK_DONE(dwc_workq_t *workq, int timeout)
  72850. +{
  72851. + return DWC_WAITQ_WAIT_TIMEOUT(workq->waitq, work_done, workq, timeout);
  72852. +}
  72853. +
  72854. +dwc_workq_t *DWC_WORKQ_ALLOC(char *name)
  72855. +{
  72856. + dwc_workq_t *wq = DWC_ALLOC(sizeof(*wq));
  72857. +
  72858. + if (!wq) {
  72859. + return NULL;
  72860. + }
  72861. +
  72862. + wq->wq = create_singlethread_workqueue(name);
  72863. + if (!wq->wq) {
  72864. + goto no_wq;
  72865. + }
  72866. +
  72867. + wq->pending = 0;
  72868. +
  72869. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_SPINLOCK))
  72870. + DWC_SPINLOCK_ALLOC_LINUX_DEBUG(wq->lock);
  72871. +#else
  72872. + wq->lock = DWC_SPINLOCK_ALLOC();
  72873. +#endif
  72874. + if (!wq->lock) {
  72875. + goto no_lock;
  72876. + }
  72877. +
  72878. + wq->waitq = DWC_WAITQ_ALLOC();
  72879. + if (!wq->waitq) {
  72880. + goto no_waitq;
  72881. + }
  72882. +
  72883. +#ifdef DEBUG
  72884. + DWC_CIRCLEQ_INIT(&wq->entries);
  72885. +#endif
  72886. + return wq;
  72887. +
  72888. + no_waitq:
  72889. + DWC_SPINLOCK_FREE(wq->lock);
  72890. + no_lock:
  72891. + destroy_workqueue(wq->wq);
  72892. + no_wq:
  72893. + DWC_FREE(wq);
  72894. +
  72895. + return NULL;
  72896. +}
  72897. +
  72898. +void DWC_WORKQ_FREE(dwc_workq_t *wq)
  72899. +{
  72900. +#ifdef DEBUG
  72901. + if (wq->pending != 0) {
  72902. + struct work_container *wc;
  72903. + DWC_ERROR("Destroying work queue with pending work");
  72904. + DWC_CIRCLEQ_FOREACH(wc, &wq->entries, entry) {
  72905. + DWC_ERROR("Work %s still pending", wc->name);
  72906. + }
  72907. + }
  72908. +#endif
  72909. + destroy_workqueue(wq->wq);
  72910. + DWC_SPINLOCK_FREE(wq->lock);
  72911. + DWC_WAITQ_FREE(wq->waitq);
  72912. + DWC_FREE(wq);
  72913. +}
  72914. +
  72915. +void DWC_WORKQ_SCHEDULE(dwc_workq_t *wq, dwc_work_callback_t cb, void *data,
  72916. + char *format, ...)
  72917. +{
  72918. + dwc_irqflags_t flags;
  72919. + work_container_t *container;
  72920. + static char name[128];
  72921. + va_list args;
  72922. +
  72923. + va_start(args, format);
  72924. + DWC_VSNPRINTF(name, 128, format, args);
  72925. + va_end(args);
  72926. +
  72927. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  72928. + wq->pending++;
  72929. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  72930. + DWC_WAITQ_TRIGGER(wq->waitq);
  72931. +
  72932. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  72933. + if (!container) {
  72934. + DWC_ERROR("Cannot allocate memory for container\n");
  72935. + return;
  72936. + }
  72937. +
  72938. + container->name = DWC_STRDUP(name);
  72939. + if (!container->name) {
  72940. + DWC_ERROR("Cannot allocate memory for container->name\n");
  72941. + DWC_FREE(container);
  72942. + return;
  72943. + }
  72944. +
  72945. + container->cb = cb;
  72946. + container->data = data;
  72947. + container->wq = wq;
  72948. + DWC_DEBUGC("Queueing work: %s, container=%p", container->name, container);
  72949. + INIT_WORK(&container->work.work, do_work);
  72950. +
  72951. +#ifdef DEBUG
  72952. + DWC_CIRCLEQ_INSERT_TAIL(&wq->entries, container, entry);
  72953. +#endif
  72954. + queue_work(wq->wq, &container->work.work);
  72955. +}
  72956. +
  72957. +void DWC_WORKQ_SCHEDULE_DELAYED(dwc_workq_t *wq, dwc_work_callback_t cb,
  72958. + void *data, uint32_t time, char *format, ...)
  72959. +{
  72960. + dwc_irqflags_t flags;
  72961. + work_container_t *container;
  72962. + static char name[128];
  72963. + va_list args;
  72964. +
  72965. + va_start(args, format);
  72966. + DWC_VSNPRINTF(name, 128, format, args);
  72967. + va_end(args);
  72968. +
  72969. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  72970. + wq->pending++;
  72971. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  72972. + DWC_WAITQ_TRIGGER(wq->waitq);
  72973. +
  72974. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  72975. + if (!container) {
  72976. + DWC_ERROR("Cannot allocate memory for container\n");
  72977. + return;
  72978. + }
  72979. +
  72980. + container->name = DWC_STRDUP(name);
  72981. + if (!container->name) {
  72982. + DWC_ERROR("Cannot allocate memory for container->name\n");
  72983. + DWC_FREE(container);
  72984. + return;
  72985. + }
  72986. +
  72987. + container->cb = cb;
  72988. + container->data = data;
  72989. + container->wq = wq;
  72990. + DWC_DEBUGC("Queueing work: %s, container=%p", container->name, container);
  72991. + INIT_DELAYED_WORK(&container->work, do_work);
  72992. +
  72993. +#ifdef DEBUG
  72994. + DWC_CIRCLEQ_INSERT_TAIL(&wq->entries, container, entry);
  72995. +#endif
  72996. + queue_delayed_work(wq->wq, &container->work, msecs_to_jiffies(time));
  72997. +}
  72998. +
  72999. +int DWC_WORKQ_PENDING(dwc_workq_t *wq)
  73000. +{
  73001. + return wq->pending;
  73002. +}
  73003. +
  73004. +
  73005. +#ifdef DWC_LIBMODULE
  73006. +
  73007. +#ifdef DWC_CCLIB
  73008. +/* CC */
  73009. +EXPORT_SYMBOL(dwc_cc_if_alloc);
  73010. +EXPORT_SYMBOL(dwc_cc_if_free);
  73011. +EXPORT_SYMBOL(dwc_cc_clear);
  73012. +EXPORT_SYMBOL(dwc_cc_add);
  73013. +EXPORT_SYMBOL(dwc_cc_remove);
  73014. +EXPORT_SYMBOL(dwc_cc_change);
  73015. +EXPORT_SYMBOL(dwc_cc_data_for_save);
  73016. +EXPORT_SYMBOL(dwc_cc_restore_from_data);
  73017. +EXPORT_SYMBOL(dwc_cc_match_chid);
  73018. +EXPORT_SYMBOL(dwc_cc_match_cdid);
  73019. +EXPORT_SYMBOL(dwc_cc_ck);
  73020. +EXPORT_SYMBOL(dwc_cc_chid);
  73021. +EXPORT_SYMBOL(dwc_cc_cdid);
  73022. +EXPORT_SYMBOL(dwc_cc_name);
  73023. +#endif /* DWC_CCLIB */
  73024. +
  73025. +#ifdef DWC_CRYPTOLIB
  73026. +# ifndef CONFIG_MACH_IPMATE
  73027. +/* Modpow */
  73028. +EXPORT_SYMBOL(dwc_modpow);
  73029. +
  73030. +/* DH */
  73031. +EXPORT_SYMBOL(dwc_dh_modpow);
  73032. +EXPORT_SYMBOL(dwc_dh_derive_keys);
  73033. +EXPORT_SYMBOL(dwc_dh_pk);
  73034. +# endif /* CONFIG_MACH_IPMATE */
  73035. +
  73036. +/* Crypto */
  73037. +EXPORT_SYMBOL(dwc_wusb_aes_encrypt);
  73038. +EXPORT_SYMBOL(dwc_wusb_cmf);
  73039. +EXPORT_SYMBOL(dwc_wusb_prf);
  73040. +EXPORT_SYMBOL(dwc_wusb_fill_ccm_nonce);
  73041. +EXPORT_SYMBOL(dwc_wusb_gen_nonce);
  73042. +EXPORT_SYMBOL(dwc_wusb_gen_key);
  73043. +EXPORT_SYMBOL(dwc_wusb_gen_mic);
  73044. +#endif /* DWC_CRYPTOLIB */
  73045. +
  73046. +/* Notification */
  73047. +#ifdef DWC_NOTIFYLIB
  73048. +EXPORT_SYMBOL(dwc_alloc_notification_manager);
  73049. +EXPORT_SYMBOL(dwc_free_notification_manager);
  73050. +EXPORT_SYMBOL(dwc_register_notifier);
  73051. +EXPORT_SYMBOL(dwc_unregister_notifier);
  73052. +EXPORT_SYMBOL(dwc_add_observer);
  73053. +EXPORT_SYMBOL(dwc_remove_observer);
  73054. +EXPORT_SYMBOL(dwc_notify);
  73055. +#endif
  73056. +
  73057. +/* Memory Debugging Routines */
  73058. +#ifdef DWC_DEBUG_MEMORY
  73059. +EXPORT_SYMBOL(dwc_alloc_debug);
  73060. +EXPORT_SYMBOL(dwc_alloc_atomic_debug);
  73061. +EXPORT_SYMBOL(dwc_free_debug);
  73062. +EXPORT_SYMBOL(dwc_dma_alloc_debug);
  73063. +EXPORT_SYMBOL(dwc_dma_free_debug);
  73064. +#endif
  73065. +
  73066. +EXPORT_SYMBOL(DWC_MEMSET);
  73067. +EXPORT_SYMBOL(DWC_MEMCPY);
  73068. +EXPORT_SYMBOL(DWC_MEMMOVE);
  73069. +EXPORT_SYMBOL(DWC_MEMCMP);
  73070. +EXPORT_SYMBOL(DWC_STRNCMP);
  73071. +EXPORT_SYMBOL(DWC_STRCMP);
  73072. +EXPORT_SYMBOL(DWC_STRLEN);
  73073. +EXPORT_SYMBOL(DWC_STRCPY);
  73074. +EXPORT_SYMBOL(DWC_STRDUP);
  73075. +EXPORT_SYMBOL(DWC_ATOI);
  73076. +EXPORT_SYMBOL(DWC_ATOUI);
  73077. +
  73078. +#ifdef DWC_UTFLIB
  73079. +EXPORT_SYMBOL(DWC_UTF8_TO_UTF16LE);
  73080. +#endif /* DWC_UTFLIB */
  73081. +
  73082. +EXPORT_SYMBOL(DWC_IN_IRQ);
  73083. +EXPORT_SYMBOL(DWC_IN_BH);
  73084. +EXPORT_SYMBOL(DWC_VPRINTF);
  73085. +EXPORT_SYMBOL(DWC_VSNPRINTF);
  73086. +EXPORT_SYMBOL(DWC_PRINTF);
  73087. +EXPORT_SYMBOL(DWC_SPRINTF);
  73088. +EXPORT_SYMBOL(DWC_SNPRINTF);
  73089. +EXPORT_SYMBOL(__DWC_WARN);
  73090. +EXPORT_SYMBOL(__DWC_ERROR);
  73091. +EXPORT_SYMBOL(DWC_EXCEPTION);
  73092. +
  73093. +#ifdef DEBUG
  73094. +EXPORT_SYMBOL(__DWC_DEBUG);
  73095. +#endif
  73096. +
  73097. +EXPORT_SYMBOL(__DWC_DMA_ALLOC);
  73098. +EXPORT_SYMBOL(__DWC_DMA_ALLOC_ATOMIC);
  73099. +EXPORT_SYMBOL(__DWC_DMA_FREE);
  73100. +EXPORT_SYMBOL(__DWC_ALLOC);
  73101. +EXPORT_SYMBOL(__DWC_ALLOC_ATOMIC);
  73102. +EXPORT_SYMBOL(__DWC_FREE);
  73103. +
  73104. +#ifdef DWC_CRYPTOLIB
  73105. +EXPORT_SYMBOL(DWC_RANDOM_BYTES);
  73106. +EXPORT_SYMBOL(DWC_AES_CBC);
  73107. +EXPORT_SYMBOL(DWC_SHA256);
  73108. +EXPORT_SYMBOL(DWC_HMAC_SHA256);
  73109. +#endif
  73110. +
  73111. +EXPORT_SYMBOL(DWC_CPU_TO_LE32);
  73112. +EXPORT_SYMBOL(DWC_CPU_TO_BE32);
  73113. +EXPORT_SYMBOL(DWC_LE32_TO_CPU);
  73114. +EXPORT_SYMBOL(DWC_BE32_TO_CPU);
  73115. +EXPORT_SYMBOL(DWC_CPU_TO_LE16);
  73116. +EXPORT_SYMBOL(DWC_CPU_TO_BE16);
  73117. +EXPORT_SYMBOL(DWC_LE16_TO_CPU);
  73118. +EXPORT_SYMBOL(DWC_BE16_TO_CPU);
  73119. +EXPORT_SYMBOL(DWC_READ_REG32);
  73120. +EXPORT_SYMBOL(DWC_WRITE_REG32);
  73121. +EXPORT_SYMBOL(DWC_MODIFY_REG32);
  73122. +
  73123. +#if 0
  73124. +EXPORT_SYMBOL(DWC_READ_REG64);
  73125. +EXPORT_SYMBOL(DWC_WRITE_REG64);
  73126. +EXPORT_SYMBOL(DWC_MODIFY_REG64);
  73127. +#endif
  73128. +
  73129. +EXPORT_SYMBOL(DWC_SPINLOCK_ALLOC);
  73130. +EXPORT_SYMBOL(DWC_SPINLOCK_FREE);
  73131. +EXPORT_SYMBOL(DWC_SPINLOCK);
  73132. +EXPORT_SYMBOL(DWC_SPINUNLOCK);
  73133. +EXPORT_SYMBOL(DWC_SPINLOCK_IRQSAVE);
  73134. +EXPORT_SYMBOL(DWC_SPINUNLOCK_IRQRESTORE);
  73135. +EXPORT_SYMBOL(DWC_MUTEX_ALLOC);
  73136. +
  73137. +#if (!defined(DWC_LINUX) || !defined(CONFIG_DEBUG_MUTEXES))
  73138. +EXPORT_SYMBOL(DWC_MUTEX_FREE);
  73139. +#endif
  73140. +
  73141. +EXPORT_SYMBOL(DWC_MUTEX_LOCK);
  73142. +EXPORT_SYMBOL(DWC_MUTEX_TRYLOCK);
  73143. +EXPORT_SYMBOL(DWC_MUTEX_UNLOCK);
  73144. +EXPORT_SYMBOL(DWC_UDELAY);
  73145. +EXPORT_SYMBOL(DWC_MDELAY);
  73146. +EXPORT_SYMBOL(DWC_MSLEEP);
  73147. +EXPORT_SYMBOL(DWC_TIME);
  73148. +EXPORT_SYMBOL(DWC_TIMER_ALLOC);
  73149. +EXPORT_SYMBOL(DWC_TIMER_FREE);
  73150. +EXPORT_SYMBOL(DWC_TIMER_SCHEDULE);
  73151. +EXPORT_SYMBOL(DWC_TIMER_CANCEL);
  73152. +EXPORT_SYMBOL(DWC_WAITQ_ALLOC);
  73153. +EXPORT_SYMBOL(DWC_WAITQ_FREE);
  73154. +EXPORT_SYMBOL(DWC_WAITQ_WAIT);
  73155. +EXPORT_SYMBOL(DWC_WAITQ_WAIT_TIMEOUT);
  73156. +EXPORT_SYMBOL(DWC_WAITQ_TRIGGER);
  73157. +EXPORT_SYMBOL(DWC_WAITQ_ABORT);
  73158. +EXPORT_SYMBOL(DWC_THREAD_RUN);
  73159. +EXPORT_SYMBOL(DWC_THREAD_STOP);
  73160. +EXPORT_SYMBOL(DWC_THREAD_SHOULD_STOP);
  73161. +EXPORT_SYMBOL(DWC_TASK_ALLOC);
  73162. +EXPORT_SYMBOL(DWC_TASK_FREE);
  73163. +EXPORT_SYMBOL(DWC_TASK_SCHEDULE);
  73164. +EXPORT_SYMBOL(DWC_WORKQ_WAIT_WORK_DONE);
  73165. +EXPORT_SYMBOL(DWC_WORKQ_ALLOC);
  73166. +EXPORT_SYMBOL(DWC_WORKQ_FREE);
  73167. +EXPORT_SYMBOL(DWC_WORKQ_SCHEDULE);
  73168. +EXPORT_SYMBOL(DWC_WORKQ_SCHEDULE_DELAYED);
  73169. +EXPORT_SYMBOL(DWC_WORKQ_PENDING);
  73170. +
  73171. +static int dwc_common_port_init_module(void)
  73172. +{
  73173. + int result = 0;
  73174. +
  73175. + printk(KERN_DEBUG "Module dwc_common_port init\n" );
  73176. +
  73177. +#ifdef DWC_DEBUG_MEMORY
  73178. + result = dwc_memory_debug_start(NULL);
  73179. + if (result) {
  73180. + printk(KERN_ERR
  73181. + "dwc_memory_debug_start() failed with error %d\n",
  73182. + result);
  73183. + return result;
  73184. + }
  73185. +#endif
  73186. +
  73187. +#ifdef DWC_NOTIFYLIB
  73188. + result = dwc_alloc_notification_manager(NULL, NULL);
  73189. + if (result) {
  73190. + printk(KERN_ERR
  73191. + "dwc_alloc_notification_manager() failed with error %d\n",
  73192. + result);
  73193. + return result;
  73194. + }
  73195. +#endif
  73196. + return result;
  73197. +}
  73198. +
  73199. +static void dwc_common_port_exit_module(void)
  73200. +{
  73201. + printk(KERN_DEBUG "Module dwc_common_port exit\n" );
  73202. +
  73203. +#ifdef DWC_NOTIFYLIB
  73204. + dwc_free_notification_manager();
  73205. +#endif
  73206. +
  73207. +#ifdef DWC_DEBUG_MEMORY
  73208. + dwc_memory_debug_stop();
  73209. +#endif
  73210. +}
  73211. +
  73212. +module_init(dwc_common_port_init_module);
  73213. +module_exit(dwc_common_port_exit_module);
  73214. +
  73215. +MODULE_DESCRIPTION("DWC Common Library - Portable version");
  73216. +MODULE_AUTHOR("Synopsys Inc.");
  73217. +MODULE_LICENSE ("GPL");
  73218. +
  73219. +#endif /* DWC_LIBMODULE */
  73220. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_nbsd.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_nbsd.c
  73221. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_common_nbsd.c 1970-01-01 01:00:00.000000000 +0100
  73222. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_common_nbsd.c 2015-11-29 09:42:39.915098960 +0100
  73223. @@ -0,0 +1,1275 @@
  73224. +#include "dwc_os.h"
  73225. +#include "dwc_list.h"
  73226. +
  73227. +#ifdef DWC_CCLIB
  73228. +# include "dwc_cc.h"
  73229. +#endif
  73230. +
  73231. +#ifdef DWC_CRYPTOLIB
  73232. +# include "dwc_modpow.h"
  73233. +# include "dwc_dh.h"
  73234. +# include "dwc_crypto.h"
  73235. +#endif
  73236. +
  73237. +#ifdef DWC_NOTIFYLIB
  73238. +# include "dwc_notifier.h"
  73239. +#endif
  73240. +
  73241. +/* OS-Level Implementations */
  73242. +
  73243. +/* This is the NetBSD 4.0.1 kernel implementation of the DWC platform library. */
  73244. +
  73245. +
  73246. +/* MISC */
  73247. +
  73248. +void *DWC_MEMSET(void *dest, uint8_t byte, uint32_t size)
  73249. +{
  73250. + return memset(dest, byte, size);
  73251. +}
  73252. +
  73253. +void *DWC_MEMCPY(void *dest, void const *src, uint32_t size)
  73254. +{
  73255. + return memcpy(dest, src, size);
  73256. +}
  73257. +
  73258. +void *DWC_MEMMOVE(void *dest, void *src, uint32_t size)
  73259. +{
  73260. + bcopy(src, dest, size);
  73261. + return dest;
  73262. +}
  73263. +
  73264. +int DWC_MEMCMP(void *m1, void *m2, uint32_t size)
  73265. +{
  73266. + return memcmp(m1, m2, size);
  73267. +}
  73268. +
  73269. +int DWC_STRNCMP(void *s1, void *s2, uint32_t size)
  73270. +{
  73271. + return strncmp(s1, s2, size);
  73272. +}
  73273. +
  73274. +int DWC_STRCMP(void *s1, void *s2)
  73275. +{
  73276. + return strcmp(s1, s2);
  73277. +}
  73278. +
  73279. +int DWC_STRLEN(char const *str)
  73280. +{
  73281. + return strlen(str);
  73282. +}
  73283. +
  73284. +char *DWC_STRCPY(char *to, char const *from)
  73285. +{
  73286. + return strcpy(to, from);
  73287. +}
  73288. +
  73289. +char *DWC_STRDUP(char const *str)
  73290. +{
  73291. + int len = DWC_STRLEN(str) + 1;
  73292. + char *new = DWC_ALLOC_ATOMIC(len);
  73293. +
  73294. + if (!new) {
  73295. + return NULL;
  73296. + }
  73297. +
  73298. + DWC_MEMCPY(new, str, len);
  73299. + return new;
  73300. +}
  73301. +
  73302. +int DWC_ATOI(char *str, int32_t *value)
  73303. +{
  73304. + char *end = NULL;
  73305. +
  73306. + /* NetBSD doesn't have 'strtol' in the kernel, but 'strtoul'
  73307. + * should be equivalent on 2's complement machines
  73308. + */
  73309. + *value = strtoul(str, &end, 0);
  73310. + if (*end == '\0') {
  73311. + return 0;
  73312. + }
  73313. +
  73314. + return -1;
  73315. +}
  73316. +
  73317. +int DWC_ATOUI(char *str, uint32_t *value)
  73318. +{
  73319. + char *end = NULL;
  73320. +
  73321. + *value = strtoul(str, &end, 0);
  73322. + if (*end == '\0') {
  73323. + return 0;
  73324. + }
  73325. +
  73326. + return -1;
  73327. +}
  73328. +
  73329. +
  73330. +#ifdef DWC_UTFLIB
  73331. +/* From usbstring.c */
  73332. +
  73333. +int DWC_UTF8_TO_UTF16LE(uint8_t const *s, uint16_t *cp, unsigned len)
  73334. +{
  73335. + int count = 0;
  73336. + u8 c;
  73337. + u16 uchar;
  73338. +
  73339. + /* this insists on correct encodings, though not minimal ones.
  73340. + * BUT it currently rejects legit 4-byte UTF-8 code points,
  73341. + * which need surrogate pairs. (Unicode 3.1 can use them.)
  73342. + */
  73343. + while (len != 0 && (c = (u8) *s++) != 0) {
  73344. + if (unlikely(c & 0x80)) {
  73345. + // 2-byte sequence:
  73346. + // 00000yyyyyxxxxxx = 110yyyyy 10xxxxxx
  73347. + if ((c & 0xe0) == 0xc0) {
  73348. + uchar = (c & 0x1f) << 6;
  73349. +
  73350. + c = (u8) *s++;
  73351. + if ((c & 0xc0) != 0xc0)
  73352. + goto fail;
  73353. + c &= 0x3f;
  73354. + uchar |= c;
  73355. +
  73356. + // 3-byte sequence (most CJKV characters):
  73357. + // zzzzyyyyyyxxxxxx = 1110zzzz 10yyyyyy 10xxxxxx
  73358. + } else if ((c & 0xf0) == 0xe0) {
  73359. + uchar = (c & 0x0f) << 12;
  73360. +
  73361. + c = (u8) *s++;
  73362. + if ((c & 0xc0) != 0xc0)
  73363. + goto fail;
  73364. + c &= 0x3f;
  73365. + uchar |= c << 6;
  73366. +
  73367. + c = (u8) *s++;
  73368. + if ((c & 0xc0) != 0xc0)
  73369. + goto fail;
  73370. + c &= 0x3f;
  73371. + uchar |= c;
  73372. +
  73373. + /* no bogus surrogates */
  73374. + if (0xd800 <= uchar && uchar <= 0xdfff)
  73375. + goto fail;
  73376. +
  73377. + // 4-byte sequence (surrogate pairs, currently rare):
  73378. + // 11101110wwwwzzzzyy + 110111yyyyxxxxxx
  73379. + // = 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx
  73380. + // (uuuuu = wwww + 1)
  73381. + // FIXME accept the surrogate code points (only)
  73382. + } else
  73383. + goto fail;
  73384. + } else
  73385. + uchar = c;
  73386. + put_unaligned (cpu_to_le16 (uchar), cp++);
  73387. + count++;
  73388. + len--;
  73389. + }
  73390. + return count;
  73391. +fail:
  73392. + return -1;
  73393. +}
  73394. +
  73395. +#endif /* DWC_UTFLIB */
  73396. +
  73397. +
  73398. +/* dwc_debug.h */
  73399. +
  73400. +dwc_bool_t DWC_IN_IRQ(void)
  73401. +{
  73402. +// return in_irq();
  73403. + return 0;
  73404. +}
  73405. +
  73406. +dwc_bool_t DWC_IN_BH(void)
  73407. +{
  73408. +// return in_softirq();
  73409. + return 0;
  73410. +}
  73411. +
  73412. +void DWC_VPRINTF(char *format, va_list args)
  73413. +{
  73414. + vprintf(format, args);
  73415. +}
  73416. +
  73417. +int DWC_VSNPRINTF(char *str, int size, char *format, va_list args)
  73418. +{
  73419. + return vsnprintf(str, size, format, args);
  73420. +}
  73421. +
  73422. +void DWC_PRINTF(char *format, ...)
  73423. +{
  73424. + va_list args;
  73425. +
  73426. + va_start(args, format);
  73427. + DWC_VPRINTF(format, args);
  73428. + va_end(args);
  73429. +}
  73430. +
  73431. +int DWC_SPRINTF(char *buffer, char *format, ...)
  73432. +{
  73433. + int retval;
  73434. + va_list args;
  73435. +
  73436. + va_start(args, format);
  73437. + retval = vsprintf(buffer, format, args);
  73438. + va_end(args);
  73439. + return retval;
  73440. +}
  73441. +
  73442. +int DWC_SNPRINTF(char *buffer, int size, char *format, ...)
  73443. +{
  73444. + int retval;
  73445. + va_list args;
  73446. +
  73447. + va_start(args, format);
  73448. + retval = vsnprintf(buffer, size, format, args);
  73449. + va_end(args);
  73450. + return retval;
  73451. +}
  73452. +
  73453. +void __DWC_WARN(char *format, ...)
  73454. +{
  73455. + va_list args;
  73456. +
  73457. + va_start(args, format);
  73458. + DWC_VPRINTF(format, args);
  73459. + va_end(args);
  73460. +}
  73461. +
  73462. +void __DWC_ERROR(char *format, ...)
  73463. +{
  73464. + va_list args;
  73465. +
  73466. + va_start(args, format);
  73467. + DWC_VPRINTF(format, args);
  73468. + va_end(args);
  73469. +}
  73470. +
  73471. +void DWC_EXCEPTION(char *format, ...)
  73472. +{
  73473. + va_list args;
  73474. +
  73475. + va_start(args, format);
  73476. + DWC_VPRINTF(format, args);
  73477. + va_end(args);
  73478. +// BUG_ON(1); ???
  73479. +}
  73480. +
  73481. +#ifdef DEBUG
  73482. +void __DWC_DEBUG(char *format, ...)
  73483. +{
  73484. + va_list args;
  73485. +
  73486. + va_start(args, format);
  73487. + DWC_VPRINTF(format, args);
  73488. + va_end(args);
  73489. +}
  73490. +#endif
  73491. +
  73492. +
  73493. +/* dwc_mem.h */
  73494. +
  73495. +#if 0
  73496. +dwc_pool_t *DWC_DMA_POOL_CREATE(uint32_t size,
  73497. + uint32_t align,
  73498. + uint32_t alloc)
  73499. +{
  73500. + struct dma_pool *pool = dma_pool_create("Pool", NULL,
  73501. + size, align, alloc);
  73502. + return (dwc_pool_t *)pool;
  73503. +}
  73504. +
  73505. +void DWC_DMA_POOL_DESTROY(dwc_pool_t *pool)
  73506. +{
  73507. + dma_pool_destroy((struct dma_pool *)pool);
  73508. +}
  73509. +
  73510. +void *DWC_DMA_POOL_ALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  73511. +{
  73512. +// return dma_pool_alloc((struct dma_pool *)pool, GFP_KERNEL, dma_addr);
  73513. + return dma_pool_alloc((struct dma_pool *)pool, M_WAITOK, dma_addr);
  73514. +}
  73515. +
  73516. +void *DWC_DMA_POOL_ZALLOC(dwc_pool_t *pool, uint64_t *dma_addr)
  73517. +{
  73518. + void *vaddr = DWC_DMA_POOL_ALLOC(pool, dma_addr);
  73519. + memset(..);
  73520. +}
  73521. +
  73522. +void DWC_DMA_POOL_FREE(dwc_pool_t *pool, void *vaddr, void *daddr)
  73523. +{
  73524. + dma_pool_free(pool, vaddr, daddr);
  73525. +}
  73526. +#endif
  73527. +
  73528. +void *__DWC_DMA_ALLOC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr)
  73529. +{
  73530. + dwc_dmactx_t *dma = (dwc_dmactx_t *)dma_ctx;
  73531. + int error;
  73532. +
  73533. + error = bus_dmamem_alloc(dma->dma_tag, size, 1, size, dma->segs,
  73534. + sizeof(dma->segs) / sizeof(dma->segs[0]),
  73535. + &dma->nsegs, BUS_DMA_NOWAIT);
  73536. + if (error) {
  73537. + printf("%s: bus_dmamem_alloc(%ju) failed: %d\n", __func__,
  73538. + (uintmax_t)size, error);
  73539. + goto fail_0;
  73540. + }
  73541. +
  73542. + error = bus_dmamem_map(dma->dma_tag, dma->segs, dma->nsegs, size,
  73543. + (caddr_t *)&dma->dma_vaddr,
  73544. + BUS_DMA_NOWAIT | BUS_DMA_COHERENT);
  73545. + if (error) {
  73546. + printf("%s: bus_dmamem_map failed: %d\n", __func__, error);
  73547. + goto fail_1;
  73548. + }
  73549. +
  73550. + error = bus_dmamap_create(dma->dma_tag, size, 1, size, 0,
  73551. + BUS_DMA_NOWAIT, &dma->dma_map);
  73552. + if (error) {
  73553. + printf("%s: bus_dmamap_create failed: %d\n", __func__, error);
  73554. + goto fail_2;
  73555. + }
  73556. +
  73557. + error = bus_dmamap_load(dma->dma_tag, dma->dma_map, dma->dma_vaddr,
  73558. + size, NULL, BUS_DMA_NOWAIT);
  73559. + if (error) {
  73560. + printf("%s: bus_dmamap_load failed: %d\n", __func__, error);
  73561. + goto fail_3;
  73562. + }
  73563. +
  73564. + dma->dma_paddr = (bus_addr_t)dma->segs[0].ds_addr;
  73565. + *dma_addr = dma->dma_paddr;
  73566. + return dma->dma_vaddr;
  73567. +
  73568. +fail_3:
  73569. + bus_dmamap_destroy(dma->dma_tag, dma->dma_map);
  73570. +fail_2:
  73571. + bus_dmamem_unmap(dma->dma_tag, dma->dma_vaddr, size);
  73572. +fail_1:
  73573. + bus_dmamem_free(dma->dma_tag, dma->segs, dma->nsegs);
  73574. +fail_0:
  73575. + dma->dma_map = NULL;
  73576. + dma->dma_vaddr = NULL;
  73577. + dma->nsegs = 0;
  73578. +
  73579. + return NULL;
  73580. +}
  73581. +
  73582. +void __DWC_DMA_FREE(void *dma_ctx, uint32_t size, void *virt_addr, dwc_dma_t dma_addr)
  73583. +{
  73584. + dwc_dmactx_t *dma = (dwc_dmactx_t *)dma_ctx;
  73585. +
  73586. + if (dma->dma_map != NULL) {
  73587. + bus_dmamap_sync(dma->dma_tag, dma->dma_map, 0, size,
  73588. + BUS_DMASYNC_POSTREAD | BUS_DMASYNC_POSTWRITE);
  73589. + bus_dmamap_unload(dma->dma_tag, dma->dma_map);
  73590. + bus_dmamap_destroy(dma->dma_tag, dma->dma_map);
  73591. + bus_dmamem_unmap(dma->dma_tag, dma->dma_vaddr, size);
  73592. + bus_dmamem_free(dma->dma_tag, dma->segs, dma->nsegs);
  73593. + dma->dma_paddr = 0;
  73594. + dma->dma_map = NULL;
  73595. + dma->dma_vaddr = NULL;
  73596. + dma->nsegs = 0;
  73597. + }
  73598. +}
  73599. +
  73600. +void *__DWC_ALLOC(void *mem_ctx, uint32_t size)
  73601. +{
  73602. + return malloc(size, M_DEVBUF, M_WAITOK | M_ZERO);
  73603. +}
  73604. +
  73605. +void *__DWC_ALLOC_ATOMIC(void *mem_ctx, uint32_t size)
  73606. +{
  73607. + return malloc(size, M_DEVBUF, M_NOWAIT | M_ZERO);
  73608. +}
  73609. +
  73610. +void __DWC_FREE(void *mem_ctx, void *addr)
  73611. +{
  73612. + free(addr, M_DEVBUF);
  73613. +}
  73614. +
  73615. +
  73616. +#ifdef DWC_CRYPTOLIB
  73617. +/* dwc_crypto.h */
  73618. +
  73619. +void DWC_RANDOM_BYTES(uint8_t *buffer, uint32_t length)
  73620. +{
  73621. + get_random_bytes(buffer, length);
  73622. +}
  73623. +
  73624. +int DWC_AES_CBC(uint8_t *message, uint32_t messagelen, uint8_t *key, uint32_t keylen, uint8_t iv[16], uint8_t *out)
  73625. +{
  73626. + struct crypto_blkcipher *tfm;
  73627. + struct blkcipher_desc desc;
  73628. + struct scatterlist sgd;
  73629. + struct scatterlist sgs;
  73630. +
  73631. + tfm = crypto_alloc_blkcipher("cbc(aes)", 0, CRYPTO_ALG_ASYNC);
  73632. + if (tfm == NULL) {
  73633. + printk("failed to load transform for aes CBC\n");
  73634. + return -1;
  73635. + }
  73636. +
  73637. + crypto_blkcipher_setkey(tfm, key, keylen);
  73638. + crypto_blkcipher_set_iv(tfm, iv, 16);
  73639. +
  73640. + sg_init_one(&sgd, out, messagelen);
  73641. + sg_init_one(&sgs, message, messagelen);
  73642. +
  73643. + desc.tfm = tfm;
  73644. + desc.flags = 0;
  73645. +
  73646. + if (crypto_blkcipher_encrypt(&desc, &sgd, &sgs, messagelen)) {
  73647. + crypto_free_blkcipher(tfm);
  73648. + DWC_ERROR("AES CBC encryption failed");
  73649. + return -1;
  73650. + }
  73651. +
  73652. + crypto_free_blkcipher(tfm);
  73653. + return 0;
  73654. +}
  73655. +
  73656. +int DWC_SHA256(uint8_t *message, uint32_t len, uint8_t *out)
  73657. +{
  73658. + struct crypto_hash *tfm;
  73659. + struct hash_desc desc;
  73660. + struct scatterlist sg;
  73661. +
  73662. + tfm = crypto_alloc_hash("sha256", 0, CRYPTO_ALG_ASYNC);
  73663. + if (IS_ERR(tfm)) {
  73664. + DWC_ERROR("Failed to load transform for sha256: %ld", PTR_ERR(tfm));
  73665. + return 0;
  73666. + }
  73667. + desc.tfm = tfm;
  73668. + desc.flags = 0;
  73669. +
  73670. + sg_init_one(&sg, message, len);
  73671. + crypto_hash_digest(&desc, &sg, len, out);
  73672. + crypto_free_hash(tfm);
  73673. +
  73674. + return 1;
  73675. +}
  73676. +
  73677. +int DWC_HMAC_SHA256(uint8_t *message, uint32_t messagelen,
  73678. + uint8_t *key, uint32_t keylen, uint8_t *out)
  73679. +{
  73680. + struct crypto_hash *tfm;
  73681. + struct hash_desc desc;
  73682. + struct scatterlist sg;
  73683. +
  73684. + tfm = crypto_alloc_hash("hmac(sha256)", 0, CRYPTO_ALG_ASYNC);
  73685. + if (IS_ERR(tfm)) {
  73686. + DWC_ERROR("Failed to load transform for hmac(sha256): %ld", PTR_ERR(tfm));
  73687. + return 0;
  73688. + }
  73689. + desc.tfm = tfm;
  73690. + desc.flags = 0;
  73691. +
  73692. + sg_init_one(&sg, message, messagelen);
  73693. + crypto_hash_setkey(tfm, key, keylen);
  73694. + crypto_hash_digest(&desc, &sg, messagelen, out);
  73695. + crypto_free_hash(tfm);
  73696. +
  73697. + return 1;
  73698. +}
  73699. +
  73700. +#endif /* DWC_CRYPTOLIB */
  73701. +
  73702. +
  73703. +/* Byte Ordering Conversions */
  73704. +
  73705. +uint32_t DWC_CPU_TO_LE32(uint32_t *p)
  73706. +{
  73707. +#ifdef __LITTLE_ENDIAN
  73708. + return *p;
  73709. +#else
  73710. + uint8_t *u_p = (uint8_t *)p;
  73711. +
  73712. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  73713. +#endif
  73714. +}
  73715. +
  73716. +uint32_t DWC_CPU_TO_BE32(uint32_t *p)
  73717. +{
  73718. +#ifdef __BIG_ENDIAN
  73719. + return *p;
  73720. +#else
  73721. + uint8_t *u_p = (uint8_t *)p;
  73722. +
  73723. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  73724. +#endif
  73725. +}
  73726. +
  73727. +uint32_t DWC_LE32_TO_CPU(uint32_t *p)
  73728. +{
  73729. +#ifdef __LITTLE_ENDIAN
  73730. + return *p;
  73731. +#else
  73732. + uint8_t *u_p = (uint8_t *)p;
  73733. +
  73734. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  73735. +#endif
  73736. +}
  73737. +
  73738. +uint32_t DWC_BE32_TO_CPU(uint32_t *p)
  73739. +{
  73740. +#ifdef __BIG_ENDIAN
  73741. + return *p;
  73742. +#else
  73743. + uint8_t *u_p = (uint8_t *)p;
  73744. +
  73745. + return (u_p[3] | (u_p[2] << 8) | (u_p[1] << 16) | (u_p[0] << 24));
  73746. +#endif
  73747. +}
  73748. +
  73749. +uint16_t DWC_CPU_TO_LE16(uint16_t *p)
  73750. +{
  73751. +#ifdef __LITTLE_ENDIAN
  73752. + return *p;
  73753. +#else
  73754. + uint8_t *u_p = (uint8_t *)p;
  73755. + return (u_p[1] | (u_p[0] << 8));
  73756. +#endif
  73757. +}
  73758. +
  73759. +uint16_t DWC_CPU_TO_BE16(uint16_t *p)
  73760. +{
  73761. +#ifdef __BIG_ENDIAN
  73762. + return *p;
  73763. +#else
  73764. + uint8_t *u_p = (uint8_t *)p;
  73765. + return (u_p[1] | (u_p[0] << 8));
  73766. +#endif
  73767. +}
  73768. +
  73769. +uint16_t DWC_LE16_TO_CPU(uint16_t *p)
  73770. +{
  73771. +#ifdef __LITTLE_ENDIAN
  73772. + return *p;
  73773. +#else
  73774. + uint8_t *u_p = (uint8_t *)p;
  73775. + return (u_p[1] | (u_p[0] << 8));
  73776. +#endif
  73777. +}
  73778. +
  73779. +uint16_t DWC_BE16_TO_CPU(uint16_t *p)
  73780. +{
  73781. +#ifdef __BIG_ENDIAN
  73782. + return *p;
  73783. +#else
  73784. + uint8_t *u_p = (uint8_t *)p;
  73785. + return (u_p[1] | (u_p[0] << 8));
  73786. +#endif
  73787. +}
  73788. +
  73789. +
  73790. +/* Registers */
  73791. +
  73792. +uint32_t DWC_READ_REG32(void *io_ctx, uint32_t volatile *reg)
  73793. +{
  73794. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73795. + bus_size_t ior = (bus_size_t)reg;
  73796. +
  73797. + return bus_space_read_4(io->iot, io->ioh, ior);
  73798. +}
  73799. +
  73800. +#if 0
  73801. +uint64_t DWC_READ_REG64(void *io_ctx, uint64_t volatile *reg)
  73802. +{
  73803. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73804. + bus_size_t ior = (bus_size_t)reg;
  73805. +
  73806. + return bus_space_read_8(io->iot, io->ioh, ior);
  73807. +}
  73808. +#endif
  73809. +
  73810. +void DWC_WRITE_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t value)
  73811. +{
  73812. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73813. + bus_size_t ior = (bus_size_t)reg;
  73814. +
  73815. + bus_space_write_4(io->iot, io->ioh, ior, value);
  73816. +}
  73817. +
  73818. +#if 0
  73819. +void DWC_WRITE_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t value)
  73820. +{
  73821. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73822. + bus_size_t ior = (bus_size_t)reg;
  73823. +
  73824. + bus_space_write_8(io->iot, io->ioh, ior, value);
  73825. +}
  73826. +#endif
  73827. +
  73828. +void DWC_MODIFY_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t clear_mask,
  73829. + uint32_t set_mask)
  73830. +{
  73831. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73832. + bus_size_t ior = (bus_size_t)reg;
  73833. +
  73834. + bus_space_write_4(io->iot, io->ioh, ior,
  73835. + (bus_space_read_4(io->iot, io->ioh, ior) &
  73836. + ~clear_mask) | set_mask);
  73837. +}
  73838. +
  73839. +#if 0
  73840. +void DWC_MODIFY_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t clear_mask,
  73841. + uint64_t set_mask)
  73842. +{
  73843. + dwc_ioctx_t *io = (dwc_ioctx_t *)io_ctx;
  73844. + bus_size_t ior = (bus_size_t)reg;
  73845. +
  73846. + bus_space_write_8(io->iot, io->ioh, ior,
  73847. + (bus_space_read_8(io->iot, io->ioh, ior) &
  73848. + ~clear_mask) | set_mask);
  73849. +}
  73850. +#endif
  73851. +
  73852. +
  73853. +/* Locking */
  73854. +
  73855. +dwc_spinlock_t *DWC_SPINLOCK_ALLOC(void)
  73856. +{
  73857. + struct simplelock *sl = DWC_ALLOC(sizeof(*sl));
  73858. +
  73859. + if (!sl) {
  73860. + DWC_ERROR("Cannot allocate memory for spinlock");
  73861. + return NULL;
  73862. + }
  73863. +
  73864. + simple_lock_init(sl);
  73865. + return (dwc_spinlock_t *)sl;
  73866. +}
  73867. +
  73868. +void DWC_SPINLOCK_FREE(dwc_spinlock_t *lock)
  73869. +{
  73870. + struct simplelock *sl = (struct simplelock *)lock;
  73871. +
  73872. + DWC_FREE(sl);
  73873. +}
  73874. +
  73875. +void DWC_SPINLOCK(dwc_spinlock_t *lock)
  73876. +{
  73877. + simple_lock((struct simplelock *)lock);
  73878. +}
  73879. +
  73880. +void DWC_SPINUNLOCK(dwc_spinlock_t *lock)
  73881. +{
  73882. + simple_unlock((struct simplelock *)lock);
  73883. +}
  73884. +
  73885. +void DWC_SPINLOCK_IRQSAVE(dwc_spinlock_t *lock, dwc_irqflags_t *flags)
  73886. +{
  73887. + simple_lock((struct simplelock *)lock);
  73888. + *flags = splbio();
  73889. +}
  73890. +
  73891. +void DWC_SPINUNLOCK_IRQRESTORE(dwc_spinlock_t *lock, dwc_irqflags_t flags)
  73892. +{
  73893. + splx(flags);
  73894. + simple_unlock((struct simplelock *)lock);
  73895. +}
  73896. +
  73897. +dwc_mutex_t *DWC_MUTEX_ALLOC(void)
  73898. +{
  73899. + dwc_mutex_t *mutex = DWC_ALLOC(sizeof(struct lock));
  73900. +
  73901. + if (!mutex) {
  73902. + DWC_ERROR("Cannot allocate memory for mutex");
  73903. + return NULL;
  73904. + }
  73905. +
  73906. + lockinit((struct lock *)mutex, 0, "dw3mtx", 0, 0);
  73907. + return mutex;
  73908. +}
  73909. +
  73910. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES))
  73911. +#else
  73912. +void DWC_MUTEX_FREE(dwc_mutex_t *mutex)
  73913. +{
  73914. + DWC_FREE(mutex);
  73915. +}
  73916. +#endif
  73917. +
  73918. +void DWC_MUTEX_LOCK(dwc_mutex_t *mutex)
  73919. +{
  73920. + lockmgr((struct lock *)mutex, LK_EXCLUSIVE, NULL);
  73921. +}
  73922. +
  73923. +int DWC_MUTEX_TRYLOCK(dwc_mutex_t *mutex)
  73924. +{
  73925. + int status;
  73926. +
  73927. + status = lockmgr((struct lock *)mutex, LK_EXCLUSIVE | LK_NOWAIT, NULL);
  73928. + return status == 0;
  73929. +}
  73930. +
  73931. +void DWC_MUTEX_UNLOCK(dwc_mutex_t *mutex)
  73932. +{
  73933. + lockmgr((struct lock *)mutex, LK_RELEASE, NULL);
  73934. +}
  73935. +
  73936. +
  73937. +/* Timing */
  73938. +
  73939. +void DWC_UDELAY(uint32_t usecs)
  73940. +{
  73941. + DELAY(usecs);
  73942. +}
  73943. +
  73944. +void DWC_MDELAY(uint32_t msecs)
  73945. +{
  73946. + do {
  73947. + DELAY(1000);
  73948. + } while (--msecs);
  73949. +}
  73950. +
  73951. +void DWC_MSLEEP(uint32_t msecs)
  73952. +{
  73953. + struct timeval tv;
  73954. +
  73955. + tv.tv_sec = msecs / 1000;
  73956. + tv.tv_usec = (msecs - tv.tv_sec * 1000) * 1000;
  73957. + tsleep(&tv, 0, "dw3slp", tvtohz(&tv));
  73958. +}
  73959. +
  73960. +uint32_t DWC_TIME(void)
  73961. +{
  73962. + struct timeval tv;
  73963. +
  73964. + microuptime(&tv); // or getmicrouptime? (less precise, but faster)
  73965. + return tv.tv_sec * 1000 + tv.tv_usec / 1000;
  73966. +}
  73967. +
  73968. +
  73969. +/* Timers */
  73970. +
  73971. +struct dwc_timer {
  73972. + struct callout t;
  73973. + char *name;
  73974. + dwc_spinlock_t *lock;
  73975. + dwc_timer_callback_t cb;
  73976. + void *data;
  73977. +};
  73978. +
  73979. +dwc_timer_t *DWC_TIMER_ALLOC(char *name, dwc_timer_callback_t cb, void *data)
  73980. +{
  73981. + dwc_timer_t *t = DWC_ALLOC(sizeof(*t));
  73982. +
  73983. + if (!t) {
  73984. + DWC_ERROR("Cannot allocate memory for timer");
  73985. + return NULL;
  73986. + }
  73987. +
  73988. + callout_init(&t->t);
  73989. +
  73990. + t->name = DWC_STRDUP(name);
  73991. + if (!t->name) {
  73992. + DWC_ERROR("Cannot allocate memory for timer->name");
  73993. + goto no_name;
  73994. + }
  73995. +
  73996. + t->lock = DWC_SPINLOCK_ALLOC();
  73997. + if (!t->lock) {
  73998. + DWC_ERROR("Cannot allocate memory for timer->lock");
  73999. + goto no_lock;
  74000. + }
  74001. +
  74002. + t->cb = cb;
  74003. + t->data = data;
  74004. +
  74005. + return t;
  74006. +
  74007. + no_lock:
  74008. + DWC_FREE(t->name);
  74009. + no_name:
  74010. + DWC_FREE(t);
  74011. +
  74012. + return NULL;
  74013. +}
  74014. +
  74015. +void DWC_TIMER_FREE(dwc_timer_t *timer)
  74016. +{
  74017. + callout_stop(&timer->t);
  74018. + DWC_SPINLOCK_FREE(timer->lock);
  74019. + DWC_FREE(timer->name);
  74020. + DWC_FREE(timer);
  74021. +}
  74022. +
  74023. +void DWC_TIMER_SCHEDULE(dwc_timer_t *timer, uint32_t time)
  74024. +{
  74025. + struct timeval tv;
  74026. +
  74027. + tv.tv_sec = time / 1000;
  74028. + tv.tv_usec = (time - tv.tv_sec * 1000) * 1000;
  74029. + callout_reset(&timer->t, tvtohz(&tv), timer->cb, timer->data);
  74030. +}
  74031. +
  74032. +void DWC_TIMER_CANCEL(dwc_timer_t *timer)
  74033. +{
  74034. + callout_stop(&timer->t);
  74035. +}
  74036. +
  74037. +
  74038. +/* Wait Queues */
  74039. +
  74040. +struct dwc_waitq {
  74041. + struct simplelock lock;
  74042. + int abort;
  74043. +};
  74044. +
  74045. +dwc_waitq_t *DWC_WAITQ_ALLOC(void)
  74046. +{
  74047. + dwc_waitq_t *wq = DWC_ALLOC(sizeof(*wq));
  74048. +
  74049. + if (!wq) {
  74050. + DWC_ERROR("Cannot allocate memory for waitqueue");
  74051. + return NULL;
  74052. + }
  74053. +
  74054. + simple_lock_init(&wq->lock);
  74055. + wq->abort = 0;
  74056. +
  74057. + return wq;
  74058. +}
  74059. +
  74060. +void DWC_WAITQ_FREE(dwc_waitq_t *wq)
  74061. +{
  74062. + DWC_FREE(wq);
  74063. +}
  74064. +
  74065. +int32_t DWC_WAITQ_WAIT(dwc_waitq_t *wq, dwc_waitq_condition_t cond, void *data)
  74066. +{
  74067. + int ipl;
  74068. + int result = 0;
  74069. +
  74070. + simple_lock(&wq->lock);
  74071. + ipl = splbio();
  74072. +
  74073. + /* Skip the sleep if already aborted or triggered */
  74074. + if (!wq->abort && !cond(data)) {
  74075. + splx(ipl);
  74076. + result = ltsleep(wq, PCATCH, "dw3wat", 0, &wq->lock); // infinite timeout
  74077. + ipl = splbio();
  74078. + }
  74079. +
  74080. + if (result == 0) { // awoken
  74081. + if (wq->abort) {
  74082. + wq->abort = 0;
  74083. + result = -DWC_E_ABORT;
  74084. + } else {
  74085. + result = 0;
  74086. + }
  74087. +
  74088. + splx(ipl);
  74089. + simple_unlock(&wq->lock);
  74090. + } else {
  74091. + wq->abort = 0;
  74092. + splx(ipl);
  74093. + simple_unlock(&wq->lock);
  74094. +
  74095. + if (result == ERESTART) { // signaled - restart
  74096. + result = -DWC_E_RESTART;
  74097. + } else { // signaled - must be EINTR
  74098. + result = -DWC_E_ABORT;
  74099. + }
  74100. + }
  74101. +
  74102. + return result;
  74103. +}
  74104. +
  74105. +int32_t DWC_WAITQ_WAIT_TIMEOUT(dwc_waitq_t *wq, dwc_waitq_condition_t cond,
  74106. + void *data, int32_t msecs)
  74107. +{
  74108. + struct timeval tv, tv1, tv2;
  74109. + int ipl;
  74110. + int result = 0;
  74111. +
  74112. + tv.tv_sec = msecs / 1000;
  74113. + tv.tv_usec = (msecs - tv.tv_sec * 1000) * 1000;
  74114. +
  74115. + simple_lock(&wq->lock);
  74116. + ipl = splbio();
  74117. +
  74118. + /* Skip the sleep if already aborted or triggered */
  74119. + if (!wq->abort && !cond(data)) {
  74120. + splx(ipl);
  74121. + getmicrouptime(&tv1);
  74122. + result = ltsleep(wq, PCATCH, "dw3wto", tvtohz(&tv), &wq->lock);
  74123. + getmicrouptime(&tv2);
  74124. + ipl = splbio();
  74125. + }
  74126. +
  74127. + if (result == 0) { // awoken
  74128. + if (wq->abort) {
  74129. + wq->abort = 0;
  74130. + splx(ipl);
  74131. + simple_unlock(&wq->lock);
  74132. + result = -DWC_E_ABORT;
  74133. + } else {
  74134. + splx(ipl);
  74135. + simple_unlock(&wq->lock);
  74136. +
  74137. + tv2.tv_usec -= tv1.tv_usec;
  74138. + if (tv2.tv_usec < 0) {
  74139. + tv2.tv_usec += 1000000;
  74140. + tv2.tv_sec--;
  74141. + }
  74142. +
  74143. + tv2.tv_sec -= tv1.tv_sec;
  74144. + result = tv2.tv_sec * 1000 + tv2.tv_usec / 1000;
  74145. + result = msecs - result;
  74146. + if (result <= 0)
  74147. + result = 1;
  74148. + }
  74149. + } else {
  74150. + wq->abort = 0;
  74151. + splx(ipl);
  74152. + simple_unlock(&wq->lock);
  74153. +
  74154. + if (result == ERESTART) { // signaled - restart
  74155. + result = -DWC_E_RESTART;
  74156. +
  74157. + } else if (result == EINTR) { // signaled - interrupt
  74158. + result = -DWC_E_ABORT;
  74159. +
  74160. + } else { // timed out
  74161. + result = -DWC_E_TIMEOUT;
  74162. + }
  74163. + }
  74164. +
  74165. + return result;
  74166. +}
  74167. +
  74168. +void DWC_WAITQ_TRIGGER(dwc_waitq_t *wq)
  74169. +{
  74170. + wakeup(wq);
  74171. +}
  74172. +
  74173. +void DWC_WAITQ_ABORT(dwc_waitq_t *wq)
  74174. +{
  74175. + int ipl;
  74176. +
  74177. + simple_lock(&wq->lock);
  74178. + ipl = splbio();
  74179. + wq->abort = 1;
  74180. + wakeup(wq);
  74181. + splx(ipl);
  74182. + simple_unlock(&wq->lock);
  74183. +}
  74184. +
  74185. +
  74186. +/* Threading */
  74187. +
  74188. +struct dwc_thread {
  74189. + struct proc *proc;
  74190. + int abort;
  74191. +};
  74192. +
  74193. +dwc_thread_t *DWC_THREAD_RUN(dwc_thread_function_t func, char *name, void *data)
  74194. +{
  74195. + int retval;
  74196. + dwc_thread_t *thread = DWC_ALLOC(sizeof(*thread));
  74197. +
  74198. + if (!thread) {
  74199. + return NULL;
  74200. + }
  74201. +
  74202. + thread->abort = 0;
  74203. + retval = kthread_create1((void (*)(void *))func, data, &thread->proc,
  74204. + "%s", name);
  74205. + if (retval) {
  74206. + DWC_FREE(thread);
  74207. + return NULL;
  74208. + }
  74209. +
  74210. + return thread;
  74211. +}
  74212. +
  74213. +int DWC_THREAD_STOP(dwc_thread_t *thread)
  74214. +{
  74215. + int retval;
  74216. +
  74217. + thread->abort = 1;
  74218. + retval = tsleep(&thread->abort, 0, "dw3stp", 60 * hz);
  74219. +
  74220. + if (retval == 0) {
  74221. + /* DWC_THREAD_EXIT() will free the thread struct */
  74222. + return 0;
  74223. + }
  74224. +
  74225. + /* NOTE: We leak the thread struct if thread doesn't die */
  74226. +
  74227. + if (retval == EWOULDBLOCK) {
  74228. + return -DWC_E_TIMEOUT;
  74229. + }
  74230. +
  74231. + return -DWC_E_UNKNOWN;
  74232. +}
  74233. +
  74234. +dwc_bool_t DWC_THREAD_SHOULD_STOP(dwc_thread_t *thread)
  74235. +{
  74236. + return thread->abort;
  74237. +}
  74238. +
  74239. +void DWC_THREAD_EXIT(dwc_thread_t *thread)
  74240. +{
  74241. + wakeup(&thread->abort);
  74242. + DWC_FREE(thread);
  74243. + kthread_exit(0);
  74244. +}
  74245. +
  74246. +/* tasklets
  74247. + - Runs in interrupt context (cannot sleep)
  74248. + - Each tasklet runs on a single CPU
  74249. + - Different tasklets can be running simultaneously on different CPUs
  74250. + [ On NetBSD there is no corresponding mechanism, drivers don't have bottom-
  74251. + halves. So we just call the callback directly from DWC_TASK_SCHEDULE() ]
  74252. + */
  74253. +struct dwc_tasklet {
  74254. + dwc_tasklet_callback_t cb;
  74255. + void *data;
  74256. +};
  74257. +
  74258. +static void tasklet_callback(void *data)
  74259. +{
  74260. + dwc_tasklet_t *task = (dwc_tasklet_t *)data;
  74261. +
  74262. + task->cb(task->data);
  74263. +}
  74264. +
  74265. +dwc_tasklet_t *DWC_TASK_ALLOC(char *name, dwc_tasklet_callback_t cb, void *data)
  74266. +{
  74267. + dwc_tasklet_t *task = DWC_ALLOC(sizeof(*task));
  74268. +
  74269. + if (task) {
  74270. + task->cb = cb;
  74271. + task->data = data;
  74272. + } else {
  74273. + DWC_ERROR("Cannot allocate memory for tasklet");
  74274. + }
  74275. +
  74276. + return task;
  74277. +}
  74278. +
  74279. +void DWC_TASK_FREE(dwc_tasklet_t *task)
  74280. +{
  74281. + DWC_FREE(task);
  74282. +}
  74283. +
  74284. +void DWC_TASK_SCHEDULE(dwc_tasklet_t *task)
  74285. +{
  74286. + tasklet_callback(task);
  74287. +}
  74288. +
  74289. +
  74290. +/* workqueues
  74291. + - Runs in process context (can sleep)
  74292. + */
  74293. +typedef struct work_container {
  74294. + dwc_work_callback_t cb;
  74295. + void *data;
  74296. + dwc_workq_t *wq;
  74297. + char *name;
  74298. + int hz;
  74299. + struct work task;
  74300. +} work_container_t;
  74301. +
  74302. +struct dwc_workq {
  74303. + struct workqueue *taskq;
  74304. + dwc_spinlock_t *lock;
  74305. + dwc_waitq_t *waitq;
  74306. + int pending;
  74307. + struct work_container *container;
  74308. +};
  74309. +
  74310. +static void do_work(struct work *task, void *data)
  74311. +{
  74312. + dwc_workq_t *wq = (dwc_workq_t *)data;
  74313. + work_container_t *container = wq->container;
  74314. + dwc_irqflags_t flags;
  74315. +
  74316. + if (container->hz) {
  74317. + tsleep(container, 0, "dw3wrk", container->hz);
  74318. + }
  74319. +
  74320. + container->cb(container->data);
  74321. + DWC_DEBUG("Work done: %s, container=%p", container->name, container);
  74322. +
  74323. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  74324. + if (container->name)
  74325. + DWC_FREE(container->name);
  74326. + DWC_FREE(container);
  74327. + wq->pending--;
  74328. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  74329. + DWC_WAITQ_TRIGGER(wq->waitq);
  74330. +}
  74331. +
  74332. +static int work_done(void *data)
  74333. +{
  74334. + dwc_workq_t *workq = (dwc_workq_t *)data;
  74335. +
  74336. + return workq->pending == 0;
  74337. +}
  74338. +
  74339. +int DWC_WORKQ_WAIT_WORK_DONE(dwc_workq_t *workq, int timeout)
  74340. +{
  74341. + return DWC_WAITQ_WAIT_TIMEOUT(workq->waitq, work_done, workq, timeout);
  74342. +}
  74343. +
  74344. +dwc_workq_t *DWC_WORKQ_ALLOC(char *name)
  74345. +{
  74346. + int result;
  74347. + dwc_workq_t *wq = DWC_ALLOC(sizeof(*wq));
  74348. +
  74349. + if (!wq) {
  74350. + DWC_ERROR("Cannot allocate memory for workqueue");
  74351. + return NULL;
  74352. + }
  74353. +
  74354. + result = workqueue_create(&wq->taskq, name, do_work, wq, 0 /*PWAIT*/,
  74355. + IPL_BIO, 0);
  74356. + if (result) {
  74357. + DWC_ERROR("Cannot create workqueue");
  74358. + goto no_taskq;
  74359. + }
  74360. +
  74361. + wq->pending = 0;
  74362. +
  74363. + wq->lock = DWC_SPINLOCK_ALLOC();
  74364. + if (!wq->lock) {
  74365. + DWC_ERROR("Cannot allocate memory for spinlock");
  74366. + goto no_lock;
  74367. + }
  74368. +
  74369. + wq->waitq = DWC_WAITQ_ALLOC();
  74370. + if (!wq->waitq) {
  74371. + DWC_ERROR("Cannot allocate memory for waitqueue");
  74372. + goto no_waitq;
  74373. + }
  74374. +
  74375. + return wq;
  74376. +
  74377. + no_waitq:
  74378. + DWC_SPINLOCK_FREE(wq->lock);
  74379. + no_lock:
  74380. + workqueue_destroy(wq->taskq);
  74381. + no_taskq:
  74382. + DWC_FREE(wq);
  74383. +
  74384. + return NULL;
  74385. +}
  74386. +
  74387. +void DWC_WORKQ_FREE(dwc_workq_t *wq)
  74388. +{
  74389. +#ifdef DEBUG
  74390. + dwc_irqflags_t flags;
  74391. +
  74392. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  74393. +
  74394. + if (wq->pending != 0) {
  74395. + struct work_container *container = wq->container;
  74396. +
  74397. + DWC_ERROR("Destroying work queue with pending work");
  74398. +
  74399. + if (container && container->name) {
  74400. + DWC_ERROR("Work %s still pending", container->name);
  74401. + }
  74402. + }
  74403. +
  74404. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  74405. +#endif
  74406. + DWC_WAITQ_FREE(wq->waitq);
  74407. + DWC_SPINLOCK_FREE(wq->lock);
  74408. + workqueue_destroy(wq->taskq);
  74409. + DWC_FREE(wq);
  74410. +}
  74411. +
  74412. +void DWC_WORKQ_SCHEDULE(dwc_workq_t *wq, dwc_work_callback_t cb, void *data,
  74413. + char *format, ...)
  74414. +{
  74415. + dwc_irqflags_t flags;
  74416. + work_container_t *container;
  74417. + static char name[128];
  74418. + va_list args;
  74419. +
  74420. + va_start(args, format);
  74421. + DWC_VSNPRINTF(name, 128, format, args);
  74422. + va_end(args);
  74423. +
  74424. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  74425. + wq->pending++;
  74426. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  74427. + DWC_WAITQ_TRIGGER(wq->waitq);
  74428. +
  74429. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  74430. + if (!container) {
  74431. + DWC_ERROR("Cannot allocate memory for container");
  74432. + return;
  74433. + }
  74434. +
  74435. + container->name = DWC_STRDUP(name);
  74436. + if (!container->name) {
  74437. + DWC_ERROR("Cannot allocate memory for container->name");
  74438. + DWC_FREE(container);
  74439. + return;
  74440. + }
  74441. +
  74442. + container->cb = cb;
  74443. + container->data = data;
  74444. + container->wq = wq;
  74445. + container->hz = 0;
  74446. + wq->container = container;
  74447. +
  74448. + DWC_DEBUG("Queueing work: %s, container=%p", container->name, container);
  74449. + workqueue_enqueue(wq->taskq, &container->task);
  74450. +}
  74451. +
  74452. +void DWC_WORKQ_SCHEDULE_DELAYED(dwc_workq_t *wq, dwc_work_callback_t cb,
  74453. + void *data, uint32_t time, char *format, ...)
  74454. +{
  74455. + dwc_irqflags_t flags;
  74456. + work_container_t *container;
  74457. + static char name[128];
  74458. + struct timeval tv;
  74459. + va_list args;
  74460. +
  74461. + va_start(args, format);
  74462. + DWC_VSNPRINTF(name, 128, format, args);
  74463. + va_end(args);
  74464. +
  74465. + DWC_SPINLOCK_IRQSAVE(wq->lock, &flags);
  74466. + wq->pending++;
  74467. + DWC_SPINUNLOCK_IRQRESTORE(wq->lock, flags);
  74468. + DWC_WAITQ_TRIGGER(wq->waitq);
  74469. +
  74470. + container = DWC_ALLOC_ATOMIC(sizeof(*container));
  74471. + if (!container) {
  74472. + DWC_ERROR("Cannot allocate memory for container");
  74473. + return;
  74474. + }
  74475. +
  74476. + container->name = DWC_STRDUP(name);
  74477. + if (!container->name) {
  74478. + DWC_ERROR("Cannot allocate memory for container->name");
  74479. + DWC_FREE(container);
  74480. + return;
  74481. + }
  74482. +
  74483. + container->cb = cb;
  74484. + container->data = data;
  74485. + container->wq = wq;
  74486. + tv.tv_sec = time / 1000;
  74487. + tv.tv_usec = (time - tv.tv_sec * 1000) * 1000;
  74488. + container->hz = tvtohz(&tv);
  74489. + wq->container = container;
  74490. +
  74491. + DWC_DEBUG("Queueing work: %s, container=%p", container->name, container);
  74492. + workqueue_enqueue(wq->taskq, &container->task);
  74493. +}
  74494. +
  74495. +int DWC_WORKQ_PENDING(dwc_workq_t *wq)
  74496. +{
  74497. + return wq->pending;
  74498. +}
  74499. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_crypto.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_crypto.c
  74500. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_crypto.c 1970-01-01 01:00:00.000000000 +0100
  74501. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_crypto.c 2015-11-29 09:42:39.915098960 +0100
  74502. @@ -0,0 +1,308 @@
  74503. +/* =========================================================================
  74504. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_crypto.c $
  74505. + * $Revision: #5 $
  74506. + * $Date: 2010/09/28 $
  74507. + * $Change: 1596182 $
  74508. + *
  74509. + * Synopsys Portability Library Software and documentation
  74510. + * (hereinafter, "Software") is an Unsupported proprietary work of
  74511. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  74512. + * between Synopsys and you.
  74513. + *
  74514. + * The Software IS NOT an item of Licensed Software or Licensed Product
  74515. + * under any End User Software License Agreement or Agreement for
  74516. + * Licensed Product with Synopsys or any supplement thereto. You are
  74517. + * permitted to use and redistribute this Software in source and binary
  74518. + * forms, with or without modification, provided that redistributions
  74519. + * of source code must retain this notice. You may not view, use,
  74520. + * disclose, copy or distribute this file or any information contained
  74521. + * herein except pursuant to this license grant from Synopsys. If you
  74522. + * do not agree with this notice, including the disclaimer below, then
  74523. + * you are not authorized to use the Software.
  74524. + *
  74525. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  74526. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  74527. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  74528. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  74529. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  74530. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  74531. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  74532. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  74533. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  74534. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  74535. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  74536. + * DAMAGE.
  74537. + * ========================================================================= */
  74538. +
  74539. +/** @file
  74540. + * This file contains the WUSB cryptographic routines.
  74541. + */
  74542. +
  74543. +#ifdef DWC_CRYPTOLIB
  74544. +
  74545. +#include "dwc_crypto.h"
  74546. +#include "usb.h"
  74547. +
  74548. +#ifdef DEBUG
  74549. +static inline void dump_bytes(char *name, uint8_t *bytes, int len)
  74550. +{
  74551. + int i;
  74552. + DWC_PRINTF("%s: ", name);
  74553. + for (i=0; i<len; i++) {
  74554. + DWC_PRINTF("%02x ", bytes[i]);
  74555. + }
  74556. + DWC_PRINTF("\n");
  74557. +}
  74558. +#else
  74559. +#define dump_bytes(x...)
  74560. +#endif
  74561. +
  74562. +/* Display a block */
  74563. +void show_block(const u8 *blk, const char *prefix, const char *suffix, int a)
  74564. +{
  74565. +#ifdef DWC_DEBUG_CRYPTO
  74566. + int i, blksize = 16;
  74567. +
  74568. + DWC_DEBUG("%s", prefix);
  74569. +
  74570. + if (suffix == NULL) {
  74571. + suffix = "\n";
  74572. + blksize = a;
  74573. + }
  74574. +
  74575. + for (i = 0; i < blksize; i++)
  74576. + DWC_PRINT("%02x%s", *blk++, ((i & 3) == 3) ? " " : " ");
  74577. + DWC_PRINT(suffix);
  74578. +#endif
  74579. +}
  74580. +
  74581. +/**
  74582. + * Encrypts an array of bytes using the AES encryption engine.
  74583. + * If <code>dst</code> == <code>src</code>, then the bytes will be encrypted
  74584. + * in-place.
  74585. + *
  74586. + * @return 0 on success, negative error code on error.
  74587. + */
  74588. +int dwc_wusb_aes_encrypt(u8 *src, u8 *key, u8 *dst)
  74589. +{
  74590. + u8 block_t[16];
  74591. + DWC_MEMSET(block_t, 0, 16);
  74592. +
  74593. + return DWC_AES_CBC(src, 16, key, 16, block_t, dst);
  74594. +}
  74595. +
  74596. +/**
  74597. + * The CCM-MAC-FUNCTION described in section 6.5 of the WUSB spec.
  74598. + * This function takes a data string and returns the encrypted CBC
  74599. + * Counter-mode MIC.
  74600. + *
  74601. + * @param key The 128-bit symmetric key.
  74602. + * @param nonce The CCM nonce.
  74603. + * @param label The unique 14-byte ASCII text label.
  74604. + * @param bytes The byte array to be encrypted.
  74605. + * @param len Length of the byte array.
  74606. + * @param result Byte array to receive the 8-byte encrypted MIC.
  74607. + */
  74608. +void dwc_wusb_cmf(u8 *key, u8 *nonce,
  74609. + char *label, u8 *bytes, int len, u8 *result)
  74610. +{
  74611. + u8 block_m[16];
  74612. + u8 block_x[16];
  74613. + u8 block_t[8];
  74614. + int idx, blkNum;
  74615. + u16 la = (u16)(len + 14);
  74616. +
  74617. + /* Set the AES-128 key */
  74618. + //dwc_aes_setkey(tfm, key, 16);
  74619. +
  74620. + /* Fill block B0 from flags = 0x59, N, and l(m) = 0 */
  74621. + block_m[0] = 0x59;
  74622. + for (idx = 0; idx < 13; idx++)
  74623. + block_m[idx + 1] = nonce[idx];
  74624. + block_m[14] = 0;
  74625. + block_m[15] = 0;
  74626. +
  74627. + /* Produce the CBC IV */
  74628. + dwc_wusb_aes_encrypt(block_m, key, block_x);
  74629. + show_block(block_m, "CBC IV in: ", "\n", 0);
  74630. + show_block(block_x, "CBC IV out:", "\n", 0);
  74631. +
  74632. + /* Fill block B1 from l(a) = Blen + 14, and A */
  74633. + block_x[0] ^= (u8)(la >> 8);
  74634. + block_x[1] ^= (u8)la;
  74635. + for (idx = 0; idx < 14; idx++)
  74636. + block_x[idx + 2] ^= label[idx];
  74637. + show_block(block_x, "After xor: ", "b1\n", 16);
  74638. +
  74639. + dwc_wusb_aes_encrypt(block_x, key, block_x);
  74640. + show_block(block_x, "After AES: ", "b1\n", 16);
  74641. +
  74642. + idx = 0;
  74643. + blkNum = 0;
  74644. +
  74645. + /* Fill remaining blocks with B */
  74646. + while (len-- > 0) {
  74647. + block_x[idx] ^= *bytes++;
  74648. + if (++idx >= 16) {
  74649. + idx = 0;
  74650. + show_block(block_x, "After xor: ", "\n", blkNum);
  74651. + dwc_wusb_aes_encrypt(block_x, key, block_x);
  74652. + show_block(block_x, "After AES: ", "\n", blkNum);
  74653. + blkNum++;
  74654. + }
  74655. + }
  74656. +
  74657. + /* Handle partial last block */
  74658. + if (idx > 0) {
  74659. + show_block(block_x, "After xor: ", "\n", blkNum);
  74660. + dwc_wusb_aes_encrypt(block_x, key, block_x);
  74661. + show_block(block_x, "After AES: ", "\n", blkNum);
  74662. + }
  74663. +
  74664. + /* Save the MIC tag */
  74665. + DWC_MEMCPY(block_t, block_x, 8);
  74666. + show_block(block_t, "MIC tag : ", NULL, 8);
  74667. +
  74668. + /* Fill block A0 from flags = 0x01, N, and counter = 0 */
  74669. + block_m[0] = 0x01;
  74670. + block_m[14] = 0;
  74671. + block_m[15] = 0;
  74672. +
  74673. + /* Encrypt the counter */
  74674. + dwc_wusb_aes_encrypt(block_m, key, block_x);
  74675. + show_block(block_x, "CTR[MIC] : ", NULL, 8);
  74676. +
  74677. + /* XOR with MIC tag */
  74678. + for (idx = 0; idx < 8; idx++) {
  74679. + block_t[idx] ^= block_x[idx];
  74680. + }
  74681. +
  74682. + /* Return result to caller */
  74683. + DWC_MEMCPY(result, block_t, 8);
  74684. + show_block(result, "CCM-MIC : ", NULL, 8);
  74685. +
  74686. +}
  74687. +
  74688. +/**
  74689. + * The PRF function described in section 6.5 of the WUSB spec. This function
  74690. + * concatenates MIC values returned from dwc_cmf() to create a value of
  74691. + * the requested length.
  74692. + *
  74693. + * @param prf_len Length of the PRF function in bits (64, 128, or 256).
  74694. + * @param key, nonce, label, bytes, len Same as for dwc_cmf().
  74695. + * @param result Byte array to receive the result.
  74696. + */
  74697. +void dwc_wusb_prf(int prf_len, u8 *key,
  74698. + u8 *nonce, char *label, u8 *bytes, int len, u8 *result)
  74699. +{
  74700. + int i;
  74701. +
  74702. + nonce[0] = 0;
  74703. + for (i = 0; i < prf_len >> 6; i++, nonce[0]++) {
  74704. + dwc_wusb_cmf(key, nonce, label, bytes, len, result);
  74705. + result += 8;
  74706. + }
  74707. +}
  74708. +
  74709. +/**
  74710. + * Fills in CCM Nonce per the WUSB spec.
  74711. + *
  74712. + * @param[in] haddr Host address.
  74713. + * @param[in] daddr Device address.
  74714. + * @param[in] tkid Session Key(PTK) identifier.
  74715. + * @param[out] nonce Pointer to where the CCM Nonce output is to be written.
  74716. + */
  74717. +void dwc_wusb_fill_ccm_nonce(uint16_t haddr, uint16_t daddr, uint8_t *tkid,
  74718. + uint8_t *nonce)
  74719. +{
  74720. +
  74721. + DWC_DEBUG("%s %x %x\n", __func__, daddr, haddr);
  74722. +
  74723. + DWC_MEMSET(&nonce[0], 0, 16);
  74724. +
  74725. + DWC_MEMCPY(&nonce[6], tkid, 3);
  74726. + nonce[9] = daddr & 0xFF;
  74727. + nonce[10] = (daddr >> 8) & 0xFF;
  74728. + nonce[11] = haddr & 0xFF;
  74729. + nonce[12] = (haddr >> 8) & 0xFF;
  74730. +
  74731. + dump_bytes("CCM nonce", nonce, 16);
  74732. +}
  74733. +
  74734. +/**
  74735. + * Generates a 16-byte cryptographic-grade random number for the Host/Device
  74736. + * Nonce.
  74737. + */
  74738. +void dwc_wusb_gen_nonce(uint16_t addr, uint8_t *nonce)
  74739. +{
  74740. + uint8_t inonce[16];
  74741. + uint32_t temp[4];
  74742. +
  74743. + /* Fill in the Nonce */
  74744. + DWC_MEMSET(&inonce[0], 0, sizeof(inonce));
  74745. + inonce[9] = addr & 0xFF;
  74746. + inonce[10] = (addr >> 8) & 0xFF;
  74747. + inonce[11] = inonce[9];
  74748. + inonce[12] = inonce[10];
  74749. +
  74750. + /* Collect "randomness samples" */
  74751. + DWC_RANDOM_BYTES((uint8_t *)temp, 16);
  74752. +
  74753. + dwc_wusb_prf_128((uint8_t *)temp, nonce,
  74754. + "Random Numbers", (uint8_t *)temp, sizeof(temp),
  74755. + nonce);
  74756. +}
  74757. +
  74758. +/**
  74759. + * Generates the Session Key (PTK) and Key Confirmation Key (KCK) per the
  74760. + * WUSB spec.
  74761. + *
  74762. + * @param[in] ccm_nonce Pointer to CCM Nonce.
  74763. + * @param[in] mk Master Key to derive the session from
  74764. + * @param[in] hnonce Pointer to Host Nonce.
  74765. + * @param[in] dnonce Pointer to Device Nonce.
  74766. + * @param[out] kck Pointer to where the KCK output is to be written.
  74767. + * @param[out] ptk Pointer to where the PTK output is to be written.
  74768. + */
  74769. +void dwc_wusb_gen_key(uint8_t *ccm_nonce, uint8_t *mk, uint8_t *hnonce,
  74770. + uint8_t *dnonce, uint8_t *kck, uint8_t *ptk)
  74771. +{
  74772. + uint8_t idata[32];
  74773. + uint8_t odata[32];
  74774. +
  74775. + dump_bytes("ck", mk, 16);
  74776. + dump_bytes("hnonce", hnonce, 16);
  74777. + dump_bytes("dnonce", dnonce, 16);
  74778. +
  74779. + /* The data is the HNonce and DNonce concatenated */
  74780. + DWC_MEMCPY(&idata[0], hnonce, 16);
  74781. + DWC_MEMCPY(&idata[16], dnonce, 16);
  74782. +
  74783. + dwc_wusb_prf_256(mk, ccm_nonce, "Pair-wise keys", idata, 32, odata);
  74784. +
  74785. + /* Low 16 bytes of the result is the KCK, high 16 is the PTK */
  74786. + DWC_MEMCPY(kck, &odata[0], 16);
  74787. + DWC_MEMCPY(ptk, &odata[16], 16);
  74788. +
  74789. + dump_bytes("kck", kck, 16);
  74790. + dump_bytes("ptk", ptk, 16);
  74791. +}
  74792. +
  74793. +/**
  74794. + * Generates the Message Integrity Code over the Handshake data per the
  74795. + * WUSB spec.
  74796. + *
  74797. + * @param ccm_nonce Pointer to CCM Nonce.
  74798. + * @param kck Pointer to Key Confirmation Key.
  74799. + * @param data Pointer to Handshake data to be checked.
  74800. + * @param mic Pointer to where the MIC output is to be written.
  74801. + */
  74802. +void dwc_wusb_gen_mic(uint8_t *ccm_nonce, uint8_t *kck,
  74803. + uint8_t *data, uint8_t *mic)
  74804. +{
  74805. +
  74806. + dwc_wusb_prf_64(kck, ccm_nonce, "out-of-bandMIC",
  74807. + data, WUSB_HANDSHAKE_LEN_FOR_MIC, mic);
  74808. +}
  74809. +
  74810. +#endif /* DWC_CRYPTOLIB */
  74811. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_crypto.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_crypto.h
  74812. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_crypto.h 1970-01-01 01:00:00.000000000 +0100
  74813. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_crypto.h 2015-11-29 09:42:39.915098960 +0100
  74814. @@ -0,0 +1,111 @@
  74815. +/* =========================================================================
  74816. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_crypto.h $
  74817. + * $Revision: #3 $
  74818. + * $Date: 2010/09/28 $
  74819. + * $Change: 1596182 $
  74820. + *
  74821. + * Synopsys Portability Library Software and documentation
  74822. + * (hereinafter, "Software") is an Unsupported proprietary work of
  74823. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  74824. + * between Synopsys and you.
  74825. + *
  74826. + * The Software IS NOT an item of Licensed Software or Licensed Product
  74827. + * under any End User Software License Agreement or Agreement for
  74828. + * Licensed Product with Synopsys or any supplement thereto. You are
  74829. + * permitted to use and redistribute this Software in source and binary
  74830. + * forms, with or without modification, provided that redistributions
  74831. + * of source code must retain this notice. You may not view, use,
  74832. + * disclose, copy or distribute this file or any information contained
  74833. + * herein except pursuant to this license grant from Synopsys. If you
  74834. + * do not agree with this notice, including the disclaimer below, then
  74835. + * you are not authorized to use the Software.
  74836. + *
  74837. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  74838. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  74839. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  74840. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  74841. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  74842. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  74843. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  74844. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  74845. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  74846. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  74847. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  74848. + * DAMAGE.
  74849. + * ========================================================================= */
  74850. +
  74851. +#ifndef _DWC_CRYPTO_H_
  74852. +#define _DWC_CRYPTO_H_
  74853. +
  74854. +#ifdef __cplusplus
  74855. +extern "C" {
  74856. +#endif
  74857. +
  74858. +/** @file
  74859. + *
  74860. + * This file contains declarations for the WUSB Cryptographic routines as
  74861. + * defined in the WUSB spec. They are only to be used internally by the DWC UWB
  74862. + * modules.
  74863. + */
  74864. +
  74865. +#include "dwc_os.h"
  74866. +
  74867. +int dwc_wusb_aes_encrypt(u8 *src, u8 *key, u8 *dst);
  74868. +
  74869. +void dwc_wusb_cmf(u8 *key, u8 *nonce,
  74870. + char *label, u8 *bytes, int len, u8 *result);
  74871. +void dwc_wusb_prf(int prf_len, u8 *key,
  74872. + u8 *nonce, char *label, u8 *bytes, int len, u8 *result);
  74873. +
  74874. +/**
  74875. + * The PRF-64 function described in section 6.5 of the WUSB spec.
  74876. + *
  74877. + * @param key, nonce, label, bytes, len, result Same as for dwc_prf().
  74878. + */
  74879. +static inline void dwc_wusb_prf_64(u8 *key, u8 *nonce,
  74880. + char *label, u8 *bytes, int len, u8 *result)
  74881. +{
  74882. + dwc_wusb_prf(64, key, nonce, label, bytes, len, result);
  74883. +}
  74884. +
  74885. +/**
  74886. + * The PRF-128 function described in section 6.5 of the WUSB spec.
  74887. + *
  74888. + * @param key, nonce, label, bytes, len, result Same as for dwc_prf().
  74889. + */
  74890. +static inline void dwc_wusb_prf_128(u8 *key, u8 *nonce,
  74891. + char *label, u8 *bytes, int len, u8 *result)
  74892. +{
  74893. + dwc_wusb_prf(128, key, nonce, label, bytes, len, result);
  74894. +}
  74895. +
  74896. +/**
  74897. + * The PRF-256 function described in section 6.5 of the WUSB spec.
  74898. + *
  74899. + * @param key, nonce, label, bytes, len, result Same as for dwc_prf().
  74900. + */
  74901. +static inline void dwc_wusb_prf_256(u8 *key, u8 *nonce,
  74902. + char *label, u8 *bytes, int len, u8 *result)
  74903. +{
  74904. + dwc_wusb_prf(256, key, nonce, label, bytes, len, result);
  74905. +}
  74906. +
  74907. +
  74908. +void dwc_wusb_fill_ccm_nonce(uint16_t haddr, uint16_t daddr, uint8_t *tkid,
  74909. + uint8_t *nonce);
  74910. +void dwc_wusb_gen_nonce(uint16_t addr,
  74911. + uint8_t *nonce);
  74912. +
  74913. +void dwc_wusb_gen_key(uint8_t *ccm_nonce, uint8_t *mk,
  74914. + uint8_t *hnonce, uint8_t *dnonce,
  74915. + uint8_t *kck, uint8_t *ptk);
  74916. +
  74917. +
  74918. +void dwc_wusb_gen_mic(uint8_t *ccm_nonce, uint8_t
  74919. + *kck, uint8_t *data, uint8_t *mic);
  74920. +
  74921. +#ifdef __cplusplus
  74922. +}
  74923. +#endif
  74924. +
  74925. +#endif /* _DWC_CRYPTO_H_ */
  74926. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_dh.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_dh.c
  74927. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_dh.c 1970-01-01 01:00:00.000000000 +0100
  74928. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_dh.c 2015-11-29 09:42:39.915098960 +0100
  74929. @@ -0,0 +1,291 @@
  74930. +/* =========================================================================
  74931. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_dh.c $
  74932. + * $Revision: #3 $
  74933. + * $Date: 2010/09/28 $
  74934. + * $Change: 1596182 $
  74935. + *
  74936. + * Synopsys Portability Library Software and documentation
  74937. + * (hereinafter, "Software") is an Unsupported proprietary work of
  74938. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  74939. + * between Synopsys and you.
  74940. + *
  74941. + * The Software IS NOT an item of Licensed Software or Licensed Product
  74942. + * under any End User Software License Agreement or Agreement for
  74943. + * Licensed Product with Synopsys or any supplement thereto. You are
  74944. + * permitted to use and redistribute this Software in source and binary
  74945. + * forms, with or without modification, provided that redistributions
  74946. + * of source code must retain this notice. You may not view, use,
  74947. + * disclose, copy or distribute this file or any information contained
  74948. + * herein except pursuant to this license grant from Synopsys. If you
  74949. + * do not agree with this notice, including the disclaimer below, then
  74950. + * you are not authorized to use the Software.
  74951. + *
  74952. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  74953. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  74954. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  74955. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  74956. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  74957. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  74958. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  74959. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  74960. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  74961. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  74962. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  74963. + * DAMAGE.
  74964. + * ========================================================================= */
  74965. +#ifdef DWC_CRYPTOLIB
  74966. +
  74967. +#ifndef CONFIG_MACH_IPMATE
  74968. +
  74969. +#include "dwc_dh.h"
  74970. +#include "dwc_modpow.h"
  74971. +
  74972. +#ifdef DEBUG
  74973. +/* This function prints out a buffer in the format described in the Association
  74974. + * Model specification. */
  74975. +static void dh_dump(char *str, void *_num, int len)
  74976. +{
  74977. + uint8_t *num = _num;
  74978. + int i;
  74979. + DWC_PRINTF("%s\n", str);
  74980. + for (i = 0; i < len; i ++) {
  74981. + DWC_PRINTF("%02x", num[i]);
  74982. + if (((i + 1) % 2) == 0) DWC_PRINTF(" ");
  74983. + if (((i + 1) % 26) == 0) DWC_PRINTF("\n");
  74984. + }
  74985. +
  74986. + DWC_PRINTF("\n");
  74987. +}
  74988. +#else
  74989. +#define dh_dump(_x...) do {; } while(0)
  74990. +#endif
  74991. +
  74992. +/* Constant g value */
  74993. +static __u32 dh_g[] = {
  74994. + 0x02000000,
  74995. +};
  74996. +
  74997. +/* Constant p value */
  74998. +static __u32 dh_p[] = {
  74999. + 0xFFFFFFFF, 0xFFFFFFFF, 0xA2DA0FC9, 0x34C26821, 0x8B62C6C4, 0xD11CDC80, 0x084E0229, 0x74CC678A,
  75000. + 0xA6BE0B02, 0x229B133B, 0x79084A51, 0xDD04348E, 0xB31995EF, 0x1B433ACD, 0x6D0A2B30, 0x37145FF2,
  75001. + 0x6D35E14F, 0x45C2516D, 0x76B585E4, 0xC67E5E62, 0xE9424CF4, 0x6BED37A6, 0xB65CFF0B, 0xEDB706F4,
  75002. + 0xFB6B38EE, 0xA59F895A, 0x11249FAE, 0xE61F4B7C, 0x51662849, 0x3D5BE4EC, 0xB87C00C2, 0x05BF63A1,
  75003. + 0x3648DA98, 0x9AD3551C, 0xA83F1669, 0x5FCF24FD, 0x235D6583, 0x96ADA3DC, 0x56F3621C, 0xBB528520,
  75004. + 0x0729D59E, 0x6D969670, 0x4E350C67, 0x0498BC4A, 0x086C74F1, 0x7C2118CA, 0x465E9032, 0x3BCE362E,
  75005. + 0x2C779EE3, 0x03860E18, 0xA283279B, 0x8FA207EC, 0xF05DC5B5, 0xC9524C6F, 0xF6CB2BDE, 0x18175895,
  75006. + 0x7C499539, 0xE56A95EA, 0x1826D215, 0x1005FA98, 0x5A8E7215, 0x2DC4AA8A, 0x0D1733AD, 0x337A5004,
  75007. + 0xAB2155A8, 0x64BA1CDF, 0x0485FBEC, 0x0AEFDB58, 0x5771EA8A, 0x7D0C065D, 0x850F97B3, 0xC7E4E1A6,
  75008. + 0x8CAEF5AB, 0xD73309DB, 0xE0948C1E, 0x9D61254A, 0x26D2E3CE, 0x6BEED21A, 0x06FA2FF1, 0x64088AD9,
  75009. + 0x730276D8, 0x646AC83E, 0x182B1F52, 0x0C207B17, 0x5717E1BB, 0x6C5D617A, 0xC0880977, 0xE246D9BA,
  75010. + 0xA04FE208, 0x31ABE574, 0xFC5BDB43, 0x8E10FDE0, 0x20D1824B, 0xCAD23AA9, 0xFFFFFFFF, 0xFFFFFFFF,
  75011. +};
  75012. +
  75013. +static void dh_swap_bytes(void *_in, void *_out, uint32_t len)
  75014. +{
  75015. + uint8_t *in = _in;
  75016. + uint8_t *out = _out;
  75017. + int i;
  75018. + for (i=0; i<len; i++) {
  75019. + out[i] = in[len-1-i];
  75020. + }
  75021. +}
  75022. +
  75023. +/* Computes the modular exponentiation (num^exp % mod). num, exp, and mod are
  75024. + * big endian numbers of size len, in bytes. Each len value must be a multiple
  75025. + * of 4. */
  75026. +int dwc_dh_modpow(void *mem_ctx, void *num, uint32_t num_len,
  75027. + void *exp, uint32_t exp_len,
  75028. + void *mod, uint32_t mod_len,
  75029. + void *out)
  75030. +{
  75031. + /* modpow() takes little endian numbers. AM uses big-endian. This
  75032. + * function swaps bytes of numbers before passing onto modpow. */
  75033. +
  75034. + int retval = 0;
  75035. + uint32_t *result;
  75036. +
  75037. + uint32_t *bignum_num = dwc_alloc(mem_ctx, num_len + 4);
  75038. + uint32_t *bignum_exp = dwc_alloc(mem_ctx, exp_len + 4);
  75039. + uint32_t *bignum_mod = dwc_alloc(mem_ctx, mod_len + 4);
  75040. +
  75041. + dh_swap_bytes(num, &bignum_num[1], num_len);
  75042. + bignum_num[0] = num_len / 4;
  75043. +
  75044. + dh_swap_bytes(exp, &bignum_exp[1], exp_len);
  75045. + bignum_exp[0] = exp_len / 4;
  75046. +
  75047. + dh_swap_bytes(mod, &bignum_mod[1], mod_len);
  75048. + bignum_mod[0] = mod_len / 4;
  75049. +
  75050. + result = dwc_modpow(mem_ctx, bignum_num, bignum_exp, bignum_mod);
  75051. + if (!result) {
  75052. + retval = -1;
  75053. + goto dh_modpow_nomem;
  75054. + }
  75055. +
  75056. + dh_swap_bytes(&result[1], out, result[0] * 4);
  75057. + dwc_free(mem_ctx, result);
  75058. +
  75059. + dh_modpow_nomem:
  75060. + dwc_free(mem_ctx, bignum_num);
  75061. + dwc_free(mem_ctx, bignum_exp);
  75062. + dwc_free(mem_ctx, bignum_mod);
  75063. + return retval;
  75064. +}
  75065. +
  75066. +
  75067. +int dwc_dh_pk(void *mem_ctx, uint8_t nd, uint8_t *exp, uint8_t *pk, uint8_t *hash)
  75068. +{
  75069. + int retval;
  75070. + uint8_t m3[385];
  75071. +
  75072. +#ifndef DH_TEST_VECTORS
  75073. + DWC_RANDOM_BYTES(exp, 32);
  75074. +#endif
  75075. +
  75076. + /* Compute the pkd */
  75077. + if ((retval = dwc_dh_modpow(mem_ctx, dh_g, 4,
  75078. + exp, 32,
  75079. + dh_p, 384, pk))) {
  75080. + return retval;
  75081. + }
  75082. +
  75083. + m3[384] = nd;
  75084. + DWC_MEMCPY(&m3[0], pk, 384);
  75085. + DWC_SHA256(m3, 385, hash);
  75086. +
  75087. + dh_dump("PK", pk, 384);
  75088. + dh_dump("SHA-256(M3)", hash, 32);
  75089. + return 0;
  75090. +}
  75091. +
  75092. +int dwc_dh_derive_keys(void *mem_ctx, uint8_t nd, uint8_t *pkh, uint8_t *pkd,
  75093. + uint8_t *exp, int is_host,
  75094. + char *dd, uint8_t *ck, uint8_t *kdk)
  75095. +{
  75096. + int retval;
  75097. + uint8_t mv[784];
  75098. + uint8_t sha_result[32];
  75099. + uint8_t dhkey[384];
  75100. + uint8_t shared_secret[384];
  75101. + char *message;
  75102. + uint32_t vd;
  75103. +
  75104. + uint8_t *pk;
  75105. +
  75106. + if (is_host) {
  75107. + pk = pkd;
  75108. + }
  75109. + else {
  75110. + pk = pkh;
  75111. + }
  75112. +
  75113. + if ((retval = dwc_dh_modpow(mem_ctx, pk, 384,
  75114. + exp, 32,
  75115. + dh_p, 384, shared_secret))) {
  75116. + return retval;
  75117. + }
  75118. + dh_dump("Shared Secret", shared_secret, 384);
  75119. +
  75120. + DWC_SHA256(shared_secret, 384, dhkey);
  75121. + dh_dump("DHKEY", dhkey, 384);
  75122. +
  75123. + DWC_MEMCPY(&mv[0], pkd, 384);
  75124. + DWC_MEMCPY(&mv[384], pkh, 384);
  75125. + DWC_MEMCPY(&mv[768], "displayed digest", 16);
  75126. + dh_dump("MV", mv, 784);
  75127. +
  75128. + DWC_SHA256(mv, 784, sha_result);
  75129. + dh_dump("SHA-256(MV)", sha_result, 32);
  75130. + dh_dump("First 32-bits of SHA-256(MV)", sha_result, 4);
  75131. +
  75132. + dh_swap_bytes(sha_result, &vd, 4);
  75133. +#ifdef DEBUG
  75134. + DWC_PRINTF("Vd (decimal) = %d\n", vd);
  75135. +#endif
  75136. +
  75137. + switch (nd) {
  75138. + case 2:
  75139. + vd = vd % 100;
  75140. + DWC_SPRINTF(dd, "%02d", vd);
  75141. + break;
  75142. + case 3:
  75143. + vd = vd % 1000;
  75144. + DWC_SPRINTF(dd, "%03d", vd);
  75145. + break;
  75146. + case 4:
  75147. + vd = vd % 10000;
  75148. + DWC_SPRINTF(dd, "%04d", vd);
  75149. + break;
  75150. + }
  75151. +#ifdef DEBUG
  75152. + DWC_PRINTF("Display Digits: %s\n", dd);
  75153. +#endif
  75154. +
  75155. + message = "connection key";
  75156. + DWC_HMAC_SHA256(message, DWC_STRLEN(message), dhkey, 32, sha_result);
  75157. + dh_dump("HMAC(SHA-256, DHKey, connection key)", sha_result, 32);
  75158. + DWC_MEMCPY(ck, sha_result, 16);
  75159. +
  75160. + message = "key derivation key";
  75161. + DWC_HMAC_SHA256(message, DWC_STRLEN(message), dhkey, 32, sha_result);
  75162. + dh_dump("HMAC(SHA-256, DHKey, key derivation key)", sha_result, 32);
  75163. + DWC_MEMCPY(kdk, sha_result, 32);
  75164. +
  75165. + return 0;
  75166. +}
  75167. +
  75168. +
  75169. +#ifdef DH_TEST_VECTORS
  75170. +
  75171. +static __u8 dh_a[] = {
  75172. + 0x44, 0x00, 0x51, 0xd6,
  75173. + 0xf0, 0xb5, 0x5e, 0xa9,
  75174. + 0x67, 0xab, 0x31, 0xc6,
  75175. + 0x8a, 0x8b, 0x5e, 0x37,
  75176. + 0xd9, 0x10, 0xda, 0xe0,
  75177. + 0xe2, 0xd4, 0x59, 0xa4,
  75178. + 0x86, 0x45, 0x9c, 0xaa,
  75179. + 0xdf, 0x36, 0x75, 0x16,
  75180. +};
  75181. +
  75182. +static __u8 dh_b[] = {
  75183. + 0x5d, 0xae, 0xc7, 0x86,
  75184. + 0x79, 0x80, 0xa3, 0x24,
  75185. + 0x8c, 0xe3, 0x57, 0x8f,
  75186. + 0xc7, 0x5f, 0x1b, 0x0f,
  75187. + 0x2d, 0xf8, 0x9d, 0x30,
  75188. + 0x6f, 0xa4, 0x52, 0xcd,
  75189. + 0xe0, 0x7a, 0x04, 0x8a,
  75190. + 0xde, 0xd9, 0x26, 0x56,
  75191. +};
  75192. +
  75193. +void dwc_run_dh_test_vectors(void *mem_ctx)
  75194. +{
  75195. + uint8_t pkd[384];
  75196. + uint8_t pkh[384];
  75197. + uint8_t hashd[32];
  75198. + uint8_t hashh[32];
  75199. + uint8_t ck[16];
  75200. + uint8_t kdk[32];
  75201. + char dd[5];
  75202. +
  75203. + DWC_PRINTF("\n\n\nDH_TEST_VECTORS\n\n");
  75204. +
  75205. + /* compute the PKd and SHA-256(PKd || Nd) */
  75206. + DWC_PRINTF("Computing PKd\n");
  75207. + dwc_dh_pk(mem_ctx, 2, dh_a, pkd, hashd);
  75208. +
  75209. + /* compute the PKd and SHA-256(PKh || Nd) */
  75210. + DWC_PRINTF("Computing PKh\n");
  75211. + dwc_dh_pk(mem_ctx, 2, dh_b, pkh, hashh);
  75212. +
  75213. + /* compute the dhkey */
  75214. + dwc_dh_derive_keys(mem_ctx, 2, pkh, pkd, dh_a, 0, dd, ck, kdk);
  75215. +}
  75216. +#endif /* DH_TEST_VECTORS */
  75217. +
  75218. +#endif /* !CONFIG_MACH_IPMATE */
  75219. +
  75220. +#endif /* DWC_CRYPTOLIB */
  75221. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_dh.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_dh.h
  75222. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_dh.h 1970-01-01 01:00:00.000000000 +0100
  75223. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_dh.h 2015-11-29 09:42:39.915098960 +0100
  75224. @@ -0,0 +1,106 @@
  75225. +/* =========================================================================
  75226. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_dh.h $
  75227. + * $Revision: #4 $
  75228. + * $Date: 2010/09/28 $
  75229. + * $Change: 1596182 $
  75230. + *
  75231. + * Synopsys Portability Library Software and documentation
  75232. + * (hereinafter, "Software") is an Unsupported proprietary work of
  75233. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  75234. + * between Synopsys and you.
  75235. + *
  75236. + * The Software IS NOT an item of Licensed Software or Licensed Product
  75237. + * under any End User Software License Agreement or Agreement for
  75238. + * Licensed Product with Synopsys or any supplement thereto. You are
  75239. + * permitted to use and redistribute this Software in source and binary
  75240. + * forms, with or without modification, provided that redistributions
  75241. + * of source code must retain this notice. You may not view, use,
  75242. + * disclose, copy or distribute this file or any information contained
  75243. + * herein except pursuant to this license grant from Synopsys. If you
  75244. + * do not agree with this notice, including the disclaimer below, then
  75245. + * you are not authorized to use the Software.
  75246. + *
  75247. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  75248. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  75249. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  75250. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  75251. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  75252. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  75253. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  75254. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  75255. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  75256. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  75257. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  75258. + * DAMAGE.
  75259. + * ========================================================================= */
  75260. +#ifndef _DWC_DH_H_
  75261. +#define _DWC_DH_H_
  75262. +
  75263. +#ifdef __cplusplus
  75264. +extern "C" {
  75265. +#endif
  75266. +
  75267. +#include "dwc_os.h"
  75268. +
  75269. +/** @file
  75270. + *
  75271. + * This file defines the common functions on device and host for performing
  75272. + * numeric association as defined in the WUSB spec. They are only to be
  75273. + * used internally by the DWC UWB modules. */
  75274. +
  75275. +extern int dwc_dh_sha256(uint8_t *message, uint32_t len, uint8_t *out);
  75276. +extern int dwc_dh_hmac_sha256(uint8_t *message, uint32_t messagelen,
  75277. + uint8_t *key, uint32_t keylen,
  75278. + uint8_t *out);
  75279. +extern int dwc_dh_modpow(void *mem_ctx, void *num, uint32_t num_len,
  75280. + void *exp, uint32_t exp_len,
  75281. + void *mod, uint32_t mod_len,
  75282. + void *out);
  75283. +
  75284. +/** Computes PKD or PKH, and SHA-256(PKd || Nd)
  75285. + *
  75286. + * PK = g^exp mod p.
  75287. + *
  75288. + * Input:
  75289. + * Nd = Number of digits on the device.
  75290. + *
  75291. + * Output:
  75292. + * exp = A 32-byte buffer to be filled with a randomly generated number.
  75293. + * used as either A or B.
  75294. + * pk = A 384-byte buffer to be filled with the PKH or PKD.
  75295. + * hash = A 32-byte buffer to be filled with SHA-256(PK || ND).
  75296. + */
  75297. +extern int dwc_dh_pk(void *mem_ctx, uint8_t nd, uint8_t *exp, uint8_t *pkd, uint8_t *hash);
  75298. +
  75299. +/** Computes the DHKEY, and VD.
  75300. + *
  75301. + * If called from host, then it will comput DHKEY=PKD^exp % p.
  75302. + * If called from device, then it will comput DHKEY=PKH^exp % p.
  75303. + *
  75304. + * Input:
  75305. + * pkd = The PKD value.
  75306. + * pkh = The PKH value.
  75307. + * exp = The A value (if device) or B value (if host) generated in dwc_wudev_dh_pk.
  75308. + * is_host = Set to non zero if a WUSB host is calling this function.
  75309. + *
  75310. + * Output:
  75311. +
  75312. + * dd = A pointer to an buffer to be set to the displayed digits string to be shown
  75313. + * to the user. This buffer should be at 5 bytes long to hold 4 digits plus a
  75314. + * null termination character. This buffer can be used directly for display.
  75315. + * ck = A 16-byte buffer to be filled with the CK.
  75316. + * kdk = A 32-byte buffer to be filled with the KDK.
  75317. + */
  75318. +extern int dwc_dh_derive_keys(void *mem_ctx, uint8_t nd, uint8_t *pkh, uint8_t *pkd,
  75319. + uint8_t *exp, int is_host,
  75320. + char *dd, uint8_t *ck, uint8_t *kdk);
  75321. +
  75322. +#ifdef DH_TEST_VECTORS
  75323. +extern void dwc_run_dh_test_vectors(void);
  75324. +#endif
  75325. +
  75326. +#ifdef __cplusplus
  75327. +}
  75328. +#endif
  75329. +
  75330. +#endif /* _DWC_DH_H_ */
  75331. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_list.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_list.h
  75332. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_list.h 1970-01-01 01:00:00.000000000 +0100
  75333. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_list.h 2015-11-29 09:42:39.915098960 +0100
  75334. @@ -0,0 +1,594 @@
  75335. +/* $OpenBSD: queue.h,v 1.26 2004/05/04 16:59:32 grange Exp $ */
  75336. +/* $NetBSD: queue.h,v 1.11 1996/05/16 05:17:14 mycroft Exp $ */
  75337. +
  75338. +/*
  75339. + * Copyright (c) 1991, 1993
  75340. + * The Regents of the University of California. All rights reserved.
  75341. + *
  75342. + * Redistribution and use in source and binary forms, with or without
  75343. + * modification, are permitted provided that the following conditions
  75344. + * are met:
  75345. + * 1. Redistributions of source code must retain the above copyright
  75346. + * notice, this list of conditions and the following disclaimer.
  75347. + * 2. Redistributions in binary form must reproduce the above copyright
  75348. + * notice, this list of conditions and the following disclaimer in the
  75349. + * documentation and/or other materials provided with the distribution.
  75350. + * 3. Neither the name of the University nor the names of its contributors
  75351. + * may be used to endorse or promote products derived from this software
  75352. + * without specific prior written permission.
  75353. + *
  75354. + * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  75355. + * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  75356. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  75357. + * ARE DISCLAIMED. IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  75358. + * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  75359. + * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  75360. + * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  75361. + * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  75362. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  75363. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  75364. + * SUCH DAMAGE.
  75365. + *
  75366. + * @(#)queue.h 8.5 (Berkeley) 8/20/94
  75367. + */
  75368. +
  75369. +#ifndef _DWC_LIST_H_
  75370. +#define _DWC_LIST_H_
  75371. +
  75372. +#ifdef __cplusplus
  75373. +extern "C" {
  75374. +#endif
  75375. +
  75376. +/** @file
  75377. + *
  75378. + * This file defines linked list operations. It is derived from BSD with
  75379. + * only the MACRO names being prefixed with DWC_. This is because a few of
  75380. + * these names conflict with those on Linux. For documentation on use, see the
  75381. + * inline comments in the source code. The original license for this source
  75382. + * code applies and is preserved in the dwc_list.h source file.
  75383. + */
  75384. +
  75385. +/*
  75386. + * This file defines five types of data structures: singly-linked lists,
  75387. + * lists, simple queues, tail queues, and circular queues.
  75388. + *
  75389. + *
  75390. + * A singly-linked list is headed by a single forward pointer. The elements
  75391. + * are singly linked for minimum space and pointer manipulation overhead at
  75392. + * the expense of O(n) removal for arbitrary elements. New elements can be
  75393. + * added to the list after an existing element or at the head of the list.
  75394. + * Elements being removed from the head of the list should use the explicit
  75395. + * macro for this purpose for optimum efficiency. A singly-linked list may
  75396. + * only be traversed in the forward direction. Singly-linked lists are ideal
  75397. + * for applications with large datasets and few or no removals or for
  75398. + * implementing a LIFO queue.
  75399. + *
  75400. + * A list is headed by a single forward pointer (or an array of forward
  75401. + * pointers for a hash table header). The elements are doubly linked
  75402. + * so that an arbitrary element can be removed without a need to
  75403. + * traverse the list. New elements can be added to the list before
  75404. + * or after an existing element or at the head of the list. A list
  75405. + * may only be traversed in the forward direction.
  75406. + *
  75407. + * A simple queue is headed by a pair of pointers, one the head of the
  75408. + * list and the other to the tail of the list. The elements are singly
  75409. + * linked to save space, so elements can only be removed from the
  75410. + * head of the list. New elements can be added to the list before or after
  75411. + * an existing element, at the head of the list, or at the end of the
  75412. + * list. A simple queue may only be traversed in the forward direction.
  75413. + *
  75414. + * A tail queue is headed by a pair of pointers, one to the head of the
  75415. + * list and the other to the tail of the list. The elements are doubly
  75416. + * linked so that an arbitrary element can be removed without a need to
  75417. + * traverse the list. New elements can be added to the list before or
  75418. + * after an existing element, at the head of the list, or at the end of
  75419. + * the list. A tail queue may be traversed in either direction.
  75420. + *
  75421. + * A circle queue is headed by a pair of pointers, one to the head of the
  75422. + * list and the other to the tail of the list. The elements are doubly
  75423. + * linked so that an arbitrary element can be removed without a need to
  75424. + * traverse the list. New elements can be added to the list before or after
  75425. + * an existing element, at the head of the list, or at the end of the list.
  75426. + * A circle queue may be traversed in either direction, but has a more
  75427. + * complex end of list detection.
  75428. + *
  75429. + * For details on the use of these macros, see the queue(3) manual page.
  75430. + */
  75431. +
  75432. +/*
  75433. + * Double-linked List.
  75434. + */
  75435. +
  75436. +typedef struct dwc_list_link {
  75437. + struct dwc_list_link *next;
  75438. + struct dwc_list_link *prev;
  75439. +} dwc_list_link_t;
  75440. +
  75441. +#define DWC_LIST_INIT(link) do { \
  75442. + (link)->next = (link); \
  75443. + (link)->prev = (link); \
  75444. +} while (0)
  75445. +
  75446. +#define DWC_LIST_FIRST(link) ((link)->next)
  75447. +#define DWC_LIST_LAST(link) ((link)->prev)
  75448. +#define DWC_LIST_END(link) (link)
  75449. +#define DWC_LIST_NEXT(link) ((link)->next)
  75450. +#define DWC_LIST_PREV(link) ((link)->prev)
  75451. +#define DWC_LIST_EMPTY(link) \
  75452. + (DWC_LIST_FIRST(link) == DWC_LIST_END(link))
  75453. +#define DWC_LIST_ENTRY(link, type, field) \
  75454. + (type *)((uint8_t *)(link) - (size_t)(&((type *)0)->field))
  75455. +
  75456. +#if 0
  75457. +#define DWC_LIST_INSERT_HEAD(list, link) do { \
  75458. + (link)->next = (list)->next; \
  75459. + (link)->prev = (list); \
  75460. + (list)->next->prev = (link); \
  75461. + (list)->next = (link); \
  75462. +} while (0)
  75463. +
  75464. +#define DWC_LIST_INSERT_TAIL(list, link) do { \
  75465. + (link)->next = (list); \
  75466. + (link)->prev = (list)->prev; \
  75467. + (list)->prev->next = (link); \
  75468. + (list)->prev = (link); \
  75469. +} while (0)
  75470. +#else
  75471. +#define DWC_LIST_INSERT_HEAD(list, link) do { \
  75472. + dwc_list_link_t *__next__ = (list)->next; \
  75473. + __next__->prev = (link); \
  75474. + (link)->next = __next__; \
  75475. + (link)->prev = (list); \
  75476. + (list)->next = (link); \
  75477. +} while (0)
  75478. +
  75479. +#define DWC_LIST_INSERT_TAIL(list, link) do { \
  75480. + dwc_list_link_t *__prev__ = (list)->prev; \
  75481. + (list)->prev = (link); \
  75482. + (link)->next = (list); \
  75483. + (link)->prev = __prev__; \
  75484. + __prev__->next = (link); \
  75485. +} while (0)
  75486. +#endif
  75487. +
  75488. +#if 0
  75489. +static inline void __list_add(struct list_head *new,
  75490. + struct list_head *prev,
  75491. + struct list_head *next)
  75492. +{
  75493. + next->prev = new;
  75494. + new->next = next;
  75495. + new->prev = prev;
  75496. + prev->next = new;
  75497. +}
  75498. +
  75499. +static inline void list_add(struct list_head *new, struct list_head *head)
  75500. +{
  75501. + __list_add(new, head, head->next);
  75502. +}
  75503. +
  75504. +static inline void list_add_tail(struct list_head *new, struct list_head *head)
  75505. +{
  75506. + __list_add(new, head->prev, head);
  75507. +}
  75508. +
  75509. +static inline void __list_del(struct list_head * prev, struct list_head * next)
  75510. +{
  75511. + next->prev = prev;
  75512. + prev->next = next;
  75513. +}
  75514. +
  75515. +static inline void list_del(struct list_head *entry)
  75516. +{
  75517. + __list_del(entry->prev, entry->next);
  75518. + entry->next = LIST_POISON1;
  75519. + entry->prev = LIST_POISON2;
  75520. +}
  75521. +#endif
  75522. +
  75523. +#define DWC_LIST_REMOVE(link) do { \
  75524. + (link)->next->prev = (link)->prev; \
  75525. + (link)->prev->next = (link)->next; \
  75526. +} while (0)
  75527. +
  75528. +#define DWC_LIST_REMOVE_INIT(link) do { \
  75529. + DWC_LIST_REMOVE(link); \
  75530. + DWC_LIST_INIT(link); \
  75531. +} while (0)
  75532. +
  75533. +#define DWC_LIST_MOVE_HEAD(list, link) do { \
  75534. + DWC_LIST_REMOVE(link); \
  75535. + DWC_LIST_INSERT_HEAD(list, link); \
  75536. +} while (0)
  75537. +
  75538. +#define DWC_LIST_MOVE_TAIL(list, link) do { \
  75539. + DWC_LIST_REMOVE(link); \
  75540. + DWC_LIST_INSERT_TAIL(list, link); \
  75541. +} while (0)
  75542. +
  75543. +#define DWC_LIST_FOREACH(var, list) \
  75544. + for((var) = DWC_LIST_FIRST(list); \
  75545. + (var) != DWC_LIST_END(list); \
  75546. + (var) = DWC_LIST_NEXT(var))
  75547. +
  75548. +#define DWC_LIST_FOREACH_SAFE(var, var2, list) \
  75549. + for((var) = DWC_LIST_FIRST(list), (var2) = DWC_LIST_NEXT(var); \
  75550. + (var) != DWC_LIST_END(list); \
  75551. + (var) = (var2), (var2) = DWC_LIST_NEXT(var2))
  75552. +
  75553. +#define DWC_LIST_FOREACH_REVERSE(var, list) \
  75554. + for((var) = DWC_LIST_LAST(list); \
  75555. + (var) != DWC_LIST_END(list); \
  75556. + (var) = DWC_LIST_PREV(var))
  75557. +
  75558. +/*
  75559. + * Singly-linked List definitions.
  75560. + */
  75561. +#define DWC_SLIST_HEAD(name, type) \
  75562. +struct name { \
  75563. + struct type *slh_first; /* first element */ \
  75564. +}
  75565. +
  75566. +#define DWC_SLIST_HEAD_INITIALIZER(head) \
  75567. + { NULL }
  75568. +
  75569. +#define DWC_SLIST_ENTRY(type) \
  75570. +struct { \
  75571. + struct type *sle_next; /* next element */ \
  75572. +}
  75573. +
  75574. +/*
  75575. + * Singly-linked List access methods.
  75576. + */
  75577. +#define DWC_SLIST_FIRST(head) ((head)->slh_first)
  75578. +#define DWC_SLIST_END(head) NULL
  75579. +#define DWC_SLIST_EMPTY(head) (SLIST_FIRST(head) == SLIST_END(head))
  75580. +#define DWC_SLIST_NEXT(elm, field) ((elm)->field.sle_next)
  75581. +
  75582. +#define DWC_SLIST_FOREACH(var, head, field) \
  75583. + for((var) = SLIST_FIRST(head); \
  75584. + (var) != SLIST_END(head); \
  75585. + (var) = SLIST_NEXT(var, field))
  75586. +
  75587. +#define DWC_SLIST_FOREACH_PREVPTR(var, varp, head, field) \
  75588. + for((varp) = &SLIST_FIRST((head)); \
  75589. + ((var) = *(varp)) != SLIST_END(head); \
  75590. + (varp) = &SLIST_NEXT((var), field))
  75591. +
  75592. +/*
  75593. + * Singly-linked List functions.
  75594. + */
  75595. +#define DWC_SLIST_INIT(head) { \
  75596. + SLIST_FIRST(head) = SLIST_END(head); \
  75597. +}
  75598. +
  75599. +#define DWC_SLIST_INSERT_AFTER(slistelm, elm, field) do { \
  75600. + (elm)->field.sle_next = (slistelm)->field.sle_next; \
  75601. + (slistelm)->field.sle_next = (elm); \
  75602. +} while (0)
  75603. +
  75604. +#define DWC_SLIST_INSERT_HEAD(head, elm, field) do { \
  75605. + (elm)->field.sle_next = (head)->slh_first; \
  75606. + (head)->slh_first = (elm); \
  75607. +} while (0)
  75608. +
  75609. +#define DWC_SLIST_REMOVE_NEXT(head, elm, field) do { \
  75610. + (elm)->field.sle_next = (elm)->field.sle_next->field.sle_next; \
  75611. +} while (0)
  75612. +
  75613. +#define DWC_SLIST_REMOVE_HEAD(head, field) do { \
  75614. + (head)->slh_first = (head)->slh_first->field.sle_next; \
  75615. +} while (0)
  75616. +
  75617. +#define DWC_SLIST_REMOVE(head, elm, type, field) do { \
  75618. + if ((head)->slh_first == (elm)) { \
  75619. + SLIST_REMOVE_HEAD((head), field); \
  75620. + } \
  75621. + else { \
  75622. + struct type *curelm = (head)->slh_first; \
  75623. + while( curelm->field.sle_next != (elm) ) \
  75624. + curelm = curelm->field.sle_next; \
  75625. + curelm->field.sle_next = \
  75626. + curelm->field.sle_next->field.sle_next; \
  75627. + } \
  75628. +} while (0)
  75629. +
  75630. +/*
  75631. + * Simple queue definitions.
  75632. + */
  75633. +#define DWC_SIMPLEQ_HEAD(name, type) \
  75634. +struct name { \
  75635. + struct type *sqh_first; /* first element */ \
  75636. + struct type **sqh_last; /* addr of last next element */ \
  75637. +}
  75638. +
  75639. +#define DWC_SIMPLEQ_HEAD_INITIALIZER(head) \
  75640. + { NULL, &(head).sqh_first }
  75641. +
  75642. +#define DWC_SIMPLEQ_ENTRY(type) \
  75643. +struct { \
  75644. + struct type *sqe_next; /* next element */ \
  75645. +}
  75646. +
  75647. +/*
  75648. + * Simple queue access methods.
  75649. + */
  75650. +#define DWC_SIMPLEQ_FIRST(head) ((head)->sqh_first)
  75651. +#define DWC_SIMPLEQ_END(head) NULL
  75652. +#define DWC_SIMPLEQ_EMPTY(head) (SIMPLEQ_FIRST(head) == SIMPLEQ_END(head))
  75653. +#define DWC_SIMPLEQ_NEXT(elm, field) ((elm)->field.sqe_next)
  75654. +
  75655. +#define DWC_SIMPLEQ_FOREACH(var, head, field) \
  75656. + for((var) = SIMPLEQ_FIRST(head); \
  75657. + (var) != SIMPLEQ_END(head); \
  75658. + (var) = SIMPLEQ_NEXT(var, field))
  75659. +
  75660. +/*
  75661. + * Simple queue functions.
  75662. + */
  75663. +#define DWC_SIMPLEQ_INIT(head) do { \
  75664. + (head)->sqh_first = NULL; \
  75665. + (head)->sqh_last = &(head)->sqh_first; \
  75666. +} while (0)
  75667. +
  75668. +#define DWC_SIMPLEQ_INSERT_HEAD(head, elm, field) do { \
  75669. + if (((elm)->field.sqe_next = (head)->sqh_first) == NULL) \
  75670. + (head)->sqh_last = &(elm)->field.sqe_next; \
  75671. + (head)->sqh_first = (elm); \
  75672. +} while (0)
  75673. +
  75674. +#define DWC_SIMPLEQ_INSERT_TAIL(head, elm, field) do { \
  75675. + (elm)->field.sqe_next = NULL; \
  75676. + *(head)->sqh_last = (elm); \
  75677. + (head)->sqh_last = &(elm)->field.sqe_next; \
  75678. +} while (0)
  75679. +
  75680. +#define DWC_SIMPLEQ_INSERT_AFTER(head, listelm, elm, field) do { \
  75681. + if (((elm)->field.sqe_next = (listelm)->field.sqe_next) == NULL)\
  75682. + (head)->sqh_last = &(elm)->field.sqe_next; \
  75683. + (listelm)->field.sqe_next = (elm); \
  75684. +} while (0)
  75685. +
  75686. +#define DWC_SIMPLEQ_REMOVE_HEAD(head, field) do { \
  75687. + if (((head)->sqh_first = (head)->sqh_first->field.sqe_next) == NULL) \
  75688. + (head)->sqh_last = &(head)->sqh_first; \
  75689. +} while (0)
  75690. +
  75691. +/*
  75692. + * Tail queue definitions.
  75693. + */
  75694. +#define DWC_TAILQ_HEAD(name, type) \
  75695. +struct name { \
  75696. + struct type *tqh_first; /* first element */ \
  75697. + struct type **tqh_last; /* addr of last next element */ \
  75698. +}
  75699. +
  75700. +#define DWC_TAILQ_HEAD_INITIALIZER(head) \
  75701. + { NULL, &(head).tqh_first }
  75702. +
  75703. +#define DWC_TAILQ_ENTRY(type) \
  75704. +struct { \
  75705. + struct type *tqe_next; /* next element */ \
  75706. + struct type **tqe_prev; /* address of previous next element */ \
  75707. +}
  75708. +
  75709. +/*
  75710. + * tail queue access methods
  75711. + */
  75712. +#define DWC_TAILQ_FIRST(head) ((head)->tqh_first)
  75713. +#define DWC_TAILQ_END(head) NULL
  75714. +#define DWC_TAILQ_NEXT(elm, field) ((elm)->field.tqe_next)
  75715. +#define DWC_TAILQ_LAST(head, headname) \
  75716. + (*(((struct headname *)((head)->tqh_last))->tqh_last))
  75717. +/* XXX */
  75718. +#define DWC_TAILQ_PREV(elm, headname, field) \
  75719. + (*(((struct headname *)((elm)->field.tqe_prev))->tqh_last))
  75720. +#define DWC_TAILQ_EMPTY(head) \
  75721. + (DWC_TAILQ_FIRST(head) == DWC_TAILQ_END(head))
  75722. +
  75723. +#define DWC_TAILQ_FOREACH(var, head, field) \
  75724. + for ((var) = DWC_TAILQ_FIRST(head); \
  75725. + (var) != DWC_TAILQ_END(head); \
  75726. + (var) = DWC_TAILQ_NEXT(var, field))
  75727. +
  75728. +#define DWC_TAILQ_FOREACH_REVERSE(var, head, headname, field) \
  75729. + for ((var) = DWC_TAILQ_LAST(head, headname); \
  75730. + (var) != DWC_TAILQ_END(head); \
  75731. + (var) = DWC_TAILQ_PREV(var, headname, field))
  75732. +
  75733. +/*
  75734. + * Tail queue functions.
  75735. + */
  75736. +#define DWC_TAILQ_INIT(head) do { \
  75737. + (head)->tqh_first = NULL; \
  75738. + (head)->tqh_last = &(head)->tqh_first; \
  75739. +} while (0)
  75740. +
  75741. +#define DWC_TAILQ_INSERT_HEAD(head, elm, field) do { \
  75742. + if (((elm)->field.tqe_next = (head)->tqh_first) != NULL) \
  75743. + (head)->tqh_first->field.tqe_prev = \
  75744. + &(elm)->field.tqe_next; \
  75745. + else \
  75746. + (head)->tqh_last = &(elm)->field.tqe_next; \
  75747. + (head)->tqh_first = (elm); \
  75748. + (elm)->field.tqe_prev = &(head)->tqh_first; \
  75749. +} while (0)
  75750. +
  75751. +#define DWC_TAILQ_INSERT_TAIL(head, elm, field) do { \
  75752. + (elm)->field.tqe_next = NULL; \
  75753. + (elm)->field.tqe_prev = (head)->tqh_last; \
  75754. + *(head)->tqh_last = (elm); \
  75755. + (head)->tqh_last = &(elm)->field.tqe_next; \
  75756. +} while (0)
  75757. +
  75758. +#define DWC_TAILQ_INSERT_AFTER(head, listelm, elm, field) do { \
  75759. + if (((elm)->field.tqe_next = (listelm)->field.tqe_next) != NULL)\
  75760. + (elm)->field.tqe_next->field.tqe_prev = \
  75761. + &(elm)->field.tqe_next; \
  75762. + else \
  75763. + (head)->tqh_last = &(elm)->field.tqe_next; \
  75764. + (listelm)->field.tqe_next = (elm); \
  75765. + (elm)->field.tqe_prev = &(listelm)->field.tqe_next; \
  75766. +} while (0)
  75767. +
  75768. +#define DWC_TAILQ_INSERT_BEFORE(listelm, elm, field) do { \
  75769. + (elm)->field.tqe_prev = (listelm)->field.tqe_prev; \
  75770. + (elm)->field.tqe_next = (listelm); \
  75771. + *(listelm)->field.tqe_prev = (elm); \
  75772. + (listelm)->field.tqe_prev = &(elm)->field.tqe_next; \
  75773. +} while (0)
  75774. +
  75775. +#define DWC_TAILQ_REMOVE(head, elm, field) do { \
  75776. + if (((elm)->field.tqe_next) != NULL) \
  75777. + (elm)->field.tqe_next->field.tqe_prev = \
  75778. + (elm)->field.tqe_prev; \
  75779. + else \
  75780. + (head)->tqh_last = (elm)->field.tqe_prev; \
  75781. + *(elm)->field.tqe_prev = (elm)->field.tqe_next; \
  75782. +} while (0)
  75783. +
  75784. +#define DWC_TAILQ_REPLACE(head, elm, elm2, field) do { \
  75785. + if (((elm2)->field.tqe_next = (elm)->field.tqe_next) != NULL) \
  75786. + (elm2)->field.tqe_next->field.tqe_prev = \
  75787. + &(elm2)->field.tqe_next; \
  75788. + else \
  75789. + (head)->tqh_last = &(elm2)->field.tqe_next; \
  75790. + (elm2)->field.tqe_prev = (elm)->field.tqe_prev; \
  75791. + *(elm2)->field.tqe_prev = (elm2); \
  75792. +} while (0)
  75793. +
  75794. +/*
  75795. + * Circular queue definitions.
  75796. + */
  75797. +#define DWC_CIRCLEQ_HEAD(name, type) \
  75798. +struct name { \
  75799. + struct type *cqh_first; /* first element */ \
  75800. + struct type *cqh_last; /* last element */ \
  75801. +}
  75802. +
  75803. +#define DWC_CIRCLEQ_HEAD_INITIALIZER(head) \
  75804. + { DWC_CIRCLEQ_END(&head), DWC_CIRCLEQ_END(&head) }
  75805. +
  75806. +#define DWC_CIRCLEQ_ENTRY(type) \
  75807. +struct { \
  75808. + struct type *cqe_next; /* next element */ \
  75809. + struct type *cqe_prev; /* previous element */ \
  75810. +}
  75811. +
  75812. +/*
  75813. + * Circular queue access methods
  75814. + */
  75815. +#define DWC_CIRCLEQ_FIRST(head) ((head)->cqh_first)
  75816. +#define DWC_CIRCLEQ_LAST(head) ((head)->cqh_last)
  75817. +#define DWC_CIRCLEQ_END(head) ((void *)(head))
  75818. +#define DWC_CIRCLEQ_NEXT(elm, field) ((elm)->field.cqe_next)
  75819. +#define DWC_CIRCLEQ_PREV(elm, field) ((elm)->field.cqe_prev)
  75820. +#define DWC_CIRCLEQ_EMPTY(head) \
  75821. + (DWC_CIRCLEQ_FIRST(head) == DWC_CIRCLEQ_END(head))
  75822. +
  75823. +#define DWC_CIRCLEQ_EMPTY_ENTRY(elm, field) (((elm)->field.cqe_next == NULL) && ((elm)->field.cqe_prev == NULL))
  75824. +
  75825. +#define DWC_CIRCLEQ_FOREACH(var, head, field) \
  75826. + for((var) = DWC_CIRCLEQ_FIRST(head); \
  75827. + (var) != DWC_CIRCLEQ_END(head); \
  75828. + (var) = DWC_CIRCLEQ_NEXT(var, field))
  75829. +
  75830. +#define DWC_CIRCLEQ_FOREACH_SAFE(var, var2, head, field) \
  75831. + for((var) = DWC_CIRCLEQ_FIRST(head), var2 = DWC_CIRCLEQ_NEXT(var, field); \
  75832. + (var) != DWC_CIRCLEQ_END(head); \
  75833. + (var) = var2, var2 = DWC_CIRCLEQ_NEXT(var, field))
  75834. +
  75835. +#define DWC_CIRCLEQ_FOREACH_REVERSE(var, head, field) \
  75836. + for((var) = DWC_CIRCLEQ_LAST(head); \
  75837. + (var) != DWC_CIRCLEQ_END(head); \
  75838. + (var) = DWC_CIRCLEQ_PREV(var, field))
  75839. +
  75840. +/*
  75841. + * Circular queue functions.
  75842. + */
  75843. +#define DWC_CIRCLEQ_INIT(head) do { \
  75844. + (head)->cqh_first = DWC_CIRCLEQ_END(head); \
  75845. + (head)->cqh_last = DWC_CIRCLEQ_END(head); \
  75846. +} while (0)
  75847. +
  75848. +#define DWC_CIRCLEQ_INIT_ENTRY(elm, field) do { \
  75849. + (elm)->field.cqe_next = NULL; \
  75850. + (elm)->field.cqe_prev = NULL; \
  75851. +} while (0)
  75852. +
  75853. +#define DWC_CIRCLEQ_INSERT_AFTER(head, listelm, elm, field) do { \
  75854. + (elm)->field.cqe_next = (listelm)->field.cqe_next; \
  75855. + (elm)->field.cqe_prev = (listelm); \
  75856. + if ((listelm)->field.cqe_next == DWC_CIRCLEQ_END(head)) \
  75857. + (head)->cqh_last = (elm); \
  75858. + else \
  75859. + (listelm)->field.cqe_next->field.cqe_prev = (elm); \
  75860. + (listelm)->field.cqe_next = (elm); \
  75861. +} while (0)
  75862. +
  75863. +#define DWC_CIRCLEQ_INSERT_BEFORE(head, listelm, elm, field) do { \
  75864. + (elm)->field.cqe_next = (listelm); \
  75865. + (elm)->field.cqe_prev = (listelm)->field.cqe_prev; \
  75866. + if ((listelm)->field.cqe_prev == DWC_CIRCLEQ_END(head)) \
  75867. + (head)->cqh_first = (elm); \
  75868. + else \
  75869. + (listelm)->field.cqe_prev->field.cqe_next = (elm); \
  75870. + (listelm)->field.cqe_prev = (elm); \
  75871. +} while (0)
  75872. +
  75873. +#define DWC_CIRCLEQ_INSERT_HEAD(head, elm, field) do { \
  75874. + (elm)->field.cqe_next = (head)->cqh_first; \
  75875. + (elm)->field.cqe_prev = DWC_CIRCLEQ_END(head); \
  75876. + if ((head)->cqh_last == DWC_CIRCLEQ_END(head)) \
  75877. + (head)->cqh_last = (elm); \
  75878. + else \
  75879. + (head)->cqh_first->field.cqe_prev = (elm); \
  75880. + (head)->cqh_first = (elm); \
  75881. +} while (0)
  75882. +
  75883. +#define DWC_CIRCLEQ_INSERT_TAIL(head, elm, field) do { \
  75884. + (elm)->field.cqe_next = DWC_CIRCLEQ_END(head); \
  75885. + (elm)->field.cqe_prev = (head)->cqh_last; \
  75886. + if ((head)->cqh_first == DWC_CIRCLEQ_END(head)) \
  75887. + (head)->cqh_first = (elm); \
  75888. + else \
  75889. + (head)->cqh_last->field.cqe_next = (elm); \
  75890. + (head)->cqh_last = (elm); \
  75891. +} while (0)
  75892. +
  75893. +#define DWC_CIRCLEQ_REMOVE(head, elm, field) do { \
  75894. + if ((elm)->field.cqe_next == DWC_CIRCLEQ_END(head)) \
  75895. + (head)->cqh_last = (elm)->field.cqe_prev; \
  75896. + else \
  75897. + (elm)->field.cqe_next->field.cqe_prev = \
  75898. + (elm)->field.cqe_prev; \
  75899. + if ((elm)->field.cqe_prev == DWC_CIRCLEQ_END(head)) \
  75900. + (head)->cqh_first = (elm)->field.cqe_next; \
  75901. + else \
  75902. + (elm)->field.cqe_prev->field.cqe_next = \
  75903. + (elm)->field.cqe_next; \
  75904. +} while (0)
  75905. +
  75906. +#define DWC_CIRCLEQ_REMOVE_INIT(head, elm, field) do { \
  75907. + DWC_CIRCLEQ_REMOVE(head, elm, field); \
  75908. + DWC_CIRCLEQ_INIT_ENTRY(elm, field); \
  75909. +} while (0)
  75910. +
  75911. +#define DWC_CIRCLEQ_REPLACE(head, elm, elm2, field) do { \
  75912. + if (((elm2)->field.cqe_next = (elm)->field.cqe_next) == \
  75913. + DWC_CIRCLEQ_END(head)) \
  75914. + (head).cqh_last = (elm2); \
  75915. + else \
  75916. + (elm2)->field.cqe_next->field.cqe_prev = (elm2); \
  75917. + if (((elm2)->field.cqe_prev = (elm)->field.cqe_prev) == \
  75918. + DWC_CIRCLEQ_END(head)) \
  75919. + (head).cqh_first = (elm2); \
  75920. + else \
  75921. + (elm2)->field.cqe_prev->field.cqe_next = (elm2); \
  75922. +} while (0)
  75923. +
  75924. +#ifdef __cplusplus
  75925. +}
  75926. +#endif
  75927. +
  75928. +#endif /* _DWC_LIST_H_ */
  75929. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_mem.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_mem.c
  75930. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_mem.c 1970-01-01 01:00:00.000000000 +0100
  75931. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_mem.c 2015-11-29 09:42:39.915098960 +0100
  75932. @@ -0,0 +1,245 @@
  75933. +/* Memory Debugging */
  75934. +#ifdef DWC_DEBUG_MEMORY
  75935. +
  75936. +#include "dwc_os.h"
  75937. +#include "dwc_list.h"
  75938. +
  75939. +struct allocation {
  75940. + void *addr;
  75941. + void *ctx;
  75942. + char *func;
  75943. + int line;
  75944. + uint32_t size;
  75945. + int dma;
  75946. + DWC_CIRCLEQ_ENTRY(allocation) entry;
  75947. +};
  75948. +
  75949. +DWC_CIRCLEQ_HEAD(allocation_queue, allocation);
  75950. +
  75951. +struct allocation_manager {
  75952. + void *mem_ctx;
  75953. + struct allocation_queue allocations;
  75954. +
  75955. + /* statistics */
  75956. + int num;
  75957. + int num_freed;
  75958. + int num_active;
  75959. + uint32_t total;
  75960. + uint32_t cur;
  75961. + uint32_t max;
  75962. +};
  75963. +
  75964. +static struct allocation_manager *manager = NULL;
  75965. +
  75966. +static int add_allocation(void *ctx, uint32_t size, char const *func, int line, void *addr,
  75967. + int dma)
  75968. +{
  75969. + struct allocation *a;
  75970. +
  75971. + DWC_ASSERT(manager != NULL, "manager not allocated");
  75972. +
  75973. + a = __DWC_ALLOC_ATOMIC(manager->mem_ctx, sizeof(*a));
  75974. + if (!a) {
  75975. + return -DWC_E_NO_MEMORY;
  75976. + }
  75977. +
  75978. + a->func = __DWC_ALLOC_ATOMIC(manager->mem_ctx, DWC_STRLEN(func) + 1);
  75979. + if (!a->func) {
  75980. + __DWC_FREE(manager->mem_ctx, a);
  75981. + return -DWC_E_NO_MEMORY;
  75982. + }
  75983. +
  75984. + DWC_MEMCPY(a->func, func, DWC_STRLEN(func) + 1);
  75985. + a->addr = addr;
  75986. + a->ctx = ctx;
  75987. + a->line = line;
  75988. + a->size = size;
  75989. + a->dma = dma;
  75990. + DWC_CIRCLEQ_INSERT_TAIL(&manager->allocations, a, entry);
  75991. +
  75992. + /* Update stats */
  75993. + manager->num++;
  75994. + manager->num_active++;
  75995. + manager->total += size;
  75996. + manager->cur += size;
  75997. +
  75998. + if (manager->max < manager->cur) {
  75999. + manager->max = manager->cur;
  76000. + }
  76001. +
  76002. + return 0;
  76003. +}
  76004. +
  76005. +static struct allocation *find_allocation(void *ctx, void *addr)
  76006. +{
  76007. + struct allocation *a;
  76008. +
  76009. + DWC_CIRCLEQ_FOREACH(a, &manager->allocations, entry) {
  76010. + if (a->ctx == ctx && a->addr == addr) {
  76011. + return a;
  76012. + }
  76013. + }
  76014. +
  76015. + return NULL;
  76016. +}
  76017. +
  76018. +static void free_allocation(void *ctx, void *addr, char const *func, int line)
  76019. +{
  76020. + struct allocation *a = find_allocation(ctx, addr);
  76021. +
  76022. + if (!a) {
  76023. + DWC_ASSERT(0,
  76024. + "Free of address %p that was never allocated or already freed %s:%d",
  76025. + addr, func, line);
  76026. + return;
  76027. + }
  76028. +
  76029. + DWC_CIRCLEQ_REMOVE(&manager->allocations, a, entry);
  76030. +
  76031. + manager->num_active--;
  76032. + manager->num_freed++;
  76033. + manager->cur -= a->size;
  76034. + __DWC_FREE(manager->mem_ctx, a->func);
  76035. + __DWC_FREE(manager->mem_ctx, a);
  76036. +}
  76037. +
  76038. +int dwc_memory_debug_start(void *mem_ctx)
  76039. +{
  76040. + DWC_ASSERT(manager == NULL, "Memory debugging has already started\n");
  76041. +
  76042. + if (manager) {
  76043. + return -DWC_E_BUSY;
  76044. + }
  76045. +
  76046. + manager = __DWC_ALLOC(mem_ctx, sizeof(*manager));
  76047. + if (!manager) {
  76048. + return -DWC_E_NO_MEMORY;
  76049. + }
  76050. +
  76051. + DWC_CIRCLEQ_INIT(&manager->allocations);
  76052. + manager->mem_ctx = mem_ctx;
  76053. + manager->num = 0;
  76054. + manager->num_freed = 0;
  76055. + manager->num_active = 0;
  76056. + manager->total = 0;
  76057. + manager->cur = 0;
  76058. + manager->max = 0;
  76059. +
  76060. + return 0;
  76061. +}
  76062. +
  76063. +void dwc_memory_debug_stop(void)
  76064. +{
  76065. + struct allocation *a;
  76066. +
  76067. + dwc_memory_debug_report();
  76068. +
  76069. + DWC_CIRCLEQ_FOREACH(a, &manager->allocations, entry) {
  76070. + DWC_ERROR("Memory leaked from %s:%d\n", a->func, a->line);
  76071. + free_allocation(a->ctx, a->addr, NULL, -1);
  76072. + }
  76073. +
  76074. + __DWC_FREE(manager->mem_ctx, manager);
  76075. +}
  76076. +
  76077. +void dwc_memory_debug_report(void)
  76078. +{
  76079. + struct allocation *a;
  76080. +
  76081. + DWC_PRINTF("\n\n\n----------------- Memory Debugging Report -----------------\n\n");
  76082. + DWC_PRINTF("Num Allocations = %d\n", manager->num);
  76083. + DWC_PRINTF("Freed = %d\n", manager->num_freed);
  76084. + DWC_PRINTF("Active = %d\n", manager->num_active);
  76085. + DWC_PRINTF("Current Memory Used = %d\n", manager->cur);
  76086. + DWC_PRINTF("Total Memory Used = %d\n", manager->total);
  76087. + DWC_PRINTF("Maximum Memory Used at Once = %d\n", manager->max);
  76088. + DWC_PRINTF("Unfreed allocations:\n");
  76089. +
  76090. + DWC_CIRCLEQ_FOREACH(a, &manager->allocations, entry) {
  76091. + DWC_PRINTF(" addr=%p, size=%d from %s:%d, DMA=%d\n",
  76092. + a->addr, a->size, a->func, a->line, a->dma);
  76093. + }
  76094. +}
  76095. +
  76096. +/* The replacement functions */
  76097. +void *dwc_alloc_debug(void *mem_ctx, uint32_t size, char const *func, int line)
  76098. +{
  76099. + void *addr = __DWC_ALLOC(mem_ctx, size);
  76100. +
  76101. + if (!addr) {
  76102. + return NULL;
  76103. + }
  76104. +
  76105. + if (add_allocation(mem_ctx, size, func, line, addr, 0)) {
  76106. + __DWC_FREE(mem_ctx, addr);
  76107. + return NULL;
  76108. + }
  76109. +
  76110. + return addr;
  76111. +}
  76112. +
  76113. +void *dwc_alloc_atomic_debug(void *mem_ctx, uint32_t size, char const *func,
  76114. + int line)
  76115. +{
  76116. + void *addr = __DWC_ALLOC_ATOMIC(mem_ctx, size);
  76117. +
  76118. + if (!addr) {
  76119. + return NULL;
  76120. + }
  76121. +
  76122. + if (add_allocation(mem_ctx, size, func, line, addr, 0)) {
  76123. + __DWC_FREE(mem_ctx, addr);
  76124. + return NULL;
  76125. + }
  76126. +
  76127. + return addr;
  76128. +}
  76129. +
  76130. +void dwc_free_debug(void *mem_ctx, void *addr, char const *func, int line)
  76131. +{
  76132. + free_allocation(mem_ctx, addr, func, line);
  76133. + __DWC_FREE(mem_ctx, addr);
  76134. +}
  76135. +
  76136. +void *dwc_dma_alloc_debug(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr,
  76137. + char const *func, int line)
  76138. +{
  76139. + void *addr = __DWC_DMA_ALLOC(dma_ctx, size, dma_addr);
  76140. +
  76141. + if (!addr) {
  76142. + return NULL;
  76143. + }
  76144. +
  76145. + if (add_allocation(dma_ctx, size, func, line, addr, 1)) {
  76146. + __DWC_DMA_FREE(dma_ctx, size, addr, *dma_addr);
  76147. + return NULL;
  76148. + }
  76149. +
  76150. + return addr;
  76151. +}
  76152. +
  76153. +void *dwc_dma_alloc_atomic_debug(void *dma_ctx, uint32_t size,
  76154. + dwc_dma_t *dma_addr, char const *func, int line)
  76155. +{
  76156. + void *addr = __DWC_DMA_ALLOC_ATOMIC(dma_ctx, size, dma_addr);
  76157. +
  76158. + if (!addr) {
  76159. + return NULL;
  76160. + }
  76161. +
  76162. + if (add_allocation(dma_ctx, size, func, line, addr, 1)) {
  76163. + __DWC_DMA_FREE(dma_ctx, size, addr, *dma_addr);
  76164. + return NULL;
  76165. + }
  76166. +
  76167. + return addr;
  76168. +}
  76169. +
  76170. +void dwc_dma_free_debug(void *dma_ctx, uint32_t size, void *virt_addr,
  76171. + dwc_dma_t dma_addr, char const *func, int line)
  76172. +{
  76173. + free_allocation(dma_ctx, virt_addr, func, line);
  76174. + __DWC_DMA_FREE(dma_ctx, size, virt_addr, dma_addr);
  76175. +}
  76176. +
  76177. +#endif /* DWC_DEBUG_MEMORY */
  76178. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_modpow.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_modpow.c
  76179. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_modpow.c 1970-01-01 01:00:00.000000000 +0100
  76180. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_modpow.c 2015-11-29 09:42:39.915098960 +0100
  76181. @@ -0,0 +1,636 @@
  76182. +/* Bignum routines adapted from PUTTY sources. PuTTY copyright notice follows.
  76183. + *
  76184. + * PuTTY is copyright 1997-2007 Simon Tatham.
  76185. + *
  76186. + * Portions copyright Robert de Bath, Joris van Rantwijk, Delian
  76187. + * Delchev, Andreas Schultz, Jeroen Massar, Wez Furlong, Nicolas Barry,
  76188. + * Justin Bradford, Ben Harris, Malcolm Smith, Ahmad Khalifa, Markus
  76189. + * Kuhn, and CORE SDI S.A.
  76190. + *
  76191. + * Permission is hereby granted, free of charge, to any person
  76192. + * obtaining a copy of this software and associated documentation files
  76193. + * (the "Software"), to deal in the Software without restriction,
  76194. + * including without limitation the rights to use, copy, modify, merge,
  76195. + * publish, distribute, sublicense, and/or sell copies of the Software,
  76196. + * and to permit persons to whom the Software is furnished to do so,
  76197. + * subject to the following conditions:
  76198. + *
  76199. + * The above copyright notice and this permission notice shall be
  76200. + * included in all copies or substantial portions of the Software.
  76201. +
  76202. + * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  76203. + * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  76204. + * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  76205. + * NONINFRINGEMENT. IN NO EVENT SHALL THE COPYRIGHT HOLDERS BE LIABLE
  76206. + * FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF
  76207. + * CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
  76208. + * WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
  76209. + *
  76210. + */
  76211. +#ifdef DWC_CRYPTOLIB
  76212. +
  76213. +#ifndef CONFIG_MACH_IPMATE
  76214. +
  76215. +#include "dwc_modpow.h"
  76216. +
  76217. +#define BIGNUM_INT_MASK 0xFFFFFFFFUL
  76218. +#define BIGNUM_TOP_BIT 0x80000000UL
  76219. +#define BIGNUM_INT_BITS 32
  76220. +
  76221. +
  76222. +static void *snmalloc(void *mem_ctx, size_t n, size_t size)
  76223. +{
  76224. + void *p;
  76225. + size *= n;
  76226. + if (size == 0) size = 1;
  76227. + p = dwc_alloc(mem_ctx, size);
  76228. + return p;
  76229. +}
  76230. +
  76231. +#define snewn(ctx, n, type) ((type *)snmalloc((ctx), (n), sizeof(type)))
  76232. +#define sfree dwc_free
  76233. +
  76234. +/*
  76235. + * Usage notes:
  76236. + * * Do not call the DIVMOD_WORD macro with expressions such as array
  76237. + * subscripts, as some implementations object to this (see below).
  76238. + * * Note that none of the division methods below will cope if the
  76239. + * quotient won't fit into BIGNUM_INT_BITS. Callers should be careful
  76240. + * to avoid this case.
  76241. + * If this condition occurs, in the case of the x86 DIV instruction,
  76242. + * an overflow exception will occur, which (according to a correspondent)
  76243. + * will manifest on Windows as something like
  76244. + * 0xC0000095: Integer overflow
  76245. + * The C variant won't give the right answer, either.
  76246. + */
  76247. +
  76248. +#define MUL_WORD(w1, w2) ((BignumDblInt)w1 * w2)
  76249. +
  76250. +#if defined __GNUC__ && defined __i386__
  76251. +#define DIVMOD_WORD(q, r, hi, lo, w) \
  76252. + __asm__("div %2" : \
  76253. + "=d" (r), "=a" (q) : \
  76254. + "r" (w), "d" (hi), "a" (lo))
  76255. +#else
  76256. +#define DIVMOD_WORD(q, r, hi, lo, w) do { \
  76257. + BignumDblInt n = (((BignumDblInt)hi) << BIGNUM_INT_BITS) | lo; \
  76258. + q = n / w; \
  76259. + r = n % w; \
  76260. +} while (0)
  76261. +#endif
  76262. +
  76263. +// q = n / w;
  76264. +// r = n % w;
  76265. +
  76266. +#define BIGNUM_INT_BYTES (BIGNUM_INT_BITS / 8)
  76267. +
  76268. +#define BIGNUM_INTERNAL
  76269. +
  76270. +static Bignum newbn(void *mem_ctx, int length)
  76271. +{
  76272. + Bignum b = snewn(mem_ctx, length + 1, BignumInt);
  76273. + //if (!b)
  76274. + //abort(); /* FIXME */
  76275. + DWC_MEMSET(b, 0, (length + 1) * sizeof(*b));
  76276. + b[0] = length;
  76277. + return b;
  76278. +}
  76279. +
  76280. +void freebn(void *mem_ctx, Bignum b)
  76281. +{
  76282. + /*
  76283. + * Burn the evidence, just in case.
  76284. + */
  76285. + DWC_MEMSET(b, 0, sizeof(b[0]) * (b[0] + 1));
  76286. + sfree(mem_ctx, b);
  76287. +}
  76288. +
  76289. +/*
  76290. + * Compute c = a * b.
  76291. + * Input is in the first len words of a and b.
  76292. + * Result is returned in the first 2*len words of c.
  76293. + */
  76294. +static void internal_mul(BignumInt *a, BignumInt *b,
  76295. + BignumInt *c, int len)
  76296. +{
  76297. + int i, j;
  76298. + BignumDblInt t;
  76299. +
  76300. + for (j = 0; j < 2 * len; j++)
  76301. + c[j] = 0;
  76302. +
  76303. + for (i = len - 1; i >= 0; i--) {
  76304. + t = 0;
  76305. + for (j = len - 1; j >= 0; j--) {
  76306. + t += MUL_WORD(a[i], (BignumDblInt) b[j]);
  76307. + t += (BignumDblInt) c[i + j + 1];
  76308. + c[i + j + 1] = (BignumInt) t;
  76309. + t = t >> BIGNUM_INT_BITS;
  76310. + }
  76311. + c[i] = (BignumInt) t;
  76312. + }
  76313. +}
  76314. +
  76315. +static void internal_add_shifted(BignumInt *number,
  76316. + unsigned n, int shift)
  76317. +{
  76318. + int word = 1 + (shift / BIGNUM_INT_BITS);
  76319. + int bshift = shift % BIGNUM_INT_BITS;
  76320. + BignumDblInt addend;
  76321. +
  76322. + addend = (BignumDblInt)n << bshift;
  76323. +
  76324. + while (addend) {
  76325. + addend += number[word];
  76326. + number[word] = (BignumInt) addend & BIGNUM_INT_MASK;
  76327. + addend >>= BIGNUM_INT_BITS;
  76328. + word++;
  76329. + }
  76330. +}
  76331. +
  76332. +/*
  76333. + * Compute a = a % m.
  76334. + * Input in first alen words of a and first mlen words of m.
  76335. + * Output in first alen words of a
  76336. + * (of which first alen-mlen words will be zero).
  76337. + * The MSW of m MUST have its high bit set.
  76338. + * Quotient is accumulated in the `quotient' array, which is a Bignum
  76339. + * rather than the internal bigendian format. Quotient parts are shifted
  76340. + * left by `qshift' before adding into quot.
  76341. + */
  76342. +static void internal_mod(BignumInt *a, int alen,
  76343. + BignumInt *m, int mlen,
  76344. + BignumInt *quot, int qshift)
  76345. +{
  76346. + BignumInt m0, m1;
  76347. + unsigned int h;
  76348. + int i, k;
  76349. +
  76350. + m0 = m[0];
  76351. + if (mlen > 1)
  76352. + m1 = m[1];
  76353. + else
  76354. + m1 = 0;
  76355. +
  76356. + for (i = 0; i <= alen - mlen; i++) {
  76357. + BignumDblInt t;
  76358. + unsigned int q, r, c, ai1;
  76359. +
  76360. + if (i == 0) {
  76361. + h = 0;
  76362. + } else {
  76363. + h = a[i - 1];
  76364. + a[i - 1] = 0;
  76365. + }
  76366. +
  76367. + if (i == alen - 1)
  76368. + ai1 = 0;
  76369. + else
  76370. + ai1 = a[i + 1];
  76371. +
  76372. + /* Find q = h:a[i] / m0 */
  76373. + if (h >= m0) {
  76374. + /*
  76375. + * Special case.
  76376. + *
  76377. + * To illustrate it, suppose a BignumInt is 8 bits, and
  76378. + * we are dividing (say) A1:23:45:67 by A1:B2:C3. Then
  76379. + * our initial division will be 0xA123 / 0xA1, which
  76380. + * will give a quotient of 0x100 and a divide overflow.
  76381. + * However, the invariants in this division algorithm
  76382. + * are not violated, since the full number A1:23:... is
  76383. + * _less_ than the quotient prefix A1:B2:... and so the
  76384. + * following correction loop would have sorted it out.
  76385. + *
  76386. + * In this situation we set q to be the largest
  76387. + * quotient we _can_ stomach (0xFF, of course).
  76388. + */
  76389. + q = BIGNUM_INT_MASK;
  76390. + } else {
  76391. + /* Macro doesn't want an array subscript expression passed
  76392. + * into it (see definition), so use a temporary. */
  76393. + BignumInt tmplo = a[i];
  76394. + DIVMOD_WORD(q, r, h, tmplo, m0);
  76395. +
  76396. + /* Refine our estimate of q by looking at
  76397. + h:a[i]:a[i+1] / m0:m1 */
  76398. + t = MUL_WORD(m1, q);
  76399. + if (t > ((BignumDblInt) r << BIGNUM_INT_BITS) + ai1) {
  76400. + q--;
  76401. + t -= m1;
  76402. + r = (r + m0) & BIGNUM_INT_MASK; /* overflow? */
  76403. + if (r >= (BignumDblInt) m0 &&
  76404. + t > ((BignumDblInt) r << BIGNUM_INT_BITS) + ai1) q--;
  76405. + }
  76406. + }
  76407. +
  76408. + /* Subtract q * m from a[i...] */
  76409. + c = 0;
  76410. + for (k = mlen - 1; k >= 0; k--) {
  76411. + t = MUL_WORD(q, m[k]);
  76412. + t += c;
  76413. + c = (unsigned)(t >> BIGNUM_INT_BITS);
  76414. + if ((BignumInt) t > a[i + k])
  76415. + c++;
  76416. + a[i + k] -= (BignumInt) t;
  76417. + }
  76418. +
  76419. + /* Add back m in case of borrow */
  76420. + if (c != h) {
  76421. + t = 0;
  76422. + for (k = mlen - 1; k >= 0; k--) {
  76423. + t += m[k];
  76424. + t += a[i + k];
  76425. + a[i + k] = (BignumInt) t;
  76426. + t = t >> BIGNUM_INT_BITS;
  76427. + }
  76428. + q--;
  76429. + }
  76430. + if (quot)
  76431. + internal_add_shifted(quot, q, qshift + BIGNUM_INT_BITS * (alen - mlen - i));
  76432. + }
  76433. +}
  76434. +
  76435. +/*
  76436. + * Compute p % mod.
  76437. + * The most significant word of mod MUST be non-zero.
  76438. + * We assume that the result array is the same size as the mod array.
  76439. + * We optionally write out a quotient if `quotient' is non-NULL.
  76440. + * We can avoid writing out the result if `result' is NULL.
  76441. + */
  76442. +void bigdivmod(void *mem_ctx, Bignum p, Bignum mod, Bignum result, Bignum quotient)
  76443. +{
  76444. + BignumInt *n, *m;
  76445. + int mshift;
  76446. + int plen, mlen, i, j;
  76447. +
  76448. + /* Allocate m of size mlen, copy mod to m */
  76449. + /* We use big endian internally */
  76450. + mlen = mod[0];
  76451. + m = snewn(mem_ctx, mlen, BignumInt);
  76452. + //if (!m)
  76453. + //abort(); /* FIXME */
  76454. + for (j = 0; j < mlen; j++)
  76455. + m[j] = mod[mod[0] - j];
  76456. +
  76457. + /* Shift m left to make msb bit set */
  76458. + for (mshift = 0; mshift < BIGNUM_INT_BITS-1; mshift++)
  76459. + if ((m[0] << mshift) & BIGNUM_TOP_BIT)
  76460. + break;
  76461. + if (mshift) {
  76462. + for (i = 0; i < mlen - 1; i++)
  76463. + m[i] = (m[i] << mshift) | (m[i + 1] >> (BIGNUM_INT_BITS - mshift));
  76464. + m[mlen - 1] = m[mlen - 1] << mshift;
  76465. + }
  76466. +
  76467. + plen = p[0];
  76468. + /* Ensure plen > mlen */
  76469. + if (plen <= mlen)
  76470. + plen = mlen + 1;
  76471. +
  76472. + /* Allocate n of size plen, copy p to n */
  76473. + n = snewn(mem_ctx, plen, BignumInt);
  76474. + //if (!n)
  76475. + //abort(); /* FIXME */
  76476. + for (j = 0; j < plen; j++)
  76477. + n[j] = 0;
  76478. + for (j = 1; j <= (int)p[0]; j++)
  76479. + n[plen - j] = p[j];
  76480. +
  76481. + /* Main computation */
  76482. + internal_mod(n, plen, m, mlen, quotient, mshift);
  76483. +
  76484. + /* Fixup result in case the modulus was shifted */
  76485. + if (mshift) {
  76486. + for (i = plen - mlen - 1; i < plen - 1; i++)
  76487. + n[i] = (n[i] << mshift) | (n[i + 1] >> (BIGNUM_INT_BITS - mshift));
  76488. + n[plen - 1] = n[plen - 1] << mshift;
  76489. + internal_mod(n, plen, m, mlen, quotient, 0);
  76490. + for (i = plen - 1; i >= plen - mlen; i--)
  76491. + n[i] = (n[i] >> mshift) | (n[i - 1] << (BIGNUM_INT_BITS - mshift));
  76492. + }
  76493. +
  76494. + /* Copy result to buffer */
  76495. + if (result) {
  76496. + for (i = 1; i <= (int)result[0]; i++) {
  76497. + int j = plen - i;
  76498. + result[i] = j >= 0 ? n[j] : 0;
  76499. + }
  76500. + }
  76501. +
  76502. + /* Free temporary arrays */
  76503. + for (i = 0; i < mlen; i++)
  76504. + m[i] = 0;
  76505. + sfree(mem_ctx, m);
  76506. + for (i = 0; i < plen; i++)
  76507. + n[i] = 0;
  76508. + sfree(mem_ctx, n);
  76509. +}
  76510. +
  76511. +/*
  76512. + * Simple remainder.
  76513. + */
  76514. +Bignum bigmod(void *mem_ctx, Bignum a, Bignum b)
  76515. +{
  76516. + Bignum r = newbn(mem_ctx, b[0]);
  76517. + bigdivmod(mem_ctx, a, b, r, NULL);
  76518. + return r;
  76519. +}
  76520. +
  76521. +/*
  76522. + * Compute (base ^ exp) % mod.
  76523. + */
  76524. +Bignum dwc_modpow(void *mem_ctx, Bignum base_in, Bignum exp, Bignum mod)
  76525. +{
  76526. + BignumInt *a, *b, *n, *m;
  76527. + int mshift;
  76528. + int mlen, i, j;
  76529. + Bignum base, result;
  76530. +
  76531. + /*
  76532. + * The most significant word of mod needs to be non-zero. It
  76533. + * should already be, but let's make sure.
  76534. + */
  76535. + //assert(mod[mod[0]] != 0);
  76536. +
  76537. + /*
  76538. + * Make sure the base is smaller than the modulus, by reducing
  76539. + * it modulo the modulus if not.
  76540. + */
  76541. + base = bigmod(mem_ctx, base_in, mod);
  76542. +
  76543. + /* Allocate m of size mlen, copy mod to m */
  76544. + /* We use big endian internally */
  76545. + mlen = mod[0];
  76546. + m = snewn(mem_ctx, mlen, BignumInt);
  76547. + //if (!m)
  76548. + //abort(); /* FIXME */
  76549. + for (j = 0; j < mlen; j++)
  76550. + m[j] = mod[mod[0] - j];
  76551. +
  76552. + /* Shift m left to make msb bit set */
  76553. + for (mshift = 0; mshift < BIGNUM_INT_BITS - 1; mshift++)
  76554. + if ((m[0] << mshift) & BIGNUM_TOP_BIT)
  76555. + break;
  76556. + if (mshift) {
  76557. + for (i = 0; i < mlen - 1; i++)
  76558. + m[i] =
  76559. + (m[i] << mshift) | (m[i + 1] >>
  76560. + (BIGNUM_INT_BITS - mshift));
  76561. + m[mlen - 1] = m[mlen - 1] << mshift;
  76562. + }
  76563. +
  76564. + /* Allocate n of size mlen, copy base to n */
  76565. + n = snewn(mem_ctx, mlen, BignumInt);
  76566. + //if (!n)
  76567. + //abort(); /* FIXME */
  76568. + i = mlen - base[0];
  76569. + for (j = 0; j < i; j++)
  76570. + n[j] = 0;
  76571. + for (j = 0; j < base[0]; j++)
  76572. + n[i + j] = base[base[0] - j];
  76573. +
  76574. + /* Allocate a and b of size 2*mlen. Set a = 1 */
  76575. + a = snewn(mem_ctx, 2 * mlen, BignumInt);
  76576. + //if (!a)
  76577. + //abort(); /* FIXME */
  76578. + b = snewn(mem_ctx, 2 * mlen, BignumInt);
  76579. + //if (!b)
  76580. + //abort(); /* FIXME */
  76581. + for (i = 0; i < 2 * mlen; i++)
  76582. + a[i] = 0;
  76583. + a[2 * mlen - 1] = 1;
  76584. +
  76585. + /* Skip leading zero bits of exp. */
  76586. + i = 0;
  76587. + j = BIGNUM_INT_BITS - 1;
  76588. + while (i < exp[0] && (exp[exp[0] - i] & (1 << j)) == 0) {
  76589. + j--;
  76590. + if (j < 0) {
  76591. + i++;
  76592. + j = BIGNUM_INT_BITS - 1;
  76593. + }
  76594. + }
  76595. +
  76596. + /* Main computation */
  76597. + while (i < exp[0]) {
  76598. + while (j >= 0) {
  76599. + internal_mul(a + mlen, a + mlen, b, mlen);
  76600. + internal_mod(b, mlen * 2, m, mlen, NULL, 0);
  76601. + if ((exp[exp[0] - i] & (1 << j)) != 0) {
  76602. + internal_mul(b + mlen, n, a, mlen);
  76603. + internal_mod(a, mlen * 2, m, mlen, NULL, 0);
  76604. + } else {
  76605. + BignumInt *t;
  76606. + t = a;
  76607. + a = b;
  76608. + b = t;
  76609. + }
  76610. + j--;
  76611. + }
  76612. + i++;
  76613. + j = BIGNUM_INT_BITS - 1;
  76614. + }
  76615. +
  76616. + /* Fixup result in case the modulus was shifted */
  76617. + if (mshift) {
  76618. + for (i = mlen - 1; i < 2 * mlen - 1; i++)
  76619. + a[i] =
  76620. + (a[i] << mshift) | (a[i + 1] >>
  76621. + (BIGNUM_INT_BITS - mshift));
  76622. + a[2 * mlen - 1] = a[2 * mlen - 1] << mshift;
  76623. + internal_mod(a, mlen * 2, m, mlen, NULL, 0);
  76624. + for (i = 2 * mlen - 1; i >= mlen; i--)
  76625. + a[i] =
  76626. + (a[i] >> mshift) | (a[i - 1] <<
  76627. + (BIGNUM_INT_BITS - mshift));
  76628. + }
  76629. +
  76630. + /* Copy result to buffer */
  76631. + result = newbn(mem_ctx, mod[0]);
  76632. + for (i = 0; i < mlen; i++)
  76633. + result[result[0] - i] = a[i + mlen];
  76634. + while (result[0] > 1 && result[result[0]] == 0)
  76635. + result[0]--;
  76636. +
  76637. + /* Free temporary arrays */
  76638. + for (i = 0; i < 2 * mlen; i++)
  76639. + a[i] = 0;
  76640. + sfree(mem_ctx, a);
  76641. + for (i = 0; i < 2 * mlen; i++)
  76642. + b[i] = 0;
  76643. + sfree(mem_ctx, b);
  76644. + for (i = 0; i < mlen; i++)
  76645. + m[i] = 0;
  76646. + sfree(mem_ctx, m);
  76647. + for (i = 0; i < mlen; i++)
  76648. + n[i] = 0;
  76649. + sfree(mem_ctx, n);
  76650. +
  76651. + freebn(mem_ctx, base);
  76652. +
  76653. + return result;
  76654. +}
  76655. +
  76656. +
  76657. +#ifdef UNITTEST
  76658. +
  76659. +static __u32 dh_p[] = {
  76660. + 96,
  76661. + 0xFFFFFFFF,
  76662. + 0xFFFFFFFF,
  76663. + 0xA93AD2CA,
  76664. + 0x4B82D120,
  76665. + 0xE0FD108E,
  76666. + 0x43DB5BFC,
  76667. + 0x74E5AB31,
  76668. + 0x08E24FA0,
  76669. + 0xBAD946E2,
  76670. + 0x770988C0,
  76671. + 0x7A615D6C,
  76672. + 0xBBE11757,
  76673. + 0x177B200C,
  76674. + 0x521F2B18,
  76675. + 0x3EC86A64,
  76676. + 0xD8760273,
  76677. + 0xD98A0864,
  76678. + 0xF12FFA06,
  76679. + 0x1AD2EE6B,
  76680. + 0xCEE3D226,
  76681. + 0x4A25619D,
  76682. + 0x1E8C94E0,
  76683. + 0xDB0933D7,
  76684. + 0xABF5AE8C,
  76685. + 0xA6E1E4C7,
  76686. + 0xB3970F85,
  76687. + 0x5D060C7D,
  76688. + 0x8AEA7157,
  76689. + 0x58DBEF0A,
  76690. + 0xECFB8504,
  76691. + 0xDF1CBA64,
  76692. + 0xA85521AB,
  76693. + 0x04507A33,
  76694. + 0xAD33170D,
  76695. + 0x8AAAC42D,
  76696. + 0x15728E5A,
  76697. + 0x98FA0510,
  76698. + 0x15D22618,
  76699. + 0xEA956AE5,
  76700. + 0x3995497C,
  76701. + 0x95581718,
  76702. + 0xDE2BCBF6,
  76703. + 0x6F4C52C9,
  76704. + 0xB5C55DF0,
  76705. + 0xEC07A28F,
  76706. + 0x9B2783A2,
  76707. + 0x180E8603,
  76708. + 0xE39E772C,
  76709. + 0x2E36CE3B,
  76710. + 0x32905E46,
  76711. + 0xCA18217C,
  76712. + 0xF1746C08,
  76713. + 0x4ABC9804,
  76714. + 0x670C354E,
  76715. + 0x7096966D,
  76716. + 0x9ED52907,
  76717. + 0x208552BB,
  76718. + 0x1C62F356,
  76719. + 0xDCA3AD96,
  76720. + 0x83655D23,
  76721. + 0xFD24CF5F,
  76722. + 0x69163FA8,
  76723. + 0x1C55D39A,
  76724. + 0x98DA4836,
  76725. + 0xA163BF05,
  76726. + 0xC2007CB8,
  76727. + 0xECE45B3D,
  76728. + 0x49286651,
  76729. + 0x7C4B1FE6,
  76730. + 0xAE9F2411,
  76731. + 0x5A899FA5,
  76732. + 0xEE386BFB,
  76733. + 0xF406B7ED,
  76734. + 0x0BFF5CB6,
  76735. + 0xA637ED6B,
  76736. + 0xF44C42E9,
  76737. + 0x625E7EC6,
  76738. + 0xE485B576,
  76739. + 0x6D51C245,
  76740. + 0x4FE1356D,
  76741. + 0xF25F1437,
  76742. + 0x302B0A6D,
  76743. + 0xCD3A431B,
  76744. + 0xEF9519B3,
  76745. + 0x8E3404DD,
  76746. + 0x514A0879,
  76747. + 0x3B139B22,
  76748. + 0x020BBEA6,
  76749. + 0x8A67CC74,
  76750. + 0x29024E08,
  76751. + 0x80DC1CD1,
  76752. + 0xC4C6628B,
  76753. + 0x2168C234,
  76754. + 0xC90FDAA2,
  76755. + 0xFFFFFFFF,
  76756. + 0xFFFFFFFF,
  76757. +};
  76758. +
  76759. +static __u32 dh_a[] = {
  76760. + 8,
  76761. + 0xdf367516,
  76762. + 0x86459caa,
  76763. + 0xe2d459a4,
  76764. + 0xd910dae0,
  76765. + 0x8a8b5e37,
  76766. + 0x67ab31c6,
  76767. + 0xf0b55ea9,
  76768. + 0x440051d6,
  76769. +};
  76770. +
  76771. +static __u32 dh_b[] = {
  76772. + 8,
  76773. + 0xded92656,
  76774. + 0xe07a048a,
  76775. + 0x6fa452cd,
  76776. + 0x2df89d30,
  76777. + 0xc75f1b0f,
  76778. + 0x8ce3578f,
  76779. + 0x7980a324,
  76780. + 0x5daec786,
  76781. +};
  76782. +
  76783. +static __u32 dh_g[] = {
  76784. + 1,
  76785. + 2,
  76786. +};
  76787. +
  76788. +int main(void)
  76789. +{
  76790. + int i;
  76791. + __u32 *k;
  76792. + k = dwc_modpow(NULL, dh_g, dh_a, dh_p);
  76793. +
  76794. + printf("\n\n");
  76795. + for (i=0; i<k[0]; i++) {
  76796. + __u32 word32 = k[k[0] - i];
  76797. + __u16 l = word32 & 0xffff;
  76798. + __u16 m = (word32 & 0xffff0000) >> 16;
  76799. + printf("%04x %04x ", m, l);
  76800. + if (!((i + 1)%13)) printf("\n");
  76801. + }
  76802. + printf("\n\n");
  76803. +
  76804. + if ((k[0] == 0x60) && (k[1] == 0x28e490e5) && (k[0x60] == 0x5a0d3d4e)) {
  76805. + printf("PASS\n\n");
  76806. + }
  76807. + else {
  76808. + printf("FAIL\n\n");
  76809. + }
  76810. +
  76811. +}
  76812. +
  76813. +#endif /* UNITTEST */
  76814. +
  76815. +#endif /* CONFIG_MACH_IPMATE */
  76816. +
  76817. +#endif /*DWC_CRYPTOLIB */
  76818. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_modpow.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_modpow.h
  76819. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_modpow.h 1970-01-01 01:00:00.000000000 +0100
  76820. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_modpow.h 2015-11-29 09:42:39.915098960 +0100
  76821. @@ -0,0 +1,34 @@
  76822. +/*
  76823. + * dwc_modpow.h
  76824. + * See dwc_modpow.c for license and changes
  76825. + */
  76826. +#ifndef _DWC_MODPOW_H
  76827. +#define _DWC_MODPOW_H
  76828. +
  76829. +#ifdef __cplusplus
  76830. +extern "C" {
  76831. +#endif
  76832. +
  76833. +#include "dwc_os.h"
  76834. +
  76835. +/** @file
  76836. + *
  76837. + * This file defines the module exponentiation function which is only used
  76838. + * internally by the DWC UWB modules for calculation of PKs during numeric
  76839. + * association. The routine is taken from the PUTTY, an open source terminal
  76840. + * emulator. The PUTTY License is preserved in the dwc_modpow.c file.
  76841. + *
  76842. + */
  76843. +
  76844. +typedef uint32_t BignumInt;
  76845. +typedef uint64_t BignumDblInt;
  76846. +typedef BignumInt *Bignum;
  76847. +
  76848. +/* Compute modular exponentiaion */
  76849. +extern Bignum dwc_modpow(void *mem_ctx, Bignum base_in, Bignum exp, Bignum mod);
  76850. +
  76851. +#ifdef __cplusplus
  76852. +}
  76853. +#endif
  76854. +
  76855. +#endif /* _LINUX_BIGNUM_H */
  76856. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_notifier.c linux-rpi/drivers/usb/host/dwc_common_port/dwc_notifier.c
  76857. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_notifier.c 1970-01-01 01:00:00.000000000 +0100
  76858. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_notifier.c 2015-11-29 09:42:39.915098960 +0100
  76859. @@ -0,0 +1,319 @@
  76860. +#ifdef DWC_NOTIFYLIB
  76861. +
  76862. +#include "dwc_notifier.h"
  76863. +#include "dwc_list.h"
  76864. +
  76865. +typedef struct dwc_observer {
  76866. + void *observer;
  76867. + dwc_notifier_callback_t callback;
  76868. + void *data;
  76869. + char *notification;
  76870. + DWC_CIRCLEQ_ENTRY(dwc_observer) list_entry;
  76871. +} observer_t;
  76872. +
  76873. +DWC_CIRCLEQ_HEAD(observer_queue, dwc_observer);
  76874. +
  76875. +typedef struct dwc_notifier {
  76876. + void *mem_ctx;
  76877. + void *object;
  76878. + struct observer_queue observers;
  76879. + DWC_CIRCLEQ_ENTRY(dwc_notifier) list_entry;
  76880. +} notifier_t;
  76881. +
  76882. +DWC_CIRCLEQ_HEAD(notifier_queue, dwc_notifier);
  76883. +
  76884. +typedef struct manager {
  76885. + void *mem_ctx;
  76886. + void *wkq_ctx;
  76887. + dwc_workq_t *wq;
  76888. +// dwc_mutex_t *mutex;
  76889. + struct notifier_queue notifiers;
  76890. +} manager_t;
  76891. +
  76892. +static manager_t *manager = NULL;
  76893. +
  76894. +static int create_manager(void *mem_ctx, void *wkq_ctx)
  76895. +{
  76896. + manager = dwc_alloc(mem_ctx, sizeof(manager_t));
  76897. + if (!manager) {
  76898. + return -DWC_E_NO_MEMORY;
  76899. + }
  76900. +
  76901. + DWC_CIRCLEQ_INIT(&manager->notifiers);
  76902. +
  76903. + manager->wq = dwc_workq_alloc(wkq_ctx, "DWC Notification WorkQ");
  76904. + if (!manager->wq) {
  76905. + return -DWC_E_NO_MEMORY;
  76906. + }
  76907. +
  76908. + return 0;
  76909. +}
  76910. +
  76911. +static void free_manager(void)
  76912. +{
  76913. + dwc_workq_free(manager->wq);
  76914. +
  76915. + /* All notifiers must have unregistered themselves before this module
  76916. + * can be removed. Hitting this assertion indicates a programmer
  76917. + * error. */
  76918. + DWC_ASSERT(DWC_CIRCLEQ_EMPTY(&manager->notifiers),
  76919. + "Notification manager being freed before all notifiers have been removed");
  76920. + dwc_free(manager->mem_ctx, manager);
  76921. +}
  76922. +
  76923. +#ifdef DEBUG
  76924. +static void dump_manager(void)
  76925. +{
  76926. + notifier_t *n;
  76927. + observer_t *o;
  76928. +
  76929. + DWC_ASSERT(manager, "Notification manager not found");
  76930. +
  76931. + DWC_DEBUG("List of all notifiers and observers:\n");
  76932. + DWC_CIRCLEQ_FOREACH(n, &manager->notifiers, list_entry) {
  76933. + DWC_DEBUG("Notifier %p has observers:\n", n->object);
  76934. + DWC_CIRCLEQ_FOREACH(o, &n->observers, list_entry) {
  76935. + DWC_DEBUG(" %p watching %s\n", o->observer, o->notification);
  76936. + }
  76937. + }
  76938. +}
  76939. +#else
  76940. +#define dump_manager(...)
  76941. +#endif
  76942. +
  76943. +static observer_t *alloc_observer(void *mem_ctx, void *observer, char *notification,
  76944. + dwc_notifier_callback_t callback, void *data)
  76945. +{
  76946. + observer_t *new_observer = dwc_alloc(mem_ctx, sizeof(observer_t));
  76947. +
  76948. + if (!new_observer) {
  76949. + return NULL;
  76950. + }
  76951. +
  76952. + DWC_CIRCLEQ_INIT_ENTRY(new_observer, list_entry);
  76953. + new_observer->observer = observer;
  76954. + new_observer->notification = notification;
  76955. + new_observer->callback = callback;
  76956. + new_observer->data = data;
  76957. + return new_observer;
  76958. +}
  76959. +
  76960. +static void free_observer(void *mem_ctx, observer_t *observer)
  76961. +{
  76962. + dwc_free(mem_ctx, observer);
  76963. +}
  76964. +
  76965. +static notifier_t *alloc_notifier(void *mem_ctx, void *object)
  76966. +{
  76967. + notifier_t *notifier;
  76968. +
  76969. + if (!object) {
  76970. + return NULL;
  76971. + }
  76972. +
  76973. + notifier = dwc_alloc(mem_ctx, sizeof(notifier_t));
  76974. + if (!notifier) {
  76975. + return NULL;
  76976. + }
  76977. +
  76978. + DWC_CIRCLEQ_INIT(&notifier->observers);
  76979. + DWC_CIRCLEQ_INIT_ENTRY(notifier, list_entry);
  76980. +
  76981. + notifier->mem_ctx = mem_ctx;
  76982. + notifier->object = object;
  76983. + return notifier;
  76984. +}
  76985. +
  76986. +static void free_notifier(notifier_t *notifier)
  76987. +{
  76988. + observer_t *observer;
  76989. +
  76990. + DWC_CIRCLEQ_FOREACH(observer, &notifier->observers, list_entry) {
  76991. + free_observer(notifier->mem_ctx, observer);
  76992. + }
  76993. +
  76994. + dwc_free(notifier->mem_ctx, notifier);
  76995. +}
  76996. +
  76997. +static notifier_t *find_notifier(void *object)
  76998. +{
  76999. + notifier_t *notifier;
  77000. +
  77001. + DWC_ASSERT(manager, "Notification manager not found");
  77002. +
  77003. + if (!object) {
  77004. + return NULL;
  77005. + }
  77006. +
  77007. + DWC_CIRCLEQ_FOREACH(notifier, &manager->notifiers, list_entry) {
  77008. + if (notifier->object == object) {
  77009. + return notifier;
  77010. + }
  77011. + }
  77012. +
  77013. + return NULL;
  77014. +}
  77015. +
  77016. +int dwc_alloc_notification_manager(void *mem_ctx, void *wkq_ctx)
  77017. +{
  77018. + return create_manager(mem_ctx, wkq_ctx);
  77019. +}
  77020. +
  77021. +void dwc_free_notification_manager(void)
  77022. +{
  77023. + free_manager();
  77024. +}
  77025. +
  77026. +dwc_notifier_t *dwc_register_notifier(void *mem_ctx, void *object)
  77027. +{
  77028. + notifier_t *notifier;
  77029. +
  77030. + DWC_ASSERT(manager, "Notification manager not found");
  77031. +
  77032. + notifier = find_notifier(object);
  77033. + if (notifier) {
  77034. + DWC_ERROR("Notifier %p is already registered\n", object);
  77035. + return NULL;
  77036. + }
  77037. +
  77038. + notifier = alloc_notifier(mem_ctx, object);
  77039. + if (!notifier) {
  77040. + return NULL;
  77041. + }
  77042. +
  77043. + DWC_CIRCLEQ_INSERT_TAIL(&manager->notifiers, notifier, list_entry);
  77044. +
  77045. + DWC_INFO("Notifier %p registered", object);
  77046. + dump_manager();
  77047. +
  77048. + return notifier;
  77049. +}
  77050. +
  77051. +void dwc_unregister_notifier(dwc_notifier_t *notifier)
  77052. +{
  77053. + DWC_ASSERT(manager, "Notification manager not found");
  77054. +
  77055. + if (!DWC_CIRCLEQ_EMPTY(&notifier->observers)) {
  77056. + observer_t *o;
  77057. +
  77058. + DWC_ERROR("Notifier %p has active observers when removing\n", notifier->object);
  77059. + DWC_CIRCLEQ_FOREACH(o, &notifier->observers, list_entry) {
  77060. + DWC_DEBUGC(" %p watching %s\n", o->observer, o->notification);
  77061. + }
  77062. +
  77063. + DWC_ASSERT(DWC_CIRCLEQ_EMPTY(&notifier->observers),
  77064. + "Notifier %p has active observers when removing", notifier);
  77065. + }
  77066. +
  77067. + DWC_CIRCLEQ_REMOVE_INIT(&manager->notifiers, notifier, list_entry);
  77068. + free_notifier(notifier);
  77069. +
  77070. + DWC_INFO("Notifier unregistered");
  77071. + dump_manager();
  77072. +}
  77073. +
  77074. +/* Add an observer to observe the notifier for a particular state, event, or notification. */
  77075. +int dwc_add_observer(void *observer, void *object, char *notification,
  77076. + dwc_notifier_callback_t callback, void *data)
  77077. +{
  77078. + notifier_t *notifier = find_notifier(object);
  77079. + observer_t *new_observer;
  77080. +
  77081. + if (!notifier) {
  77082. + DWC_ERROR("Notifier %p is not found when adding observer\n", object);
  77083. + return -DWC_E_INVALID;
  77084. + }
  77085. +
  77086. + new_observer = alloc_observer(notifier->mem_ctx, observer, notification, callback, data);
  77087. + if (!new_observer) {
  77088. + return -DWC_E_NO_MEMORY;
  77089. + }
  77090. +
  77091. + DWC_CIRCLEQ_INSERT_TAIL(&notifier->observers, new_observer, list_entry);
  77092. +
  77093. + DWC_INFO("Added observer %p to notifier %p observing notification %s, callback=%p, data=%p",
  77094. + observer, object, notification, callback, data);
  77095. +
  77096. + dump_manager();
  77097. + return 0;
  77098. +}
  77099. +
  77100. +int dwc_remove_observer(void *observer)
  77101. +{
  77102. + notifier_t *n;
  77103. +
  77104. + DWC_ASSERT(manager, "Notification manager not found");
  77105. +
  77106. + DWC_CIRCLEQ_FOREACH(n, &manager->notifiers, list_entry) {
  77107. + observer_t *o;
  77108. + observer_t *o2;
  77109. +
  77110. + DWC_CIRCLEQ_FOREACH_SAFE(o, o2, &n->observers, list_entry) {
  77111. + if (o->observer == observer) {
  77112. + DWC_CIRCLEQ_REMOVE_INIT(&n->observers, o, list_entry);
  77113. + DWC_INFO("Removing observer %p from notifier %p watching notification %s:",
  77114. + o->observer, n->object, o->notification);
  77115. + free_observer(n->mem_ctx, o);
  77116. + }
  77117. + }
  77118. + }
  77119. +
  77120. + dump_manager();
  77121. + return 0;
  77122. +}
  77123. +
  77124. +typedef struct callback_data {
  77125. + void *mem_ctx;
  77126. + dwc_notifier_callback_t cb;
  77127. + void *observer;
  77128. + void *data;
  77129. + void *object;
  77130. + char *notification;
  77131. + void *notification_data;
  77132. +} cb_data_t;
  77133. +
  77134. +static void cb_task(void *data)
  77135. +{
  77136. + cb_data_t *cb = (cb_data_t *)data;
  77137. +
  77138. + cb->cb(cb->object, cb->notification, cb->observer, cb->notification_data, cb->data);
  77139. + dwc_free(cb->mem_ctx, cb);
  77140. +}
  77141. +
  77142. +void dwc_notify(dwc_notifier_t *notifier, char *notification, void *notification_data)
  77143. +{
  77144. + observer_t *o;
  77145. +
  77146. + DWC_ASSERT(manager, "Notification manager not found");
  77147. +
  77148. + DWC_CIRCLEQ_FOREACH(o, &notifier->observers, list_entry) {
  77149. + int len = DWC_STRLEN(notification);
  77150. +
  77151. + if (DWC_STRLEN(o->notification) != len) {
  77152. + continue;
  77153. + }
  77154. +
  77155. + if (DWC_STRNCMP(o->notification, notification, len) == 0) {
  77156. + cb_data_t *cb_data = dwc_alloc(notifier->mem_ctx, sizeof(cb_data_t));
  77157. +
  77158. + if (!cb_data) {
  77159. + DWC_ERROR("Failed to allocate callback data\n");
  77160. + return;
  77161. + }
  77162. +
  77163. + cb_data->mem_ctx = notifier->mem_ctx;
  77164. + cb_data->cb = o->callback;
  77165. + cb_data->observer = o->observer;
  77166. + cb_data->data = o->data;
  77167. + cb_data->object = notifier->object;
  77168. + cb_data->notification = notification;
  77169. + cb_data->notification_data = notification_data;
  77170. + DWC_DEBUGC("Observer found %p for notification %s\n", o->observer, notification);
  77171. + DWC_WORKQ_SCHEDULE(manager->wq, cb_task, cb_data,
  77172. + "Notify callback from %p for Notification %s, to observer %p",
  77173. + cb_data->object, notification, cb_data->observer);
  77174. + }
  77175. + }
  77176. +}
  77177. +
  77178. +#endif /* DWC_NOTIFYLIB */
  77179. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_notifier.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_notifier.h
  77180. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_notifier.h 1970-01-01 01:00:00.000000000 +0100
  77181. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_notifier.h 2015-11-29 09:42:39.915098960 +0100
  77182. @@ -0,0 +1,122 @@
  77183. +
  77184. +#ifndef __DWC_NOTIFIER_H__
  77185. +#define __DWC_NOTIFIER_H__
  77186. +
  77187. +#ifdef __cplusplus
  77188. +extern "C" {
  77189. +#endif
  77190. +
  77191. +#include "dwc_os.h"
  77192. +
  77193. +/** @file
  77194. + *
  77195. + * A simple implementation of the Observer pattern. Any "module" can
  77196. + * register as an observer or notifier. The notion of "module" is abstract and
  77197. + * can mean anything used to identify either an observer or notifier. Usually
  77198. + * it will be a pointer to a data structure which contains some state, ie an
  77199. + * object.
  77200. + *
  77201. + * Before any notifiers can be added, the global notification manager must be
  77202. + * brought up with dwc_alloc_notification_manager().
  77203. + * dwc_free_notification_manager() will bring it down and free all resources.
  77204. + * These would typically be called upon module load and unload. The
  77205. + * notification manager is a single global instance that handles all registered
  77206. + * observable modules and observers so this should be done only once.
  77207. + *
  77208. + * A module can be observable by using Notifications to publicize some general
  77209. + * information about it's state or operation. It does not care who listens, or
  77210. + * even if anyone listens, or what they do with the information. The observable
  77211. + * modules do not need to know any information about it's observers or their
  77212. + * interface, or their state or data.
  77213. + *
  77214. + * Any module can register to emit Notifications. It should publish a list of
  77215. + * notifications that it can emit and their behavior, such as when they will get
  77216. + * triggered, and what information will be provided to the observer. Then it
  77217. + * should register itself as an observable module. See dwc_register_notifier().
  77218. + *
  77219. + * Any module can observe any observable, registered module, provided it has a
  77220. + * handle to the other module and knows what notifications to observe. See
  77221. + * dwc_add_observer().
  77222. + *
  77223. + * A function of type dwc_notifier_callback_t is called whenever a notification
  77224. + * is triggered with one or more observers observing it. This function is
  77225. + * called in it's own process so it may sleep or block if needed. It is
  77226. + * guaranteed to be called sometime after the notification has occurred and will
  77227. + * be called once per each time the notification is triggered. It will NOT be
  77228. + * called in the same process context used to trigger the notification.
  77229. + *
  77230. + * @section Limitiations
  77231. + *
  77232. + * Keep in mind that Notifications that can be triggered in rapid sucession may
  77233. + * schedule too many processes too handle. Be aware of this limitation when
  77234. + * designing to use notifications, and only add notifications for appropriate
  77235. + * observable information.
  77236. + *
  77237. + * Also Notification callbacks are not synchronous. If you need to synchronize
  77238. + * the behavior between module/observer you must use other means. And perhaps
  77239. + * that will mean Notifications are not the proper solution.
  77240. + */
  77241. +
  77242. +struct dwc_notifier;
  77243. +typedef struct dwc_notifier dwc_notifier_t;
  77244. +
  77245. +/** The callback function must be of this type.
  77246. + *
  77247. + * @param object This is the object that is being observed.
  77248. + * @param notification This is the notification that was triggered.
  77249. + * @param observer This is the observer
  77250. + * @param notification_data This is notification-specific data that the notifier
  77251. + * has included in this notification. The value of this should be published in
  77252. + * the documentation of the observable module with the notifications.
  77253. + * @param user_data This is any custom data that the observer provided when
  77254. + * adding itself as an observer to the notification. */
  77255. +typedef void (*dwc_notifier_callback_t)(void *object, char *notification, void *observer,
  77256. + void *notification_data, void *user_data);
  77257. +
  77258. +/** Brings up the notification manager. */
  77259. +extern int dwc_alloc_notification_manager(void *mem_ctx, void *wkq_ctx);
  77260. +/** Brings down the notification manager. */
  77261. +extern void dwc_free_notification_manager(void);
  77262. +
  77263. +/** This function registers an observable module. A dwc_notifier_t object is
  77264. + * returned to the observable module. This is an opaque object that is used by
  77265. + * the observable module to trigger notifications. This object should only be
  77266. + * accessible to functions that are authorized to trigger notifications for this
  77267. + * module. Observers do not need this object. */
  77268. +extern dwc_notifier_t *dwc_register_notifier(void *mem_ctx, void *object);
  77269. +
  77270. +/** This function unregisters an observable module. All observers have to be
  77271. + * removed prior to unregistration. */
  77272. +extern void dwc_unregister_notifier(dwc_notifier_t *notifier);
  77273. +
  77274. +/** Add a module as an observer to the observable module. The observable module
  77275. + * needs to have previously registered with the notification manager.
  77276. + *
  77277. + * @param observer The observer module
  77278. + * @param object The module to observe
  77279. + * @param notification The notification to observe
  77280. + * @param callback The callback function to call
  77281. + * @param user_data Any additional user data to pass into the callback function */
  77282. +extern int dwc_add_observer(void *observer, void *object, char *notification,
  77283. + dwc_notifier_callback_t callback, void *user_data);
  77284. +
  77285. +/** Removes the specified observer from all notifications that it is currently
  77286. + * observing. */
  77287. +extern int dwc_remove_observer(void *observer);
  77288. +
  77289. +/** This function triggers a Notification. It should be called by the
  77290. + * observable module, or any module or library which the observable module
  77291. + * allows to trigger notification on it's behalf. Such as the dwc_cc_t.
  77292. + *
  77293. + * dwc_notify is a non-blocking function. Callbacks are scheduled called in
  77294. + * their own process context for each trigger. Callbacks can be blocking.
  77295. + * dwc_notify can be called from interrupt context if needed.
  77296. + *
  77297. + */
  77298. +void dwc_notify(dwc_notifier_t *notifier, char *notification, void *notification_data);
  77299. +
  77300. +#ifdef __cplusplus
  77301. +}
  77302. +#endif
  77303. +
  77304. +#endif /* __DWC_NOTIFIER_H__ */
  77305. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_os.h linux-rpi/drivers/usb/host/dwc_common_port/dwc_os.h
  77306. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/dwc_os.h 1970-01-01 01:00:00.000000000 +0100
  77307. +++ linux-rpi/drivers/usb/host/dwc_common_port/dwc_os.h 2015-11-29 09:42:39.915098960 +0100
  77308. @@ -0,0 +1,1276 @@
  77309. +/* =========================================================================
  77310. + * $File: //dwh/usb_iip/dev/software/dwc_common_port_2/dwc_os.h $
  77311. + * $Revision: #14 $
  77312. + * $Date: 2010/11/04 $
  77313. + * $Change: 1621695 $
  77314. + *
  77315. + * Synopsys Portability Library Software and documentation
  77316. + * (hereinafter, "Software") is an Unsupported proprietary work of
  77317. + * Synopsys, Inc. unless otherwise expressly agreed to in writing
  77318. + * between Synopsys and you.
  77319. + *
  77320. + * The Software IS NOT an item of Licensed Software or Licensed Product
  77321. + * under any End User Software License Agreement or Agreement for
  77322. + * Licensed Product with Synopsys or any supplement thereto. You are
  77323. + * permitted to use and redistribute this Software in source and binary
  77324. + * forms, with or without modification, provided that redistributions
  77325. + * of source code must retain this notice. You may not view, use,
  77326. + * disclose, copy or distribute this file or any information contained
  77327. + * herein except pursuant to this license grant from Synopsys. If you
  77328. + * do not agree with this notice, including the disclaimer below, then
  77329. + * you are not authorized to use the Software.
  77330. + *
  77331. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS"
  77332. + * BASIS AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  77333. + * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  77334. + * FOR A PARTICULAR PURPOSE ARE HEREBY DISCLAIMED. IN NO EVENT SHALL
  77335. + * SYNOPSYS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  77336. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  77337. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  77338. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  77339. + * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  77340. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE
  77341. + * USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  77342. + * DAMAGE.
  77343. + * ========================================================================= */
  77344. +#ifndef _DWC_OS_H_
  77345. +#define _DWC_OS_H_
  77346. +
  77347. +#ifdef __cplusplus
  77348. +extern "C" {
  77349. +#endif
  77350. +
  77351. +/** @file
  77352. + *
  77353. + * DWC portability library, low level os-wrapper functions
  77354. + *
  77355. + */
  77356. +
  77357. +/* These basic types need to be defined by some OS header file or custom header
  77358. + * file for your specific target architecture.
  77359. + *
  77360. + * uint8_t, int8_t, uint16_t, int16_t, uint32_t, int32_t, uint64_t, int64_t
  77361. + *
  77362. + * Any custom or alternate header file must be added and enabled here.
  77363. + */
  77364. +
  77365. +#ifdef DWC_LINUX
  77366. +# include <linux/types.h>
  77367. +# ifdef CONFIG_DEBUG_MUTEXES
  77368. +# include <linux/mutex.h>
  77369. +# endif
  77370. +# include <linux/spinlock.h>
  77371. +# include <linux/errno.h>
  77372. +# include <stdarg.h>
  77373. +#endif
  77374. +
  77375. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  77376. +# include <os_dep.h>
  77377. +#endif
  77378. +
  77379. +
  77380. +/** @name Primitive Types and Values */
  77381. +
  77382. +/** We define a boolean type for consistency. Can be either YES or NO */
  77383. +typedef uint8_t dwc_bool_t;
  77384. +#define YES 1
  77385. +#define NO 0
  77386. +
  77387. +#ifdef DWC_LINUX
  77388. +
  77389. +/** @name Error Codes */
  77390. +#define DWC_E_INVALID EINVAL
  77391. +#define DWC_E_NO_MEMORY ENOMEM
  77392. +#define DWC_E_NO_DEVICE ENODEV
  77393. +#define DWC_E_NOT_SUPPORTED EOPNOTSUPP
  77394. +#define DWC_E_TIMEOUT ETIMEDOUT
  77395. +#define DWC_E_BUSY EBUSY
  77396. +#define DWC_E_AGAIN EAGAIN
  77397. +#define DWC_E_RESTART ERESTART
  77398. +#define DWC_E_ABORT ECONNABORTED
  77399. +#define DWC_E_SHUTDOWN ESHUTDOWN
  77400. +#define DWC_E_NO_DATA ENODATA
  77401. +#define DWC_E_DISCONNECT ECONNRESET
  77402. +#define DWC_E_UNKNOWN EINVAL
  77403. +#define DWC_E_NO_STREAM_RES ENOSR
  77404. +#define DWC_E_COMMUNICATION ECOMM
  77405. +#define DWC_E_OVERFLOW EOVERFLOW
  77406. +#define DWC_E_PROTOCOL EPROTO
  77407. +#define DWC_E_IN_PROGRESS EINPROGRESS
  77408. +#define DWC_E_PIPE EPIPE
  77409. +#define DWC_E_IO EIO
  77410. +#define DWC_E_NO_SPACE ENOSPC
  77411. +
  77412. +#else
  77413. +
  77414. +/** @name Error Codes */
  77415. +#define DWC_E_INVALID 1001
  77416. +#define DWC_E_NO_MEMORY 1002
  77417. +#define DWC_E_NO_DEVICE 1003
  77418. +#define DWC_E_NOT_SUPPORTED 1004
  77419. +#define DWC_E_TIMEOUT 1005
  77420. +#define DWC_E_BUSY 1006
  77421. +#define DWC_E_AGAIN 1007
  77422. +#define DWC_E_RESTART 1008
  77423. +#define DWC_E_ABORT 1009
  77424. +#define DWC_E_SHUTDOWN 1010
  77425. +#define DWC_E_NO_DATA 1011
  77426. +#define DWC_E_DISCONNECT 2000
  77427. +#define DWC_E_UNKNOWN 3000
  77428. +#define DWC_E_NO_STREAM_RES 4001
  77429. +#define DWC_E_COMMUNICATION 4002
  77430. +#define DWC_E_OVERFLOW 4003
  77431. +#define DWC_E_PROTOCOL 4004
  77432. +#define DWC_E_IN_PROGRESS 4005
  77433. +#define DWC_E_PIPE 4006
  77434. +#define DWC_E_IO 4007
  77435. +#define DWC_E_NO_SPACE 4008
  77436. +
  77437. +#endif
  77438. +
  77439. +
  77440. +/** @name Tracing/Logging Functions
  77441. + *
  77442. + * These function provide the capability to add tracing, debugging, and error
  77443. + * messages, as well exceptions as assertions. The WUDEV uses these
  77444. + * extensively. These could be logged to the main console, the serial port, an
  77445. + * internal buffer, etc. These functions could also be no-op if they are too
  77446. + * expensive on your system. By default undefining the DEBUG macro already
  77447. + * no-ops some of these functions. */
  77448. +
  77449. +/** Returns non-zero if in interrupt context. */
  77450. +extern dwc_bool_t DWC_IN_IRQ(void);
  77451. +#define dwc_in_irq DWC_IN_IRQ
  77452. +
  77453. +/** Returns "IRQ" if DWC_IN_IRQ is true. */
  77454. +static inline char *dwc_irq(void) {
  77455. + return DWC_IN_IRQ() ? "IRQ" : "";
  77456. +}
  77457. +
  77458. +/** Returns non-zero if in bottom-half context. */
  77459. +extern dwc_bool_t DWC_IN_BH(void);
  77460. +#define dwc_in_bh DWC_IN_BH
  77461. +
  77462. +/** Returns "BH" if DWC_IN_BH is true. */
  77463. +static inline char *dwc_bh(void) {
  77464. + return DWC_IN_BH() ? "BH" : "";
  77465. +}
  77466. +
  77467. +/**
  77468. + * A vprintf() clone. Just call vprintf if you've got it.
  77469. + */
  77470. +extern void DWC_VPRINTF(char *format, va_list args);
  77471. +#define dwc_vprintf DWC_VPRINTF
  77472. +
  77473. +/**
  77474. + * A vsnprintf() clone. Just call vprintf if you've got it.
  77475. + */
  77476. +extern int DWC_VSNPRINTF(char *str, int size, char *format, va_list args);
  77477. +#define dwc_vsnprintf DWC_VSNPRINTF
  77478. +
  77479. +/**
  77480. + * printf() clone. Just call printf if you've go it.
  77481. + */
  77482. +extern void DWC_PRINTF(char *format, ...)
  77483. +/* This provides compiler level static checking of the parameters if you're
  77484. + * using GCC. */
  77485. +#ifdef __GNUC__
  77486. + __attribute__ ((format(printf, 1, 2)));
  77487. +#else
  77488. + ;
  77489. +#endif
  77490. +#define dwc_printf DWC_PRINTF
  77491. +
  77492. +/**
  77493. + * sprintf() clone. Just call sprintf if you've got it.
  77494. + */
  77495. +extern int DWC_SPRINTF(char *string, char *format, ...)
  77496. +#ifdef __GNUC__
  77497. + __attribute__ ((format(printf, 2, 3)));
  77498. +#else
  77499. + ;
  77500. +#endif
  77501. +#define dwc_sprintf DWC_SPRINTF
  77502. +
  77503. +/**
  77504. + * snprintf() clone. Just call snprintf if you've got it.
  77505. + */
  77506. +extern int DWC_SNPRINTF(char *string, int size, char *format, ...)
  77507. +#ifdef __GNUC__
  77508. + __attribute__ ((format(printf, 3, 4)));
  77509. +#else
  77510. + ;
  77511. +#endif
  77512. +#define dwc_snprintf DWC_SNPRINTF
  77513. +
  77514. +/**
  77515. + * Prints a WARNING message. On systems that don't differentiate between
  77516. + * warnings and regular log messages, just print it. Indicates that something
  77517. + * may be wrong with the driver. Works like printf().
  77518. + *
  77519. + * Use the DWC_WARN macro to call this function.
  77520. + */
  77521. +extern void __DWC_WARN(char *format, ...)
  77522. +#ifdef __GNUC__
  77523. + __attribute__ ((format(printf, 1, 2)));
  77524. +#else
  77525. + ;
  77526. +#endif
  77527. +
  77528. +/**
  77529. + * Prints an error message. On systems that don't differentiate between errors
  77530. + * and regular log messages, just print it. Indicates that something went wrong
  77531. + * with the driver. Works like printf().
  77532. + *
  77533. + * Use the DWC_ERROR macro to call this function.
  77534. + */
  77535. +extern void __DWC_ERROR(char *format, ...)
  77536. +#ifdef __GNUC__
  77537. + __attribute__ ((format(printf, 1, 2)));
  77538. +#else
  77539. + ;
  77540. +#endif
  77541. +
  77542. +/**
  77543. + * Prints an exception error message and takes some user-defined action such as
  77544. + * print out a backtrace or trigger a breakpoint. Indicates that something went
  77545. + * abnormally wrong with the driver such as programmer error, or other
  77546. + * exceptional condition. It should not be ignored so even on systems without
  77547. + * printing capability, some action should be taken to notify the developer of
  77548. + * it. Works like printf().
  77549. + */
  77550. +extern void DWC_EXCEPTION(char *format, ...)
  77551. +#ifdef __GNUC__
  77552. + __attribute__ ((format(printf, 1, 2)));
  77553. +#else
  77554. + ;
  77555. +#endif
  77556. +#define dwc_exception DWC_EXCEPTION
  77557. +
  77558. +#ifndef DWC_OTG_DEBUG_LEV
  77559. +#define DWC_OTG_DEBUG_LEV 0
  77560. +#endif
  77561. +
  77562. +#ifdef DEBUG
  77563. +/**
  77564. + * Prints out a debug message. Used for logging/trace messages.
  77565. + *
  77566. + * Use the DWC_DEBUG macro to call this function
  77567. + */
  77568. +extern void __DWC_DEBUG(char *format, ...)
  77569. +#ifdef __GNUC__
  77570. + __attribute__ ((format(printf, 1, 2)));
  77571. +#else
  77572. + ;
  77573. +#endif
  77574. +#else
  77575. +#define __DWC_DEBUG printk
  77576. +#endif
  77577. +
  77578. +/**
  77579. + * Prints out a Debug message.
  77580. + */
  77581. +#define DWC_DEBUG(_format, _args...) __DWC_DEBUG("DEBUG:%s:%s: " _format "\n", \
  77582. + __func__, dwc_irq(), ## _args)
  77583. +#define dwc_debug DWC_DEBUG
  77584. +/**
  77585. + * Prints out a Debug message if enabled at compile time.
  77586. + */
  77587. +#if DWC_OTG_DEBUG_LEV > 0
  77588. +#define DWC_DEBUGC(_format, _args...) DWC_DEBUG(_format, ##_args )
  77589. +#else
  77590. +#define DWC_DEBUGC(_format, _args...)
  77591. +#endif
  77592. +#define dwc_debugc DWC_DEBUGC
  77593. +/**
  77594. + * Prints out an informative message.
  77595. + */
  77596. +#define DWC_INFO(_format, _args...) DWC_PRINTF("INFO:%s: " _format "\n", \
  77597. + dwc_irq(), ## _args)
  77598. +#define dwc_info DWC_INFO
  77599. +/**
  77600. + * Prints out an informative message if enabled at compile time.
  77601. + */
  77602. +#if DWC_OTG_DEBUG_LEV > 1
  77603. +#define DWC_INFOC(_format, _args...) DWC_INFO(_format, ##_args )
  77604. +#else
  77605. +#define DWC_INFOC(_format, _args...)
  77606. +#endif
  77607. +#define dwc_infoc DWC_INFOC
  77608. +/**
  77609. + * Prints out a warning message.
  77610. + */
  77611. +#define DWC_WARN(_format, _args...) __DWC_WARN("WARN:%s:%s:%d: " _format "\n", \
  77612. + dwc_irq(), __func__, __LINE__, ## _args)
  77613. +#define dwc_warn DWC_WARN
  77614. +/**
  77615. + * Prints out an error message.
  77616. + */
  77617. +#define DWC_ERROR(_format, _args...) __DWC_ERROR("ERROR:%s:%s:%d: " _format "\n", \
  77618. + dwc_irq(), __func__, __LINE__, ## _args)
  77619. +#define dwc_error DWC_ERROR
  77620. +
  77621. +#define DWC_PROTO_ERROR(_format, _args...) __DWC_WARN("ERROR:%s:%s:%d: " _format "\n", \
  77622. + dwc_irq(), __func__, __LINE__, ## _args)
  77623. +#define dwc_proto_error DWC_PROTO_ERROR
  77624. +
  77625. +#ifdef DEBUG
  77626. +/** Prints out a exception error message if the _expr expression fails. Disabled
  77627. + * if DEBUG is not enabled. */
  77628. +#define DWC_ASSERT(_expr, _format, _args...) do { \
  77629. + if (!(_expr)) { DWC_EXCEPTION("%s:%s:%d: " _format "\n", dwc_irq(), \
  77630. + __FILE__, __LINE__, ## _args); } \
  77631. + } while (0)
  77632. +#else
  77633. +#define DWC_ASSERT(_x...)
  77634. +#endif
  77635. +#define dwc_assert DWC_ASSERT
  77636. +
  77637. +
  77638. +/** @name Byte Ordering
  77639. + * The following functions are for conversions between processor's byte ordering
  77640. + * and specific ordering you want.
  77641. + */
  77642. +
  77643. +/** Converts 32 bit data in CPU byte ordering to little endian. */
  77644. +extern uint32_t DWC_CPU_TO_LE32(uint32_t *p);
  77645. +#define dwc_cpu_to_le32 DWC_CPU_TO_LE32
  77646. +
  77647. +/** Converts 32 bit data in CPU byte orderint to big endian. */
  77648. +extern uint32_t DWC_CPU_TO_BE32(uint32_t *p);
  77649. +#define dwc_cpu_to_be32 DWC_CPU_TO_BE32
  77650. +
  77651. +/** Converts 32 bit little endian data to CPU byte ordering. */
  77652. +extern uint32_t DWC_LE32_TO_CPU(uint32_t *p);
  77653. +#define dwc_le32_to_cpu DWC_LE32_TO_CPU
  77654. +
  77655. +/** Converts 32 bit big endian data to CPU byte ordering. */
  77656. +extern uint32_t DWC_BE32_TO_CPU(uint32_t *p);
  77657. +#define dwc_be32_to_cpu DWC_BE32_TO_CPU
  77658. +
  77659. +/** Converts 16 bit data in CPU byte ordering to little endian. */
  77660. +extern uint16_t DWC_CPU_TO_LE16(uint16_t *p);
  77661. +#define dwc_cpu_to_le16 DWC_CPU_TO_LE16
  77662. +
  77663. +/** Converts 16 bit data in CPU byte orderint to big endian. */
  77664. +extern uint16_t DWC_CPU_TO_BE16(uint16_t *p);
  77665. +#define dwc_cpu_to_be16 DWC_CPU_TO_BE16
  77666. +
  77667. +/** Converts 16 bit little endian data to CPU byte ordering. */
  77668. +extern uint16_t DWC_LE16_TO_CPU(uint16_t *p);
  77669. +#define dwc_le16_to_cpu DWC_LE16_TO_CPU
  77670. +
  77671. +/** Converts 16 bit bi endian data to CPU byte ordering. */
  77672. +extern uint16_t DWC_BE16_TO_CPU(uint16_t *p);
  77673. +#define dwc_be16_to_cpu DWC_BE16_TO_CPU
  77674. +
  77675. +
  77676. +/** @name Register Read/Write
  77677. + *
  77678. + * The following six functions should be implemented to read/write registers of
  77679. + * 32-bit and 64-bit sizes. All modules use this to read/write register values.
  77680. + * The reg value is a pointer to the register calculated from the void *base
  77681. + * variable passed into the driver when it is started. */
  77682. +
  77683. +#ifdef DWC_LINUX
  77684. +/* Linux doesn't need any extra parameters for register read/write, so we
  77685. + * just throw away the IO context parameter.
  77686. + */
  77687. +/** Reads the content of a 32-bit register. */
  77688. +extern uint32_t DWC_READ_REG32(uint32_t volatile *reg);
  77689. +#define dwc_read_reg32(_ctx_,_reg_) DWC_READ_REG32(_reg_)
  77690. +
  77691. +/** Reads the content of a 64-bit register. */
  77692. +extern uint64_t DWC_READ_REG64(uint64_t volatile *reg);
  77693. +#define dwc_read_reg64(_ctx_,_reg_) DWC_READ_REG64(_reg_)
  77694. +
  77695. +/** Writes to a 32-bit register. */
  77696. +extern void DWC_WRITE_REG32(uint32_t volatile *reg, uint32_t value);
  77697. +#define dwc_write_reg32(_ctx_,_reg_,_val_) DWC_WRITE_REG32(_reg_, _val_)
  77698. +
  77699. +/** Writes to a 64-bit register. */
  77700. +extern void DWC_WRITE_REG64(uint64_t volatile *reg, uint64_t value);
  77701. +#define dwc_write_reg64(_ctx_,_reg_,_val_) DWC_WRITE_REG64(_reg_, _val_)
  77702. +
  77703. +/**
  77704. + * Modify bit values in a register. Using the
  77705. + * algorithm: (reg_contents & ~clear_mask) | set_mask.
  77706. + */
  77707. +extern void DWC_MODIFY_REG32(uint32_t volatile *reg, uint32_t clear_mask, uint32_t set_mask);
  77708. +#define dwc_modify_reg32(_ctx_,_reg_,_cmsk_,_smsk_) DWC_MODIFY_REG32(_reg_,_cmsk_,_smsk_)
  77709. +extern void DWC_MODIFY_REG64(uint64_t volatile *reg, uint64_t clear_mask, uint64_t set_mask);
  77710. +#define dwc_modify_reg64(_ctx_,_reg_,_cmsk_,_smsk_) DWC_MODIFY_REG64(_reg_,_cmsk_,_smsk_)
  77711. +
  77712. +#endif /* DWC_LINUX */
  77713. +
  77714. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  77715. +typedef struct dwc_ioctx {
  77716. + struct device *dev;
  77717. + bus_space_tag_t iot;
  77718. + bus_space_handle_t ioh;
  77719. +} dwc_ioctx_t;
  77720. +
  77721. +/** BSD needs two extra parameters for register read/write, so we pass
  77722. + * them in using the IO context parameter.
  77723. + */
  77724. +/** Reads the content of a 32-bit register. */
  77725. +extern uint32_t DWC_READ_REG32(void *io_ctx, uint32_t volatile *reg);
  77726. +#define dwc_read_reg32 DWC_READ_REG32
  77727. +
  77728. +/** Reads the content of a 64-bit register. */
  77729. +extern uint64_t DWC_READ_REG64(void *io_ctx, uint64_t volatile *reg);
  77730. +#define dwc_read_reg64 DWC_READ_REG64
  77731. +
  77732. +/** Writes to a 32-bit register. */
  77733. +extern void DWC_WRITE_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t value);
  77734. +#define dwc_write_reg32 DWC_WRITE_REG32
  77735. +
  77736. +/** Writes to a 64-bit register. */
  77737. +extern void DWC_WRITE_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t value);
  77738. +#define dwc_write_reg64 DWC_WRITE_REG64
  77739. +
  77740. +/**
  77741. + * Modify bit values in a register. Using the
  77742. + * algorithm: (reg_contents & ~clear_mask) | set_mask.
  77743. + */
  77744. +extern void DWC_MODIFY_REG32(void *io_ctx, uint32_t volatile *reg, uint32_t clear_mask, uint32_t set_mask);
  77745. +#define dwc_modify_reg32 DWC_MODIFY_REG32
  77746. +extern void DWC_MODIFY_REG64(void *io_ctx, uint64_t volatile *reg, uint64_t clear_mask, uint64_t set_mask);
  77747. +#define dwc_modify_reg64 DWC_MODIFY_REG64
  77748. +
  77749. +#endif /* DWC_FREEBSD || DWC_NETBSD */
  77750. +
  77751. +/** @cond */
  77752. +
  77753. +/** @name Some convenience MACROS used internally. Define DWC_DEBUG_REGS to log the
  77754. + * register writes. */
  77755. +
  77756. +#ifdef DWC_LINUX
  77757. +
  77758. +# ifdef DWC_DEBUG_REGS
  77759. +
  77760. +#define dwc_define_read_write_reg_n(_reg,_container_type) \
  77761. +static inline uint32_t dwc_read_##_reg##_n(_container_type *container, int num) { \
  77762. + return DWC_READ_REG32(&container->regs->_reg[num]); \
  77763. +} \
  77764. +static inline void dwc_write_##_reg##_n(_container_type *container, int num, uint32_t data) { \
  77765. + DWC_DEBUG("WRITING %8s[%d]: %p: %08x", #_reg, num, \
  77766. + &(((uint32_t*)container->regs->_reg)[num]), data); \
  77767. + DWC_WRITE_REG32(&(((uint32_t*)container->regs->_reg)[num]), data); \
  77768. +}
  77769. +
  77770. +#define dwc_define_read_write_reg(_reg,_container_type) \
  77771. +static inline uint32_t dwc_read_##_reg(_container_type *container) { \
  77772. + return DWC_READ_REG32(&container->regs->_reg); \
  77773. +} \
  77774. +static inline void dwc_write_##_reg(_container_type *container, uint32_t data) { \
  77775. + DWC_DEBUG("WRITING %11s: %p: %08x", #_reg, &container->regs->_reg, data); \
  77776. + DWC_WRITE_REG32(&container->regs->_reg, data); \
  77777. +}
  77778. +
  77779. +# else /* DWC_DEBUG_REGS */
  77780. +
  77781. +#define dwc_define_read_write_reg_n(_reg,_container_type) \
  77782. +static inline uint32_t dwc_read_##_reg##_n(_container_type *container, int num) { \
  77783. + return DWC_READ_REG32(&container->regs->_reg[num]); \
  77784. +} \
  77785. +static inline void dwc_write_##_reg##_n(_container_type *container, int num, uint32_t data) { \
  77786. + DWC_WRITE_REG32(&(((uint32_t*)container->regs->_reg)[num]), data); \
  77787. +}
  77788. +
  77789. +#define dwc_define_read_write_reg(_reg,_container_type) \
  77790. +static inline uint32_t dwc_read_##_reg(_container_type *container) { \
  77791. + return DWC_READ_REG32(&container->regs->_reg); \
  77792. +} \
  77793. +static inline void dwc_write_##_reg(_container_type *container, uint32_t data) { \
  77794. + DWC_WRITE_REG32(&container->regs->_reg, data); \
  77795. +}
  77796. +
  77797. +# endif /* DWC_DEBUG_REGS */
  77798. +
  77799. +#endif /* DWC_LINUX */
  77800. +
  77801. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  77802. +
  77803. +# ifdef DWC_DEBUG_REGS
  77804. +
  77805. +#define dwc_define_read_write_reg_n(_reg,_container_type) \
  77806. +static inline uint32_t dwc_read_##_reg##_n(void *io_ctx, _container_type *container, int num) { \
  77807. + return DWC_READ_REG32(io_ctx, &container->regs->_reg[num]); \
  77808. +} \
  77809. +static inline void dwc_write_##_reg##_n(void *io_ctx, _container_type *container, int num, uint32_t data) { \
  77810. + DWC_DEBUG("WRITING %8s[%d]: %p: %08x", #_reg, num, \
  77811. + &(((uint32_t*)container->regs->_reg)[num]), data); \
  77812. + DWC_WRITE_REG32(io_ctx, &(((uint32_t*)container->regs->_reg)[num]), data); \
  77813. +}
  77814. +
  77815. +#define dwc_define_read_write_reg(_reg,_container_type) \
  77816. +static inline uint32_t dwc_read_##_reg(void *io_ctx, _container_type *container) { \
  77817. + return DWC_READ_REG32(io_ctx, &container->regs->_reg); \
  77818. +} \
  77819. +static inline void dwc_write_##_reg(void *io_ctx, _container_type *container, uint32_t data) { \
  77820. + DWC_DEBUG("WRITING %11s: %p: %08x", #_reg, &container->regs->_reg, data); \
  77821. + DWC_WRITE_REG32(io_ctx, &container->regs->_reg, data); \
  77822. +}
  77823. +
  77824. +# else /* DWC_DEBUG_REGS */
  77825. +
  77826. +#define dwc_define_read_write_reg_n(_reg,_container_type) \
  77827. +static inline uint32_t dwc_read_##_reg##_n(void *io_ctx, _container_type *container, int num) { \
  77828. + return DWC_READ_REG32(io_ctx, &container->regs->_reg[num]); \
  77829. +} \
  77830. +static inline void dwc_write_##_reg##_n(void *io_ctx, _container_type *container, int num, uint32_t data) { \
  77831. + DWC_WRITE_REG32(io_ctx, &(((uint32_t*)container->regs->_reg)[num]), data); \
  77832. +}
  77833. +
  77834. +#define dwc_define_read_write_reg(_reg,_container_type) \
  77835. +static inline uint32_t dwc_read_##_reg(void *io_ctx, _container_type *container) { \
  77836. + return DWC_READ_REG32(io_ctx, &container->regs->_reg); \
  77837. +} \
  77838. +static inline void dwc_write_##_reg(void *io_ctx, _container_type *container, uint32_t data) { \
  77839. + DWC_WRITE_REG32(io_ctx, &container->regs->_reg, data); \
  77840. +}
  77841. +
  77842. +# endif /* DWC_DEBUG_REGS */
  77843. +
  77844. +#endif /* DWC_FREEBSD || DWC_NETBSD */
  77845. +
  77846. +/** @endcond */
  77847. +
  77848. +
  77849. +#ifdef DWC_CRYPTOLIB
  77850. +/** @name Crypto Functions
  77851. + *
  77852. + * These are the low-level cryptographic functions used by the driver. */
  77853. +
  77854. +/** Perform AES CBC */
  77855. +extern int DWC_AES_CBC(uint8_t *message, uint32_t messagelen, uint8_t *key, uint32_t keylen, uint8_t iv[16], uint8_t *out);
  77856. +#define dwc_aes_cbc DWC_AES_CBC
  77857. +
  77858. +/** Fill the provided buffer with random bytes. These should be cryptographic grade random numbers. */
  77859. +extern void DWC_RANDOM_BYTES(uint8_t *buffer, uint32_t length);
  77860. +#define dwc_random_bytes DWC_RANDOM_BYTES
  77861. +
  77862. +/** Perform the SHA-256 hash function */
  77863. +extern int DWC_SHA256(uint8_t *message, uint32_t len, uint8_t *out);
  77864. +#define dwc_sha256 DWC_SHA256
  77865. +
  77866. +/** Calculated the HMAC-SHA256 */
  77867. +extern int DWC_HMAC_SHA256(uint8_t *message, uint32_t messagelen, uint8_t *key, uint32_t keylen, uint8_t *out);
  77868. +#define dwc_hmac_sha256 DWC_HMAC_SHA256
  77869. +
  77870. +#endif /* DWC_CRYPTOLIB */
  77871. +
  77872. +
  77873. +/** @name Memory Allocation
  77874. + *
  77875. + * These function provide access to memory allocation. There are only 2 DMA
  77876. + * functions and 3 Regular memory functions that need to be implemented. None
  77877. + * of the memory debugging routines need to be implemented. The allocation
  77878. + * routines all ZERO the contents of the memory.
  77879. + *
  77880. + * Defining DWC_DEBUG_MEMORY turns on memory debugging and statistic gathering.
  77881. + * This checks for memory leaks, keeping track of alloc/free pairs. It also
  77882. + * keeps track of how much memory the driver is using at any given time. */
  77883. +
  77884. +#define DWC_PAGE_SIZE 4096
  77885. +#define DWC_PAGE_OFFSET(addr) (((uint32_t)addr) & 0xfff)
  77886. +#define DWC_PAGE_ALIGNED(addr) ((((uint32_t)addr) & 0xfff) == 0)
  77887. +
  77888. +#define DWC_INVALID_DMA_ADDR 0x0
  77889. +
  77890. +#ifdef DWC_LINUX
  77891. +/** Type for a DMA address */
  77892. +typedef dma_addr_t dwc_dma_t;
  77893. +#endif
  77894. +
  77895. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  77896. +typedef bus_addr_t dwc_dma_t;
  77897. +#endif
  77898. +
  77899. +#ifdef DWC_FREEBSD
  77900. +typedef struct dwc_dmactx {
  77901. + struct device *dev;
  77902. + bus_dma_tag_t dma_tag;
  77903. + bus_dmamap_t dma_map;
  77904. + bus_addr_t dma_paddr;
  77905. + void *dma_vaddr;
  77906. +} dwc_dmactx_t;
  77907. +#endif
  77908. +
  77909. +#ifdef DWC_NETBSD
  77910. +typedef struct dwc_dmactx {
  77911. + struct device *dev;
  77912. + bus_dma_tag_t dma_tag;
  77913. + bus_dmamap_t dma_map;
  77914. + bus_dma_segment_t segs[1];
  77915. + int nsegs;
  77916. + bus_addr_t dma_paddr;
  77917. + void *dma_vaddr;
  77918. +} dwc_dmactx_t;
  77919. +#endif
  77920. +
  77921. +/* @todo these functions will be added in the future */
  77922. +#if 0
  77923. +/**
  77924. + * Creates a DMA pool from which you can allocate DMA buffers. Buffers
  77925. + * allocated from this pool will be guaranteed to meet the size, alignment, and
  77926. + * boundary requirements specified.
  77927. + *
  77928. + * @param[in] size Specifies the size of the buffers that will be allocated from
  77929. + * this pool.
  77930. + * @param[in] align Specifies the byte alignment requirements of the buffers
  77931. + * allocated from this pool. Must be a power of 2.
  77932. + * @param[in] boundary Specifies the N-byte boundary that buffers allocated from
  77933. + * this pool must not cross.
  77934. + *
  77935. + * @returns A pointer to an internal opaque structure which is not to be
  77936. + * accessed outside of these library functions. Use this handle to specify
  77937. + * which pools to allocate/free DMA buffers from and also to destroy the pool,
  77938. + * when you are done with it.
  77939. + */
  77940. +extern dwc_pool_t *DWC_DMA_POOL_CREATE(uint32_t size, uint32_t align, uint32_t boundary);
  77941. +
  77942. +/**
  77943. + * Destroy a DMA pool. All buffers allocated from that pool must be freed first.
  77944. + */
  77945. +extern void DWC_DMA_POOL_DESTROY(dwc_pool_t *pool);
  77946. +
  77947. +/**
  77948. + * Allocate a buffer from the specified DMA pool and zeros its contents.
  77949. + */
  77950. +extern void *DWC_DMA_POOL_ALLOC(dwc_pool_t *pool, uint64_t *dma_addr);
  77951. +
  77952. +/**
  77953. + * Free a previously allocated buffer from the DMA pool.
  77954. + */
  77955. +extern void DWC_DMA_POOL_FREE(dwc_pool_t *pool, void *vaddr, void *daddr);
  77956. +#endif
  77957. +
  77958. +/** Allocates a DMA capable buffer and zeroes its contents. */
  77959. +extern void *__DWC_DMA_ALLOC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr);
  77960. +
  77961. +/** Allocates a DMA capable buffer and zeroes its contents in atomic contest */
  77962. +extern void *__DWC_DMA_ALLOC_ATOMIC(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr);
  77963. +
  77964. +/** Frees a previously allocated buffer. */
  77965. +extern void __DWC_DMA_FREE(void *dma_ctx, uint32_t size, void *virt_addr, dwc_dma_t dma_addr);
  77966. +
  77967. +/** Allocates a block of memory and zeroes its contents. */
  77968. +extern void *__DWC_ALLOC(void *mem_ctx, uint32_t size);
  77969. +
  77970. +/** Allocates a block of memory and zeroes its contents, in an atomic manner
  77971. + * which can be used inside interrupt context. The size should be sufficiently
  77972. + * small, a few KB at most, such that failures are not likely to occur. Can just call
  77973. + * __DWC_ALLOC if it is atomic. */
  77974. +extern void *__DWC_ALLOC_ATOMIC(void *mem_ctx, uint32_t size);
  77975. +
  77976. +/** Frees a previously allocated buffer. */
  77977. +extern void __DWC_FREE(void *mem_ctx, void *addr);
  77978. +
  77979. +#ifndef DWC_DEBUG_MEMORY
  77980. +
  77981. +#define DWC_ALLOC(_size_) __DWC_ALLOC(NULL, _size_)
  77982. +#define DWC_ALLOC_ATOMIC(_size_) __DWC_ALLOC_ATOMIC(NULL, _size_)
  77983. +#define DWC_FREE(_addr_) __DWC_FREE(NULL, _addr_)
  77984. +
  77985. +# ifdef DWC_LINUX
  77986. +#define DWC_DMA_ALLOC(_size_,_dma_) __DWC_DMA_ALLOC(NULL, _size_, _dma_)
  77987. +#define DWC_DMA_ALLOC_ATOMIC(_size_,_dma_) __DWC_DMA_ALLOC_ATOMIC(NULL, _size_,_dma_)
  77988. +#define DWC_DMA_FREE(_size_,_virt_,_dma_) __DWC_DMA_FREE(NULL, _size_, _virt_, _dma_)
  77989. +# endif
  77990. +
  77991. +# if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  77992. +#define DWC_DMA_ALLOC __DWC_DMA_ALLOC
  77993. +#define DWC_DMA_FREE __DWC_DMA_FREE
  77994. +# endif
  77995. +extern void *dwc_dma_alloc_atomic_debug(uint32_t size, dwc_dma_t *dma_addr, char const *func, int line);
  77996. +
  77997. +#else /* DWC_DEBUG_MEMORY */
  77998. +
  77999. +extern void *dwc_alloc_debug(void *mem_ctx, uint32_t size, char const *func, int line);
  78000. +extern void *dwc_alloc_atomic_debug(void *mem_ctx, uint32_t size, char const *func, int line);
  78001. +extern void dwc_free_debug(void *mem_ctx, void *addr, char const *func, int line);
  78002. +extern void *dwc_dma_alloc_debug(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr,
  78003. + char const *func, int line);
  78004. +extern void *dwc_dma_alloc_atomic_debug(void *dma_ctx, uint32_t size, dwc_dma_t *dma_addr,
  78005. + char const *func, int line);
  78006. +extern void dwc_dma_free_debug(void *dma_ctx, uint32_t size, void *virt_addr,
  78007. + dwc_dma_t dma_addr, char const *func, int line);
  78008. +
  78009. +extern int dwc_memory_debug_start(void *mem_ctx);
  78010. +extern void dwc_memory_debug_stop(void);
  78011. +extern void dwc_memory_debug_report(void);
  78012. +
  78013. +#define DWC_ALLOC(_size_) dwc_alloc_debug(NULL, _size_, __func__, __LINE__)
  78014. +#define DWC_ALLOC_ATOMIC(_size_) dwc_alloc_atomic_debug(NULL, _size_, \
  78015. + __func__, __LINE__)
  78016. +#define DWC_FREE(_addr_) dwc_free_debug(NULL, _addr_, __func__, __LINE__)
  78017. +
  78018. +# ifdef DWC_LINUX
  78019. +#define DWC_DMA_ALLOC(_size_,_dma_) dwc_dma_alloc_debug(NULL, _size_, \
  78020. + _dma_, __func__, __LINE__)
  78021. +#define DWC_DMA_ALLOC_ATOMIC(_size_,_dma_) dwc_dma_alloc_atomic_debug(NULL, _size_, \
  78022. + _dma_, __func__, __LINE__)
  78023. +#define DWC_DMA_FREE(_size_,_virt_,_dma_) dwc_dma_free_debug(NULL, _size_, \
  78024. + _virt_, _dma_, __func__, __LINE__)
  78025. +# endif
  78026. +
  78027. +# if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  78028. +#define DWC_DMA_ALLOC(_ctx_,_size_,_dma_) dwc_dma_alloc_debug(_ctx_, _size_, \
  78029. + _dma_, __func__, __LINE__)
  78030. +#define DWC_DMA_FREE(_ctx_,_size_,_virt_,_dma_) dwc_dma_free_debug(_ctx_, _size_, \
  78031. + _virt_, _dma_, __func__, __LINE__)
  78032. +# endif
  78033. +
  78034. +#endif /* DWC_DEBUG_MEMORY */
  78035. +
  78036. +#define dwc_alloc(_ctx_,_size_) DWC_ALLOC(_size_)
  78037. +#define dwc_alloc_atomic(_ctx_,_size_) DWC_ALLOC_ATOMIC(_size_)
  78038. +#define dwc_free(_ctx_,_addr_) DWC_FREE(_addr_)
  78039. +
  78040. +#ifdef DWC_LINUX
  78041. +/* Linux doesn't need any extra parameters for DMA buffer allocation, so we
  78042. + * just throw away the DMA context parameter.
  78043. + */
  78044. +#define dwc_dma_alloc(_ctx_,_size_,_dma_) DWC_DMA_ALLOC(_size_, _dma_)
  78045. +#define dwc_dma_alloc_atomic(_ctx_,_size_,_dma_) DWC_DMA_ALLOC_ATOMIC(_size_, _dma_)
  78046. +#define dwc_dma_free(_ctx_,_size_,_virt_,_dma_) DWC_DMA_FREE(_size_, _virt_, _dma_)
  78047. +#endif
  78048. +
  78049. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  78050. +/** BSD needs several extra parameters for DMA buffer allocation, so we pass
  78051. + * them in using the DMA context parameter.
  78052. + */
  78053. +#define dwc_dma_alloc DWC_DMA_ALLOC
  78054. +#define dwc_dma_free DWC_DMA_FREE
  78055. +#endif
  78056. +
  78057. +
  78058. +/** @name Memory and String Processing */
  78059. +
  78060. +/** memset() clone */
  78061. +extern void *DWC_MEMSET(void *dest, uint8_t byte, uint32_t size);
  78062. +#define dwc_memset DWC_MEMSET
  78063. +
  78064. +/** memcpy() clone */
  78065. +extern void *DWC_MEMCPY(void *dest, void const *src, uint32_t size);
  78066. +#define dwc_memcpy DWC_MEMCPY
  78067. +
  78068. +/** memmove() clone */
  78069. +extern void *DWC_MEMMOVE(void *dest, void *src, uint32_t size);
  78070. +#define dwc_memmove DWC_MEMMOVE
  78071. +
  78072. +/** memcmp() clone */
  78073. +extern int DWC_MEMCMP(void *m1, void *m2, uint32_t size);
  78074. +#define dwc_memcmp DWC_MEMCMP
  78075. +
  78076. +/** strcmp() clone */
  78077. +extern int DWC_STRCMP(void *s1, void *s2);
  78078. +#define dwc_strcmp DWC_STRCMP
  78079. +
  78080. +/** strncmp() clone */
  78081. +extern int DWC_STRNCMP(void *s1, void *s2, uint32_t size);
  78082. +#define dwc_strncmp DWC_STRNCMP
  78083. +
  78084. +/** strlen() clone, for NULL terminated ASCII strings */
  78085. +extern int DWC_STRLEN(char const *str);
  78086. +#define dwc_strlen DWC_STRLEN
  78087. +
  78088. +/** strcpy() clone, for NULL terminated ASCII strings */
  78089. +extern char *DWC_STRCPY(char *to, const char *from);
  78090. +#define dwc_strcpy DWC_STRCPY
  78091. +
  78092. +/** strdup() clone. If you wish to use memory allocation debugging, this
  78093. + * implementation of strdup should use the DWC_* memory routines instead of
  78094. + * calling a predefined strdup. Otherwise the memory allocated by this routine
  78095. + * will not be seen by the debugging routines. */
  78096. +extern char *DWC_STRDUP(char const *str);
  78097. +#define dwc_strdup(_ctx_,_str_) DWC_STRDUP(_str_)
  78098. +
  78099. +/** NOT an atoi() clone. Read the description carefully. Returns an integer
  78100. + * converted from the string str in base 10 unless the string begins with a "0x"
  78101. + * in which case it is base 16. String must be a NULL terminated sequence of
  78102. + * ASCII characters and may optionally begin with whitespace, a + or -, and a
  78103. + * "0x" prefix if base 16. The remaining characters must be valid digits for
  78104. + * the number and end with a NULL character. If any invalid characters are
  78105. + * encountered or it returns with a negative error code and the results of the
  78106. + * conversion are undefined. On sucess it returns 0. Overflow conditions are
  78107. + * undefined. An example implementation using atoi() can be referenced from the
  78108. + * Linux implementation. */
  78109. +extern int DWC_ATOI(const char *str, int32_t *value);
  78110. +#define dwc_atoi DWC_ATOI
  78111. +
  78112. +/** Same as above but for unsigned. */
  78113. +extern int DWC_ATOUI(const char *str, uint32_t *value);
  78114. +#define dwc_atoui DWC_ATOUI
  78115. +
  78116. +#ifdef DWC_UTFLIB
  78117. +/** This routine returns a UTF16LE unicode encoded string from a UTF8 string. */
  78118. +extern int DWC_UTF8_TO_UTF16LE(uint8_t const *utf8string, uint16_t *utf16string, unsigned len);
  78119. +#define dwc_utf8_to_utf16le DWC_UTF8_TO_UTF16LE
  78120. +#endif
  78121. +
  78122. +
  78123. +/** @name Wait queues
  78124. + *
  78125. + * Wait queues provide a means of synchronizing between threads or processes. A
  78126. + * process can block on a waitq if some condition is not true, waiting for it to
  78127. + * become true. When the waitq is triggered all waiting process will get
  78128. + * unblocked and the condition will be check again. Waitqs should be triggered
  78129. + * every time a condition can potentially change.*/
  78130. +struct dwc_waitq;
  78131. +
  78132. +/** Type for a waitq */
  78133. +typedef struct dwc_waitq dwc_waitq_t;
  78134. +
  78135. +/** The type of waitq condition callback function. This is called every time
  78136. + * condition is evaluated. */
  78137. +typedef int (*dwc_waitq_condition_t)(void *data);
  78138. +
  78139. +/** Allocate a waitq */
  78140. +extern dwc_waitq_t *DWC_WAITQ_ALLOC(void);
  78141. +#define dwc_waitq_alloc(_ctx_) DWC_WAITQ_ALLOC()
  78142. +
  78143. +/** Free a waitq */
  78144. +extern void DWC_WAITQ_FREE(dwc_waitq_t *wq);
  78145. +#define dwc_waitq_free DWC_WAITQ_FREE
  78146. +
  78147. +/** Check the condition and if it is false, block on the waitq. When unblocked, check the
  78148. + * condition again. The function returns when the condition becomes true. The return value
  78149. + * is 0 on condition true, DWC_WAITQ_ABORTED on abort or killed, or DWC_WAITQ_UNKNOWN on error. */
  78150. +extern int32_t DWC_WAITQ_WAIT(dwc_waitq_t *wq, dwc_waitq_condition_t cond, void *data);
  78151. +#define dwc_waitq_wait DWC_WAITQ_WAIT
  78152. +
  78153. +/** Check the condition and if it is false, block on the waitq. When unblocked,
  78154. + * check the condition again. The function returns when the condition become
  78155. + * true or the timeout has passed. The return value is 0 on condition true or
  78156. + * DWC_TIMED_OUT on timeout, or DWC_WAITQ_ABORTED, or DWC_WAITQ_UNKNOWN on
  78157. + * error. */
  78158. +extern int32_t DWC_WAITQ_WAIT_TIMEOUT(dwc_waitq_t *wq, dwc_waitq_condition_t cond,
  78159. + void *data, int32_t msecs);
  78160. +#define dwc_waitq_wait_timeout DWC_WAITQ_WAIT_TIMEOUT
  78161. +
  78162. +/** Trigger a waitq, unblocking all processes. This should be called whenever a condition
  78163. + * has potentially changed. */
  78164. +extern void DWC_WAITQ_TRIGGER(dwc_waitq_t *wq);
  78165. +#define dwc_waitq_trigger DWC_WAITQ_TRIGGER
  78166. +
  78167. +/** Unblock all processes waiting on the waitq with an ABORTED result. */
  78168. +extern void DWC_WAITQ_ABORT(dwc_waitq_t *wq);
  78169. +#define dwc_waitq_abort DWC_WAITQ_ABORT
  78170. +
  78171. +
  78172. +/** @name Threads
  78173. + *
  78174. + * A thread must be explicitly stopped. It must check DWC_THREAD_SHOULD_STOP
  78175. + * whenever it is woken up, and then return. The DWC_THREAD_STOP function
  78176. + * returns the value from the thread.
  78177. + */
  78178. +
  78179. +struct dwc_thread;
  78180. +
  78181. +/** Type for a thread */
  78182. +typedef struct dwc_thread dwc_thread_t;
  78183. +
  78184. +/** The thread function */
  78185. +typedef int (*dwc_thread_function_t)(void *data);
  78186. +
  78187. +/** Create a thread and start it running the thread_function. Returns a handle
  78188. + * to the thread */
  78189. +extern dwc_thread_t *DWC_THREAD_RUN(dwc_thread_function_t func, char *name, void *data);
  78190. +#define dwc_thread_run(_ctx_,_func_,_name_,_data_) DWC_THREAD_RUN(_func_, _name_, _data_)
  78191. +
  78192. +/** Stops a thread. Return the value returned by the thread. Or will return
  78193. + * DWC_ABORT if the thread never started. */
  78194. +extern int DWC_THREAD_STOP(dwc_thread_t *thread);
  78195. +#define dwc_thread_stop DWC_THREAD_STOP
  78196. +
  78197. +/** Signifies to the thread that it must stop. */
  78198. +#ifdef DWC_LINUX
  78199. +/* Linux doesn't need any parameters for kthread_should_stop() */
  78200. +extern dwc_bool_t DWC_THREAD_SHOULD_STOP(void);
  78201. +#define dwc_thread_should_stop(_thrd_) DWC_THREAD_SHOULD_STOP()
  78202. +
  78203. +/* No thread_exit function in Linux */
  78204. +#define dwc_thread_exit(_thrd_)
  78205. +#endif
  78206. +
  78207. +#if defined(DWC_FREEBSD) || defined(DWC_NETBSD)
  78208. +/** BSD needs the thread pointer for kthread_suspend_check() */
  78209. +extern dwc_bool_t DWC_THREAD_SHOULD_STOP(dwc_thread_t *thread);
  78210. +#define dwc_thread_should_stop DWC_THREAD_SHOULD_STOP
  78211. +
  78212. +/** The thread must call this to exit. */
  78213. +extern void DWC_THREAD_EXIT(dwc_thread_t *thread);
  78214. +#define dwc_thread_exit DWC_THREAD_EXIT
  78215. +#endif
  78216. +
  78217. +
  78218. +/** @name Work queues
  78219. + *
  78220. + * Workqs are used to queue a callback function to be called at some later time,
  78221. + * in another thread. */
  78222. +struct dwc_workq;
  78223. +
  78224. +/** Type for a workq */
  78225. +typedef struct dwc_workq dwc_workq_t;
  78226. +
  78227. +/** The type of the callback function to be called. */
  78228. +typedef void (*dwc_work_callback_t)(void *data);
  78229. +
  78230. +/** Allocate a workq */
  78231. +extern dwc_workq_t *DWC_WORKQ_ALLOC(char *name);
  78232. +#define dwc_workq_alloc(_ctx_,_name_) DWC_WORKQ_ALLOC(_name_)
  78233. +
  78234. +/** Free a workq. All work must be completed before being freed. */
  78235. +extern void DWC_WORKQ_FREE(dwc_workq_t *workq);
  78236. +#define dwc_workq_free DWC_WORKQ_FREE
  78237. +
  78238. +/** Schedule a callback on the workq, passing in data. The function will be
  78239. + * scheduled at some later time. */
  78240. +extern void DWC_WORKQ_SCHEDULE(dwc_workq_t *workq, dwc_work_callback_t cb,
  78241. + void *data, char *format, ...)
  78242. +#ifdef __GNUC__
  78243. + __attribute__ ((format(printf, 4, 5)));
  78244. +#else
  78245. + ;
  78246. +#endif
  78247. +#define dwc_workq_schedule DWC_WORKQ_SCHEDULE
  78248. +
  78249. +/** Schedule a callback on the workq, that will be called until at least
  78250. + * given number miliseconds have passed. */
  78251. +extern void DWC_WORKQ_SCHEDULE_DELAYED(dwc_workq_t *workq, dwc_work_callback_t cb,
  78252. + void *data, uint32_t time, char *format, ...)
  78253. +#ifdef __GNUC__
  78254. + __attribute__ ((format(printf, 5, 6)));
  78255. +#else
  78256. + ;
  78257. +#endif
  78258. +#define dwc_workq_schedule_delayed DWC_WORKQ_SCHEDULE_DELAYED
  78259. +
  78260. +/** The number of processes in the workq */
  78261. +extern int DWC_WORKQ_PENDING(dwc_workq_t *workq);
  78262. +#define dwc_workq_pending DWC_WORKQ_PENDING
  78263. +
  78264. +/** Blocks until all the work in the workq is complete or timed out. Returns <
  78265. + * 0 on timeout. */
  78266. +extern int DWC_WORKQ_WAIT_WORK_DONE(dwc_workq_t *workq, int timeout);
  78267. +#define dwc_workq_wait_work_done DWC_WORKQ_WAIT_WORK_DONE
  78268. +
  78269. +
  78270. +/** @name Tasklets
  78271. + *
  78272. + */
  78273. +struct dwc_tasklet;
  78274. +
  78275. +/** Type for a tasklet */
  78276. +typedef struct dwc_tasklet dwc_tasklet_t;
  78277. +
  78278. +/** The type of the callback function to be called */
  78279. +typedef void (*dwc_tasklet_callback_t)(void *data);
  78280. +
  78281. +/** Allocates a tasklet */
  78282. +extern dwc_tasklet_t *DWC_TASK_ALLOC(char *name, dwc_tasklet_callback_t cb, void *data);
  78283. +#define dwc_task_alloc(_ctx_,_name_,_cb_,_data_) DWC_TASK_ALLOC(_name_, _cb_, _data_)
  78284. +
  78285. +/** Frees a tasklet */
  78286. +extern void DWC_TASK_FREE(dwc_tasklet_t *task);
  78287. +#define dwc_task_free DWC_TASK_FREE
  78288. +
  78289. +/** Schedules a tasklet to run */
  78290. +extern void DWC_TASK_SCHEDULE(dwc_tasklet_t *task);
  78291. +#define dwc_task_schedule DWC_TASK_SCHEDULE
  78292. +
  78293. +extern void DWC_TASK_HI_SCHEDULE(dwc_tasklet_t *task);
  78294. +#define dwc_task_hi_schedule DWC_TASK_HI_SCHEDULE
  78295. +
  78296. +/** @name Timer
  78297. + *
  78298. + * Callbacks must be small and atomic.
  78299. + */
  78300. +struct dwc_timer;
  78301. +
  78302. +/** Type for a timer */
  78303. +typedef struct dwc_timer dwc_timer_t;
  78304. +
  78305. +/** The type of the callback function to be called */
  78306. +typedef void (*dwc_timer_callback_t)(void *data);
  78307. +
  78308. +/** Allocates a timer */
  78309. +extern dwc_timer_t *DWC_TIMER_ALLOC(char *name, dwc_timer_callback_t cb, void *data);
  78310. +#define dwc_timer_alloc(_ctx_,_name_,_cb_,_data_) DWC_TIMER_ALLOC(_name_,_cb_,_data_)
  78311. +
  78312. +/** Frees a timer */
  78313. +extern void DWC_TIMER_FREE(dwc_timer_t *timer);
  78314. +#define dwc_timer_free DWC_TIMER_FREE
  78315. +
  78316. +/** Schedules the timer to run at time ms from now. And will repeat at every
  78317. + * repeat_interval msec therafter
  78318. + *
  78319. + * Modifies a timer that is still awaiting execution to a new expiration time.
  78320. + * The mod_time is added to the old time. */
  78321. +extern void DWC_TIMER_SCHEDULE(dwc_timer_t *timer, uint32_t time);
  78322. +#define dwc_timer_schedule DWC_TIMER_SCHEDULE
  78323. +
  78324. +/** Disables the timer from execution. */
  78325. +extern void DWC_TIMER_CANCEL(dwc_timer_t *timer);
  78326. +#define dwc_timer_cancel DWC_TIMER_CANCEL
  78327. +
  78328. +
  78329. +/** @name Spinlocks
  78330. + *
  78331. + * These locks are used when the work between the lock/unlock is atomic and
  78332. + * short. Interrupts are also disabled during the lock/unlock and thus they are
  78333. + * suitable to lock between interrupt/non-interrupt context. They also lock
  78334. + * between processes if you have multiple CPUs or Preemption. If you don't have
  78335. + * multiple CPUS or Preemption, then the you can simply implement the
  78336. + * DWC_SPINLOCK and DWC_SPINUNLOCK to disable and enable interrupts. Because
  78337. + * the work between the lock/unlock is atomic, the process context will never
  78338. + * change, and so you never have to lock between processes. */
  78339. +
  78340. +struct dwc_spinlock;
  78341. +
  78342. +/** Type for a spinlock */
  78343. +typedef struct dwc_spinlock dwc_spinlock_t;
  78344. +
  78345. +/** Type for the 'flags' argument to spinlock funtions */
  78346. +typedef unsigned long dwc_irqflags_t;
  78347. +
  78348. +/** Returns an initialized lock variable. This function should allocate and
  78349. + * initialize the OS-specific data structure used for locking. This data
  78350. + * structure is to be used for the DWC_LOCK and DWC_UNLOCK functions and should
  78351. + * be freed by the DWC_FREE_LOCK when it is no longer used.
  78352. + *
  78353. + * For Linux Spinlock Debugging make it macro because the debugging routines use
  78354. + * the symbol name to determine recursive locking. Using a wrapper function
  78355. + * makes it falsely think recursive locking occurs. */
  78356. +#if defined(DWC_LINUX) && defined(CONFIG_DEBUG_SPINLOCK)
  78357. +#define DWC_SPINLOCK_ALLOC_LINUX_DEBUG(lock) ({ \
  78358. + lock = DWC_ALLOC(sizeof(spinlock_t)); \
  78359. + if (lock) { \
  78360. + spin_lock_init((spinlock_t *)lock); \
  78361. + } \
  78362. +})
  78363. +#else
  78364. +extern dwc_spinlock_t *DWC_SPINLOCK_ALLOC(void);
  78365. +#define dwc_spinlock_alloc(_ctx_) DWC_SPINLOCK_ALLOC()
  78366. +#endif
  78367. +
  78368. +/** Frees an initialized lock variable. */
  78369. +extern void DWC_SPINLOCK_FREE(dwc_spinlock_t *lock);
  78370. +#define dwc_spinlock_free(_ctx_,_lock_) DWC_SPINLOCK_FREE(_lock_)
  78371. +
  78372. +/** Disables interrupts and blocks until it acquires the lock.
  78373. + *
  78374. + * @param lock Pointer to the spinlock.
  78375. + * @param flags Unsigned long for irq flags storage.
  78376. + */
  78377. +extern void DWC_SPINLOCK_IRQSAVE(dwc_spinlock_t *lock, dwc_irqflags_t *flags);
  78378. +#define dwc_spinlock_irqsave DWC_SPINLOCK_IRQSAVE
  78379. +
  78380. +/** Re-enables the interrupt and releases the lock.
  78381. + *
  78382. + * @param lock Pointer to the spinlock.
  78383. + * @param flags Unsigned long for irq flags storage. Must be the same as was
  78384. + * passed into DWC_LOCK.
  78385. + */
  78386. +extern void DWC_SPINUNLOCK_IRQRESTORE(dwc_spinlock_t *lock, dwc_irqflags_t flags);
  78387. +#define dwc_spinunlock_irqrestore DWC_SPINUNLOCK_IRQRESTORE
  78388. +
  78389. +/** Blocks until it acquires the lock.
  78390. + *
  78391. + * @param lock Pointer to the spinlock.
  78392. + */
  78393. +extern void DWC_SPINLOCK(dwc_spinlock_t *lock);
  78394. +#define dwc_spinlock DWC_SPINLOCK
  78395. +
  78396. +/** Releases the lock.
  78397. + *
  78398. + * @param lock Pointer to the spinlock.
  78399. + */
  78400. +extern void DWC_SPINUNLOCK(dwc_spinlock_t *lock);
  78401. +#define dwc_spinunlock DWC_SPINUNLOCK
  78402. +
  78403. +
  78404. +/** @name Mutexes
  78405. + *
  78406. + * Unlike spinlocks Mutexes lock only between processes and the work between the
  78407. + * lock/unlock CAN block, therefore it CANNOT be called from interrupt context.
  78408. + */
  78409. +
  78410. +struct dwc_mutex;
  78411. +
  78412. +/** Type for a mutex */
  78413. +typedef struct dwc_mutex dwc_mutex_t;
  78414. +
  78415. +/* For Linux Mutex Debugging make it inline because the debugging routines use
  78416. + * the symbol to determine recursive locking. This makes it falsely think
  78417. + * recursive locking occurs. */
  78418. +#if defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES)
  78419. +#define DWC_MUTEX_ALLOC_LINUX_DEBUG(__mutexp) ({ \
  78420. + __mutexp = (dwc_mutex_t *)DWC_ALLOC(sizeof(struct mutex)); \
  78421. + mutex_init((struct mutex *)__mutexp); \
  78422. +})
  78423. +#endif
  78424. +
  78425. +/** Allocate a mutex */
  78426. +extern dwc_mutex_t *DWC_MUTEX_ALLOC(void);
  78427. +#define dwc_mutex_alloc(_ctx_) DWC_MUTEX_ALLOC()
  78428. +
  78429. +/* For memory leak debugging when using Linux Mutex Debugging */
  78430. +#if defined(DWC_LINUX) && defined(CONFIG_DEBUG_MUTEXES)
  78431. +#define DWC_MUTEX_FREE(__mutexp) do { \
  78432. + mutex_destroy((struct mutex *)__mutexp); \
  78433. + DWC_FREE(__mutexp); \
  78434. +} while(0)
  78435. +#else
  78436. +/** Free a mutex */
  78437. +extern void DWC_MUTEX_FREE(dwc_mutex_t *mutex);
  78438. +#define dwc_mutex_free(_ctx_,_mutex_) DWC_MUTEX_FREE(_mutex_)
  78439. +#endif
  78440. +
  78441. +/** Lock a mutex */
  78442. +extern void DWC_MUTEX_LOCK(dwc_mutex_t *mutex);
  78443. +#define dwc_mutex_lock DWC_MUTEX_LOCK
  78444. +
  78445. +/** Non-blocking lock returns 1 on successful lock. */
  78446. +extern int DWC_MUTEX_TRYLOCK(dwc_mutex_t *mutex);
  78447. +#define dwc_mutex_trylock DWC_MUTEX_TRYLOCK
  78448. +
  78449. +/** Unlock a mutex */
  78450. +extern void DWC_MUTEX_UNLOCK(dwc_mutex_t *mutex);
  78451. +#define dwc_mutex_unlock DWC_MUTEX_UNLOCK
  78452. +
  78453. +
  78454. +/** @name Time */
  78455. +
  78456. +/** Microsecond delay.
  78457. + *
  78458. + * @param usecs Microseconds to delay.
  78459. + */
  78460. +extern void DWC_UDELAY(uint32_t usecs);
  78461. +#define dwc_udelay DWC_UDELAY
  78462. +
  78463. +/** Millisecond delay.
  78464. + *
  78465. + * @param msecs Milliseconds to delay.
  78466. + */
  78467. +extern void DWC_MDELAY(uint32_t msecs);
  78468. +#define dwc_mdelay DWC_MDELAY
  78469. +
  78470. +/** Non-busy waiting.
  78471. + * Sleeps for specified number of milliseconds.
  78472. + *
  78473. + * @param msecs Milliseconds to sleep.
  78474. + */
  78475. +extern void DWC_MSLEEP(uint32_t msecs);
  78476. +#define dwc_msleep DWC_MSLEEP
  78477. +
  78478. +/**
  78479. + * Returns number of milliseconds since boot.
  78480. + */
  78481. +extern uint32_t DWC_TIME(void);
  78482. +#define dwc_time DWC_TIME
  78483. +
  78484. +
  78485. +
  78486. +
  78487. +/* @mainpage DWC Portability and Common Library
  78488. + *
  78489. + * This is the documentation for the DWC Portability and Common Library.
  78490. + *
  78491. + * @section intro Introduction
  78492. + *
  78493. + * The DWC Portability library consists of wrapper calls and data structures to
  78494. + * all low-level functions which are typically provided by the OS. The WUDEV
  78495. + * driver uses only these functions. In order to port the WUDEV driver, only
  78496. + * the functions in this library need to be re-implemented, with the same
  78497. + * behavior as documented here.
  78498. + *
  78499. + * The Common library consists of higher level functions, which rely only on
  78500. + * calling the functions from the DWC Portability library. These common
  78501. + * routines are shared across modules. Some of the common libraries need to be
  78502. + * used directly by the driver programmer when porting WUDEV. Such as the
  78503. + * parameter and notification libraries.
  78504. + *
  78505. + * @section low Portability Library OS Wrapper Functions
  78506. + *
  78507. + * Any function starting with DWC and in all CAPS is a low-level OS-wrapper that
  78508. + * needs to be implemented when porting, for example DWC_MUTEX_ALLOC(). All of
  78509. + * these functions are included in the dwc_os.h file.
  78510. + *
  78511. + * There are many functions here covering a wide array of OS services. Please
  78512. + * see dwc_os.h for details, and implementation notes for each function.
  78513. + *
  78514. + * @section common Common Library Functions
  78515. + *
  78516. + * Any function starting with dwc and in all lowercase is a common library
  78517. + * routine. These functions have a portable implementation and do not need to
  78518. + * be reimplemented when porting. The common routines can be used by any
  78519. + * driver, and some must be used by the end user to control the drivers. For
  78520. + * example, you must use the Parameter common library in order to set the
  78521. + * parameters in the WUDEV module.
  78522. + *
  78523. + * The common libraries consist of the following:
  78524. + *
  78525. + * - Connection Contexts - Used internally and can be used by end-user. See dwc_cc.h
  78526. + * - Parameters - Used internally and can be used by end-user. See dwc_params.h
  78527. + * - Notifications - Used internally and can be used by end-user. See dwc_notifier.h
  78528. + * - Lists - Used internally and can be used by end-user. See dwc_list.h
  78529. + * - Memory Debugging - Used internally and can be used by end-user. See dwc_os.h
  78530. + * - Modpow - Used internally only. See dwc_modpow.h
  78531. + * - DH - Used internally only. See dwc_dh.h
  78532. + * - Crypto - Used internally only. See dwc_crypto.h
  78533. + *
  78534. + *
  78535. + * @section prereq Prerequistes For dwc_os.h
  78536. + * @subsection types Data Types
  78537. + *
  78538. + * The dwc_os.h file assumes that several low-level data types are pre defined for the
  78539. + * compilation environment. These data types are:
  78540. + *
  78541. + * - uint8_t - unsigned 8-bit data type
  78542. + * - int8_t - signed 8-bit data type
  78543. + * - uint16_t - unsigned 16-bit data type
  78544. + * - int16_t - signed 16-bit data type
  78545. + * - uint32_t - unsigned 32-bit data type
  78546. + * - int32_t - signed 32-bit data type
  78547. + * - uint64_t - unsigned 64-bit data type
  78548. + * - int64_t - signed 64-bit data type
  78549. + *
  78550. + * Ensure that these are defined before using dwc_os.h. The easiest way to do
  78551. + * that is to modify the top of the file to include the appropriate header.
  78552. + * This is already done for the Linux environment. If the DWC_LINUX macro is
  78553. + * defined, the correct header will be added. A standard header <stdint.h> is
  78554. + * also used for environments where standard C headers are available.
  78555. + *
  78556. + * @subsection stdarg Variable Arguments
  78557. + *
  78558. + * Variable arguments are provided by a standard C header <stdarg.h>. it is
  78559. + * available in Both the Linux and ANSI C enviornment. An equivalent must be
  78560. + * provided in your enviornment in order to use dwc_os.h with the debug and
  78561. + * tracing message functionality.
  78562. + *
  78563. + * @subsection thread Threading
  78564. + *
  78565. + * WUDEV Core must be run on an operating system that provides for multiple
  78566. + * threads/processes. Threading can be implemented in many ways, even in
  78567. + * embedded systems without an operating system. At the bare minimum, the
  78568. + * system should be able to start any number of processes at any time to handle
  78569. + * special work. It need not be a pre-emptive system. Process context can
  78570. + * change upon a call to a blocking function. The hardware interrupt context
  78571. + * that calls the module's ISR() function must be differentiable from process
  78572. + * context, even if your processes are impemented via a hardware interrupt.
  78573. + * Further locking mechanism between process must exist (or be implemented), and
  78574. + * process context must have a way to disable interrupts for a period of time to
  78575. + * lock them out. If all of this exists, the functions in dwc_os.h related to
  78576. + * threading should be able to be implemented with the defined behavior.
  78577. + *
  78578. + */
  78579. +
  78580. +#ifdef __cplusplus
  78581. +}
  78582. +#endif
  78583. +
  78584. +#endif /* _DWC_OS_H_ */
  78585. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile linux-rpi/drivers/usb/host/dwc_common_port/Makefile
  78586. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile 1970-01-01 01:00:00.000000000 +0100
  78587. +++ linux-rpi/drivers/usb/host/dwc_common_port/Makefile 2015-11-29 09:42:39.915098960 +0100
  78588. @@ -0,0 +1,58 @@
  78589. +#
  78590. +# Makefile for DWC_common library
  78591. +#
  78592. +
  78593. +ifneq ($(KERNELRELEASE),)
  78594. +
  78595. +ccflags-y += -DDWC_LINUX
  78596. +#ccflags-y += -DDEBUG
  78597. +#ccflags-y += -DDWC_DEBUG_REGS
  78598. +#ccflags-y += -DDWC_DEBUG_MEMORY
  78599. +
  78600. +ccflags-y += -DDWC_LIBMODULE
  78601. +ccflags-y += -DDWC_CCLIB
  78602. +#ccflags-y += -DDWC_CRYPTOLIB
  78603. +ccflags-y += -DDWC_NOTIFYLIB
  78604. +ccflags-y += -DDWC_UTFLIB
  78605. +
  78606. +obj-$(CONFIG_USB_DWCOTG) += dwc_common_port_lib.o
  78607. +dwc_common_port_lib-objs := dwc_cc.o dwc_modpow.o dwc_dh.o \
  78608. + dwc_crypto.o dwc_notifier.o \
  78609. + dwc_common_linux.o dwc_mem.o
  78610. +
  78611. +kernrelwd := $(subst ., ,$(KERNELRELEASE))
  78612. +kernrel3 := $(word 1,$(kernrelwd)).$(word 2,$(kernrelwd)).$(word 3,$(kernrelwd))
  78613. +
  78614. +ifneq ($(kernrel3),2.6.20)
  78615. +# grayg - I only know that we use ccflags-y in 2.6.31 actually
  78616. +ccflags-y += $(CPPFLAGS)
  78617. +endif
  78618. +
  78619. +else
  78620. +
  78621. +#ifeq ($(KDIR),)
  78622. +#$(error Must give "KDIR=/path/to/kernel/source" on command line or in environment)
  78623. +#endif
  78624. +
  78625. +ifeq ($(ARCH),)
  78626. +$(error Must give "ARCH=<arch>" on command line or in environment. Also, if \
  78627. + cross-compiling, must give "CROSS_COMPILE=/path/to/compiler/plus/tool-prefix-")
  78628. +endif
  78629. +
  78630. +ifeq ($(DOXYGEN),)
  78631. +DOXYGEN := doxygen
  78632. +endif
  78633. +
  78634. +default:
  78635. + $(MAKE) -C$(KDIR) M=$(PWD) ARCH=$(ARCH) CROSS_COMPILE=$(CROSS_COMPILE) modules
  78636. +
  78637. +docs: $(wildcard *.[hc]) doc/doxygen.cfg
  78638. + $(DOXYGEN) doc/doxygen.cfg
  78639. +
  78640. +tags: $(wildcard *.[hc])
  78641. + $(CTAGS) -e $(wildcard *.[hc]) $(wildcard linux/*.[hc]) $(wildcard $(KDIR)/include/linux/usb*.h)
  78642. +
  78643. +endif
  78644. +
  78645. +clean:
  78646. + rm -rf *.o *.ko .*.cmd *.mod.c .*.o.d .*.o.tmp modules.order Module.markers Module.symvers .tmp_versions/
  78647. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile.fbsd linux-rpi/drivers/usb/host/dwc_common_port/Makefile.fbsd
  78648. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile.fbsd 1970-01-01 01:00:00.000000000 +0100
  78649. +++ linux-rpi/drivers/usb/host/dwc_common_port/Makefile.fbsd 2015-11-29 09:42:39.915098960 +0100
  78650. @@ -0,0 +1,17 @@
  78651. +CFLAGS += -I/sys/i386/compile/GENERIC -I/sys/i386/include -I/usr/include
  78652. +CFLAGS += -DDWC_FREEBSD
  78653. +CFLAGS += -DDEBUG
  78654. +#CFLAGS += -DDWC_DEBUG_REGS
  78655. +#CFLAGS += -DDWC_DEBUG_MEMORY
  78656. +
  78657. +#CFLAGS += -DDWC_LIBMODULE
  78658. +#CFLAGS += -DDWC_CCLIB
  78659. +#CFLAGS += -DDWC_CRYPTOLIB
  78660. +#CFLAGS += -DDWC_NOTIFYLIB
  78661. +#CFLAGS += -DDWC_UTFLIB
  78662. +
  78663. +KMOD = dwc_common_port_lib
  78664. +SRCS = dwc_cc.c dwc_modpow.c dwc_dh.c dwc_crypto.c dwc_notifier.c \
  78665. + dwc_common_fbsd.c dwc_mem.c
  78666. +
  78667. +.include <bsd.kmod.mk>
  78668. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile.linux linux-rpi/drivers/usb/host/dwc_common_port/Makefile.linux
  78669. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/Makefile.linux 1970-01-01 01:00:00.000000000 +0100
  78670. +++ linux-rpi/drivers/usb/host/dwc_common_port/Makefile.linux 2015-11-29 09:42:39.915098960 +0100
  78671. @@ -0,0 +1,49 @@
  78672. +#
  78673. +# Makefile for DWC_common library
  78674. +#
  78675. +ifneq ($(KERNELRELEASE),)
  78676. +
  78677. +ccflags-y += -DDWC_LINUX
  78678. +#ccflags-y += -DDEBUG
  78679. +#ccflags-y += -DDWC_DEBUG_REGS
  78680. +#ccflags-y += -DDWC_DEBUG_MEMORY
  78681. +
  78682. +ccflags-y += -DDWC_LIBMODULE
  78683. +ccflags-y += -DDWC_CCLIB
  78684. +ccflags-y += -DDWC_CRYPTOLIB
  78685. +ccflags-y += -DDWC_NOTIFYLIB
  78686. +ccflags-y += -DDWC_UTFLIB
  78687. +
  78688. +obj-m := dwc_common_port_lib.o
  78689. +dwc_common_port_lib-objs := dwc_cc.o dwc_modpow.o dwc_dh.o \
  78690. + dwc_crypto.o dwc_notifier.o \
  78691. + dwc_common_linux.o dwc_mem.o
  78692. +
  78693. +else
  78694. +
  78695. +ifeq ($(KDIR),)
  78696. +$(error Must give "KDIR=/path/to/kernel/source" on command line or in environment)
  78697. +endif
  78698. +
  78699. +ifeq ($(ARCH),)
  78700. +$(error Must give "ARCH=<arch>" on command line or in environment. Also, if \
  78701. + cross-compiling, must give "CROSS_COMPILE=/path/to/compiler/plus/tool-prefix-")
  78702. +endif
  78703. +
  78704. +ifeq ($(DOXYGEN),)
  78705. +DOXYGEN := doxygen
  78706. +endif
  78707. +
  78708. +default:
  78709. + $(MAKE) -C$(KDIR) M=$(PWD) ARCH=$(ARCH) CROSS_COMPILE=$(CROSS_COMPILE) modules
  78710. +
  78711. +docs: $(wildcard *.[hc]) doc/doxygen.cfg
  78712. + $(DOXYGEN) doc/doxygen.cfg
  78713. +
  78714. +tags: $(wildcard *.[hc])
  78715. + $(CTAGS) -e $(wildcard *.[hc]) $(wildcard linux/*.[hc]) $(wildcard $(KDIR)/include/linux/usb*.h)
  78716. +
  78717. +endif
  78718. +
  78719. +clean:
  78720. + rm -rf *.o *.ko .*.cmd *.mod.c .*.o.d .*.o.tmp modules.order Module.markers Module.symvers .tmp_versions/
  78721. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_common_port/usb.h linux-rpi/drivers/usb/host/dwc_common_port/usb.h
  78722. --- linux-4.1.13.orig/drivers/usb/host/dwc_common_port/usb.h 1970-01-01 01:00:00.000000000 +0100
  78723. +++ linux-rpi/drivers/usb/host/dwc_common_port/usb.h 2015-11-29 09:42:39.915098960 +0100
  78724. @@ -0,0 +1,946 @@
  78725. +/*
  78726. + * Copyright (c) 1998 The NetBSD Foundation, Inc.
  78727. + * All rights reserved.
  78728. + *
  78729. + * This code is derived from software contributed to The NetBSD Foundation
  78730. + * by Lennart Augustsson (lennart@augustsson.net) at
  78731. + * Carlstedt Research & Technology.
  78732. + *
  78733. + * Redistribution and use in source and binary forms, with or without
  78734. + * modification, are permitted provided that the following conditions
  78735. + * are met:
  78736. + * 1. Redistributions of source code must retain the above copyright
  78737. + * notice, this list of conditions and the following disclaimer.
  78738. + * 2. Redistributions in binary form must reproduce the above copyright
  78739. + * notice, this list of conditions and the following disclaimer in the
  78740. + * documentation and/or other materials provided with the distribution.
  78741. + * 3. All advertising materials mentioning features or use of this software
  78742. + * must display the following acknowledgement:
  78743. + * This product includes software developed by the NetBSD
  78744. + * Foundation, Inc. and its contributors.
  78745. + * 4. Neither the name of The NetBSD Foundation nor the names of its
  78746. + * contributors may be used to endorse or promote products derived
  78747. + * from this software without specific prior written permission.
  78748. + *
  78749. + * THIS SOFTWARE IS PROVIDED BY THE NETBSD FOUNDATION, INC. AND CONTRIBUTORS
  78750. + * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  78751. + * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  78752. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE FOUNDATION OR CONTRIBUTORS
  78753. + * BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  78754. + * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  78755. + * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  78756. + * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  78757. + * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  78758. + * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  78759. + * POSSIBILITY OF SUCH DAMAGE.
  78760. + */
  78761. +
  78762. +/* Modified by Synopsys, Inc, 12/12/2007 */
  78763. +
  78764. +
  78765. +#ifndef _USB_H_
  78766. +#define _USB_H_
  78767. +
  78768. +#ifdef __cplusplus
  78769. +extern "C" {
  78770. +#endif
  78771. +
  78772. +/*
  78773. + * The USB records contain some unaligned little-endian word
  78774. + * components. The U[SG]ETW macros take care of both the alignment
  78775. + * and endian problem and should always be used to access non-byte
  78776. + * values.
  78777. + */
  78778. +typedef u_int8_t uByte;
  78779. +typedef u_int8_t uWord[2];
  78780. +typedef u_int8_t uDWord[4];
  78781. +
  78782. +#define USETW2(w,h,l) ((w)[0] = (u_int8_t)(l), (w)[1] = (u_int8_t)(h))
  78783. +#define UCONSTW(x) { (x) & 0xff, ((x) >> 8) & 0xff }
  78784. +#define UCONSTDW(x) { (x) & 0xff, ((x) >> 8) & 0xff, \
  78785. + ((x) >> 16) & 0xff, ((x) >> 24) & 0xff }
  78786. +
  78787. +#if 1
  78788. +#define UGETW(w) ((w)[0] | ((w)[1] << 8))
  78789. +#define USETW(w,v) ((w)[0] = (u_int8_t)(v), (w)[1] = (u_int8_t)((v) >> 8))
  78790. +#define UGETDW(w) ((w)[0] | ((w)[1] << 8) | ((w)[2] << 16) | ((w)[3] << 24))
  78791. +#define USETDW(w,v) ((w)[0] = (u_int8_t)(v), \
  78792. + (w)[1] = (u_int8_t)((v) >> 8), \
  78793. + (w)[2] = (u_int8_t)((v) >> 16), \
  78794. + (w)[3] = (u_int8_t)((v) >> 24))
  78795. +#else
  78796. +/*
  78797. + * On little-endian machines that can handle unanliged accesses
  78798. + * (e.g. i386) these macros can be replaced by the following.
  78799. + */
  78800. +#define UGETW(w) (*(u_int16_t *)(w))
  78801. +#define USETW(w,v) (*(u_int16_t *)(w) = (v))
  78802. +#define UGETDW(w) (*(u_int32_t *)(w))
  78803. +#define USETDW(w,v) (*(u_int32_t *)(w) = (v))
  78804. +#endif
  78805. +
  78806. +/*
  78807. + * Macros for accessing UAS IU fields, which are big-endian
  78808. + */
  78809. +#define IUSETW2(w,h,l) ((w)[0] = (u_int8_t)(h), (w)[1] = (u_int8_t)(l))
  78810. +#define IUCONSTW(x) { ((x) >> 8) & 0xff, (x) & 0xff }
  78811. +#define IUCONSTDW(x) { ((x) >> 24) & 0xff, ((x) >> 16) & 0xff, \
  78812. + ((x) >> 8) & 0xff, (x) & 0xff }
  78813. +#define IUGETW(w) (((w)[0] << 8) | (w)[1])
  78814. +#define IUSETW(w,v) ((w)[0] = (u_int8_t)((v) >> 8), (w)[1] = (u_int8_t)(v))
  78815. +#define IUGETDW(w) (((w)[0] << 24) | ((w)[1] << 16) | ((w)[2] << 8) | (w)[3])
  78816. +#define IUSETDW(w,v) ((w)[0] = (u_int8_t)((v) >> 24), \
  78817. + (w)[1] = (u_int8_t)((v) >> 16), \
  78818. + (w)[2] = (u_int8_t)((v) >> 8), \
  78819. + (w)[3] = (u_int8_t)(v))
  78820. +
  78821. +#define UPACKED __attribute__((__packed__))
  78822. +
  78823. +typedef struct {
  78824. + uByte bmRequestType;
  78825. + uByte bRequest;
  78826. + uWord wValue;
  78827. + uWord wIndex;
  78828. + uWord wLength;
  78829. +} UPACKED usb_device_request_t;
  78830. +
  78831. +#define UT_GET_DIR(a) ((a) & 0x80)
  78832. +#define UT_WRITE 0x00
  78833. +#define UT_READ 0x80
  78834. +
  78835. +#define UT_GET_TYPE(a) ((a) & 0x60)
  78836. +#define UT_STANDARD 0x00
  78837. +#define UT_CLASS 0x20
  78838. +#define UT_VENDOR 0x40
  78839. +
  78840. +#define UT_GET_RECIPIENT(a) ((a) & 0x1f)
  78841. +#define UT_DEVICE 0x00
  78842. +#define UT_INTERFACE 0x01
  78843. +#define UT_ENDPOINT 0x02
  78844. +#define UT_OTHER 0x03
  78845. +
  78846. +#define UT_READ_DEVICE (UT_READ | UT_STANDARD | UT_DEVICE)
  78847. +#define UT_READ_INTERFACE (UT_READ | UT_STANDARD | UT_INTERFACE)
  78848. +#define UT_READ_ENDPOINT (UT_READ | UT_STANDARD | UT_ENDPOINT)
  78849. +#define UT_WRITE_DEVICE (UT_WRITE | UT_STANDARD | UT_DEVICE)
  78850. +#define UT_WRITE_INTERFACE (UT_WRITE | UT_STANDARD | UT_INTERFACE)
  78851. +#define UT_WRITE_ENDPOINT (UT_WRITE | UT_STANDARD | UT_ENDPOINT)
  78852. +#define UT_READ_CLASS_DEVICE (UT_READ | UT_CLASS | UT_DEVICE)
  78853. +#define UT_READ_CLASS_INTERFACE (UT_READ | UT_CLASS | UT_INTERFACE)
  78854. +#define UT_READ_CLASS_OTHER (UT_READ | UT_CLASS | UT_OTHER)
  78855. +#define UT_READ_CLASS_ENDPOINT (UT_READ | UT_CLASS | UT_ENDPOINT)
  78856. +#define UT_WRITE_CLASS_DEVICE (UT_WRITE | UT_CLASS | UT_DEVICE)
  78857. +#define UT_WRITE_CLASS_INTERFACE (UT_WRITE | UT_CLASS | UT_INTERFACE)
  78858. +#define UT_WRITE_CLASS_OTHER (UT_WRITE | UT_CLASS | UT_OTHER)
  78859. +#define UT_WRITE_CLASS_ENDPOINT (UT_WRITE | UT_CLASS | UT_ENDPOINT)
  78860. +#define UT_READ_VENDOR_DEVICE (UT_READ | UT_VENDOR | UT_DEVICE)
  78861. +#define UT_READ_VENDOR_INTERFACE (UT_READ | UT_VENDOR | UT_INTERFACE)
  78862. +#define UT_READ_VENDOR_OTHER (UT_READ | UT_VENDOR | UT_OTHER)
  78863. +#define UT_READ_VENDOR_ENDPOINT (UT_READ | UT_VENDOR | UT_ENDPOINT)
  78864. +#define UT_WRITE_VENDOR_DEVICE (UT_WRITE | UT_VENDOR | UT_DEVICE)
  78865. +#define UT_WRITE_VENDOR_INTERFACE (UT_WRITE | UT_VENDOR | UT_INTERFACE)
  78866. +#define UT_WRITE_VENDOR_OTHER (UT_WRITE | UT_VENDOR | UT_OTHER)
  78867. +#define UT_WRITE_VENDOR_ENDPOINT (UT_WRITE | UT_VENDOR | UT_ENDPOINT)
  78868. +
  78869. +/* Requests */
  78870. +#define UR_GET_STATUS 0x00
  78871. +#define USTAT_STANDARD_STATUS 0x00
  78872. +#define WUSTAT_WUSB_FEATURE 0x01
  78873. +#define WUSTAT_CHANNEL_INFO 0x02
  78874. +#define WUSTAT_RECEIVED_DATA 0x03
  78875. +#define WUSTAT_MAS_AVAILABILITY 0x04
  78876. +#define WUSTAT_CURRENT_TRANSMIT_POWER 0x05
  78877. +#define UR_CLEAR_FEATURE 0x01
  78878. +#define UR_SET_FEATURE 0x03
  78879. +#define UR_SET_AND_TEST_FEATURE 0x0c
  78880. +#define UR_SET_ADDRESS 0x05
  78881. +#define UR_GET_DESCRIPTOR 0x06
  78882. +#define UDESC_DEVICE 0x01
  78883. +#define UDESC_CONFIG 0x02
  78884. +#define UDESC_STRING 0x03
  78885. +#define UDESC_INTERFACE 0x04
  78886. +#define UDESC_ENDPOINT 0x05
  78887. +#define UDESC_SS_USB_COMPANION 0x30
  78888. +#define UDESC_DEVICE_QUALIFIER 0x06
  78889. +#define UDESC_OTHER_SPEED_CONFIGURATION 0x07
  78890. +#define UDESC_INTERFACE_POWER 0x08
  78891. +#define UDESC_OTG 0x09
  78892. +#define WUDESC_SECURITY 0x0c
  78893. +#define WUDESC_KEY 0x0d
  78894. +#define WUD_GET_KEY_INDEX(_wValue_) ((_wValue_) & 0xf)
  78895. +#define WUD_GET_KEY_TYPE(_wValue_) (((_wValue_) & 0x30) >> 4)
  78896. +#define WUD_KEY_TYPE_ASSOC 0x01
  78897. +#define WUD_KEY_TYPE_GTK 0x02
  78898. +#define WUD_GET_KEY_ORIGIN(_wValue_) (((_wValue_) & 0x40) >> 6)
  78899. +#define WUD_KEY_ORIGIN_HOST 0x00
  78900. +#define WUD_KEY_ORIGIN_DEVICE 0x01
  78901. +#define WUDESC_ENCRYPTION_TYPE 0x0e
  78902. +#define WUDESC_BOS 0x0f
  78903. +#define WUDESC_DEVICE_CAPABILITY 0x10
  78904. +#define WUDESC_WIRELESS_ENDPOINT_COMPANION 0x11
  78905. +#define UDESC_BOS 0x0f
  78906. +#define UDESC_DEVICE_CAPABILITY 0x10
  78907. +#define UDESC_CS_DEVICE 0x21 /* class specific */
  78908. +#define UDESC_CS_CONFIG 0x22
  78909. +#define UDESC_CS_STRING 0x23
  78910. +#define UDESC_CS_INTERFACE 0x24
  78911. +#define UDESC_CS_ENDPOINT 0x25
  78912. +#define UDESC_HUB 0x29
  78913. +#define UR_SET_DESCRIPTOR 0x07
  78914. +#define UR_GET_CONFIG 0x08
  78915. +#define UR_SET_CONFIG 0x09
  78916. +#define UR_GET_INTERFACE 0x0a
  78917. +#define UR_SET_INTERFACE 0x0b
  78918. +#define UR_SYNCH_FRAME 0x0c
  78919. +#define WUR_SET_ENCRYPTION 0x0d
  78920. +#define WUR_GET_ENCRYPTION 0x0e
  78921. +#define WUR_SET_HANDSHAKE 0x0f
  78922. +#define WUR_GET_HANDSHAKE 0x10
  78923. +#define WUR_SET_CONNECTION 0x11
  78924. +#define WUR_SET_SECURITY_DATA 0x12
  78925. +#define WUR_GET_SECURITY_DATA 0x13
  78926. +#define WUR_SET_WUSB_DATA 0x14
  78927. +#define WUDATA_DRPIE_INFO 0x01
  78928. +#define WUDATA_TRANSMIT_DATA 0x02
  78929. +#define WUDATA_TRANSMIT_PARAMS 0x03
  78930. +#define WUDATA_RECEIVE_PARAMS 0x04
  78931. +#define WUDATA_TRANSMIT_POWER 0x05
  78932. +#define WUR_LOOPBACK_DATA_WRITE 0x15
  78933. +#define WUR_LOOPBACK_DATA_READ 0x16
  78934. +#define WUR_SET_INTERFACE_DS 0x17
  78935. +
  78936. +/* Feature numbers */
  78937. +#define UF_ENDPOINT_HALT 0
  78938. +#define UF_DEVICE_REMOTE_WAKEUP 1
  78939. +#define UF_TEST_MODE 2
  78940. +#define UF_DEVICE_B_HNP_ENABLE 3
  78941. +#define UF_DEVICE_A_HNP_SUPPORT 4
  78942. +#define UF_DEVICE_A_ALT_HNP_SUPPORT 5
  78943. +#define WUF_WUSB 3
  78944. +#define WUF_TX_DRPIE 0x0
  78945. +#define WUF_DEV_XMIT_PACKET 0x1
  78946. +#define WUF_COUNT_PACKETS 0x2
  78947. +#define WUF_CAPTURE_PACKETS 0x3
  78948. +#define UF_FUNCTION_SUSPEND 0
  78949. +#define UF_U1_ENABLE 48
  78950. +#define UF_U2_ENABLE 49
  78951. +#define UF_LTM_ENABLE 50
  78952. +
  78953. +/* Class requests from the USB 2.0 hub spec, table 11-15 */
  78954. +#define UCR_CLEAR_HUB_FEATURE (0x2000 | UR_CLEAR_FEATURE)
  78955. +#define UCR_CLEAR_PORT_FEATURE (0x2300 | UR_CLEAR_FEATURE)
  78956. +#define UCR_GET_HUB_DESCRIPTOR (0xa000 | UR_GET_DESCRIPTOR)
  78957. +#define UCR_GET_HUB_STATUS (0xa000 | UR_GET_STATUS)
  78958. +#define UCR_GET_PORT_STATUS (0xa300 | UR_GET_STATUS)
  78959. +#define UCR_SET_HUB_FEATURE (0x2000 | UR_SET_FEATURE)
  78960. +#define UCR_SET_PORT_FEATURE (0x2300 | UR_SET_FEATURE)
  78961. +#define UCR_SET_AND_TEST_PORT_FEATURE (0xa300 | UR_SET_AND_TEST_FEATURE)
  78962. +
  78963. +#ifdef _MSC_VER
  78964. +#include <pshpack1.h>
  78965. +#endif
  78966. +
  78967. +typedef struct {
  78968. + uByte bLength;
  78969. + uByte bDescriptorType;
  78970. + uByte bDescriptorSubtype;
  78971. +} UPACKED usb_descriptor_t;
  78972. +
  78973. +typedef struct {
  78974. + uByte bLength;
  78975. + uByte bDescriptorType;
  78976. +} UPACKED usb_descriptor_header_t;
  78977. +
  78978. +typedef struct {
  78979. + uByte bLength;
  78980. + uByte bDescriptorType;
  78981. + uWord bcdUSB;
  78982. +#define UD_USB_2_0 0x0200
  78983. +#define UD_IS_USB2(d) (UGETW((d)->bcdUSB) >= UD_USB_2_0)
  78984. + uByte bDeviceClass;
  78985. + uByte bDeviceSubClass;
  78986. + uByte bDeviceProtocol;
  78987. + uByte bMaxPacketSize;
  78988. + /* The fields below are not part of the initial descriptor. */
  78989. + uWord idVendor;
  78990. + uWord idProduct;
  78991. + uWord bcdDevice;
  78992. + uByte iManufacturer;
  78993. + uByte iProduct;
  78994. + uByte iSerialNumber;
  78995. + uByte bNumConfigurations;
  78996. +} UPACKED usb_device_descriptor_t;
  78997. +#define USB_DEVICE_DESCRIPTOR_SIZE 18
  78998. +
  78999. +typedef struct {
  79000. + uByte bLength;
  79001. + uByte bDescriptorType;
  79002. + uWord wTotalLength;
  79003. + uByte bNumInterface;
  79004. + uByte bConfigurationValue;
  79005. + uByte iConfiguration;
  79006. +#define UC_ATT_ONE (1 << 7) /* must be set */
  79007. +#define UC_ATT_SELFPOWER (1 << 6) /* self powered */
  79008. +#define UC_ATT_WAKEUP (1 << 5) /* can wakeup */
  79009. +#define UC_ATT_BATTERY (1 << 4) /* battery powered */
  79010. + uByte bmAttributes;
  79011. +#define UC_BUS_POWERED 0x80
  79012. +#define UC_SELF_POWERED 0x40
  79013. +#define UC_REMOTE_WAKEUP 0x20
  79014. + uByte bMaxPower; /* max current in 2 mA units */
  79015. +#define UC_POWER_FACTOR 2
  79016. +} UPACKED usb_config_descriptor_t;
  79017. +#define USB_CONFIG_DESCRIPTOR_SIZE 9
  79018. +
  79019. +typedef struct {
  79020. + uByte bLength;
  79021. + uByte bDescriptorType;
  79022. + uByte bInterfaceNumber;
  79023. + uByte bAlternateSetting;
  79024. + uByte bNumEndpoints;
  79025. + uByte bInterfaceClass;
  79026. + uByte bInterfaceSubClass;
  79027. + uByte bInterfaceProtocol;
  79028. + uByte iInterface;
  79029. +} UPACKED usb_interface_descriptor_t;
  79030. +#define USB_INTERFACE_DESCRIPTOR_SIZE 9
  79031. +
  79032. +typedef struct {
  79033. + uByte bLength;
  79034. + uByte bDescriptorType;
  79035. + uByte bEndpointAddress;
  79036. +#define UE_GET_DIR(a) ((a) & 0x80)
  79037. +#define UE_SET_DIR(a,d) ((a) | (((d)&1) << 7))
  79038. +#define UE_DIR_IN 0x80
  79039. +#define UE_DIR_OUT 0x00
  79040. +#define UE_ADDR 0x0f
  79041. +#define UE_GET_ADDR(a) ((a) & UE_ADDR)
  79042. + uByte bmAttributes;
  79043. +#define UE_XFERTYPE 0x03
  79044. +#define UE_CONTROL 0x00
  79045. +#define UE_ISOCHRONOUS 0x01
  79046. +#define UE_BULK 0x02
  79047. +#define UE_INTERRUPT 0x03
  79048. +#define UE_GET_XFERTYPE(a) ((a) & UE_XFERTYPE)
  79049. +#define UE_ISO_TYPE 0x0c
  79050. +#define UE_ISO_ASYNC 0x04
  79051. +#define UE_ISO_ADAPT 0x08
  79052. +#define UE_ISO_SYNC 0x0c
  79053. +#define UE_GET_ISO_TYPE(a) ((a) & UE_ISO_TYPE)
  79054. + uWord wMaxPacketSize;
  79055. + uByte bInterval;
  79056. +} UPACKED usb_endpoint_descriptor_t;
  79057. +#define USB_ENDPOINT_DESCRIPTOR_SIZE 7
  79058. +
  79059. +typedef struct ss_endpoint_companion_descriptor {
  79060. + uByte bLength;
  79061. + uByte bDescriptorType;
  79062. + uByte bMaxBurst;
  79063. +#define USSE_GET_MAX_STREAMS(a) ((a) & 0x1f)
  79064. +#define USSE_SET_MAX_STREAMS(a, b) ((a) | ((b) & 0x1f))
  79065. +#define USSE_GET_MAX_PACKET_NUM(a) ((a) & 0x03)
  79066. +#define USSE_SET_MAX_PACKET_NUM(a, b) ((a) | ((b) & 0x03))
  79067. + uByte bmAttributes;
  79068. + uWord wBytesPerInterval;
  79069. +} UPACKED ss_endpoint_companion_descriptor_t;
  79070. +#define USB_SS_ENDPOINT_COMPANION_DESCRIPTOR_SIZE 6
  79071. +
  79072. +typedef struct {
  79073. + uByte bLength;
  79074. + uByte bDescriptorType;
  79075. + uWord bString[127];
  79076. +} UPACKED usb_string_descriptor_t;
  79077. +#define USB_MAX_STRING_LEN 128
  79078. +#define USB_LANGUAGE_TABLE 0 /* # of the string language id table */
  79079. +
  79080. +/* Hub specific request */
  79081. +#define UR_GET_BUS_STATE 0x02
  79082. +#define UR_CLEAR_TT_BUFFER 0x08
  79083. +#define UR_RESET_TT 0x09
  79084. +#define UR_GET_TT_STATE 0x0a
  79085. +#define UR_STOP_TT 0x0b
  79086. +
  79087. +/* Hub features */
  79088. +#define UHF_C_HUB_LOCAL_POWER 0
  79089. +#define UHF_C_HUB_OVER_CURRENT 1
  79090. +#define UHF_PORT_CONNECTION 0
  79091. +#define UHF_PORT_ENABLE 1
  79092. +#define UHF_PORT_SUSPEND 2
  79093. +#define UHF_PORT_OVER_CURRENT 3
  79094. +#define UHF_PORT_RESET 4
  79095. +#define UHF_PORT_L1 5
  79096. +#define UHF_PORT_POWER 8
  79097. +#define UHF_PORT_LOW_SPEED 9
  79098. +#define UHF_PORT_HIGH_SPEED 10
  79099. +#define UHF_C_PORT_CONNECTION 16
  79100. +#define UHF_C_PORT_ENABLE 17
  79101. +#define UHF_C_PORT_SUSPEND 18
  79102. +#define UHF_C_PORT_OVER_CURRENT 19
  79103. +#define UHF_C_PORT_RESET 20
  79104. +#define UHF_C_PORT_L1 23
  79105. +#define UHF_PORT_TEST 21
  79106. +#define UHF_PORT_INDICATOR 22
  79107. +
  79108. +typedef struct {
  79109. + uByte bDescLength;
  79110. + uByte bDescriptorType;
  79111. + uByte bNbrPorts;
  79112. + uWord wHubCharacteristics;
  79113. +#define UHD_PWR 0x0003
  79114. +#define UHD_PWR_GANGED 0x0000
  79115. +#define UHD_PWR_INDIVIDUAL 0x0001
  79116. +#define UHD_PWR_NO_SWITCH 0x0002
  79117. +#define UHD_COMPOUND 0x0004
  79118. +#define UHD_OC 0x0018
  79119. +#define UHD_OC_GLOBAL 0x0000
  79120. +#define UHD_OC_INDIVIDUAL 0x0008
  79121. +#define UHD_OC_NONE 0x0010
  79122. +#define UHD_TT_THINK 0x0060
  79123. +#define UHD_TT_THINK_8 0x0000
  79124. +#define UHD_TT_THINK_16 0x0020
  79125. +#define UHD_TT_THINK_24 0x0040
  79126. +#define UHD_TT_THINK_32 0x0060
  79127. +#define UHD_PORT_IND 0x0080
  79128. + uByte bPwrOn2PwrGood; /* delay in 2 ms units */
  79129. +#define UHD_PWRON_FACTOR 2
  79130. + uByte bHubContrCurrent;
  79131. + uByte DeviceRemovable[32]; /* max 255 ports */
  79132. +#define UHD_NOT_REMOV(desc, i) \
  79133. + (((desc)->DeviceRemovable[(i)/8] >> ((i) % 8)) & 1)
  79134. + /* deprecated */ uByte PortPowerCtrlMask[1];
  79135. +} UPACKED usb_hub_descriptor_t;
  79136. +#define USB_HUB_DESCRIPTOR_SIZE 9 /* includes deprecated PortPowerCtrlMask */
  79137. +
  79138. +typedef struct {
  79139. + uByte bLength;
  79140. + uByte bDescriptorType;
  79141. + uWord bcdUSB;
  79142. + uByte bDeviceClass;
  79143. + uByte bDeviceSubClass;
  79144. + uByte bDeviceProtocol;
  79145. + uByte bMaxPacketSize0;
  79146. + uByte bNumConfigurations;
  79147. + uByte bReserved;
  79148. +} UPACKED usb_device_qualifier_t;
  79149. +#define USB_DEVICE_QUALIFIER_SIZE 10
  79150. +
  79151. +typedef struct {
  79152. + uByte bLength;
  79153. + uByte bDescriptorType;
  79154. + uByte bmAttributes;
  79155. +#define UOTG_SRP 0x01
  79156. +#define UOTG_HNP 0x02
  79157. +} UPACKED usb_otg_descriptor_t;
  79158. +
  79159. +/* OTG feature selectors */
  79160. +#define UOTG_B_HNP_ENABLE 3
  79161. +#define UOTG_A_HNP_SUPPORT 4
  79162. +#define UOTG_A_ALT_HNP_SUPPORT 5
  79163. +
  79164. +typedef struct {
  79165. + uWord wStatus;
  79166. +/* Device status flags */
  79167. +#define UDS_SELF_POWERED 0x0001
  79168. +#define UDS_REMOTE_WAKEUP 0x0002
  79169. +/* Endpoint status flags */
  79170. +#define UES_HALT 0x0001
  79171. +} UPACKED usb_status_t;
  79172. +
  79173. +typedef struct {
  79174. + uWord wHubStatus;
  79175. +#define UHS_LOCAL_POWER 0x0001
  79176. +#define UHS_OVER_CURRENT 0x0002
  79177. + uWord wHubChange;
  79178. +} UPACKED usb_hub_status_t;
  79179. +
  79180. +typedef struct {
  79181. + uWord wPortStatus;
  79182. +#define UPS_CURRENT_CONNECT_STATUS 0x0001
  79183. +#define UPS_PORT_ENABLED 0x0002
  79184. +#define UPS_SUSPEND 0x0004
  79185. +#define UPS_OVERCURRENT_INDICATOR 0x0008
  79186. +#define UPS_RESET 0x0010
  79187. +#define UPS_PORT_POWER 0x0100
  79188. +#define UPS_LOW_SPEED 0x0200
  79189. +#define UPS_HIGH_SPEED 0x0400
  79190. +#define UPS_PORT_TEST 0x0800
  79191. +#define UPS_PORT_INDICATOR 0x1000
  79192. + uWord wPortChange;
  79193. +#define UPS_C_CONNECT_STATUS 0x0001
  79194. +#define UPS_C_PORT_ENABLED 0x0002
  79195. +#define UPS_C_SUSPEND 0x0004
  79196. +#define UPS_C_OVERCURRENT_INDICATOR 0x0008
  79197. +#define UPS_C_PORT_RESET 0x0010
  79198. +} UPACKED usb_port_status_t;
  79199. +
  79200. +#ifdef _MSC_VER
  79201. +#include <poppack.h>
  79202. +#endif
  79203. +
  79204. +/* Device class codes */
  79205. +#define UDCLASS_IN_INTERFACE 0x00
  79206. +#define UDCLASS_COMM 0x02
  79207. +#define UDCLASS_HUB 0x09
  79208. +#define UDSUBCLASS_HUB 0x00
  79209. +#define UDPROTO_FSHUB 0x00
  79210. +#define UDPROTO_HSHUBSTT 0x01
  79211. +#define UDPROTO_HSHUBMTT 0x02
  79212. +#define UDCLASS_DIAGNOSTIC 0xdc
  79213. +#define UDCLASS_WIRELESS 0xe0
  79214. +#define UDSUBCLASS_RF 0x01
  79215. +#define UDPROTO_BLUETOOTH 0x01
  79216. +#define UDCLASS_VENDOR 0xff
  79217. +
  79218. +/* Interface class codes */
  79219. +#define UICLASS_UNSPEC 0x00
  79220. +
  79221. +#define UICLASS_AUDIO 0x01
  79222. +#define UISUBCLASS_AUDIOCONTROL 1
  79223. +#define UISUBCLASS_AUDIOSTREAM 2
  79224. +#define UISUBCLASS_MIDISTREAM 3
  79225. +
  79226. +#define UICLASS_CDC 0x02 /* communication */
  79227. +#define UISUBCLASS_DIRECT_LINE_CONTROL_MODEL 1
  79228. +#define UISUBCLASS_ABSTRACT_CONTROL_MODEL 2
  79229. +#define UISUBCLASS_TELEPHONE_CONTROL_MODEL 3
  79230. +#define UISUBCLASS_MULTICHANNEL_CONTROL_MODEL 4
  79231. +#define UISUBCLASS_CAPI_CONTROLMODEL 5
  79232. +#define UISUBCLASS_ETHERNET_NETWORKING_CONTROL_MODEL 6
  79233. +#define UISUBCLASS_ATM_NETWORKING_CONTROL_MODEL 7
  79234. +#define UIPROTO_CDC_AT 1
  79235. +
  79236. +#define UICLASS_HID 0x03
  79237. +#define UISUBCLASS_BOOT 1
  79238. +#define UIPROTO_BOOT_KEYBOARD 1
  79239. +
  79240. +#define UICLASS_PHYSICAL 0x05
  79241. +
  79242. +#define UICLASS_IMAGE 0x06
  79243. +
  79244. +#define UICLASS_PRINTER 0x07
  79245. +#define UISUBCLASS_PRINTER 1
  79246. +#define UIPROTO_PRINTER_UNI 1
  79247. +#define UIPROTO_PRINTER_BI 2
  79248. +#define UIPROTO_PRINTER_1284 3
  79249. +
  79250. +#define UICLASS_MASS 0x08
  79251. +#define UISUBCLASS_RBC 1
  79252. +#define UISUBCLASS_SFF8020I 2
  79253. +#define UISUBCLASS_QIC157 3
  79254. +#define UISUBCLASS_UFI 4
  79255. +#define UISUBCLASS_SFF8070I 5
  79256. +#define UISUBCLASS_SCSI 6
  79257. +#define UIPROTO_MASS_CBI_I 0
  79258. +#define UIPROTO_MASS_CBI 1
  79259. +#define UIPROTO_MASS_BBB_OLD 2 /* Not in the spec anymore */
  79260. +#define UIPROTO_MASS_BBB 80 /* 'P' for the Iomega Zip drive */
  79261. +
  79262. +#define UICLASS_HUB 0x09
  79263. +#define UISUBCLASS_HUB 0
  79264. +#define UIPROTO_FSHUB 0
  79265. +#define UIPROTO_HSHUBSTT 0 /* Yes, same as previous */
  79266. +#define UIPROTO_HSHUBMTT 1
  79267. +
  79268. +#define UICLASS_CDC_DATA 0x0a
  79269. +#define UISUBCLASS_DATA 0
  79270. +#define UIPROTO_DATA_ISDNBRI 0x30 /* Physical iface */
  79271. +#define UIPROTO_DATA_HDLC 0x31 /* HDLC */
  79272. +#define UIPROTO_DATA_TRANSPARENT 0x32 /* Transparent */
  79273. +#define UIPROTO_DATA_Q921M 0x50 /* Management for Q921 */
  79274. +#define UIPROTO_DATA_Q921 0x51 /* Data for Q921 */
  79275. +#define UIPROTO_DATA_Q921TM 0x52 /* TEI multiplexer for Q921 */
  79276. +#define UIPROTO_DATA_V42BIS 0x90 /* Data compression */
  79277. +#define UIPROTO_DATA_Q931 0x91 /* Euro-ISDN */
  79278. +#define UIPROTO_DATA_V120 0x92 /* V.24 rate adaption */
  79279. +#define UIPROTO_DATA_CAPI 0x93 /* CAPI 2.0 commands */
  79280. +#define UIPROTO_DATA_HOST_BASED 0xfd /* Host based driver */
  79281. +#define UIPROTO_DATA_PUF 0xfe /* see Prot. Unit Func. Desc.*/
  79282. +#define UIPROTO_DATA_VENDOR 0xff /* Vendor specific */
  79283. +
  79284. +#define UICLASS_SMARTCARD 0x0b
  79285. +
  79286. +/*#define UICLASS_FIRM_UPD 0x0c*/
  79287. +
  79288. +#define UICLASS_SECURITY 0x0d
  79289. +
  79290. +#define UICLASS_DIAGNOSTIC 0xdc
  79291. +
  79292. +#define UICLASS_WIRELESS 0xe0
  79293. +#define UISUBCLASS_RF 0x01
  79294. +#define UIPROTO_BLUETOOTH 0x01
  79295. +
  79296. +#define UICLASS_APPL_SPEC 0xfe
  79297. +#define UISUBCLASS_FIRMWARE_DOWNLOAD 1
  79298. +#define UISUBCLASS_IRDA 2
  79299. +#define UIPROTO_IRDA 0
  79300. +
  79301. +#define UICLASS_VENDOR 0xff
  79302. +
  79303. +#define USB_HUB_MAX_DEPTH 5
  79304. +
  79305. +/*
  79306. + * Minimum time a device needs to be powered down to go through
  79307. + * a power cycle. XXX Are these time in the spec?
  79308. + */
  79309. +#define USB_POWER_DOWN_TIME 200 /* ms */
  79310. +#define USB_PORT_POWER_DOWN_TIME 100 /* ms */
  79311. +
  79312. +#if 0
  79313. +/* These are the values from the spec. */
  79314. +#define USB_PORT_RESET_DELAY 10 /* ms */
  79315. +#define USB_PORT_ROOT_RESET_DELAY 50 /* ms */
  79316. +#define USB_PORT_RESET_RECOVERY 10 /* ms */
  79317. +#define USB_PORT_POWERUP_DELAY 100 /* ms */
  79318. +#define USB_SET_ADDRESS_SETTLE 2 /* ms */
  79319. +#define USB_RESUME_DELAY (20*5) /* ms */
  79320. +#define USB_RESUME_WAIT 10 /* ms */
  79321. +#define USB_RESUME_RECOVERY 10 /* ms */
  79322. +#define USB_EXTRA_POWER_UP_TIME 0 /* ms */
  79323. +#else
  79324. +/* Allow for marginal (i.e. non-conforming) devices. */
  79325. +#define USB_PORT_RESET_DELAY 50 /* ms */
  79326. +#define USB_PORT_ROOT_RESET_DELAY 250 /* ms */
  79327. +#define USB_PORT_RESET_RECOVERY 250 /* ms */
  79328. +#define USB_PORT_POWERUP_DELAY 300 /* ms */
  79329. +#define USB_SET_ADDRESS_SETTLE 10 /* ms */
  79330. +#define USB_RESUME_DELAY (50*5) /* ms */
  79331. +#define USB_RESUME_WAIT 50 /* ms */
  79332. +#define USB_RESUME_RECOVERY 50 /* ms */
  79333. +#define USB_EXTRA_POWER_UP_TIME 20 /* ms */
  79334. +#endif
  79335. +
  79336. +#define USB_MIN_POWER 100 /* mA */
  79337. +#define USB_MAX_POWER 500 /* mA */
  79338. +
  79339. +#define USB_BUS_RESET_DELAY 100 /* ms XXX?*/
  79340. +
  79341. +#define USB_UNCONFIG_NO 0
  79342. +#define USB_UNCONFIG_INDEX (-1)
  79343. +
  79344. +/*** ioctl() related stuff ***/
  79345. +
  79346. +struct usb_ctl_request {
  79347. + int ucr_addr;
  79348. + usb_device_request_t ucr_request;
  79349. + void *ucr_data;
  79350. + int ucr_flags;
  79351. +#define USBD_SHORT_XFER_OK 0x04 /* allow short reads */
  79352. + int ucr_actlen; /* actual length transferred */
  79353. +};
  79354. +
  79355. +struct usb_alt_interface {
  79356. + int uai_config_index;
  79357. + int uai_interface_index;
  79358. + int uai_alt_no;
  79359. +};
  79360. +
  79361. +#define USB_CURRENT_CONFIG_INDEX (-1)
  79362. +#define USB_CURRENT_ALT_INDEX (-1)
  79363. +
  79364. +struct usb_config_desc {
  79365. + int ucd_config_index;
  79366. + usb_config_descriptor_t ucd_desc;
  79367. +};
  79368. +
  79369. +struct usb_interface_desc {
  79370. + int uid_config_index;
  79371. + int uid_interface_index;
  79372. + int uid_alt_index;
  79373. + usb_interface_descriptor_t uid_desc;
  79374. +};
  79375. +
  79376. +struct usb_endpoint_desc {
  79377. + int ued_config_index;
  79378. + int ued_interface_index;
  79379. + int ued_alt_index;
  79380. + int ued_endpoint_index;
  79381. + usb_endpoint_descriptor_t ued_desc;
  79382. +};
  79383. +
  79384. +struct usb_full_desc {
  79385. + int ufd_config_index;
  79386. + u_int ufd_size;
  79387. + u_char *ufd_data;
  79388. +};
  79389. +
  79390. +struct usb_string_desc {
  79391. + int usd_string_index;
  79392. + int usd_language_id;
  79393. + usb_string_descriptor_t usd_desc;
  79394. +};
  79395. +
  79396. +struct usb_ctl_report_desc {
  79397. + int ucrd_size;
  79398. + u_char ucrd_data[1024]; /* filled data size will vary */
  79399. +};
  79400. +
  79401. +typedef struct { u_int32_t cookie; } usb_event_cookie_t;
  79402. +
  79403. +#define USB_MAX_DEVNAMES 4
  79404. +#define USB_MAX_DEVNAMELEN 16
  79405. +struct usb_device_info {
  79406. + u_int8_t udi_bus;
  79407. + u_int8_t udi_addr; /* device address */
  79408. + usb_event_cookie_t udi_cookie;
  79409. + char udi_product[USB_MAX_STRING_LEN];
  79410. + char udi_vendor[USB_MAX_STRING_LEN];
  79411. + char udi_release[8];
  79412. + u_int16_t udi_productNo;
  79413. + u_int16_t udi_vendorNo;
  79414. + u_int16_t udi_releaseNo;
  79415. + u_int8_t udi_class;
  79416. + u_int8_t udi_subclass;
  79417. + u_int8_t udi_protocol;
  79418. + u_int8_t udi_config;
  79419. + u_int8_t udi_speed;
  79420. +#define USB_SPEED_UNKNOWN 0
  79421. +#define USB_SPEED_LOW 1
  79422. +#define USB_SPEED_FULL 2
  79423. +#define USB_SPEED_HIGH 3
  79424. +#define USB_SPEED_VARIABLE 4
  79425. +#define USB_SPEED_SUPER 5
  79426. + int udi_power; /* power consumption in mA, 0 if selfpowered */
  79427. + int udi_nports;
  79428. + char udi_devnames[USB_MAX_DEVNAMES][USB_MAX_DEVNAMELEN];
  79429. + u_int8_t udi_ports[16];/* hub only: addresses of devices on ports */
  79430. +#define USB_PORT_ENABLED 0xff
  79431. +#define USB_PORT_SUSPENDED 0xfe
  79432. +#define USB_PORT_POWERED 0xfd
  79433. +#define USB_PORT_DISABLED 0xfc
  79434. +};
  79435. +
  79436. +struct usb_ctl_report {
  79437. + int ucr_report;
  79438. + u_char ucr_data[1024]; /* filled data size will vary */
  79439. +};
  79440. +
  79441. +struct usb_device_stats {
  79442. + u_long uds_requests[4]; /* indexed by transfer type UE_* */
  79443. +};
  79444. +
  79445. +#define WUSB_MIN_IE 0x80
  79446. +#define WUSB_WCTA_IE 0x80
  79447. +#define WUSB_WCONNECTACK_IE 0x81
  79448. +#define WUSB_WHOSTINFO_IE 0x82
  79449. +#define WUHI_GET_CA(_bmAttributes_) ((_bmAttributes_) & 0x3)
  79450. +#define WUHI_CA_RECONN 0x00
  79451. +#define WUHI_CA_LIMITED 0x01
  79452. +#define WUHI_CA_ALL 0x03
  79453. +#define WUHI_GET_MLSI(_bmAttributes_) (((_bmAttributes_) & 0x38) >> 3)
  79454. +#define WUSB_WCHCHANGEANNOUNCE_IE 0x83
  79455. +#define WUSB_WDEV_DISCONNECT_IE 0x84
  79456. +#define WUSB_WHOST_DISCONNECT_IE 0x85
  79457. +#define WUSB_WRELEASE_CHANNEL_IE 0x86
  79458. +#define WUSB_WWORK_IE 0x87
  79459. +#define WUSB_WCHANNEL_STOP_IE 0x88
  79460. +#define WUSB_WDEV_KEEPALIVE_IE 0x89
  79461. +#define WUSB_WISOCH_DISCARD_IE 0x8A
  79462. +#define WUSB_WRESETDEVICE_IE 0x8B
  79463. +#define WUSB_WXMIT_PACKET_ADJUST_IE 0x8C
  79464. +#define WUSB_MAX_IE 0x8C
  79465. +
  79466. +/* Device Notification Types */
  79467. +
  79468. +#define WUSB_DN_MIN 0x01
  79469. +#define WUSB_DN_CONNECT 0x01
  79470. +# define WUSB_DA_OLDCONN 0x00
  79471. +# define WUSB_DA_NEWCONN 0x01
  79472. +# define WUSB_DA_SELF_BEACON 0x02
  79473. +# define WUSB_DA_DIR_BEACON 0x04
  79474. +# define WUSB_DA_NO_BEACON 0x06
  79475. +#define WUSB_DN_DISCONNECT 0x02
  79476. +#define WUSB_DN_EPRDY 0x03
  79477. +#define WUSB_DN_MASAVAILCHANGED 0x04
  79478. +#define WUSB_DN_REMOTEWAKEUP 0x05
  79479. +#define WUSB_DN_SLEEP 0x06
  79480. +#define WUSB_DN_ALIVE 0x07
  79481. +#define WUSB_DN_MAX 0x07
  79482. +
  79483. +#ifdef _MSC_VER
  79484. +#include <pshpack1.h>
  79485. +#endif
  79486. +
  79487. +/* WUSB Handshake Data. Used during the SET/GET HANDSHAKE requests */
  79488. +typedef struct wusb_hndshk_data {
  79489. + uByte bMessageNumber;
  79490. + uByte bStatus;
  79491. + uByte tTKID[3];
  79492. + uByte bReserved;
  79493. + uByte CDID[16];
  79494. + uByte Nonce[16];
  79495. + uByte MIC[8];
  79496. +} UPACKED wusb_hndshk_data_t;
  79497. +#define WUSB_HANDSHAKE_LEN_FOR_MIC 38
  79498. +
  79499. +/* WUSB Connection Context */
  79500. +typedef struct wusb_conn_context {
  79501. + uByte CHID [16];
  79502. + uByte CDID [16];
  79503. + uByte CK [16];
  79504. +} UPACKED wusb_conn_context_t;
  79505. +
  79506. +/* WUSB Security Descriptor */
  79507. +typedef struct wusb_security_desc {
  79508. + uByte bLength;
  79509. + uByte bDescriptorType;
  79510. + uWord wTotalLength;
  79511. + uByte bNumEncryptionTypes;
  79512. +} UPACKED wusb_security_desc_t;
  79513. +
  79514. +/* WUSB Encryption Type Descriptor */
  79515. +typedef struct wusb_encrypt_type_desc {
  79516. + uByte bLength;
  79517. + uByte bDescriptorType;
  79518. +
  79519. + uByte bEncryptionType;
  79520. +#define WUETD_UNSECURE 0
  79521. +#define WUETD_WIRED 1
  79522. +#define WUETD_CCM_1 2
  79523. +#define WUETD_RSA_1 3
  79524. +
  79525. + uByte bEncryptionValue;
  79526. + uByte bAuthKeyIndex;
  79527. +} UPACKED wusb_encrypt_type_desc_t;
  79528. +
  79529. +/* WUSB Key Descriptor */
  79530. +typedef struct wusb_key_desc {
  79531. + uByte bLength;
  79532. + uByte bDescriptorType;
  79533. + uByte tTKID[3];
  79534. + uByte bReserved;
  79535. + uByte KeyData[1]; /* variable length */
  79536. +} UPACKED wusb_key_desc_t;
  79537. +
  79538. +/* WUSB BOS Descriptor (Binary device Object Store) */
  79539. +typedef struct wusb_bos_desc {
  79540. + uByte bLength;
  79541. + uByte bDescriptorType;
  79542. + uWord wTotalLength;
  79543. + uByte bNumDeviceCaps;
  79544. +} UPACKED wusb_bos_desc_t;
  79545. +
  79546. +#define USB_DEVICE_CAPABILITY_20_EXTENSION 0x02
  79547. +typedef struct usb_dev_cap_20_ext_desc {
  79548. + uByte bLength;
  79549. + uByte bDescriptorType;
  79550. + uByte bDevCapabilityType;
  79551. +#define USB_20_EXT_LPM 0x02
  79552. + uDWord bmAttributes;
  79553. +} UPACKED usb_dev_cap_20_ext_desc_t;
  79554. +
  79555. +#define USB_DEVICE_CAPABILITY_SS_USB 0x03
  79556. +typedef struct usb_dev_cap_ss_usb {
  79557. + uByte bLength;
  79558. + uByte bDescriptorType;
  79559. + uByte bDevCapabilityType;
  79560. +#define USB_DC_SS_USB_LTM_CAPABLE 0x02
  79561. + uByte bmAttributes;
  79562. +#define USB_DC_SS_USB_SPEED_SUPPORT_LOW 0x01
  79563. +#define USB_DC_SS_USB_SPEED_SUPPORT_FULL 0x02
  79564. +#define USB_DC_SS_USB_SPEED_SUPPORT_HIGH 0x04
  79565. +#define USB_DC_SS_USB_SPEED_SUPPORT_SS 0x08
  79566. + uWord wSpeedsSupported;
  79567. + uByte bFunctionalitySupport;
  79568. + uByte bU1DevExitLat;
  79569. + uWord wU2DevExitLat;
  79570. +} UPACKED usb_dev_cap_ss_usb_t;
  79571. +
  79572. +#define USB_DEVICE_CAPABILITY_CONTAINER_ID 0x04
  79573. +typedef struct usb_dev_cap_container_id {
  79574. + uByte bLength;
  79575. + uByte bDescriptorType;
  79576. + uByte bDevCapabilityType;
  79577. + uByte bReserved;
  79578. + uByte containerID[16];
  79579. +} UPACKED usb_dev_cap_container_id_t;
  79580. +
  79581. +/* Device Capability Type Codes */
  79582. +#define WUSB_DEVICE_CAPABILITY_WIRELESS_USB 0x01
  79583. +
  79584. +/* Device Capability Descriptor */
  79585. +typedef struct wusb_dev_cap_desc {
  79586. + uByte bLength;
  79587. + uByte bDescriptorType;
  79588. + uByte bDevCapabilityType;
  79589. + uByte caps[1]; /* Variable length */
  79590. +} UPACKED wusb_dev_cap_desc_t;
  79591. +
  79592. +/* Device Capability Descriptor */
  79593. +typedef struct wusb_dev_cap_uwb_desc {
  79594. + uByte bLength;
  79595. + uByte bDescriptorType;
  79596. + uByte bDevCapabilityType;
  79597. + uByte bmAttributes;
  79598. + uWord wPHYRates; /* Bitmap */
  79599. + uByte bmTFITXPowerInfo;
  79600. + uByte bmFFITXPowerInfo;
  79601. + uWord bmBandGroup;
  79602. + uByte bReserved;
  79603. +} UPACKED wusb_dev_cap_uwb_desc_t;
  79604. +
  79605. +/* Wireless USB Endpoint Companion Descriptor */
  79606. +typedef struct wusb_endpoint_companion_desc {
  79607. + uByte bLength;
  79608. + uByte bDescriptorType;
  79609. + uByte bMaxBurst;
  79610. + uByte bMaxSequence;
  79611. + uWord wMaxStreamDelay;
  79612. + uWord wOverTheAirPacketSize;
  79613. + uByte bOverTheAirInterval;
  79614. + uByte bmCompAttributes;
  79615. +} UPACKED wusb_endpoint_companion_desc_t;
  79616. +
  79617. +/* Wireless USB Numeric Association M1 Data Structure */
  79618. +typedef struct wusb_m1_data {
  79619. + uByte version;
  79620. + uWord langId;
  79621. + uByte deviceFriendlyNameLength;
  79622. + uByte sha_256_m3[32];
  79623. + uByte deviceFriendlyName[256];
  79624. +} UPACKED wusb_m1_data_t;
  79625. +
  79626. +typedef struct wusb_m2_data {
  79627. + uByte version;
  79628. + uWord langId;
  79629. + uByte hostFriendlyNameLength;
  79630. + uByte pkh[384];
  79631. + uByte hostFriendlyName[256];
  79632. +} UPACKED wusb_m2_data_t;
  79633. +
  79634. +typedef struct wusb_m3_data {
  79635. + uByte pkd[384];
  79636. + uByte nd;
  79637. +} UPACKED wusb_m3_data_t;
  79638. +
  79639. +typedef struct wusb_m4_data {
  79640. + uDWord _attributeTypeIdAndLength_1;
  79641. + uWord associationTypeId;
  79642. +
  79643. + uDWord _attributeTypeIdAndLength_2;
  79644. + uWord associationSubTypeId;
  79645. +
  79646. + uDWord _attributeTypeIdAndLength_3;
  79647. + uDWord length;
  79648. +
  79649. + uDWord _attributeTypeIdAndLength_4;
  79650. + uDWord associationStatus;
  79651. +
  79652. + uDWord _attributeTypeIdAndLength_5;
  79653. + uByte chid[16];
  79654. +
  79655. + uDWord _attributeTypeIdAndLength_6;
  79656. + uByte cdid[16];
  79657. +
  79658. + uDWord _attributeTypeIdAndLength_7;
  79659. + uByte bandGroups[2];
  79660. +} UPACKED wusb_m4_data_t;
  79661. +
  79662. +#ifdef _MSC_VER
  79663. +#include <poppack.h>
  79664. +#endif
  79665. +
  79666. +#ifdef __cplusplus
  79667. +}
  79668. +#endif
  79669. +
  79670. +#endif /* _USB_H_ */
  79671. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/doc/doxygen.cfg linux-rpi/drivers/usb/host/dwc_otg/doc/doxygen.cfg
  79672. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/doc/doxygen.cfg 1970-01-01 01:00:00.000000000 +0100
  79673. +++ linux-rpi/drivers/usb/host/dwc_otg/doc/doxygen.cfg 2015-11-29 09:42:39.915098960 +0100
  79674. @@ -0,0 +1,224 @@
  79675. +# Doxyfile 1.3.9.1
  79676. +
  79677. +#---------------------------------------------------------------------------
  79678. +# Project related configuration options
  79679. +#---------------------------------------------------------------------------
  79680. +PROJECT_NAME = "DesignWare USB 2.0 OTG Controller (DWC_otg) Device Driver"
  79681. +PROJECT_NUMBER = v3.00a
  79682. +OUTPUT_DIRECTORY = ./doc/
  79683. +CREATE_SUBDIRS = NO
  79684. +OUTPUT_LANGUAGE = English
  79685. +BRIEF_MEMBER_DESC = YES
  79686. +REPEAT_BRIEF = YES
  79687. +ABBREVIATE_BRIEF = "The $name class" \
  79688. + "The $name widget" \
  79689. + "The $name file" \
  79690. + is \
  79691. + provides \
  79692. + specifies \
  79693. + contains \
  79694. + represents \
  79695. + a \
  79696. + an \
  79697. + the
  79698. +ALWAYS_DETAILED_SEC = NO
  79699. +INLINE_INHERITED_MEMB = NO
  79700. +FULL_PATH_NAMES = NO
  79701. +STRIP_FROM_PATH =
  79702. +STRIP_FROM_INC_PATH =
  79703. +SHORT_NAMES = NO
  79704. +JAVADOC_AUTOBRIEF = YES
  79705. +MULTILINE_CPP_IS_BRIEF = NO
  79706. +INHERIT_DOCS = YES
  79707. +DISTRIBUTE_GROUP_DOC = NO
  79708. +TAB_SIZE = 8
  79709. +ALIASES =
  79710. +OPTIMIZE_OUTPUT_FOR_C = YES
  79711. +OPTIMIZE_OUTPUT_JAVA = NO
  79712. +SUBGROUPING = YES
  79713. +#---------------------------------------------------------------------------
  79714. +# Build related configuration options
  79715. +#---------------------------------------------------------------------------
  79716. +EXTRACT_ALL = NO
  79717. +EXTRACT_PRIVATE = YES
  79718. +EXTRACT_STATIC = YES
  79719. +EXTRACT_LOCAL_CLASSES = YES
  79720. +EXTRACT_LOCAL_METHODS = NO
  79721. +HIDE_UNDOC_MEMBERS = NO
  79722. +HIDE_UNDOC_CLASSES = NO
  79723. +HIDE_FRIEND_COMPOUNDS = NO
  79724. +HIDE_IN_BODY_DOCS = NO
  79725. +INTERNAL_DOCS = NO
  79726. +CASE_SENSE_NAMES = NO
  79727. +HIDE_SCOPE_NAMES = NO
  79728. +SHOW_INCLUDE_FILES = YES
  79729. +INLINE_INFO = YES
  79730. +SORT_MEMBER_DOCS = NO
  79731. +SORT_BRIEF_DOCS = NO
  79732. +SORT_BY_SCOPE_NAME = NO
  79733. +GENERATE_TODOLIST = YES
  79734. +GENERATE_TESTLIST = YES
  79735. +GENERATE_BUGLIST = YES
  79736. +GENERATE_DEPRECATEDLIST= YES
  79737. +ENABLED_SECTIONS =
  79738. +MAX_INITIALIZER_LINES = 30
  79739. +SHOW_USED_FILES = YES
  79740. +SHOW_DIRECTORIES = YES
  79741. +#---------------------------------------------------------------------------
  79742. +# configuration options related to warning and progress messages
  79743. +#---------------------------------------------------------------------------
  79744. +QUIET = YES
  79745. +WARNINGS = YES
  79746. +WARN_IF_UNDOCUMENTED = NO
  79747. +WARN_IF_DOC_ERROR = YES
  79748. +WARN_FORMAT = "$file:$line: $text"
  79749. +WARN_LOGFILE =
  79750. +#---------------------------------------------------------------------------
  79751. +# configuration options related to the input files
  79752. +#---------------------------------------------------------------------------
  79753. +INPUT = .
  79754. +FILE_PATTERNS = *.c \
  79755. + *.h \
  79756. + ./linux/*.c \
  79757. + ./linux/*.h
  79758. +RECURSIVE = NO
  79759. +EXCLUDE = ./test/ \
  79760. + ./dwc_otg/.AppleDouble/
  79761. +EXCLUDE_SYMLINKS = YES
  79762. +EXCLUDE_PATTERNS = *.mod.*
  79763. +EXAMPLE_PATH =
  79764. +EXAMPLE_PATTERNS = *
  79765. +EXAMPLE_RECURSIVE = NO
  79766. +IMAGE_PATH =
  79767. +INPUT_FILTER =
  79768. +FILTER_PATTERNS =
  79769. +FILTER_SOURCE_FILES = NO
  79770. +#---------------------------------------------------------------------------
  79771. +# configuration options related to source browsing
  79772. +#---------------------------------------------------------------------------
  79773. +SOURCE_BROWSER = YES
  79774. +INLINE_SOURCES = NO
  79775. +STRIP_CODE_COMMENTS = YES
  79776. +REFERENCED_BY_RELATION = NO
  79777. +REFERENCES_RELATION = NO
  79778. +VERBATIM_HEADERS = NO
  79779. +#---------------------------------------------------------------------------
  79780. +# configuration options related to the alphabetical class index
  79781. +#---------------------------------------------------------------------------
  79782. +ALPHABETICAL_INDEX = NO
  79783. +COLS_IN_ALPHA_INDEX = 5
  79784. +IGNORE_PREFIX =
  79785. +#---------------------------------------------------------------------------
  79786. +# configuration options related to the HTML output
  79787. +#---------------------------------------------------------------------------
  79788. +GENERATE_HTML = YES
  79789. +HTML_OUTPUT = html
  79790. +HTML_FILE_EXTENSION = .html
  79791. +HTML_HEADER =
  79792. +HTML_FOOTER =
  79793. +HTML_STYLESHEET =
  79794. +HTML_ALIGN_MEMBERS = YES
  79795. +GENERATE_HTMLHELP = NO
  79796. +CHM_FILE =
  79797. +HHC_LOCATION =
  79798. +GENERATE_CHI = NO
  79799. +BINARY_TOC = NO
  79800. +TOC_EXPAND = NO
  79801. +DISABLE_INDEX = NO
  79802. +ENUM_VALUES_PER_LINE = 4
  79803. +GENERATE_TREEVIEW = YES
  79804. +TREEVIEW_WIDTH = 250
  79805. +#---------------------------------------------------------------------------
  79806. +# configuration options related to the LaTeX output
  79807. +#---------------------------------------------------------------------------
  79808. +GENERATE_LATEX = NO
  79809. +LATEX_OUTPUT = latex
  79810. +LATEX_CMD_NAME = latex
  79811. +MAKEINDEX_CMD_NAME = makeindex
  79812. +COMPACT_LATEX = NO
  79813. +PAPER_TYPE = a4wide
  79814. +EXTRA_PACKAGES =
  79815. +LATEX_HEADER =
  79816. +PDF_HYPERLINKS = NO
  79817. +USE_PDFLATEX = NO
  79818. +LATEX_BATCHMODE = NO
  79819. +LATEX_HIDE_INDICES = NO
  79820. +#---------------------------------------------------------------------------
  79821. +# configuration options related to the RTF output
  79822. +#---------------------------------------------------------------------------
  79823. +GENERATE_RTF = NO
  79824. +RTF_OUTPUT = rtf
  79825. +COMPACT_RTF = NO
  79826. +RTF_HYPERLINKS = NO
  79827. +RTF_STYLESHEET_FILE =
  79828. +RTF_EXTENSIONS_FILE =
  79829. +#---------------------------------------------------------------------------
  79830. +# configuration options related to the man page output
  79831. +#---------------------------------------------------------------------------
  79832. +GENERATE_MAN = NO
  79833. +MAN_OUTPUT = man
  79834. +MAN_EXTENSION = .3
  79835. +MAN_LINKS = NO
  79836. +#---------------------------------------------------------------------------
  79837. +# configuration options related to the XML output
  79838. +#---------------------------------------------------------------------------
  79839. +GENERATE_XML = NO
  79840. +XML_OUTPUT = xml
  79841. +XML_SCHEMA =
  79842. +XML_DTD =
  79843. +XML_PROGRAMLISTING = YES
  79844. +#---------------------------------------------------------------------------
  79845. +# configuration options for the AutoGen Definitions output
  79846. +#---------------------------------------------------------------------------
  79847. +GENERATE_AUTOGEN_DEF = NO
  79848. +#---------------------------------------------------------------------------
  79849. +# configuration options related to the Perl module output
  79850. +#---------------------------------------------------------------------------
  79851. +GENERATE_PERLMOD = NO
  79852. +PERLMOD_LATEX = NO
  79853. +PERLMOD_PRETTY = YES
  79854. +PERLMOD_MAKEVAR_PREFIX =
  79855. +#---------------------------------------------------------------------------
  79856. +# Configuration options related to the preprocessor
  79857. +#---------------------------------------------------------------------------
  79858. +ENABLE_PREPROCESSING = YES
  79859. +MACRO_EXPANSION = YES
  79860. +EXPAND_ONLY_PREDEF = YES
  79861. +SEARCH_INCLUDES = YES
  79862. +INCLUDE_PATH =
  79863. +INCLUDE_FILE_PATTERNS =
  79864. +PREDEFINED = DEVICE_ATTR DWC_EN_ISOC
  79865. +EXPAND_AS_DEFINED = DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW DWC_OTG_DEVICE_ATTR_BITFIELD_STORE DWC_OTG_DEVICE_ATTR_BITFIELD_RW DWC_OTG_DEVICE_ATTR_BITFIELD_RO DWC_OTG_DEVICE_ATTR_REG_SHOW DWC_OTG_DEVICE_ATTR_REG_STORE DWC_OTG_DEVICE_ATTR_REG32_RW DWC_OTG_DEVICE_ATTR_REG32_RO DWC_EN_ISOC
  79866. +SKIP_FUNCTION_MACROS = NO
  79867. +#---------------------------------------------------------------------------
  79868. +# Configuration::additions related to external references
  79869. +#---------------------------------------------------------------------------
  79870. +TAGFILES =
  79871. +GENERATE_TAGFILE =
  79872. +ALLEXTERNALS = NO
  79873. +EXTERNAL_GROUPS = YES
  79874. +PERL_PATH = /usr/bin/perl
  79875. +#---------------------------------------------------------------------------
  79876. +# Configuration options related to the dot tool
  79877. +#---------------------------------------------------------------------------
  79878. +CLASS_DIAGRAMS = YES
  79879. +HIDE_UNDOC_RELATIONS = YES
  79880. +HAVE_DOT = NO
  79881. +CLASS_GRAPH = YES
  79882. +COLLABORATION_GRAPH = YES
  79883. +UML_LOOK = NO
  79884. +TEMPLATE_RELATIONS = NO
  79885. +INCLUDE_GRAPH = YES
  79886. +INCLUDED_BY_GRAPH = YES
  79887. +CALL_GRAPH = NO
  79888. +GRAPHICAL_HIERARCHY = YES
  79889. +DOT_IMAGE_FORMAT = png
  79890. +DOT_PATH =
  79891. +DOTFILE_DIRS =
  79892. +MAX_DOT_GRAPH_DEPTH = 1000
  79893. +GENERATE_LEGEND = YES
  79894. +DOT_CLEANUP = YES
  79895. +#---------------------------------------------------------------------------
  79896. +# Configuration::additions related to the search engine
  79897. +#---------------------------------------------------------------------------
  79898. +SEARCHENGINE = NO
  79899. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dummy_audio.c linux-rpi/drivers/usb/host/dwc_otg/dummy_audio.c
  79900. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dummy_audio.c 1970-01-01 01:00:00.000000000 +0100
  79901. +++ linux-rpi/drivers/usb/host/dwc_otg/dummy_audio.c 2015-11-29 09:42:39.915098960 +0100
  79902. @@ -0,0 +1,1575 @@
  79903. +/*
  79904. + * zero.c -- Gadget Zero, for USB development
  79905. + *
  79906. + * Copyright (C) 2003-2004 David Brownell
  79907. + * All rights reserved.
  79908. + *
  79909. + * Redistribution and use in source and binary forms, with or without
  79910. + * modification, are permitted provided that the following conditions
  79911. + * are met:
  79912. + * 1. Redistributions of source code must retain the above copyright
  79913. + * notice, this list of conditions, and the following disclaimer,
  79914. + * without modification.
  79915. + * 2. Redistributions in binary form must reproduce the above copyright
  79916. + * notice, this list of conditions and the following disclaimer in the
  79917. + * documentation and/or other materials provided with the distribution.
  79918. + * 3. The names of the above-listed copyright holders may not be used
  79919. + * to endorse or promote products derived from this software without
  79920. + * specific prior written permission.
  79921. + *
  79922. + * ALTERNATIVELY, this software may be distributed under the terms of the
  79923. + * GNU General Public License ("GPL") as published by the Free Software
  79924. + * Foundation, either version 2 of that License or (at your option) any
  79925. + * later version.
  79926. + *
  79927. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  79928. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  79929. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  79930. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  79931. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  79932. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  79933. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  79934. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  79935. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  79936. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  79937. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  79938. + */
  79939. +
  79940. +
  79941. +/*
  79942. + * Gadget Zero only needs two bulk endpoints, and is an example of how you
  79943. + * can write a hardware-agnostic gadget driver running inside a USB device.
  79944. + *
  79945. + * Hardware details are visible (see CONFIG_USB_ZERO_* below) but don't
  79946. + * affect most of the driver.
  79947. + *
  79948. + * Use it with the Linux host/master side "usbtest" driver to get a basic
  79949. + * functional test of your device-side usb stack, or with "usb-skeleton".
  79950. + *
  79951. + * It supports two similar configurations. One sinks whatever the usb host
  79952. + * writes, and in return sources zeroes. The other loops whatever the host
  79953. + * writes back, so the host can read it. Module options include:
  79954. + *
  79955. + * buflen=N default N=4096, buffer size used
  79956. + * qlen=N default N=32, how many buffers in the loopback queue
  79957. + * loopdefault default false, list loopback config first
  79958. + *
  79959. + * Many drivers will only have one configuration, letting them be much
  79960. + * simpler if they also don't support high speed operation (like this
  79961. + * driver does).
  79962. + */
  79963. +
  79964. +#include <linux/config.h>
  79965. +#include <linux/module.h>
  79966. +#include <linux/kernel.h>
  79967. +#include <linux/delay.h>
  79968. +#include <linux/ioport.h>
  79969. +#include <linux/sched.h>
  79970. +#include <linux/slab.h>
  79971. +#include <linux/smp_lock.h>
  79972. +#include <linux/errno.h>
  79973. +#include <linux/init.h>
  79974. +#include <linux/timer.h>
  79975. +#include <linux/list.h>
  79976. +#include <linux/interrupt.h>
  79977. +#include <linux/uts.h>
  79978. +#include <linux/version.h>
  79979. +#include <linux/device.h>
  79980. +#include <linux/moduleparam.h>
  79981. +#include <linux/proc_fs.h>
  79982. +
  79983. +#include <asm/byteorder.h>
  79984. +#include <asm/io.h>
  79985. +#include <asm/irq.h>
  79986. +#include <asm/system.h>
  79987. +#include <asm/unaligned.h>
  79988. +
  79989. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,21)
  79990. +# include <linux/usb/ch9.h>
  79991. +#else
  79992. +# include <linux/usb_ch9.h>
  79993. +#endif
  79994. +
  79995. +#include <linux/usb_gadget.h>
  79996. +
  79997. +
  79998. +/*-------------------------------------------------------------------------*/
  79999. +/*-------------------------------------------------------------------------*/
  80000. +
  80001. +
  80002. +static int utf8_to_utf16le(const char *s, u16 *cp, unsigned len)
  80003. +{
  80004. + int count = 0;
  80005. + u8 c;
  80006. + u16 uchar;
  80007. +
  80008. + /* this insists on correct encodings, though not minimal ones.
  80009. + * BUT it currently rejects legit 4-byte UTF-8 code points,
  80010. + * which need surrogate pairs. (Unicode 3.1 can use them.)
  80011. + */
  80012. + while (len != 0 && (c = (u8) *s++) != 0) {
  80013. + if (unlikely(c & 0x80)) {
  80014. + // 2-byte sequence:
  80015. + // 00000yyyyyxxxxxx = 110yyyyy 10xxxxxx
  80016. + if ((c & 0xe0) == 0xc0) {
  80017. + uchar = (c & 0x1f) << 6;
  80018. +
  80019. + c = (u8) *s++;
  80020. + if ((c & 0xc0) != 0xc0)
  80021. + goto fail;
  80022. + c &= 0x3f;
  80023. + uchar |= c;
  80024. +
  80025. + // 3-byte sequence (most CJKV characters):
  80026. + // zzzzyyyyyyxxxxxx = 1110zzzz 10yyyyyy 10xxxxxx
  80027. + } else if ((c & 0xf0) == 0xe0) {
  80028. + uchar = (c & 0x0f) << 12;
  80029. +
  80030. + c = (u8) *s++;
  80031. + if ((c & 0xc0) != 0xc0)
  80032. + goto fail;
  80033. + c &= 0x3f;
  80034. + uchar |= c << 6;
  80035. +
  80036. + c = (u8) *s++;
  80037. + if ((c & 0xc0) != 0xc0)
  80038. + goto fail;
  80039. + c &= 0x3f;
  80040. + uchar |= c;
  80041. +
  80042. + /* no bogus surrogates */
  80043. + if (0xd800 <= uchar && uchar <= 0xdfff)
  80044. + goto fail;
  80045. +
  80046. + // 4-byte sequence (surrogate pairs, currently rare):
  80047. + // 11101110wwwwzzzzyy + 110111yyyyxxxxxx
  80048. + // = 11110uuu 10uuzzzz 10yyyyyy 10xxxxxx
  80049. + // (uuuuu = wwww + 1)
  80050. + // FIXME accept the surrogate code points (only)
  80051. +
  80052. + } else
  80053. + goto fail;
  80054. + } else
  80055. + uchar = c;
  80056. + put_unaligned (cpu_to_le16 (uchar), cp++);
  80057. + count++;
  80058. + len--;
  80059. + }
  80060. + return count;
  80061. +fail:
  80062. + return -1;
  80063. +}
  80064. +
  80065. +
  80066. +/**
  80067. + * usb_gadget_get_string - fill out a string descriptor
  80068. + * @table: of c strings encoded using UTF-8
  80069. + * @id: string id, from low byte of wValue in get string descriptor
  80070. + * @buf: at least 256 bytes
  80071. + *
  80072. + * Finds the UTF-8 string matching the ID, and converts it into a
  80073. + * string descriptor in utf16-le.
  80074. + * Returns length of descriptor (always even) or negative errno
  80075. + *
  80076. + * If your driver needs stings in multiple languages, you'll probably
  80077. + * "switch (wIndex) { ... }" in your ep0 string descriptor logic,
  80078. + * using this routine after choosing which set of UTF-8 strings to use.
  80079. + * Note that US-ASCII is a strict subset of UTF-8; any string bytes with
  80080. + * the eighth bit set will be multibyte UTF-8 characters, not ISO-8859/1
  80081. + * characters (which are also widely used in C strings).
  80082. + */
  80083. +int
  80084. +usb_gadget_get_string (struct usb_gadget_strings *table, int id, u8 *buf)
  80085. +{
  80086. + struct usb_string *s;
  80087. + int len;
  80088. +
  80089. + /* descriptor 0 has the language id */
  80090. + if (id == 0) {
  80091. + buf [0] = 4;
  80092. + buf [1] = USB_DT_STRING;
  80093. + buf [2] = (u8) table->language;
  80094. + buf [3] = (u8) (table->language >> 8);
  80095. + return 4;
  80096. + }
  80097. + for (s = table->strings; s && s->s; s++)
  80098. + if (s->id == id)
  80099. + break;
  80100. +
  80101. + /* unrecognized: stall. */
  80102. + if (!s || !s->s)
  80103. + return -EINVAL;
  80104. +
  80105. + /* string descriptors have length, tag, then UTF16-LE text */
  80106. + len = min ((size_t) 126, strlen (s->s));
  80107. + memset (buf + 2, 0, 2 * len); /* zero all the bytes */
  80108. + len = utf8_to_utf16le(s->s, (u16 *)&buf[2], len);
  80109. + if (len < 0)
  80110. + return -EINVAL;
  80111. + buf [0] = (len + 1) * 2;
  80112. + buf [1] = USB_DT_STRING;
  80113. + return buf [0];
  80114. +}
  80115. +
  80116. +
  80117. +/*-------------------------------------------------------------------------*/
  80118. +/*-------------------------------------------------------------------------*/
  80119. +
  80120. +
  80121. +/**
  80122. + * usb_descriptor_fillbuf - fill buffer with descriptors
  80123. + * @buf: Buffer to be filled
  80124. + * @buflen: Size of buf
  80125. + * @src: Array of descriptor pointers, terminated by null pointer.
  80126. + *
  80127. + * Copies descriptors into the buffer, returning the length or a
  80128. + * negative error code if they can't all be copied. Useful when
  80129. + * assembling descriptors for an associated set of interfaces used
  80130. + * as part of configuring a composite device; or in other cases where
  80131. + * sets of descriptors need to be marshaled.
  80132. + */
  80133. +int
  80134. +usb_descriptor_fillbuf(void *buf, unsigned buflen,
  80135. + const struct usb_descriptor_header **src)
  80136. +{
  80137. + u8 *dest = buf;
  80138. +
  80139. + if (!src)
  80140. + return -EINVAL;
  80141. +
  80142. + /* fill buffer from src[] until null descriptor ptr */
  80143. + for (; 0 != *src; src++) {
  80144. + unsigned len = (*src)->bLength;
  80145. +
  80146. + if (len > buflen)
  80147. + return -EINVAL;
  80148. + memcpy(dest, *src, len);
  80149. + buflen -= len;
  80150. + dest += len;
  80151. + }
  80152. + return dest - (u8 *)buf;
  80153. +}
  80154. +
  80155. +
  80156. +/**
  80157. + * usb_gadget_config_buf - builts a complete configuration descriptor
  80158. + * @config: Header for the descriptor, including characteristics such
  80159. + * as power requirements and number of interfaces.
  80160. + * @desc: Null-terminated vector of pointers to the descriptors (interface,
  80161. + * endpoint, etc) defining all functions in this device configuration.
  80162. + * @buf: Buffer for the resulting configuration descriptor.
  80163. + * @length: Length of buffer. If this is not big enough to hold the
  80164. + * entire configuration descriptor, an error code will be returned.
  80165. + *
  80166. + * This copies descriptors into the response buffer, building a descriptor
  80167. + * for that configuration. It returns the buffer length or a negative
  80168. + * status code. The config.wTotalLength field is set to match the length
  80169. + * of the result, but other descriptor fields (including power usage and
  80170. + * interface count) must be set by the caller.
  80171. + *
  80172. + * Gadget drivers could use this when constructing a config descriptor
  80173. + * in response to USB_REQ_GET_DESCRIPTOR. They will need to patch the
  80174. + * resulting bDescriptorType value if USB_DT_OTHER_SPEED_CONFIG is needed.
  80175. + */
  80176. +int usb_gadget_config_buf(
  80177. + const struct usb_config_descriptor *config,
  80178. + void *buf,
  80179. + unsigned length,
  80180. + const struct usb_descriptor_header **desc
  80181. +)
  80182. +{
  80183. + struct usb_config_descriptor *cp = buf;
  80184. + int len;
  80185. +
  80186. + /* config descriptor first */
  80187. + if (length < USB_DT_CONFIG_SIZE || !desc)
  80188. + return -EINVAL;
  80189. + *cp = *config;
  80190. +
  80191. + /* then interface/endpoint/class/vendor/... */
  80192. + len = usb_descriptor_fillbuf(USB_DT_CONFIG_SIZE + (u8*)buf,
  80193. + length - USB_DT_CONFIG_SIZE, desc);
  80194. + if (len < 0)
  80195. + return len;
  80196. + len += USB_DT_CONFIG_SIZE;
  80197. + if (len > 0xffff)
  80198. + return -EINVAL;
  80199. +
  80200. + /* patch up the config descriptor */
  80201. + cp->bLength = USB_DT_CONFIG_SIZE;
  80202. + cp->bDescriptorType = USB_DT_CONFIG;
  80203. + cp->wTotalLength = cpu_to_le16(len);
  80204. + cp->bmAttributes |= USB_CONFIG_ATT_ONE;
  80205. + return len;
  80206. +}
  80207. +
  80208. +/*-------------------------------------------------------------------------*/
  80209. +/*-------------------------------------------------------------------------*/
  80210. +
  80211. +
  80212. +#define RBUF_LEN (1024*1024)
  80213. +static int rbuf_start;
  80214. +static int rbuf_len;
  80215. +static __u8 rbuf[RBUF_LEN];
  80216. +
  80217. +/*-------------------------------------------------------------------------*/
  80218. +
  80219. +#define DRIVER_VERSION "St Patrick's Day 2004"
  80220. +
  80221. +static const char shortname [] = "zero";
  80222. +static const char longname [] = "YAMAHA YST-MS35D USB Speaker ";
  80223. +
  80224. +static const char source_sink [] = "source and sink data";
  80225. +static const char loopback [] = "loop input to output";
  80226. +
  80227. +/*-------------------------------------------------------------------------*/
  80228. +
  80229. +/*
  80230. + * driver assumes self-powered hardware, and
  80231. + * has no way for users to trigger remote wakeup.
  80232. + *
  80233. + * this version autoconfigures as much as possible,
  80234. + * which is reasonable for most "bulk-only" drivers.
  80235. + */
  80236. +static const char *EP_IN_NAME; /* source */
  80237. +static const char *EP_OUT_NAME; /* sink */
  80238. +
  80239. +/*-------------------------------------------------------------------------*/
  80240. +
  80241. +/* big enough to hold our biggest descriptor */
  80242. +#define USB_BUFSIZ 512
  80243. +
  80244. +struct zero_dev {
  80245. + spinlock_t lock;
  80246. + struct usb_gadget *gadget;
  80247. + struct usb_request *req; /* for control responses */
  80248. +
  80249. + /* when configured, we have one of two configs:
  80250. + * - source data (in to host) and sink it (out from host)
  80251. + * - or loop it back (out from host back in to host)
  80252. + */
  80253. + u8 config;
  80254. + struct usb_ep *in_ep, *out_ep;
  80255. +
  80256. + /* autoresume timer */
  80257. + struct timer_list resume;
  80258. +};
  80259. +
  80260. +#define xprintk(d,level,fmt,args...) \
  80261. + dev_printk(level , &(d)->gadget->dev , fmt , ## args)
  80262. +
  80263. +#ifdef DEBUG
  80264. +#define DBG(dev,fmt,args...) \
  80265. + xprintk(dev , KERN_DEBUG , fmt , ## args)
  80266. +#else
  80267. +#define DBG(dev,fmt,args...) \
  80268. + do { } while (0)
  80269. +#endif /* DEBUG */
  80270. +
  80271. +#ifdef VERBOSE
  80272. +#define VDBG DBG
  80273. +#else
  80274. +#define VDBG(dev,fmt,args...) \
  80275. + do { } while (0)
  80276. +#endif /* VERBOSE */
  80277. +
  80278. +#define ERROR(dev,fmt,args...) \
  80279. + xprintk(dev , KERN_ERR , fmt , ## args)
  80280. +#define WARN(dev,fmt,args...) \
  80281. + xprintk(dev , KERN_WARNING , fmt , ## args)
  80282. +#define INFO(dev,fmt,args...) \
  80283. + xprintk(dev , KERN_INFO , fmt , ## args)
  80284. +
  80285. +/*-------------------------------------------------------------------------*/
  80286. +
  80287. +static unsigned buflen = 4096;
  80288. +static unsigned qlen = 32;
  80289. +static unsigned pattern = 0;
  80290. +
  80291. +module_param (buflen, uint, S_IRUGO|S_IWUSR);
  80292. +module_param (qlen, uint, S_IRUGO|S_IWUSR);
  80293. +module_param (pattern, uint, S_IRUGO|S_IWUSR);
  80294. +
  80295. +/*
  80296. + * if it's nonzero, autoresume says how many seconds to wait
  80297. + * before trying to wake up the host after suspend.
  80298. + */
  80299. +static unsigned autoresume = 0;
  80300. +module_param (autoresume, uint, 0);
  80301. +
  80302. +/*
  80303. + * Normally the "loopback" configuration is second (index 1) so
  80304. + * it's not the default. Here's where to change that order, to
  80305. + * work better with hosts where config changes are problematic.
  80306. + * Or controllers (like superh) that only support one config.
  80307. + */
  80308. +static int loopdefault = 0;
  80309. +
  80310. +module_param (loopdefault, bool, S_IRUGO|S_IWUSR);
  80311. +
  80312. +/*-------------------------------------------------------------------------*/
  80313. +
  80314. +/* Thanks to NetChip Technologies for donating this product ID.
  80315. + *
  80316. + * DO NOT REUSE THESE IDs with a protocol-incompatible driver!! Ever!!
  80317. + * Instead: allocate your own, using normal USB-IF procedures.
  80318. + */
  80319. +#ifndef CONFIG_USB_ZERO_HNPTEST
  80320. +#define DRIVER_VENDOR_NUM 0x0525 /* NetChip */
  80321. +#define DRIVER_PRODUCT_NUM 0xa4a0 /* Linux-USB "Gadget Zero" */
  80322. +#else
  80323. +#define DRIVER_VENDOR_NUM 0x1a0a /* OTG test device IDs */
  80324. +#define DRIVER_PRODUCT_NUM 0xbadd
  80325. +#endif
  80326. +
  80327. +/*-------------------------------------------------------------------------*/
  80328. +
  80329. +/*
  80330. + * DESCRIPTORS ... most are static, but strings and (full)
  80331. + * configuration descriptors are built on demand.
  80332. + */
  80333. +
  80334. +/*
  80335. +#define STRING_MANUFACTURER 25
  80336. +#define STRING_PRODUCT 42
  80337. +#define STRING_SERIAL 101
  80338. +*/
  80339. +#define STRING_MANUFACTURER 1
  80340. +#define STRING_PRODUCT 2
  80341. +#define STRING_SERIAL 3
  80342. +
  80343. +#define STRING_SOURCE_SINK 250
  80344. +#define STRING_LOOPBACK 251
  80345. +
  80346. +/*
  80347. + * This device advertises two configurations; these numbers work
  80348. + * on a pxa250 as well as more flexible hardware.
  80349. + */
  80350. +#define CONFIG_SOURCE_SINK 3
  80351. +#define CONFIG_LOOPBACK 2
  80352. +
  80353. +/*
  80354. +static struct usb_device_descriptor
  80355. +device_desc = {
  80356. + .bLength = sizeof device_desc,
  80357. + .bDescriptorType = USB_DT_DEVICE,
  80358. +
  80359. + .bcdUSB = __constant_cpu_to_le16 (0x0200),
  80360. + .bDeviceClass = USB_CLASS_VENDOR_SPEC,
  80361. +
  80362. + .idVendor = __constant_cpu_to_le16 (DRIVER_VENDOR_NUM),
  80363. + .idProduct = __constant_cpu_to_le16 (DRIVER_PRODUCT_NUM),
  80364. + .iManufacturer = STRING_MANUFACTURER,
  80365. + .iProduct = STRING_PRODUCT,
  80366. + .iSerialNumber = STRING_SERIAL,
  80367. + .bNumConfigurations = 2,
  80368. +};
  80369. +*/
  80370. +static struct usb_device_descriptor
  80371. +device_desc = {
  80372. + .bLength = sizeof device_desc,
  80373. + .bDescriptorType = USB_DT_DEVICE,
  80374. + .bcdUSB = __constant_cpu_to_le16 (0x0100),
  80375. + .bDeviceClass = USB_CLASS_PER_INTERFACE,
  80376. + .bDeviceSubClass = 0,
  80377. + .bDeviceProtocol = 0,
  80378. + .bMaxPacketSize0 = 64,
  80379. + .bcdDevice = __constant_cpu_to_le16 (0x0100),
  80380. + .idVendor = __constant_cpu_to_le16 (0x0499),
  80381. + .idProduct = __constant_cpu_to_le16 (0x3002),
  80382. + .iManufacturer = STRING_MANUFACTURER,
  80383. + .iProduct = STRING_PRODUCT,
  80384. + .iSerialNumber = STRING_SERIAL,
  80385. + .bNumConfigurations = 1,
  80386. +};
  80387. +
  80388. +static struct usb_config_descriptor
  80389. +z_config = {
  80390. + .bLength = sizeof z_config,
  80391. + .bDescriptorType = USB_DT_CONFIG,
  80392. +
  80393. + /* compute wTotalLength on the fly */
  80394. + .bNumInterfaces = 2,
  80395. + .bConfigurationValue = 1,
  80396. + .iConfiguration = 0,
  80397. + .bmAttributes = 0x40,
  80398. + .bMaxPower = 0, /* self-powered */
  80399. +};
  80400. +
  80401. +
  80402. +static struct usb_otg_descriptor
  80403. +otg_descriptor = {
  80404. + .bLength = sizeof otg_descriptor,
  80405. + .bDescriptorType = USB_DT_OTG,
  80406. +
  80407. + .bmAttributes = USB_OTG_SRP,
  80408. +};
  80409. +
  80410. +/* one interface in each configuration */
  80411. +#ifdef CONFIG_USB_GADGET_DUALSPEED
  80412. +
  80413. +/*
  80414. + * usb 2.0 devices need to expose both high speed and full speed
  80415. + * descriptors, unless they only run at full speed.
  80416. + *
  80417. + * that means alternate endpoint descriptors (bigger packets)
  80418. + * and a "device qualifier" ... plus more construction options
  80419. + * for the config descriptor.
  80420. + */
  80421. +
  80422. +static struct usb_qualifier_descriptor
  80423. +dev_qualifier = {
  80424. + .bLength = sizeof dev_qualifier,
  80425. + .bDescriptorType = USB_DT_DEVICE_QUALIFIER,
  80426. +
  80427. + .bcdUSB = __constant_cpu_to_le16 (0x0200),
  80428. + .bDeviceClass = USB_CLASS_VENDOR_SPEC,
  80429. +
  80430. + .bNumConfigurations = 2,
  80431. +};
  80432. +
  80433. +
  80434. +struct usb_cs_as_general_descriptor {
  80435. + __u8 bLength;
  80436. + __u8 bDescriptorType;
  80437. +
  80438. + __u8 bDescriptorSubType;
  80439. + __u8 bTerminalLink;
  80440. + __u8 bDelay;
  80441. + __u16 wFormatTag;
  80442. +} __attribute__ ((packed));
  80443. +
  80444. +struct usb_cs_as_format_descriptor {
  80445. + __u8 bLength;
  80446. + __u8 bDescriptorType;
  80447. +
  80448. + __u8 bDescriptorSubType;
  80449. + __u8 bFormatType;
  80450. + __u8 bNrChannels;
  80451. + __u8 bSubframeSize;
  80452. + __u8 bBitResolution;
  80453. + __u8 bSamfreqType;
  80454. + __u8 tLowerSamFreq[3];
  80455. + __u8 tUpperSamFreq[3];
  80456. +} __attribute__ ((packed));
  80457. +
  80458. +static const struct usb_interface_descriptor
  80459. +z_audio_control_if_desc = {
  80460. + .bLength = sizeof z_audio_control_if_desc,
  80461. + .bDescriptorType = USB_DT_INTERFACE,
  80462. + .bInterfaceNumber = 0,
  80463. + .bAlternateSetting = 0,
  80464. + .bNumEndpoints = 0,
  80465. + .bInterfaceClass = USB_CLASS_AUDIO,
  80466. + .bInterfaceSubClass = 0x1,
  80467. + .bInterfaceProtocol = 0,
  80468. + .iInterface = 0,
  80469. +};
  80470. +
  80471. +static const struct usb_interface_descriptor
  80472. +z_audio_if_desc = {
  80473. + .bLength = sizeof z_audio_if_desc,
  80474. + .bDescriptorType = USB_DT_INTERFACE,
  80475. + .bInterfaceNumber = 1,
  80476. + .bAlternateSetting = 0,
  80477. + .bNumEndpoints = 0,
  80478. + .bInterfaceClass = USB_CLASS_AUDIO,
  80479. + .bInterfaceSubClass = 0x2,
  80480. + .bInterfaceProtocol = 0,
  80481. + .iInterface = 0,
  80482. +};
  80483. +
  80484. +static const struct usb_interface_descriptor
  80485. +z_audio_if_desc2 = {
  80486. + .bLength = sizeof z_audio_if_desc,
  80487. + .bDescriptorType = USB_DT_INTERFACE,
  80488. + .bInterfaceNumber = 1,
  80489. + .bAlternateSetting = 1,
  80490. + .bNumEndpoints = 1,
  80491. + .bInterfaceClass = USB_CLASS_AUDIO,
  80492. + .bInterfaceSubClass = 0x2,
  80493. + .bInterfaceProtocol = 0,
  80494. + .iInterface = 0,
  80495. +};
  80496. +
  80497. +static const struct usb_cs_as_general_descriptor
  80498. +z_audio_cs_as_if_desc = {
  80499. + .bLength = 7,
  80500. + .bDescriptorType = 0x24,
  80501. +
  80502. + .bDescriptorSubType = 0x01,
  80503. + .bTerminalLink = 0x01,
  80504. + .bDelay = 0x0,
  80505. + .wFormatTag = __constant_cpu_to_le16 (0x0001)
  80506. +};
  80507. +
  80508. +
  80509. +static const struct usb_cs_as_format_descriptor
  80510. +z_audio_cs_as_format_desc = {
  80511. + .bLength = 0xe,
  80512. + .bDescriptorType = 0x24,
  80513. +
  80514. + .bDescriptorSubType = 2,
  80515. + .bFormatType = 1,
  80516. + .bNrChannels = 1,
  80517. + .bSubframeSize = 1,
  80518. + .bBitResolution = 8,
  80519. + .bSamfreqType = 0,
  80520. + .tLowerSamFreq = {0x7e, 0x13, 0x00},
  80521. + .tUpperSamFreq = {0xe2, 0xd6, 0x00},
  80522. +};
  80523. +
  80524. +static const struct usb_endpoint_descriptor
  80525. +z_iso_ep = {
  80526. + .bLength = 0x09,
  80527. + .bDescriptorType = 0x05,
  80528. + .bEndpointAddress = 0x04,
  80529. + .bmAttributes = 0x09,
  80530. + .wMaxPacketSize = 0x0038,
  80531. + .bInterval = 0x01,
  80532. + .bRefresh = 0x00,
  80533. + .bSynchAddress = 0x00,
  80534. +};
  80535. +
  80536. +static char z_iso_ep2[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80537. +
  80538. +// 9 bytes
  80539. +static char z_ac_interface_header_desc[] =
  80540. +{ 0x09, 0x24, 0x01, 0x00, 0x01, 0x2b, 0x00, 0x01, 0x01 };
  80541. +
  80542. +// 12 bytes
  80543. +static char z_0[] = {0x0c, 0x24, 0x02, 0x01, 0x01, 0x01, 0x00, 0x02,
  80544. + 0x03, 0x00, 0x00, 0x00};
  80545. +// 13 bytes
  80546. +static char z_1[] = {0x0d, 0x24, 0x06, 0x02, 0x01, 0x02, 0x15, 0x00,
  80547. + 0x02, 0x00, 0x02, 0x00, 0x00};
  80548. +// 9 bytes
  80549. +static char z_2[] = {0x09, 0x24, 0x03, 0x03, 0x01, 0x03, 0x00, 0x02,
  80550. + 0x00};
  80551. +
  80552. +static char za_0[] = {0x09, 0x04, 0x01, 0x02, 0x01, 0x01, 0x02, 0x00,
  80553. + 0x00};
  80554. +
  80555. +static char za_1[] = {0x07, 0x24, 0x01, 0x01, 0x00, 0x01, 0x00};
  80556. +
  80557. +static char za_2[] = {0x0e, 0x24, 0x02, 0x01, 0x02, 0x01, 0x08, 0x00,
  80558. + 0x7e, 0x13, 0x00, 0xe2, 0xd6, 0x00};
  80559. +
  80560. +static char za_3[] = {0x09, 0x05, 0x04, 0x09, 0x70, 0x00, 0x01, 0x00,
  80561. + 0x00};
  80562. +
  80563. +static char za_4[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80564. +
  80565. +static char za_5[] = {0x09, 0x04, 0x01, 0x03, 0x01, 0x01, 0x02, 0x00,
  80566. + 0x00};
  80567. +
  80568. +static char za_6[] = {0x07, 0x24, 0x01, 0x01, 0x00, 0x01, 0x00};
  80569. +
  80570. +static char za_7[] = {0x0e, 0x24, 0x02, 0x01, 0x01, 0x02, 0x10, 0x00,
  80571. + 0x7e, 0x13, 0x00, 0xe2, 0xd6, 0x00};
  80572. +
  80573. +static char za_8[] = {0x09, 0x05, 0x04, 0x09, 0x70, 0x00, 0x01, 0x00,
  80574. + 0x00};
  80575. +
  80576. +static char za_9[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80577. +
  80578. +static char za_10[] = {0x09, 0x04, 0x01, 0x04, 0x01, 0x01, 0x02, 0x00,
  80579. + 0x00};
  80580. +
  80581. +static char za_11[] = {0x07, 0x24, 0x01, 0x01, 0x00, 0x01, 0x00};
  80582. +
  80583. +static char za_12[] = {0x0e, 0x24, 0x02, 0x01, 0x02, 0x02, 0x10, 0x00,
  80584. + 0x73, 0x13, 0x00, 0xe2, 0xd6, 0x00};
  80585. +
  80586. +static char za_13[] = {0x09, 0x05, 0x04, 0x09, 0xe0, 0x00, 0x01, 0x00,
  80587. + 0x00};
  80588. +
  80589. +static char za_14[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80590. +
  80591. +static char za_15[] = {0x09, 0x04, 0x01, 0x05, 0x01, 0x01, 0x02, 0x00,
  80592. + 0x00};
  80593. +
  80594. +static char za_16[] = {0x07, 0x24, 0x01, 0x01, 0x00, 0x01, 0x00};
  80595. +
  80596. +static char za_17[] = {0x0e, 0x24, 0x02, 0x01, 0x01, 0x03, 0x14, 0x00,
  80597. + 0x7e, 0x13, 0x00, 0xe2, 0xd6, 0x00};
  80598. +
  80599. +static char za_18[] = {0x09, 0x05, 0x04, 0x09, 0xa8, 0x00, 0x01, 0x00,
  80600. + 0x00};
  80601. +
  80602. +static char za_19[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80603. +
  80604. +static char za_20[] = {0x09, 0x04, 0x01, 0x06, 0x01, 0x01, 0x02, 0x00,
  80605. + 0x00};
  80606. +
  80607. +static char za_21[] = {0x07, 0x24, 0x01, 0x01, 0x00, 0x01, 0x00};
  80608. +
  80609. +static char za_22[] = {0x0e, 0x24, 0x02, 0x01, 0x02, 0x03, 0x14, 0x00,
  80610. + 0x7e, 0x13, 0x00, 0xe2, 0xd6, 0x00};
  80611. +
  80612. +static char za_23[] = {0x09, 0x05, 0x04, 0x09, 0x50, 0x01, 0x01, 0x00,
  80613. + 0x00};
  80614. +
  80615. +static char za_24[] = {0x07, 0x25, 0x01, 0x00, 0x02, 0x00, 0x02};
  80616. +
  80617. +
  80618. +
  80619. +static const struct usb_descriptor_header *z_function [] = {
  80620. + (struct usb_descriptor_header *) &z_audio_control_if_desc,
  80621. + (struct usb_descriptor_header *) &z_ac_interface_header_desc,
  80622. + (struct usb_descriptor_header *) &z_0,
  80623. + (struct usb_descriptor_header *) &z_1,
  80624. + (struct usb_descriptor_header *) &z_2,
  80625. + (struct usb_descriptor_header *) &z_audio_if_desc,
  80626. + (struct usb_descriptor_header *) &z_audio_if_desc2,
  80627. + (struct usb_descriptor_header *) &z_audio_cs_as_if_desc,
  80628. + (struct usb_descriptor_header *) &z_audio_cs_as_format_desc,
  80629. + (struct usb_descriptor_header *) &z_iso_ep,
  80630. + (struct usb_descriptor_header *) &z_iso_ep2,
  80631. + (struct usb_descriptor_header *) &za_0,
  80632. + (struct usb_descriptor_header *) &za_1,
  80633. + (struct usb_descriptor_header *) &za_2,
  80634. + (struct usb_descriptor_header *) &za_3,
  80635. + (struct usb_descriptor_header *) &za_4,
  80636. + (struct usb_descriptor_header *) &za_5,
  80637. + (struct usb_descriptor_header *) &za_6,
  80638. + (struct usb_descriptor_header *) &za_7,
  80639. + (struct usb_descriptor_header *) &za_8,
  80640. + (struct usb_descriptor_header *) &za_9,
  80641. + (struct usb_descriptor_header *) &za_10,
  80642. + (struct usb_descriptor_header *) &za_11,
  80643. + (struct usb_descriptor_header *) &za_12,
  80644. + (struct usb_descriptor_header *) &za_13,
  80645. + (struct usb_descriptor_header *) &za_14,
  80646. + (struct usb_descriptor_header *) &za_15,
  80647. + (struct usb_descriptor_header *) &za_16,
  80648. + (struct usb_descriptor_header *) &za_17,
  80649. + (struct usb_descriptor_header *) &za_18,
  80650. + (struct usb_descriptor_header *) &za_19,
  80651. + (struct usb_descriptor_header *) &za_20,
  80652. + (struct usb_descriptor_header *) &za_21,
  80653. + (struct usb_descriptor_header *) &za_22,
  80654. + (struct usb_descriptor_header *) &za_23,
  80655. + (struct usb_descriptor_header *) &za_24,
  80656. + NULL,
  80657. +};
  80658. +
  80659. +/* maxpacket and other transfer characteristics vary by speed. */
  80660. +#define ep_desc(g,hs,fs) (((g)->speed==USB_SPEED_HIGH)?(hs):(fs))
  80661. +
  80662. +#else
  80663. +
  80664. +/* if there's no high speed support, maxpacket doesn't change. */
  80665. +#define ep_desc(g,hs,fs) fs
  80666. +
  80667. +#endif /* !CONFIG_USB_GADGET_DUALSPEED */
  80668. +
  80669. +static char manufacturer [40];
  80670. +//static char serial [40];
  80671. +static char serial [] = "Ser 00 em";
  80672. +
  80673. +/* static strings, in UTF-8 */
  80674. +static struct usb_string strings [] = {
  80675. + { STRING_MANUFACTURER, manufacturer, },
  80676. + { STRING_PRODUCT, longname, },
  80677. + { STRING_SERIAL, serial, },
  80678. + { STRING_LOOPBACK, loopback, },
  80679. + { STRING_SOURCE_SINK, source_sink, },
  80680. + { } /* end of list */
  80681. +};
  80682. +
  80683. +static struct usb_gadget_strings stringtab = {
  80684. + .language = 0x0409, /* en-us */
  80685. + .strings = strings,
  80686. +};
  80687. +
  80688. +/*
  80689. + * config descriptors are also handcrafted. these must agree with code
  80690. + * that sets configurations, and with code managing interfaces and their
  80691. + * altsettings. other complexity may come from:
  80692. + *
  80693. + * - high speed support, including "other speed config" rules
  80694. + * - multiple configurations
  80695. + * - interfaces with alternate settings
  80696. + * - embedded class or vendor-specific descriptors
  80697. + *
  80698. + * this handles high speed, and has a second config that could as easily
  80699. + * have been an alternate interface setting (on most hardware).
  80700. + *
  80701. + * NOTE: to demonstrate (and test) more USB capabilities, this driver
  80702. + * should include an altsetting to test interrupt transfers, including
  80703. + * high bandwidth modes at high speed. (Maybe work like Intel's test
  80704. + * device?)
  80705. + */
  80706. +static int
  80707. +config_buf (struct usb_gadget *gadget, u8 *buf, u8 type, unsigned index)
  80708. +{
  80709. + int len;
  80710. + const struct usb_descriptor_header **function;
  80711. +
  80712. + function = z_function;
  80713. + len = usb_gadget_config_buf (&z_config, buf, USB_BUFSIZ, function);
  80714. + if (len < 0)
  80715. + return len;
  80716. + ((struct usb_config_descriptor *) buf)->bDescriptorType = type;
  80717. + return len;
  80718. +}
  80719. +
  80720. +/*-------------------------------------------------------------------------*/
  80721. +
  80722. +static struct usb_request *
  80723. +alloc_ep_req (struct usb_ep *ep, unsigned length)
  80724. +{
  80725. + struct usb_request *req;
  80726. +
  80727. + req = usb_ep_alloc_request (ep, GFP_ATOMIC);
  80728. + if (req) {
  80729. + req->length = length;
  80730. + req->buf = usb_ep_alloc_buffer (ep, length,
  80731. + &req->dma, GFP_ATOMIC);
  80732. + if (!req->buf) {
  80733. + usb_ep_free_request (ep, req);
  80734. + req = NULL;
  80735. + }
  80736. + }
  80737. + return req;
  80738. +}
  80739. +
  80740. +static void free_ep_req (struct usb_ep *ep, struct usb_request *req)
  80741. +{
  80742. + if (req->buf)
  80743. + usb_ep_free_buffer (ep, req->buf, req->dma, req->length);
  80744. + usb_ep_free_request (ep, req);
  80745. +}
  80746. +
  80747. +/*-------------------------------------------------------------------------*/
  80748. +
  80749. +/* optionally require specific source/sink data patterns */
  80750. +
  80751. +static int
  80752. +check_read_data (
  80753. + struct zero_dev *dev,
  80754. + struct usb_ep *ep,
  80755. + struct usb_request *req
  80756. +)
  80757. +{
  80758. + unsigned i;
  80759. + u8 *buf = req->buf;
  80760. +
  80761. + for (i = 0; i < req->actual; i++, buf++) {
  80762. + switch (pattern) {
  80763. + /* all-zeroes has no synchronization issues */
  80764. + case 0:
  80765. + if (*buf == 0)
  80766. + continue;
  80767. + break;
  80768. + /* mod63 stays in sync with short-terminated transfers,
  80769. + * or otherwise when host and gadget agree on how large
  80770. + * each usb transfer request should be. resync is done
  80771. + * with set_interface or set_config.
  80772. + */
  80773. + case 1:
  80774. + if (*buf == (u8)(i % 63))
  80775. + continue;
  80776. + break;
  80777. + }
  80778. + ERROR (dev, "bad OUT byte, buf [%d] = %d\n", i, *buf);
  80779. + usb_ep_set_halt (ep);
  80780. + return -EINVAL;
  80781. + }
  80782. + return 0;
  80783. +}
  80784. +
  80785. +/*-------------------------------------------------------------------------*/
  80786. +
  80787. +static void zero_reset_config (struct zero_dev *dev)
  80788. +{
  80789. + if (dev->config == 0)
  80790. + return;
  80791. +
  80792. + DBG (dev, "reset config\n");
  80793. +
  80794. + /* just disable endpoints, forcing completion of pending i/o.
  80795. + * all our completion handlers free their requests in this case.
  80796. + */
  80797. + if (dev->in_ep) {
  80798. + usb_ep_disable (dev->in_ep);
  80799. + dev->in_ep = NULL;
  80800. + }
  80801. + if (dev->out_ep) {
  80802. + usb_ep_disable (dev->out_ep);
  80803. + dev->out_ep = NULL;
  80804. + }
  80805. + dev->config = 0;
  80806. + del_timer (&dev->resume);
  80807. +}
  80808. +
  80809. +#define _write(f, buf, sz) (f->f_op->write(f, buf, sz, &f->f_pos))
  80810. +
  80811. +static void
  80812. +zero_isoc_complete (struct usb_ep *ep, struct usb_request *req)
  80813. +{
  80814. + struct zero_dev *dev = ep->driver_data;
  80815. + int status = req->status;
  80816. + int i, j;
  80817. +
  80818. + switch (status) {
  80819. +
  80820. + case 0: /* normal completion? */
  80821. + //printk ("\nzero ---------------> isoc normal completion %d bytes\n", req->actual);
  80822. + for (i=0, j=rbuf_start; i<req->actual; i++) {
  80823. + //printk ("%02x ", ((__u8*)req->buf)[i]);
  80824. + rbuf[j] = ((__u8*)req->buf)[i];
  80825. + j++;
  80826. + if (j >= RBUF_LEN) j=0;
  80827. + }
  80828. + rbuf_start = j;
  80829. + //printk ("\n\n");
  80830. +
  80831. + if (rbuf_len < RBUF_LEN) {
  80832. + rbuf_len += req->actual;
  80833. + if (rbuf_len > RBUF_LEN) {
  80834. + rbuf_len = RBUF_LEN;
  80835. + }
  80836. + }
  80837. +
  80838. + break;
  80839. +
  80840. + /* this endpoint is normally active while we're configured */
  80841. + case -ECONNABORTED: /* hardware forced ep reset */
  80842. + case -ECONNRESET: /* request dequeued */
  80843. + case -ESHUTDOWN: /* disconnect from host */
  80844. + VDBG (dev, "%s gone (%d), %d/%d\n", ep->name, status,
  80845. + req->actual, req->length);
  80846. + if (ep == dev->out_ep)
  80847. + check_read_data (dev, ep, req);
  80848. + free_ep_req (ep, req);
  80849. + return;
  80850. +
  80851. + case -EOVERFLOW: /* buffer overrun on read means that
  80852. + * we didn't provide a big enough
  80853. + * buffer.
  80854. + */
  80855. + default:
  80856. +#if 1
  80857. + DBG (dev, "%s complete --> %d, %d/%d\n", ep->name,
  80858. + status, req->actual, req->length);
  80859. +#endif
  80860. + case -EREMOTEIO: /* short read */
  80861. + break;
  80862. + }
  80863. +
  80864. + status = usb_ep_queue (ep, req, GFP_ATOMIC);
  80865. + if (status) {
  80866. + ERROR (dev, "kill %s: resubmit %d bytes --> %d\n",
  80867. + ep->name, req->length, status);
  80868. + usb_ep_set_halt (ep);
  80869. + /* FIXME recover later ... somehow */
  80870. + }
  80871. +}
  80872. +
  80873. +static struct usb_request *
  80874. +zero_start_isoc_ep (struct usb_ep *ep, int gfp_flags)
  80875. +{
  80876. + struct usb_request *req;
  80877. + int status;
  80878. +
  80879. + req = alloc_ep_req (ep, 512);
  80880. + if (!req)
  80881. + return NULL;
  80882. +
  80883. + req->complete = zero_isoc_complete;
  80884. +
  80885. + status = usb_ep_queue (ep, req, gfp_flags);
  80886. + if (status) {
  80887. + struct zero_dev *dev = ep->driver_data;
  80888. +
  80889. + ERROR (dev, "start %s --> %d\n", ep->name, status);
  80890. + free_ep_req (ep, req);
  80891. + req = NULL;
  80892. + }
  80893. +
  80894. + return req;
  80895. +}
  80896. +
  80897. +/* change our operational config. this code must agree with the code
  80898. + * that returns config descriptors, and altsetting code.
  80899. + *
  80900. + * it's also responsible for power management interactions. some
  80901. + * configurations might not work with our current power sources.
  80902. + *
  80903. + * note that some device controller hardware will constrain what this
  80904. + * code can do, perhaps by disallowing more than one configuration or
  80905. + * by limiting configuration choices (like the pxa2xx).
  80906. + */
  80907. +static int
  80908. +zero_set_config (struct zero_dev *dev, unsigned number, int gfp_flags)
  80909. +{
  80910. + int result = 0;
  80911. + struct usb_gadget *gadget = dev->gadget;
  80912. + const struct usb_endpoint_descriptor *d;
  80913. + struct usb_ep *ep;
  80914. +
  80915. + if (number == dev->config)
  80916. + return 0;
  80917. +
  80918. + zero_reset_config (dev);
  80919. +
  80920. + gadget_for_each_ep (ep, gadget) {
  80921. +
  80922. + if (strcmp (ep->name, "ep4") == 0) {
  80923. +
  80924. + d = (struct usb_endpoint_descripter *)&za_23; // isoc ep desc for audio i/f alt setting 6
  80925. + result = usb_ep_enable (ep, d);
  80926. +
  80927. + if (result == 0) {
  80928. + ep->driver_data = dev;
  80929. + dev->in_ep = ep;
  80930. +
  80931. + if (zero_start_isoc_ep (ep, gfp_flags) != 0) {
  80932. +
  80933. + dev->in_ep = ep;
  80934. + continue;
  80935. + }
  80936. +
  80937. + usb_ep_disable (ep);
  80938. + result = -EIO;
  80939. + }
  80940. + }
  80941. +
  80942. + }
  80943. +
  80944. + dev->config = number;
  80945. + return result;
  80946. +}
  80947. +
  80948. +/*-------------------------------------------------------------------------*/
  80949. +
  80950. +static void zero_setup_complete (struct usb_ep *ep, struct usb_request *req)
  80951. +{
  80952. + if (req->status || req->actual != req->length)
  80953. + DBG ((struct zero_dev *) ep->driver_data,
  80954. + "setup complete --> %d, %d/%d\n",
  80955. + req->status, req->actual, req->length);
  80956. +}
  80957. +
  80958. +/*
  80959. + * The setup() callback implements all the ep0 functionality that's
  80960. + * not handled lower down, in hardware or the hardware driver (like
  80961. + * device and endpoint feature flags, and their status). It's all
  80962. + * housekeeping for the gadget function we're implementing. Most of
  80963. + * the work is in config-specific setup.
  80964. + */
  80965. +static int
  80966. +zero_setup (struct usb_gadget *gadget, const struct usb_ctrlrequest *ctrl)
  80967. +{
  80968. + struct zero_dev *dev = get_gadget_data (gadget);
  80969. + struct usb_request *req = dev->req;
  80970. + int value = -EOPNOTSUPP;
  80971. +
  80972. + /* usually this stores reply data in the pre-allocated ep0 buffer,
  80973. + * but config change events will reconfigure hardware.
  80974. + */
  80975. + req->zero = 0;
  80976. + switch (ctrl->bRequest) {
  80977. +
  80978. + case USB_REQ_GET_DESCRIPTOR:
  80979. +
  80980. + switch (ctrl->wValue >> 8) {
  80981. +
  80982. + case USB_DT_DEVICE:
  80983. + value = min (ctrl->wLength, (u16) sizeof device_desc);
  80984. + memcpy (req->buf, &device_desc, value);
  80985. + break;
  80986. +#ifdef CONFIG_USB_GADGET_DUALSPEED
  80987. + case USB_DT_DEVICE_QUALIFIER:
  80988. + if (!gadget->is_dualspeed)
  80989. + break;
  80990. + value = min (ctrl->wLength, (u16) sizeof dev_qualifier);
  80991. + memcpy (req->buf, &dev_qualifier, value);
  80992. + break;
  80993. +
  80994. + case USB_DT_OTHER_SPEED_CONFIG:
  80995. + if (!gadget->is_dualspeed)
  80996. + break;
  80997. + // FALLTHROUGH
  80998. +#endif /* CONFIG_USB_GADGET_DUALSPEED */
  80999. + case USB_DT_CONFIG:
  81000. + value = config_buf (gadget, req->buf,
  81001. + ctrl->wValue >> 8,
  81002. + ctrl->wValue & 0xff);
  81003. + if (value >= 0)
  81004. + value = min (ctrl->wLength, (u16) value);
  81005. + break;
  81006. +
  81007. + case USB_DT_STRING:
  81008. + /* wIndex == language code.
  81009. + * this driver only handles one language, you can
  81010. + * add string tables for other languages, using
  81011. + * any UTF-8 characters
  81012. + */
  81013. + value = usb_gadget_get_string (&stringtab,
  81014. + ctrl->wValue & 0xff, req->buf);
  81015. + if (value >= 0) {
  81016. + value = min (ctrl->wLength, (u16) value);
  81017. + }
  81018. + break;
  81019. + }
  81020. + break;
  81021. +
  81022. + /* currently two configs, two speeds */
  81023. + case USB_REQ_SET_CONFIGURATION:
  81024. + if (ctrl->bRequestType != 0)
  81025. + goto unknown;
  81026. +
  81027. + spin_lock (&dev->lock);
  81028. + value = zero_set_config (dev, ctrl->wValue, GFP_ATOMIC);
  81029. + spin_unlock (&dev->lock);
  81030. + break;
  81031. + case USB_REQ_GET_CONFIGURATION:
  81032. + if (ctrl->bRequestType != USB_DIR_IN)
  81033. + goto unknown;
  81034. + *(u8 *)req->buf = dev->config;
  81035. + value = min (ctrl->wLength, (u16) 1);
  81036. + break;
  81037. +
  81038. + /* until we add altsetting support, or other interfaces,
  81039. + * only 0/0 are possible. pxa2xx only supports 0/0 (poorly)
  81040. + * and already killed pending endpoint I/O.
  81041. + */
  81042. + case USB_REQ_SET_INTERFACE:
  81043. +
  81044. + if (ctrl->bRequestType != USB_RECIP_INTERFACE)
  81045. + goto unknown;
  81046. + spin_lock (&dev->lock);
  81047. + if (dev->config) {
  81048. + u8 config = dev->config;
  81049. +
  81050. + /* resets interface configuration, forgets about
  81051. + * previous transaction state (queued bufs, etc)
  81052. + * and re-inits endpoint state (toggle etc)
  81053. + * no response queued, just zero status == success.
  81054. + * if we had more than one interface we couldn't
  81055. + * use this "reset the config" shortcut.
  81056. + */
  81057. + zero_reset_config (dev);
  81058. + zero_set_config (dev, config, GFP_ATOMIC);
  81059. + value = 0;
  81060. + }
  81061. + spin_unlock (&dev->lock);
  81062. + break;
  81063. + case USB_REQ_GET_INTERFACE:
  81064. + if ((ctrl->bRequestType == 0x21) && (ctrl->wIndex == 0x02)) {
  81065. + value = ctrl->wLength;
  81066. + break;
  81067. + }
  81068. + else {
  81069. + if (ctrl->bRequestType != (USB_DIR_IN|USB_RECIP_INTERFACE))
  81070. + goto unknown;
  81071. + if (!dev->config)
  81072. + break;
  81073. + if (ctrl->wIndex != 0) {
  81074. + value = -EDOM;
  81075. + break;
  81076. + }
  81077. + *(u8 *)req->buf = 0;
  81078. + value = min (ctrl->wLength, (u16) 1);
  81079. + }
  81080. + break;
  81081. +
  81082. + /*
  81083. + * These are the same vendor-specific requests supported by
  81084. + * Intel's USB 2.0 compliance test devices. We exceed that
  81085. + * device spec by allowing multiple-packet requests.
  81086. + */
  81087. + case 0x5b: /* control WRITE test -- fill the buffer */
  81088. + if (ctrl->bRequestType != (USB_DIR_OUT|USB_TYPE_VENDOR))
  81089. + goto unknown;
  81090. + if (ctrl->wValue || ctrl->wIndex)
  81091. + break;
  81092. + /* just read that many bytes into the buffer */
  81093. + if (ctrl->wLength > USB_BUFSIZ)
  81094. + break;
  81095. + value = ctrl->wLength;
  81096. + break;
  81097. + case 0x5c: /* control READ test -- return the buffer */
  81098. + if (ctrl->bRequestType != (USB_DIR_IN|USB_TYPE_VENDOR))
  81099. + goto unknown;
  81100. + if (ctrl->wValue || ctrl->wIndex)
  81101. + break;
  81102. + /* expect those bytes are still in the buffer; send back */
  81103. + if (ctrl->wLength > USB_BUFSIZ
  81104. + || ctrl->wLength != req->length)
  81105. + break;
  81106. + value = ctrl->wLength;
  81107. + break;
  81108. +
  81109. + case 0x01: // SET_CUR
  81110. + case 0x02:
  81111. + case 0x03:
  81112. + case 0x04:
  81113. + case 0x05:
  81114. + value = ctrl->wLength;
  81115. + break;
  81116. + case 0x81:
  81117. + switch (ctrl->wValue) {
  81118. + case 0x0201:
  81119. + case 0x0202:
  81120. + ((u8*)req->buf)[0] = 0x00;
  81121. + ((u8*)req->buf)[1] = 0xe3;
  81122. + break;
  81123. + case 0x0300:
  81124. + case 0x0500:
  81125. + ((u8*)req->buf)[0] = 0x00;
  81126. + break;
  81127. + }
  81128. + //((u8*)req->buf)[0] = 0x81;
  81129. + //((u8*)req->buf)[1] = 0x81;
  81130. + value = ctrl->wLength;
  81131. + break;
  81132. + case 0x82:
  81133. + switch (ctrl->wValue) {
  81134. + case 0x0201:
  81135. + case 0x0202:
  81136. + ((u8*)req->buf)[0] = 0x00;
  81137. + ((u8*)req->buf)[1] = 0xc3;
  81138. + break;
  81139. + case 0x0300:
  81140. + case 0x0500:
  81141. + ((u8*)req->buf)[0] = 0x00;
  81142. + break;
  81143. + }
  81144. + //((u8*)req->buf)[0] = 0x82;
  81145. + //((u8*)req->buf)[1] = 0x82;
  81146. + value = ctrl->wLength;
  81147. + break;
  81148. + case 0x83:
  81149. + switch (ctrl->wValue) {
  81150. + case 0x0201:
  81151. + case 0x0202:
  81152. + ((u8*)req->buf)[0] = 0x00;
  81153. + ((u8*)req->buf)[1] = 0x00;
  81154. + break;
  81155. + case 0x0300:
  81156. + ((u8*)req->buf)[0] = 0x60;
  81157. + break;
  81158. + case 0x0500:
  81159. + ((u8*)req->buf)[0] = 0x18;
  81160. + break;
  81161. + }
  81162. + //((u8*)req->buf)[0] = 0x83;
  81163. + //((u8*)req->buf)[1] = 0x83;
  81164. + value = ctrl->wLength;
  81165. + break;
  81166. + case 0x84:
  81167. + switch (ctrl->wValue) {
  81168. + case 0x0201:
  81169. + case 0x0202:
  81170. + ((u8*)req->buf)[0] = 0x00;
  81171. + ((u8*)req->buf)[1] = 0x01;
  81172. + break;
  81173. + case 0x0300:
  81174. + case 0x0500:
  81175. + ((u8*)req->buf)[0] = 0x08;
  81176. + break;
  81177. + }
  81178. + //((u8*)req->buf)[0] = 0x84;
  81179. + //((u8*)req->buf)[1] = 0x84;
  81180. + value = ctrl->wLength;
  81181. + break;
  81182. + case 0x85:
  81183. + ((u8*)req->buf)[0] = 0x85;
  81184. + ((u8*)req->buf)[1] = 0x85;
  81185. + value = ctrl->wLength;
  81186. + break;
  81187. +
  81188. +
  81189. + default:
  81190. +unknown:
  81191. + printk("unknown control req%02x.%02x v%04x i%04x l%d\n",
  81192. + ctrl->bRequestType, ctrl->bRequest,
  81193. + ctrl->wValue, ctrl->wIndex, ctrl->wLength);
  81194. + }
  81195. +
  81196. + /* respond with data transfer before status phase? */
  81197. + if (value >= 0) {
  81198. + req->length = value;
  81199. + req->zero = value < ctrl->wLength
  81200. + && (value % gadget->ep0->maxpacket) == 0;
  81201. + value = usb_ep_queue (gadget->ep0, req, GFP_ATOMIC);
  81202. + if (value < 0) {
  81203. + DBG (dev, "ep_queue < 0 --> %d\n", value);
  81204. + req->status = 0;
  81205. + zero_setup_complete (gadget->ep0, req);
  81206. + }
  81207. + }
  81208. +
  81209. + /* device either stalls (value < 0) or reports success */
  81210. + return value;
  81211. +}
  81212. +
  81213. +static void
  81214. +zero_disconnect (struct usb_gadget *gadget)
  81215. +{
  81216. + struct zero_dev *dev = get_gadget_data (gadget);
  81217. + unsigned long flags;
  81218. +
  81219. + spin_lock_irqsave (&dev->lock, flags);
  81220. + zero_reset_config (dev);
  81221. +
  81222. + /* a more significant application might have some non-usb
  81223. + * activities to quiesce here, saving resources like power
  81224. + * or pushing the notification up a network stack.
  81225. + */
  81226. + spin_unlock_irqrestore (&dev->lock, flags);
  81227. +
  81228. + /* next we may get setup() calls to enumerate new connections;
  81229. + * or an unbind() during shutdown (including removing module).
  81230. + */
  81231. +}
  81232. +
  81233. +static void
  81234. +zero_autoresume (unsigned long _dev)
  81235. +{
  81236. + struct zero_dev *dev = (struct zero_dev *) _dev;
  81237. + int status;
  81238. +
  81239. + /* normally the host would be woken up for something
  81240. + * more significant than just a timer firing...
  81241. + */
  81242. + if (dev->gadget->speed != USB_SPEED_UNKNOWN) {
  81243. + status = usb_gadget_wakeup (dev->gadget);
  81244. + DBG (dev, "wakeup --> %d\n", status);
  81245. + }
  81246. +}
  81247. +
  81248. +/*-------------------------------------------------------------------------*/
  81249. +
  81250. +static void
  81251. +zero_unbind (struct usb_gadget *gadget)
  81252. +{
  81253. + struct zero_dev *dev = get_gadget_data (gadget);
  81254. +
  81255. + DBG (dev, "unbind\n");
  81256. +
  81257. + /* we've already been disconnected ... no i/o is active */
  81258. + if (dev->req)
  81259. + free_ep_req (gadget->ep0, dev->req);
  81260. + del_timer_sync (&dev->resume);
  81261. + kfree (dev);
  81262. + set_gadget_data (gadget, NULL);
  81263. +}
  81264. +
  81265. +static int
  81266. +zero_bind (struct usb_gadget *gadget)
  81267. +{
  81268. + struct zero_dev *dev;
  81269. + //struct usb_ep *ep;
  81270. +
  81271. + printk("binding\n");
  81272. + /*
  81273. + * DRIVER POLICY CHOICE: you may want to do this differently.
  81274. + * One thing to avoid is reusing a bcdDevice revision code
  81275. + * with different host-visible configurations or behavior
  81276. + * restrictions -- using ep1in/ep2out vs ep1out/ep3in, etc
  81277. + */
  81278. + //device_desc.bcdDevice = __constant_cpu_to_le16 (0x0201);
  81279. +
  81280. +
  81281. + /* ok, we made sense of the hardware ... */
  81282. + dev = kmalloc (sizeof *dev, SLAB_KERNEL);
  81283. + if (!dev)
  81284. + return -ENOMEM;
  81285. + memset (dev, 0, sizeof *dev);
  81286. + spin_lock_init (&dev->lock);
  81287. + dev->gadget = gadget;
  81288. + set_gadget_data (gadget, dev);
  81289. +
  81290. + /* preallocate control response and buffer */
  81291. + dev->req = usb_ep_alloc_request (gadget->ep0, GFP_KERNEL);
  81292. + if (!dev->req)
  81293. + goto enomem;
  81294. + dev->req->buf = usb_ep_alloc_buffer (gadget->ep0, USB_BUFSIZ,
  81295. + &dev->req->dma, GFP_KERNEL);
  81296. + if (!dev->req->buf)
  81297. + goto enomem;
  81298. +
  81299. + dev->req->complete = zero_setup_complete;
  81300. +
  81301. + device_desc.bMaxPacketSize0 = gadget->ep0->maxpacket;
  81302. +
  81303. +#ifdef CONFIG_USB_GADGET_DUALSPEED
  81304. + /* assume ep0 uses the same value for both speeds ... */
  81305. + dev_qualifier.bMaxPacketSize0 = device_desc.bMaxPacketSize0;
  81306. +
  81307. + /* and that all endpoints are dual-speed */
  81308. + //hs_source_desc.bEndpointAddress = fs_source_desc.bEndpointAddress;
  81309. + //hs_sink_desc.bEndpointAddress = fs_sink_desc.bEndpointAddress;
  81310. +#endif
  81311. +
  81312. + usb_gadget_set_selfpowered (gadget);
  81313. +
  81314. + init_timer (&dev->resume);
  81315. + dev->resume.function = zero_autoresume;
  81316. + dev->resume.data = (unsigned long) dev;
  81317. +
  81318. + gadget->ep0->driver_data = dev;
  81319. +
  81320. + INFO (dev, "%s, version: " DRIVER_VERSION "\n", longname);
  81321. + INFO (dev, "using %s, OUT %s IN %s\n", gadget->name,
  81322. + EP_OUT_NAME, EP_IN_NAME);
  81323. +
  81324. + snprintf (manufacturer, sizeof manufacturer,
  81325. + UTS_SYSNAME " " UTS_RELEASE " with %s",
  81326. + gadget->name);
  81327. +
  81328. + return 0;
  81329. +
  81330. +enomem:
  81331. + zero_unbind (gadget);
  81332. + return -ENOMEM;
  81333. +}
  81334. +
  81335. +/*-------------------------------------------------------------------------*/
  81336. +
  81337. +static void
  81338. +zero_suspend (struct usb_gadget *gadget)
  81339. +{
  81340. + struct zero_dev *dev = get_gadget_data (gadget);
  81341. +
  81342. + if (gadget->speed == USB_SPEED_UNKNOWN)
  81343. + return;
  81344. +
  81345. + if (autoresume) {
  81346. + mod_timer (&dev->resume, jiffies + (HZ * autoresume));
  81347. + DBG (dev, "suspend, wakeup in %d seconds\n", autoresume);
  81348. + } else
  81349. + DBG (dev, "suspend\n");
  81350. +}
  81351. +
  81352. +static void
  81353. +zero_resume (struct usb_gadget *gadget)
  81354. +{
  81355. + struct zero_dev *dev = get_gadget_data (gadget);
  81356. +
  81357. + DBG (dev, "resume\n");
  81358. + del_timer (&dev->resume);
  81359. +}
  81360. +
  81361. +
  81362. +/*-------------------------------------------------------------------------*/
  81363. +
  81364. +static struct usb_gadget_driver zero_driver = {
  81365. +#ifdef CONFIG_USB_GADGET_DUALSPEED
  81366. + .speed = USB_SPEED_HIGH,
  81367. +#else
  81368. + .speed = USB_SPEED_FULL,
  81369. +#endif
  81370. + .function = (char *) longname,
  81371. + .bind = zero_bind,
  81372. + .unbind = zero_unbind,
  81373. +
  81374. + .setup = zero_setup,
  81375. + .disconnect = zero_disconnect,
  81376. +
  81377. + .suspend = zero_suspend,
  81378. + .resume = zero_resume,
  81379. +
  81380. + .driver = {
  81381. + .name = (char *) shortname,
  81382. + // .shutdown = ...
  81383. + // .suspend = ...
  81384. + // .resume = ...
  81385. + },
  81386. +};
  81387. +
  81388. +MODULE_AUTHOR ("David Brownell");
  81389. +MODULE_LICENSE ("Dual BSD/GPL");
  81390. +
  81391. +static struct proc_dir_entry *pdir, *pfile;
  81392. +
  81393. +static int isoc_read_data (char *page, char **start,
  81394. + off_t off, int count,
  81395. + int *eof, void *data)
  81396. +{
  81397. + int i;
  81398. + static int c = 0;
  81399. + static int done = 0;
  81400. + static int s = 0;
  81401. +
  81402. +/*
  81403. + printk ("\ncount: %d\n", count);
  81404. + printk ("rbuf_start: %d\n", rbuf_start);
  81405. + printk ("rbuf_len: %d\n", rbuf_len);
  81406. + printk ("off: %d\n", off);
  81407. + printk ("start: %p\n\n", *start);
  81408. +*/
  81409. + if (done) {
  81410. + c = 0;
  81411. + done = 0;
  81412. + *eof = 1;
  81413. + return 0;
  81414. + }
  81415. +
  81416. + if (c == 0) {
  81417. + if (rbuf_len == RBUF_LEN)
  81418. + s = rbuf_start;
  81419. + else s = 0;
  81420. + }
  81421. +
  81422. + for (i=0; i<count && c<rbuf_len; i++, c++) {
  81423. + page[i] = rbuf[(c+s) % RBUF_LEN];
  81424. + }
  81425. + *start = page;
  81426. +
  81427. + if (c >= rbuf_len) {
  81428. + *eof = 1;
  81429. + done = 1;
  81430. + }
  81431. +
  81432. +
  81433. + return i;
  81434. +}
  81435. +
  81436. +static int __init init (void)
  81437. +{
  81438. +
  81439. + int retval = 0;
  81440. +
  81441. + pdir = proc_mkdir("isoc_test", NULL);
  81442. + if(pdir == NULL) {
  81443. + retval = -ENOMEM;
  81444. + printk("Error creating dir\n");
  81445. + goto done;
  81446. + }
  81447. + pdir->owner = THIS_MODULE;
  81448. +
  81449. + pfile = create_proc_read_entry("isoc_data",
  81450. + 0444, pdir,
  81451. + isoc_read_data,
  81452. + NULL);
  81453. + if (pfile == NULL) {
  81454. + retval = -ENOMEM;
  81455. + printk("Error creating file\n");
  81456. + goto no_file;
  81457. + }
  81458. + pfile->owner = THIS_MODULE;
  81459. +
  81460. + return usb_gadget_register_driver (&zero_driver);
  81461. +
  81462. + no_file:
  81463. + remove_proc_entry("isoc_data", NULL);
  81464. + done:
  81465. + return retval;
  81466. +}
  81467. +module_init (init);
  81468. +
  81469. +static void __exit cleanup (void)
  81470. +{
  81471. +
  81472. + usb_gadget_unregister_driver (&zero_driver);
  81473. +
  81474. + remove_proc_entry("isoc_data", pdir);
  81475. + remove_proc_entry("isoc_test", NULL);
  81476. +}
  81477. +module_exit (cleanup);
  81478. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_cfi_common.h linux-rpi/drivers/usb/host/dwc_otg/dwc_cfi_common.h
  81479. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_cfi_common.h 1970-01-01 01:00:00.000000000 +0100
  81480. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_cfi_common.h 2015-11-29 09:42:39.915098960 +0100
  81481. @@ -0,0 +1,142 @@
  81482. +/* ==========================================================================
  81483. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  81484. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  81485. + * otherwise expressly agreed to in writing between Synopsys and you.
  81486. + *
  81487. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  81488. + * any End User Software License Agreement or Agreement for Licensed Product
  81489. + * with Synopsys or any supplement thereto. You are permitted to use and
  81490. + * redistribute this Software in source and binary forms, with or without
  81491. + * modification, provided that redistributions of source code must retain this
  81492. + * notice. You may not view, use, disclose, copy or distribute this file or
  81493. + * any information contained herein except pursuant to this license grant from
  81494. + * Synopsys. If you do not agree with this notice, including the disclaimer
  81495. + * below, then you are not authorized to use the Software.
  81496. + *
  81497. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  81498. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  81499. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  81500. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  81501. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  81502. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  81503. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  81504. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  81505. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  81506. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  81507. + * DAMAGE.
  81508. + * ========================================================================== */
  81509. +
  81510. +#if !defined(__DWC_CFI_COMMON_H__)
  81511. +#define __DWC_CFI_COMMON_H__
  81512. +
  81513. +//#include <linux/types.h>
  81514. +
  81515. +/**
  81516. + * @file
  81517. + *
  81518. + * This file contains the CFI specific common constants, interfaces
  81519. + * (functions and macros) and structures for Linux. No PCD specific
  81520. + * data structure or definition is to be included in this file.
  81521. + *
  81522. + */
  81523. +
  81524. +/** This is a request for all Core Features */
  81525. +#define VEN_CORE_GET_FEATURES 0xB1
  81526. +
  81527. +/** This is a request to get the value of a specific Core Feature */
  81528. +#define VEN_CORE_GET_FEATURE 0xB2
  81529. +
  81530. +/** This command allows the host to set the value of a specific Core Feature */
  81531. +#define VEN_CORE_SET_FEATURE 0xB3
  81532. +
  81533. +/** This command allows the host to set the default values of
  81534. + * either all or any specific Core Feature
  81535. + */
  81536. +#define VEN_CORE_RESET_FEATURES 0xB4
  81537. +
  81538. +/** This command forces the PCD to write the deferred values of a Core Features */
  81539. +#define VEN_CORE_ACTIVATE_FEATURES 0xB5
  81540. +
  81541. +/** This request reads a DWORD value from a register at the specified offset */
  81542. +#define VEN_CORE_READ_REGISTER 0xB6
  81543. +
  81544. +/** This request writes a DWORD value into a register at the specified offset */
  81545. +#define VEN_CORE_WRITE_REGISTER 0xB7
  81546. +
  81547. +/** This structure is the header of the Core Features dataset returned to
  81548. + * the Host
  81549. + */
  81550. +struct cfi_all_features_header {
  81551. +/** The features header structure length is */
  81552. +#define CFI_ALL_FEATURES_HDR_LEN 8
  81553. + /**
  81554. + * The total length of the features dataset returned to the Host
  81555. + */
  81556. + uint16_t wTotalLen;
  81557. +
  81558. + /**
  81559. + * CFI version number inBinary-Coded Decimal (i.e., 1.00 is 100H).
  81560. + * This field identifies the version of the CFI Specification with which
  81561. + * the device is compliant.
  81562. + */
  81563. + uint16_t wVersion;
  81564. +
  81565. + /** The ID of the Core */
  81566. + uint16_t wCoreID;
  81567. +#define CFI_CORE_ID_UDC 1
  81568. +#define CFI_CORE_ID_OTG 2
  81569. +#define CFI_CORE_ID_WUDEV 3
  81570. +
  81571. + /** Number of features returned by VEN_CORE_GET_FEATURES request */
  81572. + uint16_t wNumFeatures;
  81573. +} UPACKED;
  81574. +
  81575. +typedef struct cfi_all_features_header cfi_all_features_header_t;
  81576. +
  81577. +/** This structure is a header of the Core Feature descriptor dataset returned to
  81578. + * the Host after the VEN_CORE_GET_FEATURES request
  81579. + */
  81580. +struct cfi_feature_desc_header {
  81581. +#define CFI_FEATURE_DESC_HDR_LEN 8
  81582. +
  81583. + /** The feature ID */
  81584. + uint16_t wFeatureID;
  81585. +
  81586. + /** Length of this feature descriptor in bytes - including the
  81587. + * length of the feature name string
  81588. + */
  81589. + uint16_t wLength;
  81590. +
  81591. + /** The data length of this feature in bytes */
  81592. + uint16_t wDataLength;
  81593. +
  81594. + /**
  81595. + * Attributes of this features
  81596. + * D0: Access rights
  81597. + * 0 - Read/Write
  81598. + * 1 - Read only
  81599. + */
  81600. + uint8_t bmAttributes;
  81601. +#define CFI_FEATURE_ATTR_RO 1
  81602. +#define CFI_FEATURE_ATTR_RW 0
  81603. +
  81604. + /** Length of the feature name in bytes */
  81605. + uint8_t bNameLen;
  81606. +
  81607. + /** The feature name buffer */
  81608. + //uint8_t *name;
  81609. +} UPACKED;
  81610. +
  81611. +typedef struct cfi_feature_desc_header cfi_feature_desc_header_t;
  81612. +
  81613. +/**
  81614. + * This structure describes a NULL terminated string referenced by its id field.
  81615. + * It is very similar to usb_string structure but has the id field type set to 16-bit.
  81616. + */
  81617. +struct cfi_string {
  81618. + uint16_t id;
  81619. + const uint8_t *s;
  81620. +};
  81621. +typedef struct cfi_string cfi_string_t;
  81622. +
  81623. +#endif
  81624. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_adp.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_adp.c
  81625. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_adp.c 1970-01-01 01:00:00.000000000 +0100
  81626. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_adp.c 2015-11-29 09:42:39.915098960 +0100
  81627. @@ -0,0 +1,854 @@
  81628. +/* ==========================================================================
  81629. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_adp.c $
  81630. + * $Revision: #12 $
  81631. + * $Date: 2011/10/26 $
  81632. + * $Change: 1873028 $
  81633. + *
  81634. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  81635. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  81636. + * otherwise expressly agreed to in writing between Synopsys and you.
  81637. + *
  81638. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  81639. + * any End User Software License Agreement or Agreement for Licensed Product
  81640. + * with Synopsys or any supplement thereto. You are permitted to use and
  81641. + * redistribute this Software in source and binary forms, with or without
  81642. + * modification, provided that redistributions of source code must retain this
  81643. + * notice. You may not view, use, disclose, copy or distribute this file or
  81644. + * any information contained herein except pursuant to this license grant from
  81645. + * Synopsys. If you do not agree with this notice, including the disclaimer
  81646. + * below, then you are not authorized to use the Software.
  81647. + *
  81648. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  81649. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  81650. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  81651. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  81652. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  81653. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  81654. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  81655. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  81656. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  81657. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  81658. + * DAMAGE.
  81659. + * ========================================================================== */
  81660. +
  81661. +#include "dwc_os.h"
  81662. +#include "dwc_otg_regs.h"
  81663. +#include "dwc_otg_cil.h"
  81664. +#include "dwc_otg_adp.h"
  81665. +
  81666. +/** @file
  81667. + *
  81668. + * This file contains the most of the Attach Detect Protocol implementation for
  81669. + * the driver to support OTG Rev2.0.
  81670. + *
  81671. + */
  81672. +
  81673. +void dwc_otg_adp_write_reg(dwc_otg_core_if_t * core_if, uint32_t value)
  81674. +{
  81675. + adpctl_data_t adpctl;
  81676. +
  81677. + adpctl.d32 = value;
  81678. + adpctl.b.ar = 0x2;
  81679. +
  81680. + DWC_WRITE_REG32(&core_if->core_global_regs->adpctl, adpctl.d32);
  81681. +
  81682. + while (adpctl.b.ar) {
  81683. + adpctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->adpctl);
  81684. + }
  81685. +
  81686. +}
  81687. +
  81688. +/**
  81689. + * Function is called to read ADP registers
  81690. + */
  81691. +uint32_t dwc_otg_adp_read_reg(dwc_otg_core_if_t * core_if)
  81692. +{
  81693. + adpctl_data_t adpctl;
  81694. +
  81695. + adpctl.d32 = 0;
  81696. + adpctl.b.ar = 0x1;
  81697. +
  81698. + DWC_WRITE_REG32(&core_if->core_global_regs->adpctl, adpctl.d32);
  81699. +
  81700. + while (adpctl.b.ar) {
  81701. + adpctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->adpctl);
  81702. + }
  81703. +
  81704. + return adpctl.d32;
  81705. +}
  81706. +
  81707. +/**
  81708. + * Function is called to read ADPCTL register and filter Write-clear bits
  81709. + */
  81710. +uint32_t dwc_otg_adp_read_reg_filter(dwc_otg_core_if_t * core_if)
  81711. +{
  81712. + adpctl_data_t adpctl;
  81713. +
  81714. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  81715. + adpctl.b.adp_tmout_int = 0;
  81716. + adpctl.b.adp_prb_int = 0;
  81717. + adpctl.b.adp_tmout_int = 0;
  81718. +
  81719. + return adpctl.d32;
  81720. +}
  81721. +
  81722. +/**
  81723. + * Function is called to write ADP registers
  81724. + */
  81725. +void dwc_otg_adp_modify_reg(dwc_otg_core_if_t * core_if, uint32_t clr,
  81726. + uint32_t set)
  81727. +{
  81728. + dwc_otg_adp_write_reg(core_if,
  81729. + (dwc_otg_adp_read_reg(core_if) & (~clr)) | set);
  81730. +}
  81731. +
  81732. +static void adp_sense_timeout(void *ptr)
  81733. +{
  81734. + dwc_otg_core_if_t *core_if = (dwc_otg_core_if_t *) ptr;
  81735. + core_if->adp.sense_timer_started = 0;
  81736. + DWC_PRINTF("ADP SENSE TIMEOUT\n");
  81737. + if (core_if->adp_enable) {
  81738. + dwc_otg_adp_sense_stop(core_if);
  81739. + dwc_otg_adp_probe_start(core_if);
  81740. + }
  81741. +}
  81742. +
  81743. +/**
  81744. + * This function is called when the ADP vbus timer expires. Timeout is 1.1s.
  81745. + */
  81746. +static void adp_vbuson_timeout(void *ptr)
  81747. +{
  81748. + gpwrdn_data_t gpwrdn;
  81749. + dwc_otg_core_if_t *core_if = (dwc_otg_core_if_t *) ptr;
  81750. + hprt0_data_t hprt0 = {.d32 = 0 };
  81751. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  81752. + DWC_PRINTF("%s: 1.1 seconds expire after turning on VBUS\n",__FUNCTION__);
  81753. + if (core_if) {
  81754. + core_if->adp.vbuson_timer_started = 0;
  81755. + /* Turn off vbus */
  81756. + hprt0.b.prtpwr = 1;
  81757. + DWC_MODIFY_REG32(core_if->host_if->hprt0, hprt0.d32, 0);
  81758. + gpwrdn.d32 = 0;
  81759. +
  81760. + /* Power off the core */
  81761. + if (core_if->power_down == 2) {
  81762. + /* Enable Wakeup Logic */
  81763. +// gpwrdn.b.wkupactiv = 1;
  81764. + gpwrdn.b.pmuactv = 0;
  81765. + gpwrdn.b.pwrdnrstn = 1;
  81766. + gpwrdn.b.pwrdnclmp = 1;
  81767. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0,
  81768. + gpwrdn.d32);
  81769. +
  81770. + /* Suspend the Phy Clock */
  81771. + pcgcctl.b.stoppclk = 1;
  81772. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  81773. +
  81774. + /* Switch on VDD */
  81775. +// gpwrdn.b.wkupactiv = 1;
  81776. + gpwrdn.b.pmuactv = 1;
  81777. + gpwrdn.b.pwrdnrstn = 1;
  81778. + gpwrdn.b.pwrdnclmp = 1;
  81779. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0,
  81780. + gpwrdn.d32);
  81781. + } else {
  81782. + /* Enable Power Down Logic */
  81783. + gpwrdn.b.pmuintsel = 1;
  81784. + gpwrdn.b.pmuactv = 1;
  81785. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  81786. + }
  81787. +
  81788. + /* Power off the core */
  81789. + if (core_if->power_down == 2) {
  81790. + gpwrdn.d32 = 0;
  81791. + gpwrdn.b.pwrdnswtch = 1;
  81792. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn,
  81793. + gpwrdn.d32, 0);
  81794. + }
  81795. +
  81796. + /* Unmask SRP detected interrupt from Power Down Logic */
  81797. + gpwrdn.d32 = 0;
  81798. + gpwrdn.b.srp_det_msk = 1;
  81799. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  81800. +
  81801. + dwc_otg_adp_probe_start(core_if);
  81802. + dwc_otg_dump_global_registers(core_if);
  81803. + dwc_otg_dump_host_registers(core_if);
  81804. + }
  81805. +
  81806. +}
  81807. +
  81808. +/**
  81809. + * Start the ADP Initial Probe timer to detect if Port Connected interrupt is
  81810. + * not asserted within 1.1 seconds.
  81811. + *
  81812. + * @param core_if the pointer to core_if strucure.
  81813. + */
  81814. +void dwc_otg_adp_vbuson_timer_start(dwc_otg_core_if_t * core_if)
  81815. +{
  81816. + core_if->adp.vbuson_timer_started = 1;
  81817. + if (core_if->adp.vbuson_timer)
  81818. + {
  81819. + DWC_PRINTF("SCHEDULING VBUSON TIMER\n");
  81820. + /* 1.1 secs + 60ms necessary for cil_hcd_start*/
  81821. + DWC_TIMER_SCHEDULE(core_if->adp.vbuson_timer, 1160);
  81822. + } else {
  81823. + DWC_WARN("VBUSON_TIMER = %p\n",core_if->adp.vbuson_timer);
  81824. + }
  81825. +}
  81826. +
  81827. +#if 0
  81828. +/**
  81829. + * Masks all DWC OTG core interrupts
  81830. + *
  81831. + */
  81832. +static void mask_all_interrupts(dwc_otg_core_if_t * core_if)
  81833. +{
  81834. + int i;
  81835. + gahbcfg_data_t ahbcfg = {.d32 = 0 };
  81836. +
  81837. + /* Mask Host Interrupts */
  81838. +
  81839. + /* Clear and disable HCINTs */
  81840. + for (i = 0; i < core_if->core_params->host_channels; i++) {
  81841. + DWC_WRITE_REG32(&core_if->host_if->hc_regs[i]->hcintmsk, 0);
  81842. + DWC_WRITE_REG32(&core_if->host_if->hc_regs[i]->hcint, 0xFFFFFFFF);
  81843. +
  81844. + }
  81845. +
  81846. + /* Clear and disable HAINT */
  81847. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->haintmsk, 0x0000);
  81848. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->haint, 0xFFFFFFFF);
  81849. +
  81850. + /* Mask Device Interrupts */
  81851. + if (!core_if->multiproc_int_enable) {
  81852. + /* Clear and disable IN Endpoint interrupts */
  81853. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->diepmsk, 0);
  81854. + for (i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  81855. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[i]->
  81856. + diepint, 0xFFFFFFFF);
  81857. + }
  81858. +
  81859. + /* Clear and disable OUT Endpoint interrupts */
  81860. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->doepmsk, 0);
  81861. + for (i = 0; i <= core_if->dev_if->num_out_eps; i++) {
  81862. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[i]->
  81863. + doepint, 0xFFFFFFFF);
  81864. + }
  81865. +
  81866. + /* Clear and disable DAINT */
  81867. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->daint,
  81868. + 0xFFFFFFFF);
  81869. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->daintmsk, 0);
  81870. + } else {
  81871. + for (i = 0; i < core_if->dev_if->num_in_eps; ++i) {
  81872. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->
  81873. + diepeachintmsk[i], 0);
  81874. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[i]->
  81875. + diepint, 0xFFFFFFFF);
  81876. + }
  81877. +
  81878. + for (i = 0; i < core_if->dev_if->num_out_eps; ++i) {
  81879. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->
  81880. + doepeachintmsk[i], 0);
  81881. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[i]->
  81882. + doepint, 0xFFFFFFFF);
  81883. + }
  81884. +
  81885. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->deachintmsk,
  81886. + 0);
  81887. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->deachint,
  81888. + 0xFFFFFFFF);
  81889. +
  81890. + }
  81891. +
  81892. + /* Disable interrupts */
  81893. + ahbcfg.b.glblintrmsk = 1;
  81894. + DWC_MODIFY_REG32(&core_if->core_global_regs->gahbcfg, ahbcfg.d32, 0);
  81895. +
  81896. + /* Disable all interrupts. */
  81897. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, 0);
  81898. +
  81899. + /* Clear any pending interrupts */
  81900. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  81901. +
  81902. + /* Clear any pending OTG Interrupts */
  81903. + DWC_WRITE_REG32(&core_if->core_global_regs->gotgint, 0xFFFFFFFF);
  81904. +}
  81905. +
  81906. +/**
  81907. + * Unmask Port Connection Detected interrupt
  81908. + *
  81909. + */
  81910. +static void unmask_conn_det_intr(dwc_otg_core_if_t * core_if)
  81911. +{
  81912. + gintmsk_data_t gintmsk = {.d32 = 0,.b.portintr = 1 };
  81913. +
  81914. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, gintmsk.d32);
  81915. +}
  81916. +#endif
  81917. +
  81918. +/**
  81919. + * Starts the ADP Probing
  81920. + *
  81921. + * @param core_if the pointer to core_if structure.
  81922. + */
  81923. +uint32_t dwc_otg_adp_probe_start(dwc_otg_core_if_t * core_if)
  81924. +{
  81925. +
  81926. + adpctl_data_t adpctl = {.d32 = 0};
  81927. + gpwrdn_data_t gpwrdn;
  81928. +#if 0
  81929. + adpctl_data_t adpctl_int = {.d32 = 0, .b.adp_prb_int = 1,
  81930. + .b.adp_sns_int = 1, b.adp_tmout_int};
  81931. +#endif
  81932. + dwc_otg_disable_global_interrupts(core_if);
  81933. + DWC_PRINTF("ADP Probe Start\n");
  81934. + core_if->adp.probe_enabled = 1;
  81935. +
  81936. + adpctl.b.adpres = 1;
  81937. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  81938. +
  81939. + while (adpctl.b.adpres) {
  81940. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  81941. + }
  81942. +
  81943. + adpctl.d32 = 0;
  81944. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  81945. +
  81946. + /* In Host mode unmask SRP detected interrupt */
  81947. + gpwrdn.d32 = 0;
  81948. + gpwrdn.b.sts_chngint_msk = 1;
  81949. + if (!gpwrdn.b.idsts) {
  81950. + gpwrdn.b.srp_det_msk = 1;
  81951. + }
  81952. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  81953. +
  81954. + adpctl.b.adp_tmout_int_msk = 1;
  81955. + adpctl.b.adp_prb_int_msk = 1;
  81956. + adpctl.b.prb_dschg = 1;
  81957. + adpctl.b.prb_delta = 1;
  81958. + adpctl.b.prb_per = 1;
  81959. + adpctl.b.adpen = 1;
  81960. + adpctl.b.enaprb = 1;
  81961. +
  81962. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  81963. + DWC_PRINTF("ADP Probe Finish\n");
  81964. + return 0;
  81965. +}
  81966. +
  81967. +/**
  81968. + * Starts the ADP Sense timer to detect if ADP Sense interrupt is not asserted
  81969. + * within 3 seconds.
  81970. + *
  81971. + * @param core_if the pointer to core_if strucure.
  81972. + */
  81973. +void dwc_otg_adp_sense_timer_start(dwc_otg_core_if_t * core_if)
  81974. +{
  81975. + core_if->adp.sense_timer_started = 1;
  81976. + DWC_TIMER_SCHEDULE(core_if->adp.sense_timer, 3000 /* 3 secs */ );
  81977. +}
  81978. +
  81979. +/**
  81980. + * Starts the ADP Sense
  81981. + *
  81982. + * @param core_if the pointer to core_if strucure.
  81983. + */
  81984. +uint32_t dwc_otg_adp_sense_start(dwc_otg_core_if_t * core_if)
  81985. +{
  81986. + adpctl_data_t adpctl;
  81987. +
  81988. + DWC_PRINTF("ADP Sense Start\n");
  81989. +
  81990. + /* Unmask ADP sense interrupt and mask all other from the core */
  81991. + adpctl.d32 = dwc_otg_adp_read_reg_filter(core_if);
  81992. + adpctl.b.adp_sns_int_msk = 1;
  81993. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  81994. + dwc_otg_disable_global_interrupts(core_if); // vahrama
  81995. +
  81996. + /* Set ADP reset bit*/
  81997. + adpctl.d32 = dwc_otg_adp_read_reg_filter(core_if);
  81998. + adpctl.b.adpres = 1;
  81999. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82000. +
  82001. + while (adpctl.b.adpres) {
  82002. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82003. + }
  82004. +
  82005. + adpctl.b.adpres = 0;
  82006. + adpctl.b.adpen = 1;
  82007. + adpctl.b.enasns = 1;
  82008. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82009. +
  82010. + dwc_otg_adp_sense_timer_start(core_if);
  82011. +
  82012. + return 0;
  82013. +}
  82014. +
  82015. +/**
  82016. + * Stops the ADP Probing
  82017. + *
  82018. + * @param core_if the pointer to core_if strucure.
  82019. + */
  82020. +uint32_t dwc_otg_adp_probe_stop(dwc_otg_core_if_t * core_if)
  82021. +{
  82022. +
  82023. + adpctl_data_t adpctl;
  82024. + DWC_PRINTF("Stop ADP probe\n");
  82025. + core_if->adp.probe_enabled = 0;
  82026. + core_if->adp.probe_counter = 0;
  82027. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82028. +
  82029. + adpctl.b.adpen = 0;
  82030. + adpctl.b.adp_prb_int = 1;
  82031. + adpctl.b.adp_tmout_int = 1;
  82032. + adpctl.b.adp_sns_int = 1;
  82033. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82034. +
  82035. + return 0;
  82036. +}
  82037. +
  82038. +/**
  82039. + * Stops the ADP Sensing
  82040. + *
  82041. + * @param core_if the pointer to core_if strucure.
  82042. + */
  82043. +uint32_t dwc_otg_adp_sense_stop(dwc_otg_core_if_t * core_if)
  82044. +{
  82045. + adpctl_data_t adpctl;
  82046. +
  82047. + core_if->adp.sense_enabled = 0;
  82048. +
  82049. + adpctl.d32 = dwc_otg_adp_read_reg_filter(core_if);
  82050. + adpctl.b.enasns = 0;
  82051. + adpctl.b.adp_sns_int = 1;
  82052. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82053. +
  82054. + return 0;
  82055. +}
  82056. +
  82057. +/**
  82058. + * Called to turn on the VBUS after initial ADP probe in host mode.
  82059. + * If port power was already enabled in cil_hcd_start function then
  82060. + * only schedule a timer.
  82061. + *
  82062. + * @param core_if the pointer to core_if structure.
  82063. + */
  82064. +void dwc_otg_adp_turnon_vbus(dwc_otg_core_if_t * core_if)
  82065. +{
  82066. + hprt0_data_t hprt0 = {.d32 = 0 };
  82067. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  82068. + DWC_PRINTF("Turn on VBUS for 1.1s, port power is %d\n", hprt0.b.prtpwr);
  82069. +
  82070. + if (hprt0.b.prtpwr == 0) {
  82071. + hprt0.b.prtpwr = 1;
  82072. + //DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  82073. + }
  82074. +
  82075. + dwc_otg_adp_vbuson_timer_start(core_if);
  82076. +}
  82077. +
  82078. +/**
  82079. + * Called right after driver is loaded
  82080. + * to perform initial actions for ADP
  82081. + *
  82082. + * @param core_if the pointer to core_if structure.
  82083. + * @param is_host - flag for current mode of operation either from GINTSTS or GPWRDN
  82084. + */
  82085. +void dwc_otg_adp_start(dwc_otg_core_if_t * core_if, uint8_t is_host)
  82086. +{
  82087. + gpwrdn_data_t gpwrdn;
  82088. +
  82089. + DWC_PRINTF("ADP Initial Start\n");
  82090. + core_if->adp.adp_started = 1;
  82091. +
  82092. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  82093. + dwc_otg_disable_global_interrupts(core_if);
  82094. + if (is_host) {
  82095. + DWC_PRINTF("HOST MODE\n");
  82096. + /* Enable Power Down Logic Interrupt*/
  82097. + gpwrdn.d32 = 0;
  82098. + gpwrdn.b.pmuintsel = 1;
  82099. + gpwrdn.b.pmuactv = 1;
  82100. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  82101. + /* Initialize first ADP probe to obtain Ramp Time value */
  82102. + core_if->adp.initial_probe = 1;
  82103. + dwc_otg_adp_probe_start(core_if);
  82104. + } else {
  82105. + gotgctl_data_t gotgctl;
  82106. + gotgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  82107. + DWC_PRINTF("DEVICE MODE\n");
  82108. + if (gotgctl.b.bsesvld == 0) {
  82109. + /* Enable Power Down Logic Interrupt*/
  82110. + gpwrdn.d32 = 0;
  82111. + DWC_PRINTF("VBUS is not valid - start ADP probe\n");
  82112. + gpwrdn.b.pmuintsel = 1;
  82113. + gpwrdn.b.pmuactv = 1;
  82114. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  82115. + core_if->adp.initial_probe = 1;
  82116. + dwc_otg_adp_probe_start(core_if);
  82117. + } else {
  82118. + DWC_PRINTF("VBUS is valid - initialize core as a Device\n");
  82119. + core_if->op_state = B_PERIPHERAL;
  82120. + dwc_otg_core_init(core_if);
  82121. + dwc_otg_enable_global_interrupts(core_if);
  82122. + cil_pcd_start(core_if);
  82123. + dwc_otg_dump_global_registers(core_if);
  82124. + dwc_otg_dump_dev_registers(core_if);
  82125. + }
  82126. + }
  82127. +}
  82128. +
  82129. +void dwc_otg_adp_init(dwc_otg_core_if_t * core_if)
  82130. +{
  82131. + core_if->adp.adp_started = 0;
  82132. + core_if->adp.initial_probe = 0;
  82133. + core_if->adp.probe_timer_values[0] = -1;
  82134. + core_if->adp.probe_timer_values[1] = -1;
  82135. + core_if->adp.probe_enabled = 0;
  82136. + core_if->adp.sense_enabled = 0;
  82137. + core_if->adp.sense_timer_started = 0;
  82138. + core_if->adp.vbuson_timer_started = 0;
  82139. + core_if->adp.probe_counter = 0;
  82140. + core_if->adp.gpwrdn = 0;
  82141. + core_if->adp.attached = DWC_OTG_ADP_UNKOWN;
  82142. + /* Initialize timers */
  82143. + core_if->adp.sense_timer =
  82144. + DWC_TIMER_ALLOC("ADP SENSE TIMER", adp_sense_timeout, core_if);
  82145. + core_if->adp.vbuson_timer =
  82146. + DWC_TIMER_ALLOC("ADP VBUS ON TIMER", adp_vbuson_timeout, core_if);
  82147. + if (!core_if->adp.sense_timer || !core_if->adp.vbuson_timer)
  82148. + {
  82149. + DWC_ERROR("Could not allocate memory for ADP timers\n");
  82150. + }
  82151. +}
  82152. +
  82153. +void dwc_otg_adp_remove(dwc_otg_core_if_t * core_if)
  82154. +{
  82155. + gpwrdn_data_t gpwrdn = { .d32 = 0 };
  82156. + gpwrdn.b.pmuintsel = 1;
  82157. + gpwrdn.b.pmuactv = 1;
  82158. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  82159. +
  82160. + if (core_if->adp.probe_enabled)
  82161. + dwc_otg_adp_probe_stop(core_if);
  82162. + if (core_if->adp.sense_enabled)
  82163. + dwc_otg_adp_sense_stop(core_if);
  82164. + if (core_if->adp.sense_timer_started)
  82165. + DWC_TIMER_CANCEL(core_if->adp.sense_timer);
  82166. + if (core_if->adp.vbuson_timer_started)
  82167. + DWC_TIMER_CANCEL(core_if->adp.vbuson_timer);
  82168. + DWC_TIMER_FREE(core_if->adp.sense_timer);
  82169. + DWC_TIMER_FREE(core_if->adp.vbuson_timer);
  82170. +}
  82171. +
  82172. +/////////////////////////////////////////////////////////////////////
  82173. +////////////// ADP Interrupt Handlers ///////////////////////////////
  82174. +/////////////////////////////////////////////////////////////////////
  82175. +/**
  82176. + * This function sets Ramp Timer values
  82177. + */
  82178. +static uint32_t set_timer_value(dwc_otg_core_if_t * core_if, uint32_t val)
  82179. +{
  82180. + if (core_if->adp.probe_timer_values[0] == -1) {
  82181. + core_if->adp.probe_timer_values[0] = val;
  82182. + core_if->adp.probe_timer_values[1] = -1;
  82183. + return 1;
  82184. + } else {
  82185. + core_if->adp.probe_timer_values[1] =
  82186. + core_if->adp.probe_timer_values[0];
  82187. + core_if->adp.probe_timer_values[0] = val;
  82188. + return 0;
  82189. + }
  82190. +}
  82191. +
  82192. +/**
  82193. + * This function compares Ramp Timer values
  82194. + */
  82195. +static uint32_t compare_timer_values(dwc_otg_core_if_t * core_if)
  82196. +{
  82197. + uint32_t diff;
  82198. + if (core_if->adp.probe_timer_values[0]>=core_if->adp.probe_timer_values[1])
  82199. + diff = core_if->adp.probe_timer_values[0]-core_if->adp.probe_timer_values[1];
  82200. + else
  82201. + diff = core_if->adp.probe_timer_values[1]-core_if->adp.probe_timer_values[0];
  82202. + if(diff < 2) {
  82203. + return 0;
  82204. + } else {
  82205. + return 1;
  82206. + }
  82207. +}
  82208. +
  82209. +/**
  82210. + * This function handles ADP Probe Interrupts
  82211. + */
  82212. +static int32_t dwc_otg_adp_handle_prb_intr(dwc_otg_core_if_t * core_if,
  82213. + uint32_t val)
  82214. +{
  82215. + adpctl_data_t adpctl = {.d32 = 0 };
  82216. + gpwrdn_data_t gpwrdn, temp;
  82217. + adpctl.d32 = val;
  82218. +
  82219. + temp.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  82220. + core_if->adp.probe_counter++;
  82221. + core_if->adp.gpwrdn = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  82222. + if (adpctl.b.rtim == 0 && !temp.b.idsts){
  82223. + DWC_PRINTF("RTIM value is 0\n");
  82224. + goto exit;
  82225. + }
  82226. + if (set_timer_value(core_if, adpctl.b.rtim) &&
  82227. + core_if->adp.initial_probe) {
  82228. + core_if->adp.initial_probe = 0;
  82229. + dwc_otg_adp_probe_stop(core_if);
  82230. + gpwrdn.d32 = 0;
  82231. + gpwrdn.b.pmuactv = 1;
  82232. + gpwrdn.b.pmuintsel = 1;
  82233. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  82234. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  82235. +
  82236. + /* check which value is for device mode and which for Host mode */
  82237. + if (!temp.b.idsts) { /* considered host mode value is 0 */
  82238. + /*
  82239. + * Turn on VBUS after initial ADP probe.
  82240. + */
  82241. + core_if->op_state = A_HOST;
  82242. + dwc_otg_enable_global_interrupts(core_if);
  82243. + DWC_SPINUNLOCK(core_if->lock);
  82244. + cil_hcd_start(core_if);
  82245. + dwc_otg_adp_turnon_vbus(core_if);
  82246. + DWC_SPINLOCK(core_if->lock);
  82247. + } else {
  82248. + /*
  82249. + * Initiate SRP after initial ADP probe.
  82250. + */
  82251. + dwc_otg_enable_global_interrupts(core_if);
  82252. + dwc_otg_initiate_srp(core_if);
  82253. + }
  82254. + } else if (core_if->adp.probe_counter > 2){
  82255. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  82256. + if (compare_timer_values(core_if)) {
  82257. + DWC_PRINTF("Difference in timer values !!! \n");
  82258. +// core_if->adp.attached = DWC_OTG_ADP_ATTACHED;
  82259. + dwc_otg_adp_probe_stop(core_if);
  82260. +
  82261. + /* Power on the core */
  82262. + if (core_if->power_down == 2) {
  82263. + gpwrdn.b.pwrdnswtch = 1;
  82264. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82265. + gpwrdn, 0, gpwrdn.d32);
  82266. + }
  82267. +
  82268. + /* check which value is for device mode and which for Host mode */
  82269. + if (!temp.b.idsts) { /* considered host mode value is 0 */
  82270. + /* Disable Interrupt from Power Down Logic */
  82271. + gpwrdn.d32 = 0;
  82272. + gpwrdn.b.pmuintsel = 1;
  82273. + gpwrdn.b.pmuactv = 1;
  82274. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82275. + gpwrdn, gpwrdn.d32, 0);
  82276. +
  82277. + /*
  82278. + * Initialize the Core for Host mode.
  82279. + */
  82280. + core_if->op_state = A_HOST;
  82281. + dwc_otg_core_init(core_if);
  82282. + dwc_otg_enable_global_interrupts(core_if);
  82283. + cil_hcd_start(core_if);
  82284. + } else {
  82285. + gotgctl_data_t gotgctl;
  82286. + /* Mask SRP detected interrupt from Power Down Logic */
  82287. + gpwrdn.d32 = 0;
  82288. + gpwrdn.b.srp_det_msk = 1;
  82289. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82290. + gpwrdn, gpwrdn.d32, 0);
  82291. +
  82292. + /* Disable Power Down Logic */
  82293. + gpwrdn.d32 = 0;
  82294. + gpwrdn.b.pmuintsel = 1;
  82295. + gpwrdn.b.pmuactv = 1;
  82296. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82297. + gpwrdn, gpwrdn.d32, 0);
  82298. +
  82299. + /*
  82300. + * Initialize the Core for Device mode.
  82301. + */
  82302. + core_if->op_state = B_PERIPHERAL;
  82303. + dwc_otg_core_init(core_if);
  82304. + dwc_otg_enable_global_interrupts(core_if);
  82305. + cil_pcd_start(core_if);
  82306. +
  82307. + gotgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  82308. + if (!gotgctl.b.bsesvld) {
  82309. + dwc_otg_initiate_srp(core_if);
  82310. + }
  82311. + }
  82312. + }
  82313. + if (core_if->power_down == 2) {
  82314. + if (gpwrdn.b.bsessvld) {
  82315. + /* Mask SRP detected interrupt from Power Down Logic */
  82316. + gpwrdn.d32 = 0;
  82317. + gpwrdn.b.srp_det_msk = 1;
  82318. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  82319. +
  82320. + /* Disable Power Down Logic */
  82321. + gpwrdn.d32 = 0;
  82322. + gpwrdn.b.pmuactv = 1;
  82323. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  82324. +
  82325. + /*
  82326. + * Initialize the Core for Device mode.
  82327. + */
  82328. + core_if->op_state = B_PERIPHERAL;
  82329. + dwc_otg_core_init(core_if);
  82330. + dwc_otg_enable_global_interrupts(core_if);
  82331. + cil_pcd_start(core_if);
  82332. + }
  82333. + }
  82334. + }
  82335. +exit:
  82336. + /* Clear interrupt */
  82337. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82338. + adpctl.b.adp_prb_int = 1;
  82339. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82340. +
  82341. + return 0;
  82342. +}
  82343. +
  82344. +/**
  82345. + * This function hadles ADP Sense Interrupt
  82346. + */
  82347. +static int32_t dwc_otg_adp_handle_sns_intr(dwc_otg_core_if_t * core_if)
  82348. +{
  82349. + adpctl_data_t adpctl;
  82350. + /* Stop ADP Sense timer */
  82351. + DWC_TIMER_CANCEL(core_if->adp.sense_timer);
  82352. +
  82353. + /* Restart ADP Sense timer */
  82354. + dwc_otg_adp_sense_timer_start(core_if);
  82355. +
  82356. + /* Clear interrupt */
  82357. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82358. + adpctl.b.adp_sns_int = 1;
  82359. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82360. +
  82361. + return 0;
  82362. +}
  82363. +
  82364. +/**
  82365. + * This function handles ADP Probe Interrupts
  82366. + */
  82367. +static int32_t dwc_otg_adp_handle_prb_tmout_intr(dwc_otg_core_if_t * core_if,
  82368. + uint32_t val)
  82369. +{
  82370. + adpctl_data_t adpctl = {.d32 = 0 };
  82371. + adpctl.d32 = val;
  82372. + set_timer_value(core_if, adpctl.b.rtim);
  82373. +
  82374. + /* Clear interrupt */
  82375. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82376. + adpctl.b.adp_tmout_int = 1;
  82377. + dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82378. +
  82379. + return 0;
  82380. +}
  82381. +
  82382. +/**
  82383. + * ADP Interrupt handler.
  82384. + *
  82385. + */
  82386. +int32_t dwc_otg_adp_handle_intr(dwc_otg_core_if_t * core_if)
  82387. +{
  82388. + int retval = 0;
  82389. + adpctl_data_t adpctl = {.d32 = 0};
  82390. +
  82391. + adpctl.d32 = dwc_otg_adp_read_reg(core_if);
  82392. + DWC_PRINTF("ADPCTL = %08x\n",adpctl.d32);
  82393. +
  82394. + if (adpctl.b.adp_sns_int & adpctl.b.adp_sns_int_msk) {
  82395. + DWC_PRINTF("ADP Sense interrupt\n");
  82396. + retval |= dwc_otg_adp_handle_sns_intr(core_if);
  82397. + }
  82398. + if (adpctl.b.adp_tmout_int & adpctl.b.adp_tmout_int_msk) {
  82399. + DWC_PRINTF("ADP timeout interrupt\n");
  82400. + retval |= dwc_otg_adp_handle_prb_tmout_intr(core_if, adpctl.d32);
  82401. + }
  82402. + if (adpctl.b.adp_prb_int & adpctl.b.adp_prb_int_msk) {
  82403. + DWC_PRINTF("ADP Probe interrupt\n");
  82404. + adpctl.b.adp_prb_int = 1;
  82405. + retval |= dwc_otg_adp_handle_prb_intr(core_if, adpctl.d32);
  82406. + }
  82407. +
  82408. +// dwc_otg_adp_modify_reg(core_if, adpctl.d32, 0);
  82409. + //dwc_otg_adp_write_reg(core_if, adpctl.d32);
  82410. + DWC_PRINTF("RETURN FROM ADP ISR\n");
  82411. +
  82412. + return retval;
  82413. +}
  82414. +
  82415. +/**
  82416. + *
  82417. + * @param core_if Programming view of DWC_otg controller.
  82418. + */
  82419. +int32_t dwc_otg_adp_handle_srp_intr(dwc_otg_core_if_t * core_if)
  82420. +{
  82421. +
  82422. +#ifndef DWC_HOST_ONLY
  82423. + hprt0_data_t hprt0;
  82424. + gpwrdn_data_t gpwrdn;
  82425. + DWC_DEBUGPL(DBG_ANY, "++ Power Down Logic Session Request Interrupt++\n");
  82426. +
  82427. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  82428. + /* check which value is for device mode and which for Host mode */
  82429. + if (!gpwrdn.b.idsts) { /* considered host mode value is 0 */
  82430. + DWC_PRINTF("SRP: Host mode\n");
  82431. +
  82432. + if (core_if->adp_enable) {
  82433. + dwc_otg_adp_probe_stop(core_if);
  82434. +
  82435. + /* Power on the core */
  82436. + if (core_if->power_down == 2) {
  82437. + gpwrdn.b.pwrdnswtch = 1;
  82438. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82439. + gpwrdn, 0, gpwrdn.d32);
  82440. + }
  82441. +
  82442. + core_if->op_state = A_HOST;
  82443. + dwc_otg_core_init(core_if);
  82444. + dwc_otg_enable_global_interrupts(core_if);
  82445. + cil_hcd_start(core_if);
  82446. + }
  82447. +
  82448. + /* Turn on the port power bit. */
  82449. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  82450. + hprt0.b.prtpwr = 1;
  82451. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  82452. +
  82453. + /* Start the Connection timer. So a message can be displayed
  82454. + * if connect does not occur within 10 seconds. */
  82455. + cil_hcd_session_start(core_if);
  82456. + } else {
  82457. + DWC_PRINTF("SRP: Device mode %s\n", __FUNCTION__);
  82458. + if (core_if->adp_enable) {
  82459. + dwc_otg_adp_probe_stop(core_if);
  82460. +
  82461. + /* Power on the core */
  82462. + if (core_if->power_down == 2) {
  82463. + gpwrdn.b.pwrdnswtch = 1;
  82464. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  82465. + gpwrdn, 0, gpwrdn.d32);
  82466. + }
  82467. +
  82468. + gpwrdn.d32 = 0;
  82469. + gpwrdn.b.pmuactv = 0;
  82470. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0,
  82471. + gpwrdn.d32);
  82472. +
  82473. + core_if->op_state = B_PERIPHERAL;
  82474. + dwc_otg_core_init(core_if);
  82475. + dwc_otg_enable_global_interrupts(core_if);
  82476. + cil_pcd_start(core_if);
  82477. + }
  82478. + }
  82479. +#endif
  82480. + return 1;
  82481. +}
  82482. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_adp.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_adp.h
  82483. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_adp.h 1970-01-01 01:00:00.000000000 +0100
  82484. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_adp.h 2015-11-29 09:42:39.915098960 +0100
  82485. @@ -0,0 +1,80 @@
  82486. +/* ==========================================================================
  82487. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_adp.h $
  82488. + * $Revision: #7 $
  82489. + * $Date: 2011/10/24 $
  82490. + * $Change: 1871159 $
  82491. + *
  82492. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  82493. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  82494. + * otherwise expressly agreed to in writing between Synopsys and you.
  82495. + *
  82496. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  82497. + * any End User Software License Agreement or Agreement for Licensed Product
  82498. + * with Synopsys or any supplement thereto. You are permitted to use and
  82499. + * redistribute this Software in source and binary forms, with or without
  82500. + * modification, provided that redistributions of source code must retain this
  82501. + * notice. You may not view, use, disclose, copy or distribute this file or
  82502. + * any information contained herein except pursuant to this license grant from
  82503. + * Synopsys. If you do not agree with this notice, including the disclaimer
  82504. + * below, then you are not authorized to use the Software.
  82505. + *
  82506. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  82507. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  82508. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  82509. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  82510. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  82511. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  82512. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  82513. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  82514. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  82515. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  82516. + * DAMAGE.
  82517. + * ========================================================================== */
  82518. +
  82519. +#ifndef __DWC_OTG_ADP_H__
  82520. +#define __DWC_OTG_ADP_H__
  82521. +
  82522. +/**
  82523. + * @file
  82524. + *
  82525. + * This file contains the Attach Detect Protocol interfaces and defines
  82526. + * (functions) and structures for Linux.
  82527. + *
  82528. + */
  82529. +
  82530. +#define DWC_OTG_ADP_UNATTACHED 0
  82531. +#define DWC_OTG_ADP_ATTACHED 1
  82532. +#define DWC_OTG_ADP_UNKOWN 2
  82533. +
  82534. +typedef struct dwc_otg_adp {
  82535. + uint32_t adp_started;
  82536. + uint32_t initial_probe;
  82537. + int32_t probe_timer_values[2];
  82538. + uint32_t probe_enabled;
  82539. + uint32_t sense_enabled;
  82540. + dwc_timer_t *sense_timer;
  82541. + uint32_t sense_timer_started;
  82542. + dwc_timer_t *vbuson_timer;
  82543. + uint32_t vbuson_timer_started;
  82544. + uint32_t attached;
  82545. + uint32_t probe_counter;
  82546. + uint32_t gpwrdn;
  82547. +} dwc_otg_adp_t;
  82548. +
  82549. +/**
  82550. + * Attach Detect Protocol functions
  82551. + */
  82552. +
  82553. +extern void dwc_otg_adp_write_reg(dwc_otg_core_if_t * core_if, uint32_t value);
  82554. +extern uint32_t dwc_otg_adp_read_reg(dwc_otg_core_if_t * core_if);
  82555. +extern uint32_t dwc_otg_adp_probe_start(dwc_otg_core_if_t * core_if);
  82556. +extern uint32_t dwc_otg_adp_sense_start(dwc_otg_core_if_t * core_if);
  82557. +extern uint32_t dwc_otg_adp_probe_stop(dwc_otg_core_if_t * core_if);
  82558. +extern uint32_t dwc_otg_adp_sense_stop(dwc_otg_core_if_t * core_if);
  82559. +extern void dwc_otg_adp_start(dwc_otg_core_if_t * core_if, uint8_t is_host);
  82560. +extern void dwc_otg_adp_init(dwc_otg_core_if_t * core_if);
  82561. +extern void dwc_otg_adp_remove(dwc_otg_core_if_t * core_if);
  82562. +extern int32_t dwc_otg_adp_handle_intr(dwc_otg_core_if_t * core_if);
  82563. +extern int32_t dwc_otg_adp_handle_srp_intr(dwc_otg_core_if_t * core_if);
  82564. +
  82565. +#endif //__DWC_OTG_ADP_H__
  82566. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_attr.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_attr.c
  82567. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_attr.c 1970-01-01 01:00:00.000000000 +0100
  82568. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_attr.c 2015-11-29 09:42:39.915098960 +0100
  82569. @@ -0,0 +1,1210 @@
  82570. +/* ==========================================================================
  82571. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_attr.c $
  82572. + * $Revision: #44 $
  82573. + * $Date: 2010/11/29 $
  82574. + * $Change: 1636033 $
  82575. + *
  82576. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  82577. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  82578. + * otherwise expressly agreed to in writing between Synopsys and you.
  82579. + *
  82580. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  82581. + * any End User Software License Agreement or Agreement for Licensed Product
  82582. + * with Synopsys or any supplement thereto. You are permitted to use and
  82583. + * redistribute this Software in source and binary forms, with or without
  82584. + * modification, provided that redistributions of source code must retain this
  82585. + * notice. You may not view, use, disclose, copy or distribute this file or
  82586. + * any information contained herein except pursuant to this license grant from
  82587. + * Synopsys. If you do not agree with this notice, including the disclaimer
  82588. + * below, then you are not authorized to use the Software.
  82589. + *
  82590. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  82591. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  82592. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  82593. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  82594. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  82595. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  82596. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  82597. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  82598. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  82599. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  82600. + * DAMAGE.
  82601. + * ========================================================================== */
  82602. +
  82603. +/** @file
  82604. + *
  82605. + * The diagnostic interface will provide access to the controller for
  82606. + * bringing up the hardware and testing. The Linux driver attributes
  82607. + * feature will be used to provide the Linux Diagnostic
  82608. + * Interface. These attributes are accessed through sysfs.
  82609. + */
  82610. +
  82611. +/** @page "Linux Module Attributes"
  82612. + *
  82613. + * The Linux module attributes feature is used to provide the Linux
  82614. + * Diagnostic Interface. These attributes are accessed through sysfs.
  82615. + * The diagnostic interface will provide access to the controller for
  82616. + * bringing up the hardware and testing.
  82617. +
  82618. + The following table shows the attributes.
  82619. + <table>
  82620. + <tr>
  82621. + <td><b> Name</b></td>
  82622. + <td><b> Description</b></td>
  82623. + <td><b> Access</b></td>
  82624. + </tr>
  82625. +
  82626. + <tr>
  82627. + <td> mode </td>
  82628. + <td> Returns the current mode: 0 for device mode, 1 for host mode</td>
  82629. + <td> Read</td>
  82630. + </tr>
  82631. +
  82632. + <tr>
  82633. + <td> hnpcapable </td>
  82634. + <td> Gets or sets the "HNP-capable" bit in the Core USB Configuraton Register.
  82635. + Read returns the current value.</td>
  82636. + <td> Read/Write</td>
  82637. + </tr>
  82638. +
  82639. + <tr>
  82640. + <td> srpcapable </td>
  82641. + <td> Gets or sets the "SRP-capable" bit in the Core USB Configuraton Register.
  82642. + Read returns the current value.</td>
  82643. + <td> Read/Write</td>
  82644. + </tr>
  82645. +
  82646. + <tr>
  82647. + <td> hsic_connect </td>
  82648. + <td> Gets or sets the "HSIC-Connect" bit in the GLPMCFG Register.
  82649. + Read returns the current value.</td>
  82650. + <td> Read/Write</td>
  82651. + </tr>
  82652. +
  82653. + <tr>
  82654. + <td> inv_sel_hsic </td>
  82655. + <td> Gets or sets the "Invert Select HSIC" bit in the GLPMFG Register.
  82656. + Read returns the current value.</td>
  82657. + <td> Read/Write</td>
  82658. + </tr>
  82659. +
  82660. + <tr>
  82661. + <td> hnp </td>
  82662. + <td> Initiates the Host Negotiation Protocol. Read returns the status.</td>
  82663. + <td> Read/Write</td>
  82664. + </tr>
  82665. +
  82666. + <tr>
  82667. + <td> srp </td>
  82668. + <td> Initiates the Session Request Protocol. Read returns the status.</td>
  82669. + <td> Read/Write</td>
  82670. + </tr>
  82671. +
  82672. + <tr>
  82673. + <td> buspower </td>
  82674. + <td> Gets or sets the Power State of the bus (0 - Off or 1 - On)</td>
  82675. + <td> Read/Write</td>
  82676. + </tr>
  82677. +
  82678. + <tr>
  82679. + <td> bussuspend </td>
  82680. + <td> Suspends the USB bus.</td>
  82681. + <td> Read/Write</td>
  82682. + </tr>
  82683. +
  82684. + <tr>
  82685. + <td> busconnected </td>
  82686. + <td> Gets the connection status of the bus</td>
  82687. + <td> Read</td>
  82688. + </tr>
  82689. +
  82690. + <tr>
  82691. + <td> gotgctl </td>
  82692. + <td> Gets or sets the Core Control Status Register.</td>
  82693. + <td> Read/Write</td>
  82694. + </tr>
  82695. +
  82696. + <tr>
  82697. + <td> gusbcfg </td>
  82698. + <td> Gets or sets the Core USB Configuration Register</td>
  82699. + <td> Read/Write</td>
  82700. + </tr>
  82701. +
  82702. + <tr>
  82703. + <td> grxfsiz </td>
  82704. + <td> Gets or sets the Receive FIFO Size Register</td>
  82705. + <td> Read/Write</td>
  82706. + </tr>
  82707. +
  82708. + <tr>
  82709. + <td> gnptxfsiz </td>
  82710. + <td> Gets or sets the non-periodic Transmit Size Register</td>
  82711. + <td> Read/Write</td>
  82712. + </tr>
  82713. +
  82714. + <tr>
  82715. + <td> gpvndctl </td>
  82716. + <td> Gets or sets the PHY Vendor Control Register</td>
  82717. + <td> Read/Write</td>
  82718. + </tr>
  82719. +
  82720. + <tr>
  82721. + <td> ggpio </td>
  82722. + <td> Gets the value in the lower 16-bits of the General Purpose IO Register
  82723. + or sets the upper 16 bits.</td>
  82724. + <td> Read/Write</td>
  82725. + </tr>
  82726. +
  82727. + <tr>
  82728. + <td> guid </td>
  82729. + <td> Gets or sets the value of the User ID Register</td>
  82730. + <td> Read/Write</td>
  82731. + </tr>
  82732. +
  82733. + <tr>
  82734. + <td> gsnpsid </td>
  82735. + <td> Gets the value of the Synopsys ID Regester</td>
  82736. + <td> Read</td>
  82737. + </tr>
  82738. +
  82739. + <tr>
  82740. + <td> devspeed </td>
  82741. + <td> Gets or sets the device speed setting in the DCFG register</td>
  82742. + <td> Read/Write</td>
  82743. + </tr>
  82744. +
  82745. + <tr>
  82746. + <td> enumspeed </td>
  82747. + <td> Gets the device enumeration Speed.</td>
  82748. + <td> Read</td>
  82749. + </tr>
  82750. +
  82751. + <tr>
  82752. + <td> hptxfsiz </td>
  82753. + <td> Gets the value of the Host Periodic Transmit FIFO</td>
  82754. + <td> Read</td>
  82755. + </tr>
  82756. +
  82757. + <tr>
  82758. + <td> hprt0 </td>
  82759. + <td> Gets or sets the value in the Host Port Control and Status Register</td>
  82760. + <td> Read/Write</td>
  82761. + </tr>
  82762. +
  82763. + <tr>
  82764. + <td> regoffset </td>
  82765. + <td> Sets the register offset for the next Register Access</td>
  82766. + <td> Read/Write</td>
  82767. + </tr>
  82768. +
  82769. + <tr>
  82770. + <td> regvalue </td>
  82771. + <td> Gets or sets the value of the register at the offset in the regoffset attribute.</td>
  82772. + <td> Read/Write</td>
  82773. + </tr>
  82774. +
  82775. + <tr>
  82776. + <td> remote_wakeup </td>
  82777. + <td> On read, shows the status of Remote Wakeup. On write, initiates a remote
  82778. + wakeup of the host. When bit 0 is 1 and Remote Wakeup is enabled, the Remote
  82779. + Wakeup signalling bit in the Device Control Register is set for 1
  82780. + milli-second.</td>
  82781. + <td> Read/Write</td>
  82782. + </tr>
  82783. +
  82784. + <tr>
  82785. + <td> rem_wakeup_pwrdn </td>
  82786. + <td> On read, shows the status core - hibernated or not. On write, initiates
  82787. + a remote wakeup of the device from Hibernation. </td>
  82788. + <td> Read/Write</td>
  82789. + </tr>
  82790. +
  82791. + <tr>
  82792. + <td> mode_ch_tim_en </td>
  82793. + <td> This bit is used to enable or disable the host core to wait for 200 PHY
  82794. + clock cycles at the end of Resume to change the opmode signal to the PHY to 00
  82795. + after Suspend or LPM. </td>
  82796. + <td> Read/Write</td>
  82797. + </tr>
  82798. +
  82799. + <tr>
  82800. + <td> fr_interval </td>
  82801. + <td> On read, shows the value of HFIR Frame Interval. On write, dynamically
  82802. + reload HFIR register during runtime. The application can write a value to this
  82803. + register only after the Port Enable bit of the Host Port Control and Status
  82804. + register (HPRT.PrtEnaPort) has been set </td>
  82805. + <td> Read/Write</td>
  82806. + </tr>
  82807. +
  82808. + <tr>
  82809. + <td> disconnect_us </td>
  82810. + <td> On read, shows the status of disconnect_device_us. On write, sets disconnect_us
  82811. + which causes soft disconnect for 100us. Applicable only for device mode of operation.</td>
  82812. + <td> Read/Write</td>
  82813. + </tr>
  82814. +
  82815. + <tr>
  82816. + <td> regdump </td>
  82817. + <td> Dumps the contents of core registers.</td>
  82818. + <td> Read</td>
  82819. + </tr>
  82820. +
  82821. + <tr>
  82822. + <td> spramdump </td>
  82823. + <td> Dumps the contents of core registers.</td>
  82824. + <td> Read</td>
  82825. + </tr>
  82826. +
  82827. + <tr>
  82828. + <td> hcddump </td>
  82829. + <td> Dumps the current HCD state.</td>
  82830. + <td> Read</td>
  82831. + </tr>
  82832. +
  82833. + <tr>
  82834. + <td> hcd_frrem </td>
  82835. + <td> Shows the average value of the Frame Remaining
  82836. + field in the Host Frame Number/Frame Remaining register when an SOF interrupt
  82837. + occurs. This can be used to determine the average interrupt latency. Also
  82838. + shows the average Frame Remaining value for start_transfer and the "a" and
  82839. + "b" sample points. The "a" and "b" sample points may be used during debugging
  82840. + bto determine how long it takes to execute a section of the HCD code.</td>
  82841. + <td> Read</td>
  82842. + </tr>
  82843. +
  82844. + <tr>
  82845. + <td> rd_reg_test </td>
  82846. + <td> Displays the time required to read the GNPTXFSIZ register many times
  82847. + (the output shows the number of times the register is read).
  82848. + <td> Read</td>
  82849. + </tr>
  82850. +
  82851. + <tr>
  82852. + <td> wr_reg_test </td>
  82853. + <td> Displays the time required to write the GNPTXFSIZ register many times
  82854. + (the output shows the number of times the register is written).
  82855. + <td> Read</td>
  82856. + </tr>
  82857. +
  82858. + <tr>
  82859. + <td> lpm_response </td>
  82860. + <td> Gets or sets lpm_response mode. Applicable only in device mode.
  82861. + <td> Write</td>
  82862. + </tr>
  82863. +
  82864. + <tr>
  82865. + <td> sleep_status </td>
  82866. + <td> Shows sleep status of device.
  82867. + <td> Read</td>
  82868. + </tr>
  82869. +
  82870. + </table>
  82871. +
  82872. + Example usage:
  82873. + To get the current mode:
  82874. + cat /sys/devices/lm0/mode
  82875. +
  82876. + To power down the USB:
  82877. + echo 0 > /sys/devices/lm0/buspower
  82878. + */
  82879. +
  82880. +#include "dwc_otg_os_dep.h"
  82881. +#include "dwc_os.h"
  82882. +#include "dwc_otg_driver.h"
  82883. +#include "dwc_otg_attr.h"
  82884. +#include "dwc_otg_core_if.h"
  82885. +#include "dwc_otg_pcd_if.h"
  82886. +#include "dwc_otg_hcd_if.h"
  82887. +
  82888. +/*
  82889. + * MACROs for defining sysfs attribute
  82890. + */
  82891. +#ifdef LM_INTERFACE
  82892. +
  82893. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW(_otg_attr_name_,_string_) \
  82894. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  82895. +{ \
  82896. + struct lm_device *lm_dev = container_of(_dev, struct lm_device, dev); \
  82897. + dwc_otg_device_t *otg_dev = lm_get_drvdata(lm_dev); \
  82898. + uint32_t val; \
  82899. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  82900. + return sprintf (buf, "%s = 0x%x\n", _string_, val); \
  82901. +}
  82902. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_STORE(_otg_attr_name_,_string_) \
  82903. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  82904. + const char *buf, size_t count) \
  82905. +{ \
  82906. + struct lm_device *lm_dev = container_of(_dev, struct lm_device, dev); \
  82907. + dwc_otg_device_t *otg_dev = lm_get_drvdata(lm_dev); \
  82908. + uint32_t set = simple_strtoul(buf, NULL, 16); \
  82909. + dwc_otg_set_##_otg_attr_name_(otg_dev->core_if, set);\
  82910. + return count; \
  82911. +}
  82912. +
  82913. +#elif defined(PCI_INTERFACE)
  82914. +
  82915. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW(_otg_attr_name_,_string_) \
  82916. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  82917. +{ \
  82918. + dwc_otg_device_t *otg_dev = dev_get_drvdata(_dev); \
  82919. + uint32_t val; \
  82920. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  82921. + return sprintf (buf, "%s = 0x%x\n", _string_, val); \
  82922. +}
  82923. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_STORE(_otg_attr_name_,_string_) \
  82924. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  82925. + const char *buf, size_t count) \
  82926. +{ \
  82927. + dwc_otg_device_t *otg_dev = dev_get_drvdata(_dev); \
  82928. + uint32_t set = simple_strtoul(buf, NULL, 16); \
  82929. + dwc_otg_set_##_otg_attr_name_(otg_dev->core_if, set);\
  82930. + return count; \
  82931. +}
  82932. +
  82933. +#elif defined(PLATFORM_INTERFACE)
  82934. +
  82935. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW(_otg_attr_name_,_string_) \
  82936. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  82937. +{ \
  82938. + struct platform_device *platform_dev = \
  82939. + container_of(_dev, struct platform_device, dev); \
  82940. + dwc_otg_device_t *otg_dev = platform_get_drvdata(platform_dev); \
  82941. + uint32_t val; \
  82942. + DWC_PRINTF("%s(%p) -> platform_dev %p, otg_dev %p\n", \
  82943. + __func__, _dev, platform_dev, otg_dev); \
  82944. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  82945. + return sprintf (buf, "%s = 0x%x\n", _string_, val); \
  82946. +}
  82947. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_STORE(_otg_attr_name_,_string_) \
  82948. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  82949. + const char *buf, size_t count) \
  82950. +{ \
  82951. + struct platform_device *platform_dev = container_of(_dev, struct platform_device, dev); \
  82952. + dwc_otg_device_t *otg_dev = platform_get_drvdata(platform_dev); \
  82953. + uint32_t set = simple_strtoul(buf, NULL, 16); \
  82954. + dwc_otg_set_##_otg_attr_name_(otg_dev->core_if, set);\
  82955. + return count; \
  82956. +}
  82957. +#endif
  82958. +
  82959. +/*
  82960. + * MACROs for defining sysfs attribute for 32-bit registers
  82961. + */
  82962. +#ifdef LM_INTERFACE
  82963. +#define DWC_OTG_DEVICE_ATTR_REG_SHOW(_otg_attr_name_,_string_) \
  82964. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  82965. +{ \
  82966. + struct lm_device *lm_dev = container_of(_dev, struct lm_device, dev); \
  82967. + dwc_otg_device_t *otg_dev = lm_get_drvdata(lm_dev); \
  82968. + uint32_t val; \
  82969. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  82970. + return sprintf (buf, "%s = 0x%08x\n", _string_, val); \
  82971. +}
  82972. +#define DWC_OTG_DEVICE_ATTR_REG_STORE(_otg_attr_name_,_string_) \
  82973. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  82974. + const char *buf, size_t count) \
  82975. +{ \
  82976. + struct lm_device *lm_dev = container_of(_dev, struct lm_device, dev); \
  82977. + dwc_otg_device_t *otg_dev = lm_get_drvdata(lm_dev); \
  82978. + uint32_t val = simple_strtoul(buf, NULL, 16); \
  82979. + dwc_otg_set_##_otg_attr_name_ (otg_dev->core_if, val); \
  82980. + return count; \
  82981. +}
  82982. +#elif defined(PCI_INTERFACE)
  82983. +#define DWC_OTG_DEVICE_ATTR_REG_SHOW(_otg_attr_name_,_string_) \
  82984. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  82985. +{ \
  82986. + dwc_otg_device_t *otg_dev = dev_get_drvdata(_dev); \
  82987. + uint32_t val; \
  82988. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  82989. + return sprintf (buf, "%s = 0x%08x\n", _string_, val); \
  82990. +}
  82991. +#define DWC_OTG_DEVICE_ATTR_REG_STORE(_otg_attr_name_,_string_) \
  82992. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  82993. + const char *buf, size_t count) \
  82994. +{ \
  82995. + dwc_otg_device_t *otg_dev = dev_get_drvdata(_dev); \
  82996. + uint32_t val = simple_strtoul(buf, NULL, 16); \
  82997. + dwc_otg_set_##_otg_attr_name_ (otg_dev->core_if, val); \
  82998. + return count; \
  82999. +}
  83000. +
  83001. +#elif defined(PLATFORM_INTERFACE)
  83002. +#include "dwc_otg_dbg.h"
  83003. +#define DWC_OTG_DEVICE_ATTR_REG_SHOW(_otg_attr_name_,_string_) \
  83004. +static ssize_t _otg_attr_name_##_show (struct device *_dev, struct device_attribute *attr, char *buf) \
  83005. +{ \
  83006. + struct platform_device *platform_dev = container_of(_dev, struct platform_device, dev); \
  83007. + dwc_otg_device_t *otg_dev = platform_get_drvdata(platform_dev); \
  83008. + uint32_t val; \
  83009. + DWC_PRINTF("%s(%p) -> platform_dev %p, otg_dev %p\n", \
  83010. + __func__, _dev, platform_dev, otg_dev); \
  83011. + val = dwc_otg_get_##_otg_attr_name_ (otg_dev->core_if); \
  83012. + return sprintf (buf, "%s = 0x%08x\n", _string_, val); \
  83013. +}
  83014. +#define DWC_OTG_DEVICE_ATTR_REG_STORE(_otg_attr_name_,_string_) \
  83015. +static ssize_t _otg_attr_name_##_store (struct device *_dev, struct device_attribute *attr, \
  83016. + const char *buf, size_t count) \
  83017. +{ \
  83018. + struct platform_device *platform_dev = container_of(_dev, struct platform_device, dev); \
  83019. + dwc_otg_device_t *otg_dev = platform_get_drvdata(platform_dev); \
  83020. + uint32_t val = simple_strtoul(buf, NULL, 16); \
  83021. + dwc_otg_set_##_otg_attr_name_ (otg_dev->core_if, val); \
  83022. + return count; \
  83023. +}
  83024. +
  83025. +#endif
  83026. +
  83027. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_RW(_otg_attr_name_,_string_) \
  83028. +DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW(_otg_attr_name_,_string_) \
  83029. +DWC_OTG_DEVICE_ATTR_BITFIELD_STORE(_otg_attr_name_,_string_) \
  83030. +DEVICE_ATTR(_otg_attr_name_,0644,_otg_attr_name_##_show,_otg_attr_name_##_store);
  83031. +
  83032. +#define DWC_OTG_DEVICE_ATTR_BITFIELD_RO(_otg_attr_name_,_string_) \
  83033. +DWC_OTG_DEVICE_ATTR_BITFIELD_SHOW(_otg_attr_name_,_string_) \
  83034. +DEVICE_ATTR(_otg_attr_name_,0444,_otg_attr_name_##_show,NULL);
  83035. +
  83036. +#define DWC_OTG_DEVICE_ATTR_REG32_RW(_otg_attr_name_,_addr_,_string_) \
  83037. +DWC_OTG_DEVICE_ATTR_REG_SHOW(_otg_attr_name_,_string_) \
  83038. +DWC_OTG_DEVICE_ATTR_REG_STORE(_otg_attr_name_,_string_) \
  83039. +DEVICE_ATTR(_otg_attr_name_,0644,_otg_attr_name_##_show,_otg_attr_name_##_store);
  83040. +
  83041. +#define DWC_OTG_DEVICE_ATTR_REG32_RO(_otg_attr_name_,_addr_,_string_) \
  83042. +DWC_OTG_DEVICE_ATTR_REG_SHOW(_otg_attr_name_,_string_) \
  83043. +DEVICE_ATTR(_otg_attr_name_,0444,_otg_attr_name_##_show,NULL);
  83044. +
  83045. +/** @name Functions for Show/Store of Attributes */
  83046. +/**@{*/
  83047. +
  83048. +/**
  83049. + * Helper function returning the otg_device structure of the given device
  83050. + */
  83051. +static dwc_otg_device_t *dwc_otg_drvdev(struct device *_dev)
  83052. +{
  83053. + dwc_otg_device_t *otg_dev;
  83054. + DWC_OTG_GETDRVDEV(otg_dev, _dev);
  83055. + return otg_dev;
  83056. +}
  83057. +
  83058. +/**
  83059. + * Show the register offset of the Register Access.
  83060. + */
  83061. +static ssize_t regoffset_show(struct device *_dev,
  83062. + struct device_attribute *attr, char *buf)
  83063. +{
  83064. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83065. + return snprintf(buf, sizeof("0xFFFFFFFF\n") + 1, "0x%08x\n",
  83066. + otg_dev->os_dep.reg_offset);
  83067. +}
  83068. +
  83069. +/**
  83070. + * Set the register offset for the next Register Access Read/Write
  83071. + */
  83072. +static ssize_t regoffset_store(struct device *_dev,
  83073. + struct device_attribute *attr,
  83074. + const char *buf, size_t count)
  83075. +{
  83076. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83077. + uint32_t offset = simple_strtoul(buf, NULL, 16);
  83078. +#if defined(LM_INTERFACE) || defined(PLATFORM_INTERFACE)
  83079. + if (offset < SZ_256K) {
  83080. +#elif defined(PCI_INTERFACE)
  83081. + if (offset < 0x00040000) {
  83082. +#endif
  83083. + otg_dev->os_dep.reg_offset = offset;
  83084. + } else {
  83085. + dev_err(_dev, "invalid offset\n");
  83086. + }
  83087. +
  83088. + return count;
  83089. +}
  83090. +
  83091. +DEVICE_ATTR(regoffset, S_IRUGO | S_IWUSR, regoffset_show, regoffset_store);
  83092. +
  83093. +/**
  83094. + * Show the value of the register at the offset in the reg_offset
  83095. + * attribute.
  83096. + */
  83097. +static ssize_t regvalue_show(struct device *_dev,
  83098. + struct device_attribute *attr, char *buf)
  83099. +{
  83100. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83101. + uint32_t val;
  83102. + volatile uint32_t *addr;
  83103. +
  83104. + if (otg_dev->os_dep.reg_offset != 0xFFFFFFFF && 0 != otg_dev->os_dep.base) {
  83105. + /* Calculate the address */
  83106. + addr = (uint32_t *) (otg_dev->os_dep.reg_offset +
  83107. + (uint8_t *) otg_dev->os_dep.base);
  83108. + val = DWC_READ_REG32(addr);
  83109. + return snprintf(buf,
  83110. + sizeof("Reg@0xFFFFFFFF = 0xFFFFFFFF\n") + 1,
  83111. + "Reg@0x%06x = 0x%08x\n", otg_dev->os_dep.reg_offset,
  83112. + val);
  83113. + } else {
  83114. + dev_err(_dev, "Invalid offset (0x%0x)\n", otg_dev->os_dep.reg_offset);
  83115. + return sprintf(buf, "invalid offset\n");
  83116. + }
  83117. +}
  83118. +
  83119. +/**
  83120. + * Store the value in the register at the offset in the reg_offset
  83121. + * attribute.
  83122. + *
  83123. + */
  83124. +static ssize_t regvalue_store(struct device *_dev,
  83125. + struct device_attribute *attr,
  83126. + const char *buf, size_t count)
  83127. +{
  83128. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83129. + volatile uint32_t *addr;
  83130. + uint32_t val = simple_strtoul(buf, NULL, 16);
  83131. + //dev_dbg(_dev, "Offset=0x%08x Val=0x%08x\n", otg_dev->reg_offset, val);
  83132. + if (otg_dev->os_dep.reg_offset != 0xFFFFFFFF && 0 != otg_dev->os_dep.base) {
  83133. + /* Calculate the address */
  83134. + addr = (uint32_t *) (otg_dev->os_dep.reg_offset +
  83135. + (uint8_t *) otg_dev->os_dep.base);
  83136. + DWC_WRITE_REG32(addr, val);
  83137. + } else {
  83138. + dev_err(_dev, "Invalid Register Offset (0x%08x)\n",
  83139. + otg_dev->os_dep.reg_offset);
  83140. + }
  83141. + return count;
  83142. +}
  83143. +
  83144. +DEVICE_ATTR(regvalue, S_IRUGO | S_IWUSR, regvalue_show, regvalue_store);
  83145. +
  83146. +/*
  83147. + * Attributes
  83148. + */
  83149. +DWC_OTG_DEVICE_ATTR_BITFIELD_RO(mode, "Mode");
  83150. +DWC_OTG_DEVICE_ATTR_BITFIELD_RW(hnpcapable, "HNPCapable");
  83151. +DWC_OTG_DEVICE_ATTR_BITFIELD_RW(srpcapable, "SRPCapable");
  83152. +DWC_OTG_DEVICE_ATTR_BITFIELD_RW(hsic_connect, "HSIC Connect");
  83153. +DWC_OTG_DEVICE_ATTR_BITFIELD_RW(inv_sel_hsic, "Invert Select HSIC");
  83154. +
  83155. +//DWC_OTG_DEVICE_ATTR_BITFIELD_RW(buspower,&(otg_dev->core_if->core_global_regs->gotgctl),(1<<8),8,"Mode");
  83156. +//DWC_OTG_DEVICE_ATTR_BITFIELD_RW(bussuspend,&(otg_dev->core_if->core_global_regs->gotgctl),(1<<8),8,"Mode");
  83157. +DWC_OTG_DEVICE_ATTR_BITFIELD_RO(busconnected, "Bus Connected");
  83158. +
  83159. +DWC_OTG_DEVICE_ATTR_REG32_RW(gotgctl, 0, "GOTGCTL");
  83160. +DWC_OTG_DEVICE_ATTR_REG32_RW(gusbcfg,
  83161. + &(otg_dev->core_if->core_global_regs->gusbcfg),
  83162. + "GUSBCFG");
  83163. +DWC_OTG_DEVICE_ATTR_REG32_RW(grxfsiz,
  83164. + &(otg_dev->core_if->core_global_regs->grxfsiz),
  83165. + "GRXFSIZ");
  83166. +DWC_OTG_DEVICE_ATTR_REG32_RW(gnptxfsiz,
  83167. + &(otg_dev->core_if->core_global_regs->gnptxfsiz),
  83168. + "GNPTXFSIZ");
  83169. +DWC_OTG_DEVICE_ATTR_REG32_RW(gpvndctl,
  83170. + &(otg_dev->core_if->core_global_regs->gpvndctl),
  83171. + "GPVNDCTL");
  83172. +DWC_OTG_DEVICE_ATTR_REG32_RW(ggpio,
  83173. + &(otg_dev->core_if->core_global_regs->ggpio),
  83174. + "GGPIO");
  83175. +DWC_OTG_DEVICE_ATTR_REG32_RW(guid, &(otg_dev->core_if->core_global_regs->guid),
  83176. + "GUID");
  83177. +DWC_OTG_DEVICE_ATTR_REG32_RO(gsnpsid,
  83178. + &(otg_dev->core_if->core_global_regs->gsnpsid),
  83179. + "GSNPSID");
  83180. +DWC_OTG_DEVICE_ATTR_BITFIELD_RW(devspeed, "Device Speed");
  83181. +DWC_OTG_DEVICE_ATTR_BITFIELD_RO(enumspeed, "Device Enumeration Speed");
  83182. +
  83183. +DWC_OTG_DEVICE_ATTR_REG32_RO(hptxfsiz,
  83184. + &(otg_dev->core_if->core_global_regs->hptxfsiz),
  83185. + "HPTXFSIZ");
  83186. +DWC_OTG_DEVICE_ATTR_REG32_RW(hprt0, otg_dev->core_if->host_if->hprt0, "HPRT0");
  83187. +
  83188. +/**
  83189. + * @todo Add code to initiate the HNP.
  83190. + */
  83191. +/**
  83192. + * Show the HNP status bit
  83193. + */
  83194. +static ssize_t hnp_show(struct device *_dev,
  83195. + struct device_attribute *attr, char *buf)
  83196. +{
  83197. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83198. + return sprintf(buf, "HstNegScs = 0x%x\n",
  83199. + dwc_otg_get_hnpstatus(otg_dev->core_if));
  83200. +}
  83201. +
  83202. +/**
  83203. + * Set the HNP Request bit
  83204. + */
  83205. +static ssize_t hnp_store(struct device *_dev,
  83206. + struct device_attribute *attr,
  83207. + const char *buf, size_t count)
  83208. +{
  83209. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83210. + uint32_t in = simple_strtoul(buf, NULL, 16);
  83211. + dwc_otg_set_hnpreq(otg_dev->core_if, in);
  83212. + return count;
  83213. +}
  83214. +
  83215. +DEVICE_ATTR(hnp, 0644, hnp_show, hnp_store);
  83216. +
  83217. +/**
  83218. + * @todo Add code to initiate the SRP.
  83219. + */
  83220. +/**
  83221. + * Show the SRP status bit
  83222. + */
  83223. +static ssize_t srp_show(struct device *_dev,
  83224. + struct device_attribute *attr, char *buf)
  83225. +{
  83226. +#ifndef DWC_HOST_ONLY
  83227. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83228. + return sprintf(buf, "SesReqScs = 0x%x\n",
  83229. + dwc_otg_get_srpstatus(otg_dev->core_if));
  83230. +#else
  83231. + return sprintf(buf, "Host Only Mode!\n");
  83232. +#endif
  83233. +}
  83234. +
  83235. +/**
  83236. + * Set the SRP Request bit
  83237. + */
  83238. +static ssize_t srp_store(struct device *_dev,
  83239. + struct device_attribute *attr,
  83240. + const char *buf, size_t count)
  83241. +{
  83242. +#ifndef DWC_HOST_ONLY
  83243. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83244. + dwc_otg_pcd_initiate_srp(otg_dev->pcd);
  83245. +#endif
  83246. + return count;
  83247. +}
  83248. +
  83249. +DEVICE_ATTR(srp, 0644, srp_show, srp_store);
  83250. +
  83251. +/**
  83252. + * @todo Need to do more for power on/off?
  83253. + */
  83254. +/**
  83255. + * Show the Bus Power status
  83256. + */
  83257. +static ssize_t buspower_show(struct device *_dev,
  83258. + struct device_attribute *attr, char *buf)
  83259. +{
  83260. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83261. + return sprintf(buf, "Bus Power = 0x%x\n",
  83262. + dwc_otg_get_prtpower(otg_dev->core_if));
  83263. +}
  83264. +
  83265. +/**
  83266. + * Set the Bus Power status
  83267. + */
  83268. +static ssize_t buspower_store(struct device *_dev,
  83269. + struct device_attribute *attr,
  83270. + const char *buf, size_t count)
  83271. +{
  83272. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83273. + uint32_t on = simple_strtoul(buf, NULL, 16);
  83274. + dwc_otg_set_prtpower(otg_dev->core_if, on);
  83275. + return count;
  83276. +}
  83277. +
  83278. +DEVICE_ATTR(buspower, 0644, buspower_show, buspower_store);
  83279. +
  83280. +/**
  83281. + * @todo Need to do more for suspend?
  83282. + */
  83283. +/**
  83284. + * Show the Bus Suspend status
  83285. + */
  83286. +static ssize_t bussuspend_show(struct device *_dev,
  83287. + struct device_attribute *attr, char *buf)
  83288. +{
  83289. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83290. + return sprintf(buf, "Bus Suspend = 0x%x\n",
  83291. + dwc_otg_get_prtsuspend(otg_dev->core_if));
  83292. +}
  83293. +
  83294. +/**
  83295. + * Set the Bus Suspend status
  83296. + */
  83297. +static ssize_t bussuspend_store(struct device *_dev,
  83298. + struct device_attribute *attr,
  83299. + const char *buf, size_t count)
  83300. +{
  83301. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83302. + uint32_t in = simple_strtoul(buf, NULL, 16);
  83303. + dwc_otg_set_prtsuspend(otg_dev->core_if, in);
  83304. + return count;
  83305. +}
  83306. +
  83307. +DEVICE_ATTR(bussuspend, 0644, bussuspend_show, bussuspend_store);
  83308. +
  83309. +/**
  83310. + * Show the Mode Change Ready Timer status
  83311. + */
  83312. +static ssize_t mode_ch_tim_en_show(struct device *_dev,
  83313. + struct device_attribute *attr, char *buf)
  83314. +{
  83315. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83316. + return sprintf(buf, "Mode Change Ready Timer Enable = 0x%x\n",
  83317. + dwc_otg_get_mode_ch_tim(otg_dev->core_if));
  83318. +}
  83319. +
  83320. +/**
  83321. + * Set the Mode Change Ready Timer status
  83322. + */
  83323. +static ssize_t mode_ch_tim_en_store(struct device *_dev,
  83324. + struct device_attribute *attr,
  83325. + const char *buf, size_t count)
  83326. +{
  83327. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83328. + uint32_t in = simple_strtoul(buf, NULL, 16);
  83329. + dwc_otg_set_mode_ch_tim(otg_dev->core_if, in);
  83330. + return count;
  83331. +}
  83332. +
  83333. +DEVICE_ATTR(mode_ch_tim_en, 0644, mode_ch_tim_en_show, mode_ch_tim_en_store);
  83334. +
  83335. +/**
  83336. + * Show the value of HFIR Frame Interval bitfield
  83337. + */
  83338. +static ssize_t fr_interval_show(struct device *_dev,
  83339. + struct device_attribute *attr, char *buf)
  83340. +{
  83341. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83342. + return sprintf(buf, "Frame Interval = 0x%x\n",
  83343. + dwc_otg_get_fr_interval(otg_dev->core_if));
  83344. +}
  83345. +
  83346. +/**
  83347. + * Set the HFIR Frame Interval value
  83348. + */
  83349. +static ssize_t fr_interval_store(struct device *_dev,
  83350. + struct device_attribute *attr,
  83351. + const char *buf, size_t count)
  83352. +{
  83353. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83354. + uint32_t in = simple_strtoul(buf, NULL, 10);
  83355. + dwc_otg_set_fr_interval(otg_dev->core_if, in);
  83356. + return count;
  83357. +}
  83358. +
  83359. +DEVICE_ATTR(fr_interval, 0644, fr_interval_show, fr_interval_store);
  83360. +
  83361. +/**
  83362. + * Show the status of Remote Wakeup.
  83363. + */
  83364. +static ssize_t remote_wakeup_show(struct device *_dev,
  83365. + struct device_attribute *attr, char *buf)
  83366. +{
  83367. +#ifndef DWC_HOST_ONLY
  83368. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83369. +
  83370. + return sprintf(buf,
  83371. + "Remote Wakeup Sig = %d Enabled = %d LPM Remote Wakeup = %d\n",
  83372. + dwc_otg_get_remotewakesig(otg_dev->core_if),
  83373. + dwc_otg_pcd_get_rmwkup_enable(otg_dev->pcd),
  83374. + dwc_otg_get_lpm_remotewakeenabled(otg_dev->core_if));
  83375. +#else
  83376. + return sprintf(buf, "Host Only Mode!\n");
  83377. +#endif /* DWC_HOST_ONLY */
  83378. +}
  83379. +
  83380. +/**
  83381. + * Initiate a remote wakeup of the host. The Device control register
  83382. + * Remote Wakeup Signal bit is written if the PCD Remote wakeup enable
  83383. + * flag is set.
  83384. + *
  83385. + */
  83386. +static ssize_t remote_wakeup_store(struct device *_dev,
  83387. + struct device_attribute *attr,
  83388. + const char *buf, size_t count)
  83389. +{
  83390. +#ifndef DWC_HOST_ONLY
  83391. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83392. + uint32_t val = simple_strtoul(buf, NULL, 16);
  83393. +
  83394. + if (val & 1) {
  83395. + dwc_otg_pcd_remote_wakeup(otg_dev->pcd, 1);
  83396. + } else {
  83397. + dwc_otg_pcd_remote_wakeup(otg_dev->pcd, 0);
  83398. + }
  83399. +#endif /* DWC_HOST_ONLY */
  83400. + return count;
  83401. +}
  83402. +
  83403. +DEVICE_ATTR(remote_wakeup, S_IRUGO | S_IWUSR, remote_wakeup_show,
  83404. + remote_wakeup_store);
  83405. +
  83406. +/**
  83407. + * Show the whether core is hibernated or not.
  83408. + */
  83409. +static ssize_t rem_wakeup_pwrdn_show(struct device *_dev,
  83410. + struct device_attribute *attr, char *buf)
  83411. +{
  83412. +#ifndef DWC_HOST_ONLY
  83413. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83414. +
  83415. + if (dwc_otg_get_core_state(otg_dev->core_if)) {
  83416. + DWC_PRINTF("Core is in hibernation\n");
  83417. + } else {
  83418. + DWC_PRINTF("Core is not in hibernation\n");
  83419. + }
  83420. +#endif /* DWC_HOST_ONLY */
  83421. + return 0;
  83422. +}
  83423. +
  83424. +extern int dwc_otg_device_hibernation_restore(dwc_otg_core_if_t * core_if,
  83425. + int rem_wakeup, int reset);
  83426. +
  83427. +/**
  83428. + * Initiate a remote wakeup of the device to exit from hibernation.
  83429. + */
  83430. +static ssize_t rem_wakeup_pwrdn_store(struct device *_dev,
  83431. + struct device_attribute *attr,
  83432. + const char *buf, size_t count)
  83433. +{
  83434. +#ifndef DWC_HOST_ONLY
  83435. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83436. + dwc_otg_device_hibernation_restore(otg_dev->core_if, 1, 0);
  83437. +#endif
  83438. + return count;
  83439. +}
  83440. +
  83441. +DEVICE_ATTR(rem_wakeup_pwrdn, S_IRUGO | S_IWUSR, rem_wakeup_pwrdn_show,
  83442. + rem_wakeup_pwrdn_store);
  83443. +
  83444. +static ssize_t disconnect_us(struct device *_dev,
  83445. + struct device_attribute *attr,
  83446. + const char *buf, size_t count)
  83447. +{
  83448. +
  83449. +#ifndef DWC_HOST_ONLY
  83450. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83451. + uint32_t val = simple_strtoul(buf, NULL, 16);
  83452. + DWC_PRINTF("The Passed value is %04x\n", val);
  83453. +
  83454. + dwc_otg_pcd_disconnect_us(otg_dev->pcd, 50);
  83455. +
  83456. +#endif /* DWC_HOST_ONLY */
  83457. + return count;
  83458. +}
  83459. +
  83460. +DEVICE_ATTR(disconnect_us, S_IWUSR, 0, disconnect_us);
  83461. +
  83462. +/**
  83463. + * Dump global registers and either host or device registers (depending on the
  83464. + * current mode of the core).
  83465. + */
  83466. +static ssize_t regdump_show(struct device *_dev,
  83467. + struct device_attribute *attr, char *buf)
  83468. +{
  83469. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83470. +
  83471. + dwc_otg_dump_global_registers(otg_dev->core_if);
  83472. + if (dwc_otg_is_host_mode(otg_dev->core_if)) {
  83473. + dwc_otg_dump_host_registers(otg_dev->core_if);
  83474. + } else {
  83475. + dwc_otg_dump_dev_registers(otg_dev->core_if);
  83476. +
  83477. + }
  83478. + return sprintf(buf, "Register Dump\n");
  83479. +}
  83480. +
  83481. +DEVICE_ATTR(regdump, S_IRUGO, regdump_show, 0);
  83482. +
  83483. +/**
  83484. + * Dump global registers and either host or device registers (depending on the
  83485. + * current mode of the core).
  83486. + */
  83487. +static ssize_t spramdump_show(struct device *_dev,
  83488. + struct device_attribute *attr, char *buf)
  83489. +{
  83490. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83491. +
  83492. + //dwc_otg_dump_spram(otg_dev->core_if);
  83493. +
  83494. + return sprintf(buf, "SPRAM Dump\n");
  83495. +}
  83496. +
  83497. +DEVICE_ATTR(spramdump, S_IRUGO, spramdump_show, 0);
  83498. +
  83499. +/**
  83500. + * Dump the current hcd state.
  83501. + */
  83502. +static ssize_t hcddump_show(struct device *_dev,
  83503. + struct device_attribute *attr, char *buf)
  83504. +{
  83505. +#ifndef DWC_DEVICE_ONLY
  83506. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83507. + dwc_otg_hcd_dump_state(otg_dev->hcd);
  83508. +#endif /* DWC_DEVICE_ONLY */
  83509. + return sprintf(buf, "HCD Dump\n");
  83510. +}
  83511. +
  83512. +DEVICE_ATTR(hcddump, S_IRUGO, hcddump_show, 0);
  83513. +
  83514. +/**
  83515. + * Dump the average frame remaining at SOF. This can be used to
  83516. + * determine average interrupt latency. Frame remaining is also shown for
  83517. + * start transfer and two additional sample points.
  83518. + */
  83519. +static ssize_t hcd_frrem_show(struct device *_dev,
  83520. + struct device_attribute *attr, char *buf)
  83521. +{
  83522. +#ifndef DWC_DEVICE_ONLY
  83523. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83524. +
  83525. + dwc_otg_hcd_dump_frrem(otg_dev->hcd);
  83526. +#endif /* DWC_DEVICE_ONLY */
  83527. + return sprintf(buf, "HCD Dump Frame Remaining\n");
  83528. +}
  83529. +
  83530. +DEVICE_ATTR(hcd_frrem, S_IRUGO, hcd_frrem_show, 0);
  83531. +
  83532. +/**
  83533. + * Displays the time required to read the GNPTXFSIZ register many times (the
  83534. + * output shows the number of times the register is read).
  83535. + */
  83536. +#define RW_REG_COUNT 10000000
  83537. +#define MSEC_PER_JIFFIE 1000/HZ
  83538. +static ssize_t rd_reg_test_show(struct device *_dev,
  83539. + struct device_attribute *attr, char *buf)
  83540. +{
  83541. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83542. + int i;
  83543. + int time;
  83544. + int start_jiffies;
  83545. +
  83546. + printk("HZ %d, MSEC_PER_JIFFIE %d, loops_per_jiffy %lu\n",
  83547. + HZ, MSEC_PER_JIFFIE, loops_per_jiffy);
  83548. + start_jiffies = jiffies;
  83549. + for (i = 0; i < RW_REG_COUNT; i++) {
  83550. + dwc_otg_get_gnptxfsiz(otg_dev->core_if);
  83551. + }
  83552. + time = jiffies - start_jiffies;
  83553. + return sprintf(buf,
  83554. + "Time to read GNPTXFSIZ reg %d times: %d msecs (%d jiffies)\n",
  83555. + RW_REG_COUNT, time * MSEC_PER_JIFFIE, time);
  83556. +}
  83557. +
  83558. +DEVICE_ATTR(rd_reg_test, S_IRUGO, rd_reg_test_show, 0);
  83559. +
  83560. +/**
  83561. + * Displays the time required to write the GNPTXFSIZ register many times (the
  83562. + * output shows the number of times the register is written).
  83563. + */
  83564. +static ssize_t wr_reg_test_show(struct device *_dev,
  83565. + struct device_attribute *attr, char *buf)
  83566. +{
  83567. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83568. + uint32_t reg_val;
  83569. + int i;
  83570. + int time;
  83571. + int start_jiffies;
  83572. +
  83573. + printk("HZ %d, MSEC_PER_JIFFIE %d, loops_per_jiffy %lu\n",
  83574. + HZ, MSEC_PER_JIFFIE, loops_per_jiffy);
  83575. + reg_val = dwc_otg_get_gnptxfsiz(otg_dev->core_if);
  83576. + start_jiffies = jiffies;
  83577. + for (i = 0; i < RW_REG_COUNT; i++) {
  83578. + dwc_otg_set_gnptxfsiz(otg_dev->core_if, reg_val);
  83579. + }
  83580. + time = jiffies - start_jiffies;
  83581. + return sprintf(buf,
  83582. + "Time to write GNPTXFSIZ reg %d times: %d msecs (%d jiffies)\n",
  83583. + RW_REG_COUNT, time * MSEC_PER_JIFFIE, time);
  83584. +}
  83585. +
  83586. +DEVICE_ATTR(wr_reg_test, S_IRUGO, wr_reg_test_show, 0);
  83587. +
  83588. +#ifdef CONFIG_USB_DWC_OTG_LPM
  83589. +
  83590. +/**
  83591. +* Show the lpm_response attribute.
  83592. +*/
  83593. +static ssize_t lpmresp_show(struct device *_dev,
  83594. + struct device_attribute *attr, char *buf)
  83595. +{
  83596. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83597. +
  83598. + if (!dwc_otg_get_param_lpm_enable(otg_dev->core_if))
  83599. + return sprintf(buf, "** LPM is DISABLED **\n");
  83600. +
  83601. + if (!dwc_otg_is_device_mode(otg_dev->core_if)) {
  83602. + return sprintf(buf, "** Current mode is not device mode\n");
  83603. + }
  83604. + return sprintf(buf, "lpm_response = %d\n",
  83605. + dwc_otg_get_lpmresponse(otg_dev->core_if));
  83606. +}
  83607. +
  83608. +/**
  83609. +* Store the lpm_response attribute.
  83610. +*/
  83611. +static ssize_t lpmresp_store(struct device *_dev,
  83612. + struct device_attribute *attr,
  83613. + const char *buf, size_t count)
  83614. +{
  83615. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83616. + uint32_t val = simple_strtoul(buf, NULL, 16);
  83617. +
  83618. + if (!dwc_otg_get_param_lpm_enable(otg_dev->core_if)) {
  83619. + return 0;
  83620. + }
  83621. +
  83622. + if (!dwc_otg_is_device_mode(otg_dev->core_if)) {
  83623. + return 0;
  83624. + }
  83625. +
  83626. + dwc_otg_set_lpmresponse(otg_dev->core_if, val);
  83627. + return count;
  83628. +}
  83629. +
  83630. +DEVICE_ATTR(lpm_response, S_IRUGO | S_IWUSR, lpmresp_show, lpmresp_store);
  83631. +
  83632. +/**
  83633. +* Show the sleep_status attribute.
  83634. +*/
  83635. +static ssize_t sleepstatus_show(struct device *_dev,
  83636. + struct device_attribute *attr, char *buf)
  83637. +{
  83638. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83639. + return sprintf(buf, "Sleep Status = %d\n",
  83640. + dwc_otg_get_lpm_portsleepstatus(otg_dev->core_if));
  83641. +}
  83642. +
  83643. +/**
  83644. + * Store the sleep_status attribure.
  83645. + */
  83646. +static ssize_t sleepstatus_store(struct device *_dev,
  83647. + struct device_attribute *attr,
  83648. + const char *buf, size_t count)
  83649. +{
  83650. + dwc_otg_device_t *otg_dev = dwc_otg_drvdev(_dev);
  83651. + dwc_otg_core_if_t *core_if = otg_dev->core_if;
  83652. +
  83653. + if (dwc_otg_get_lpm_portsleepstatus(otg_dev->core_if)) {
  83654. + if (dwc_otg_is_host_mode(core_if)) {
  83655. +
  83656. + DWC_PRINTF("Host initiated resume\n");
  83657. + dwc_otg_set_prtresume(otg_dev->core_if, 1);
  83658. + }
  83659. + }
  83660. +
  83661. + return count;
  83662. +}
  83663. +
  83664. +DEVICE_ATTR(sleep_status, S_IRUGO | S_IWUSR, sleepstatus_show,
  83665. + sleepstatus_store);
  83666. +
  83667. +#endif /* CONFIG_USB_DWC_OTG_LPM_ENABLE */
  83668. +
  83669. +/**@}*/
  83670. +
  83671. +/**
  83672. + * Create the device files
  83673. + */
  83674. +void dwc_otg_attr_create(
  83675. +#ifdef LM_INTERFACE
  83676. + struct lm_device *dev
  83677. +#elif defined(PCI_INTERFACE)
  83678. + struct pci_dev *dev
  83679. +#elif defined(PLATFORM_INTERFACE)
  83680. + struct platform_device *dev
  83681. +#endif
  83682. + )
  83683. +{
  83684. + int error;
  83685. +
  83686. + error = device_create_file(&dev->dev, &dev_attr_regoffset);
  83687. + error = device_create_file(&dev->dev, &dev_attr_regvalue);
  83688. + error = device_create_file(&dev->dev, &dev_attr_mode);
  83689. + error = device_create_file(&dev->dev, &dev_attr_hnpcapable);
  83690. + error = device_create_file(&dev->dev, &dev_attr_srpcapable);
  83691. + error = device_create_file(&dev->dev, &dev_attr_hsic_connect);
  83692. + error = device_create_file(&dev->dev, &dev_attr_inv_sel_hsic);
  83693. + error = device_create_file(&dev->dev, &dev_attr_hnp);
  83694. + error = device_create_file(&dev->dev, &dev_attr_srp);
  83695. + error = device_create_file(&dev->dev, &dev_attr_buspower);
  83696. + error = device_create_file(&dev->dev, &dev_attr_bussuspend);
  83697. + error = device_create_file(&dev->dev, &dev_attr_mode_ch_tim_en);
  83698. + error = device_create_file(&dev->dev, &dev_attr_fr_interval);
  83699. + error = device_create_file(&dev->dev, &dev_attr_busconnected);
  83700. + error = device_create_file(&dev->dev, &dev_attr_gotgctl);
  83701. + error = device_create_file(&dev->dev, &dev_attr_gusbcfg);
  83702. + error = device_create_file(&dev->dev, &dev_attr_grxfsiz);
  83703. + error = device_create_file(&dev->dev, &dev_attr_gnptxfsiz);
  83704. + error = device_create_file(&dev->dev, &dev_attr_gpvndctl);
  83705. + error = device_create_file(&dev->dev, &dev_attr_ggpio);
  83706. + error = device_create_file(&dev->dev, &dev_attr_guid);
  83707. + error = device_create_file(&dev->dev, &dev_attr_gsnpsid);
  83708. + error = device_create_file(&dev->dev, &dev_attr_devspeed);
  83709. + error = device_create_file(&dev->dev, &dev_attr_enumspeed);
  83710. + error = device_create_file(&dev->dev, &dev_attr_hptxfsiz);
  83711. + error = device_create_file(&dev->dev, &dev_attr_hprt0);
  83712. + error = device_create_file(&dev->dev, &dev_attr_remote_wakeup);
  83713. + error = device_create_file(&dev->dev, &dev_attr_rem_wakeup_pwrdn);
  83714. + error = device_create_file(&dev->dev, &dev_attr_disconnect_us);
  83715. + error = device_create_file(&dev->dev, &dev_attr_regdump);
  83716. + error = device_create_file(&dev->dev, &dev_attr_spramdump);
  83717. + error = device_create_file(&dev->dev, &dev_attr_hcddump);
  83718. + error = device_create_file(&dev->dev, &dev_attr_hcd_frrem);
  83719. + error = device_create_file(&dev->dev, &dev_attr_rd_reg_test);
  83720. + error = device_create_file(&dev->dev, &dev_attr_wr_reg_test);
  83721. +#ifdef CONFIG_USB_DWC_OTG_LPM
  83722. + error = device_create_file(&dev->dev, &dev_attr_lpm_response);
  83723. + error = device_create_file(&dev->dev, &dev_attr_sleep_status);
  83724. +#endif
  83725. +}
  83726. +
  83727. +/**
  83728. + * Remove the device files
  83729. + */
  83730. +void dwc_otg_attr_remove(
  83731. +#ifdef LM_INTERFACE
  83732. + struct lm_device *dev
  83733. +#elif defined(PCI_INTERFACE)
  83734. + struct pci_dev *dev
  83735. +#elif defined(PLATFORM_INTERFACE)
  83736. + struct platform_device *dev
  83737. +#endif
  83738. + )
  83739. +{
  83740. + device_remove_file(&dev->dev, &dev_attr_regoffset);
  83741. + device_remove_file(&dev->dev, &dev_attr_regvalue);
  83742. + device_remove_file(&dev->dev, &dev_attr_mode);
  83743. + device_remove_file(&dev->dev, &dev_attr_hnpcapable);
  83744. + device_remove_file(&dev->dev, &dev_attr_srpcapable);
  83745. + device_remove_file(&dev->dev, &dev_attr_hsic_connect);
  83746. + device_remove_file(&dev->dev, &dev_attr_inv_sel_hsic);
  83747. + device_remove_file(&dev->dev, &dev_attr_hnp);
  83748. + device_remove_file(&dev->dev, &dev_attr_srp);
  83749. + device_remove_file(&dev->dev, &dev_attr_buspower);
  83750. + device_remove_file(&dev->dev, &dev_attr_bussuspend);
  83751. + device_remove_file(&dev->dev, &dev_attr_mode_ch_tim_en);
  83752. + device_remove_file(&dev->dev, &dev_attr_fr_interval);
  83753. + device_remove_file(&dev->dev, &dev_attr_busconnected);
  83754. + device_remove_file(&dev->dev, &dev_attr_gotgctl);
  83755. + device_remove_file(&dev->dev, &dev_attr_gusbcfg);
  83756. + device_remove_file(&dev->dev, &dev_attr_grxfsiz);
  83757. + device_remove_file(&dev->dev, &dev_attr_gnptxfsiz);
  83758. + device_remove_file(&dev->dev, &dev_attr_gpvndctl);
  83759. + device_remove_file(&dev->dev, &dev_attr_ggpio);
  83760. + device_remove_file(&dev->dev, &dev_attr_guid);
  83761. + device_remove_file(&dev->dev, &dev_attr_gsnpsid);
  83762. + device_remove_file(&dev->dev, &dev_attr_devspeed);
  83763. + device_remove_file(&dev->dev, &dev_attr_enumspeed);
  83764. + device_remove_file(&dev->dev, &dev_attr_hptxfsiz);
  83765. + device_remove_file(&dev->dev, &dev_attr_hprt0);
  83766. + device_remove_file(&dev->dev, &dev_attr_remote_wakeup);
  83767. + device_remove_file(&dev->dev, &dev_attr_rem_wakeup_pwrdn);
  83768. + device_remove_file(&dev->dev, &dev_attr_disconnect_us);
  83769. + device_remove_file(&dev->dev, &dev_attr_regdump);
  83770. + device_remove_file(&dev->dev, &dev_attr_spramdump);
  83771. + device_remove_file(&dev->dev, &dev_attr_hcddump);
  83772. + device_remove_file(&dev->dev, &dev_attr_hcd_frrem);
  83773. + device_remove_file(&dev->dev, &dev_attr_rd_reg_test);
  83774. + device_remove_file(&dev->dev, &dev_attr_wr_reg_test);
  83775. +#ifdef CONFIG_USB_DWC_OTG_LPM
  83776. + device_remove_file(&dev->dev, &dev_attr_lpm_response);
  83777. + device_remove_file(&dev->dev, &dev_attr_sleep_status);
  83778. +#endif
  83779. +}
  83780. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_attr.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_attr.h
  83781. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_attr.h 1970-01-01 01:00:00.000000000 +0100
  83782. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_attr.h 2015-11-29 09:42:39.915098960 +0100
  83783. @@ -0,0 +1,89 @@
  83784. +/* ==========================================================================
  83785. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_attr.h $
  83786. + * $Revision: #13 $
  83787. + * $Date: 2010/06/21 $
  83788. + * $Change: 1532021 $
  83789. + *
  83790. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  83791. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  83792. + * otherwise expressly agreed to in writing between Synopsys and you.
  83793. + *
  83794. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  83795. + * any End User Software License Agreement or Agreement for Licensed Product
  83796. + * with Synopsys or any supplement thereto. You are permitted to use and
  83797. + * redistribute this Software in source and binary forms, with or without
  83798. + * modification, provided that redistributions of source code must retain this
  83799. + * notice. You may not view, use, disclose, copy or distribute this file or
  83800. + * any information contained herein except pursuant to this license grant from
  83801. + * Synopsys. If you do not agree with this notice, including the disclaimer
  83802. + * below, then you are not authorized to use the Software.
  83803. + *
  83804. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  83805. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  83806. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  83807. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  83808. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  83809. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  83810. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  83811. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  83812. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  83813. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  83814. + * DAMAGE.
  83815. + * ========================================================================== */
  83816. +
  83817. +#if !defined(__DWC_OTG_ATTR_H__)
  83818. +#define __DWC_OTG_ATTR_H__
  83819. +
  83820. +/** @file
  83821. + * This file contains the interface to the Linux device attributes.
  83822. + */
  83823. +extern struct device_attribute dev_attr_regoffset;
  83824. +extern struct device_attribute dev_attr_regvalue;
  83825. +
  83826. +extern struct device_attribute dev_attr_mode;
  83827. +extern struct device_attribute dev_attr_hnpcapable;
  83828. +extern struct device_attribute dev_attr_srpcapable;
  83829. +extern struct device_attribute dev_attr_hnp;
  83830. +extern struct device_attribute dev_attr_srp;
  83831. +extern struct device_attribute dev_attr_buspower;
  83832. +extern struct device_attribute dev_attr_bussuspend;
  83833. +extern struct device_attribute dev_attr_mode_ch_tim_en;
  83834. +extern struct device_attribute dev_attr_fr_interval;
  83835. +extern struct device_attribute dev_attr_busconnected;
  83836. +extern struct device_attribute dev_attr_gotgctl;
  83837. +extern struct device_attribute dev_attr_gusbcfg;
  83838. +extern struct device_attribute dev_attr_grxfsiz;
  83839. +extern struct device_attribute dev_attr_gnptxfsiz;
  83840. +extern struct device_attribute dev_attr_gpvndctl;
  83841. +extern struct device_attribute dev_attr_ggpio;
  83842. +extern struct device_attribute dev_attr_guid;
  83843. +extern struct device_attribute dev_attr_gsnpsid;
  83844. +extern struct device_attribute dev_attr_devspeed;
  83845. +extern struct device_attribute dev_attr_enumspeed;
  83846. +extern struct device_attribute dev_attr_hptxfsiz;
  83847. +extern struct device_attribute dev_attr_hprt0;
  83848. +#ifdef CONFIG_USB_DWC_OTG_LPM
  83849. +extern struct device_attribute dev_attr_lpm_response;
  83850. +extern struct device_attribute devi_attr_sleep_status;
  83851. +#endif
  83852. +
  83853. +void dwc_otg_attr_create(
  83854. +#ifdef LM_INTERFACE
  83855. + struct lm_device *dev
  83856. +#elif defined(PCI_INTERFACE)
  83857. + struct pci_dev *dev
  83858. +#elif defined(PLATFORM_INTERFACE)
  83859. + struct platform_device *dev
  83860. +#endif
  83861. + );
  83862. +
  83863. +void dwc_otg_attr_remove(
  83864. +#ifdef LM_INTERFACE
  83865. + struct lm_device *dev
  83866. +#elif defined(PCI_INTERFACE)
  83867. + struct pci_dev *dev
  83868. +#elif defined(PLATFORM_INTERFACE)
  83869. + struct platform_device *dev
  83870. +#endif
  83871. + );
  83872. +#endif
  83873. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cfi.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cfi.c
  83874. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cfi.c 1970-01-01 01:00:00.000000000 +0100
  83875. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cfi.c 2015-11-29 09:42:39.915098960 +0100
  83876. @@ -0,0 +1,1876 @@
  83877. +/* ==========================================================================
  83878. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  83879. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  83880. + * otherwise expressly agreed to in writing between Synopsys and you.
  83881. + *
  83882. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  83883. + * any End User Software License Agreement or Agreement for Licensed Product
  83884. + * with Synopsys or any supplement thereto. You are permitted to use and
  83885. + * redistribute this Software in source and binary forms, with or without
  83886. + * modification, provided that redistributions of source code must retain this
  83887. + * notice. You may not view, use, disclose, copy or distribute this file or
  83888. + * any information contained herein except pursuant to this license grant from
  83889. + * Synopsys. If you do not agree with this notice, including the disclaimer
  83890. + * below, then you are not authorized to use the Software.
  83891. + *
  83892. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  83893. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  83894. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  83895. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  83896. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  83897. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  83898. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  83899. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  83900. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  83901. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  83902. + * DAMAGE.
  83903. + * ========================================================================== */
  83904. +
  83905. +/** @file
  83906. + *
  83907. + * This file contains the most of the CFI(Core Feature Interface)
  83908. + * implementation for the OTG.
  83909. + */
  83910. +
  83911. +#ifdef DWC_UTE_CFI
  83912. +
  83913. +#include "dwc_otg_pcd.h"
  83914. +#include "dwc_otg_cfi.h"
  83915. +
  83916. +/** This definition should actually migrate to the Portability Library */
  83917. +#define DWC_CONSTANT_CPU_TO_LE16(x) (x)
  83918. +
  83919. +extern dwc_otg_pcd_ep_t *get_ep_by_addr(dwc_otg_pcd_t * pcd, u16 wIndex);
  83920. +
  83921. +static int cfi_core_features_buf(uint8_t * buf, uint16_t buflen);
  83922. +static int cfi_get_feature_value(uint8_t * buf, uint16_t buflen,
  83923. + struct dwc_otg_pcd *pcd,
  83924. + struct cfi_usb_ctrlrequest *ctrl_req);
  83925. +static int cfi_set_feature_value(struct dwc_otg_pcd *pcd);
  83926. +static int cfi_ep_get_sg_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  83927. + struct cfi_usb_ctrlrequest *req);
  83928. +static int cfi_ep_get_concat_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  83929. + struct cfi_usb_ctrlrequest *req);
  83930. +static int cfi_ep_get_align_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  83931. + struct cfi_usb_ctrlrequest *req);
  83932. +static int cfi_preproc_reset(struct dwc_otg_pcd *pcd,
  83933. + struct cfi_usb_ctrlrequest *req);
  83934. +static void cfi_free_ep_bs_dyn_data(cfi_ep_t * cfiep);
  83935. +
  83936. +static uint16_t get_dfifo_size(dwc_otg_core_if_t * core_if);
  83937. +static int32_t get_rxfifo_size(dwc_otg_core_if_t * core_if, uint16_t wValue);
  83938. +static int32_t get_txfifo_size(struct dwc_otg_pcd *pcd, uint16_t wValue);
  83939. +
  83940. +static uint8_t resize_fifos(dwc_otg_core_if_t * core_if);
  83941. +
  83942. +/** This is the header of the all features descriptor */
  83943. +static cfi_all_features_header_t all_props_desc_header = {
  83944. + .wVersion = DWC_CONSTANT_CPU_TO_LE16(0x100),
  83945. + .wCoreID = DWC_CONSTANT_CPU_TO_LE16(CFI_CORE_ID_OTG),
  83946. + .wNumFeatures = DWC_CONSTANT_CPU_TO_LE16(9),
  83947. +};
  83948. +
  83949. +/** This is an array of statically allocated feature descriptors */
  83950. +static cfi_feature_desc_header_t prop_descs[] = {
  83951. +
  83952. + /* FT_ID_DMA_MODE */
  83953. + {
  83954. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DMA_MODE),
  83955. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83956. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(1),
  83957. + },
  83958. +
  83959. + /* FT_ID_DMA_BUFFER_SETUP */
  83960. + {
  83961. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DMA_BUFFER_SETUP),
  83962. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83963. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(6),
  83964. + },
  83965. +
  83966. + /* FT_ID_DMA_BUFF_ALIGN */
  83967. + {
  83968. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DMA_BUFF_ALIGN),
  83969. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83970. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(2),
  83971. + },
  83972. +
  83973. + /* FT_ID_DMA_CONCAT_SETUP */
  83974. + {
  83975. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DMA_CONCAT_SETUP),
  83976. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83977. + //.wDataLength = DWC_CONSTANT_CPU_TO_LE16(6),
  83978. + },
  83979. +
  83980. + /* FT_ID_DMA_CIRCULAR */
  83981. + {
  83982. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DMA_CIRCULAR),
  83983. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83984. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(6),
  83985. + },
  83986. +
  83987. + /* FT_ID_THRESHOLD_SETUP */
  83988. + {
  83989. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_THRESHOLD_SETUP),
  83990. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  83991. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(6),
  83992. + },
  83993. +
  83994. + /* FT_ID_DFIFO_DEPTH */
  83995. + {
  83996. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_DFIFO_DEPTH),
  83997. + .bmAttributes = CFI_FEATURE_ATTR_RO,
  83998. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(2),
  83999. + },
  84000. +
  84001. + /* FT_ID_TX_FIFO_DEPTH */
  84002. + {
  84003. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_TX_FIFO_DEPTH),
  84004. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  84005. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(2),
  84006. + },
  84007. +
  84008. + /* FT_ID_RX_FIFO_DEPTH */
  84009. + {
  84010. + .wFeatureID = DWC_CONSTANT_CPU_TO_LE16(FT_ID_RX_FIFO_DEPTH),
  84011. + .bmAttributes = CFI_FEATURE_ATTR_RW,
  84012. + .wDataLength = DWC_CONSTANT_CPU_TO_LE16(2),
  84013. + }
  84014. +};
  84015. +
  84016. +/** The table of feature names */
  84017. +cfi_string_t prop_name_table[] = {
  84018. + {FT_ID_DMA_MODE, "dma_mode"},
  84019. + {FT_ID_DMA_BUFFER_SETUP, "buffer_setup"},
  84020. + {FT_ID_DMA_BUFF_ALIGN, "buffer_align"},
  84021. + {FT_ID_DMA_CONCAT_SETUP, "concat_setup"},
  84022. + {FT_ID_DMA_CIRCULAR, "buffer_circular"},
  84023. + {FT_ID_THRESHOLD_SETUP, "threshold_setup"},
  84024. + {FT_ID_DFIFO_DEPTH, "dfifo_depth"},
  84025. + {FT_ID_TX_FIFO_DEPTH, "txfifo_depth"},
  84026. + {FT_ID_RX_FIFO_DEPTH, "rxfifo_depth"},
  84027. + {}
  84028. +};
  84029. +
  84030. +/************************************************************************/
  84031. +
  84032. +/**
  84033. + * Returns the name of the feature by its ID
  84034. + * or NULL if no featute ID matches.
  84035. + *
  84036. + */
  84037. +const uint8_t *get_prop_name(uint16_t prop_id, int *len)
  84038. +{
  84039. + cfi_string_t *pstr;
  84040. + *len = 0;
  84041. +
  84042. + for (pstr = prop_name_table; pstr && pstr->s; pstr++) {
  84043. + if (pstr->id == prop_id) {
  84044. + *len = DWC_STRLEN(pstr->s);
  84045. + return pstr->s;
  84046. + }
  84047. + }
  84048. + return NULL;
  84049. +}
  84050. +
  84051. +/**
  84052. + * This function handles all CFI specific control requests.
  84053. + *
  84054. + * Return a negative value to stall the DCE.
  84055. + */
  84056. +int cfi_setup(struct dwc_otg_pcd *pcd, struct cfi_usb_ctrlrequest *ctrl)
  84057. +{
  84058. + int retval = 0;
  84059. + dwc_otg_pcd_ep_t *ep = NULL;
  84060. + cfiobject_t *cfi = pcd->cfi;
  84061. + struct dwc_otg_core_if *coreif = GET_CORE_IF(pcd);
  84062. + uint16_t wLen = DWC_LE16_TO_CPU(&ctrl->wLength);
  84063. + uint16_t wValue = DWC_LE16_TO_CPU(&ctrl->wValue);
  84064. + uint16_t wIndex = DWC_LE16_TO_CPU(&ctrl->wIndex);
  84065. + uint32_t regaddr = 0;
  84066. + uint32_t regval = 0;
  84067. +
  84068. + /* Save this Control Request in the CFI object.
  84069. + * The data field will be assigned in the data stage completion CB function.
  84070. + */
  84071. + cfi->ctrl_req = *ctrl;
  84072. + cfi->ctrl_req.data = NULL;
  84073. +
  84074. + cfi->need_gadget_att = 0;
  84075. + cfi->need_status_in_complete = 0;
  84076. +
  84077. + switch (ctrl->bRequest) {
  84078. + case VEN_CORE_GET_FEATURES:
  84079. + retval = cfi_core_features_buf(cfi->buf_in.buf, CFI_IN_BUF_LEN);
  84080. + if (retval >= 0) {
  84081. + //dump_msg(cfi->buf_in.buf, retval);
  84082. + ep = &pcd->ep0;
  84083. +
  84084. + retval = min((uint16_t) retval, wLen);
  84085. + /* Transfer this buffer to the host through the EP0-IN EP */
  84086. + ep->dwc_ep.dma_addr = cfi->buf_in.addr;
  84087. + ep->dwc_ep.start_xfer_buff = cfi->buf_in.buf;
  84088. + ep->dwc_ep.xfer_buff = cfi->buf_in.buf;
  84089. + ep->dwc_ep.xfer_len = retval;
  84090. + ep->dwc_ep.xfer_count = 0;
  84091. + ep->dwc_ep.sent_zlp = 0;
  84092. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  84093. +
  84094. + pcd->ep0_pending = 1;
  84095. + dwc_otg_ep0_start_transfer(coreif, &ep->dwc_ep);
  84096. + }
  84097. + retval = 0;
  84098. + break;
  84099. +
  84100. + case VEN_CORE_GET_FEATURE:
  84101. + CFI_INFO("VEN_CORE_GET_FEATURE\n");
  84102. + retval = cfi_get_feature_value(cfi->buf_in.buf, CFI_IN_BUF_LEN,
  84103. + pcd, ctrl);
  84104. + if (retval >= 0) {
  84105. + ep = &pcd->ep0;
  84106. +
  84107. + retval = min((uint16_t) retval, wLen);
  84108. + /* Transfer this buffer to the host through the EP0-IN EP */
  84109. + ep->dwc_ep.dma_addr = cfi->buf_in.addr;
  84110. + ep->dwc_ep.start_xfer_buff = cfi->buf_in.buf;
  84111. + ep->dwc_ep.xfer_buff = cfi->buf_in.buf;
  84112. + ep->dwc_ep.xfer_len = retval;
  84113. + ep->dwc_ep.xfer_count = 0;
  84114. + ep->dwc_ep.sent_zlp = 0;
  84115. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  84116. +
  84117. + pcd->ep0_pending = 1;
  84118. + dwc_otg_ep0_start_transfer(coreif, &ep->dwc_ep);
  84119. + }
  84120. + CFI_INFO("VEN_CORE_GET_FEATURE=%d\n", retval);
  84121. + dump_msg(cfi->buf_in.buf, retval);
  84122. + break;
  84123. +
  84124. + case VEN_CORE_SET_FEATURE:
  84125. + CFI_INFO("VEN_CORE_SET_FEATURE\n");
  84126. + /* Set up an XFER to get the data stage of the control request,
  84127. + * which is the new value of the feature to be modified.
  84128. + */
  84129. + ep = &pcd->ep0;
  84130. + ep->dwc_ep.is_in = 0;
  84131. + ep->dwc_ep.dma_addr = cfi->buf_out.addr;
  84132. + ep->dwc_ep.start_xfer_buff = cfi->buf_out.buf;
  84133. + ep->dwc_ep.xfer_buff = cfi->buf_out.buf;
  84134. + ep->dwc_ep.xfer_len = wLen;
  84135. + ep->dwc_ep.xfer_count = 0;
  84136. + ep->dwc_ep.sent_zlp = 0;
  84137. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  84138. +
  84139. + pcd->ep0_pending = 1;
  84140. + /* Read the control write's data stage */
  84141. + dwc_otg_ep0_start_transfer(coreif, &ep->dwc_ep);
  84142. + retval = 0;
  84143. + break;
  84144. +
  84145. + case VEN_CORE_RESET_FEATURES:
  84146. + CFI_INFO("VEN_CORE_RESET_FEATURES\n");
  84147. + cfi->need_gadget_att = 1;
  84148. + cfi->need_status_in_complete = 1;
  84149. + retval = cfi_preproc_reset(pcd, ctrl);
  84150. + CFI_INFO("VEN_CORE_RESET_FEATURES = (%d)\n", retval);
  84151. + break;
  84152. +
  84153. + case VEN_CORE_ACTIVATE_FEATURES:
  84154. + CFI_INFO("VEN_CORE_ACTIVATE_FEATURES\n");
  84155. + break;
  84156. +
  84157. + case VEN_CORE_READ_REGISTER:
  84158. + CFI_INFO("VEN_CORE_READ_REGISTER\n");
  84159. + /* wValue optionally contains the HI WORD of the register offset and
  84160. + * wIndex contains the LOW WORD of the register offset
  84161. + */
  84162. + if (wValue == 0) {
  84163. + /* @TODO - MAS - fix the access to the base field */
  84164. + regaddr = 0;
  84165. + //regaddr = (uint32_t) pcd->otg_dev->os_dep.base;
  84166. + //GET_CORE_IF(pcd)->co
  84167. + regaddr |= wIndex;
  84168. + } else {
  84169. + regaddr = (wValue << 16) | wIndex;
  84170. + }
  84171. +
  84172. + /* Read a 32-bit value of the memory at the regaddr */
  84173. + regval = DWC_READ_REG32((uint32_t *) regaddr);
  84174. +
  84175. + ep = &pcd->ep0;
  84176. + dwc_memcpy(cfi->buf_in.buf, &regval, sizeof(uint32_t));
  84177. + ep->dwc_ep.is_in = 1;
  84178. + ep->dwc_ep.dma_addr = cfi->buf_in.addr;
  84179. + ep->dwc_ep.start_xfer_buff = cfi->buf_in.buf;
  84180. + ep->dwc_ep.xfer_buff = cfi->buf_in.buf;
  84181. + ep->dwc_ep.xfer_len = wLen;
  84182. + ep->dwc_ep.xfer_count = 0;
  84183. + ep->dwc_ep.sent_zlp = 0;
  84184. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  84185. +
  84186. + pcd->ep0_pending = 1;
  84187. + dwc_otg_ep0_start_transfer(coreif, &ep->dwc_ep);
  84188. + cfi->need_gadget_att = 0;
  84189. + retval = 0;
  84190. + break;
  84191. +
  84192. + case VEN_CORE_WRITE_REGISTER:
  84193. + CFI_INFO("VEN_CORE_WRITE_REGISTER\n");
  84194. + /* Set up an XFER to get the data stage of the control request,
  84195. + * which is the new value of the register to be modified.
  84196. + */
  84197. + ep = &pcd->ep0;
  84198. + ep->dwc_ep.is_in = 0;
  84199. + ep->dwc_ep.dma_addr = cfi->buf_out.addr;
  84200. + ep->dwc_ep.start_xfer_buff = cfi->buf_out.buf;
  84201. + ep->dwc_ep.xfer_buff = cfi->buf_out.buf;
  84202. + ep->dwc_ep.xfer_len = wLen;
  84203. + ep->dwc_ep.xfer_count = 0;
  84204. + ep->dwc_ep.sent_zlp = 0;
  84205. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  84206. +
  84207. + pcd->ep0_pending = 1;
  84208. + /* Read the control write's data stage */
  84209. + dwc_otg_ep0_start_transfer(coreif, &ep->dwc_ep);
  84210. + retval = 0;
  84211. + break;
  84212. +
  84213. + default:
  84214. + retval = -DWC_E_NOT_SUPPORTED;
  84215. + break;
  84216. + }
  84217. +
  84218. + return retval;
  84219. +}
  84220. +
  84221. +/**
  84222. + * This function prepares the core features descriptors and copies its
  84223. + * raw representation into the buffer <buf>.
  84224. + *
  84225. + * The buffer structure is as follows:
  84226. + * all_features_header (8 bytes)
  84227. + * features_#1 (8 bytes + feature name string length)
  84228. + * features_#2 (8 bytes + feature name string length)
  84229. + * .....
  84230. + * features_#n - where n=the total count of feature descriptors
  84231. + */
  84232. +static int cfi_core_features_buf(uint8_t * buf, uint16_t buflen)
  84233. +{
  84234. + cfi_feature_desc_header_t *prop_hdr = prop_descs;
  84235. + cfi_feature_desc_header_t *prop;
  84236. + cfi_all_features_header_t *all_props_hdr = &all_props_desc_header;
  84237. + cfi_all_features_header_t *tmp;
  84238. + uint8_t *tmpbuf = buf;
  84239. + const uint8_t *pname = NULL;
  84240. + int i, j, namelen = 0, totlen;
  84241. +
  84242. + /* Prepare and copy the core features into the buffer */
  84243. + CFI_INFO("%s:\n", __func__);
  84244. +
  84245. + tmp = (cfi_all_features_header_t *) tmpbuf;
  84246. + *tmp = *all_props_hdr;
  84247. + tmpbuf += CFI_ALL_FEATURES_HDR_LEN;
  84248. +
  84249. + j = sizeof(prop_descs) / sizeof(cfi_all_features_header_t);
  84250. + for (i = 0; i < j; i++, prop_hdr++) {
  84251. + pname = get_prop_name(prop_hdr->wFeatureID, &namelen);
  84252. + prop = (cfi_feature_desc_header_t *) tmpbuf;
  84253. + *prop = *prop_hdr;
  84254. +
  84255. + prop->bNameLen = namelen;
  84256. + prop->wLength =
  84257. + DWC_CONSTANT_CPU_TO_LE16(CFI_FEATURE_DESC_HDR_LEN +
  84258. + namelen);
  84259. +
  84260. + tmpbuf += CFI_FEATURE_DESC_HDR_LEN;
  84261. + dwc_memcpy(tmpbuf, pname, namelen);
  84262. + tmpbuf += namelen;
  84263. + }
  84264. +
  84265. + totlen = tmpbuf - buf;
  84266. +
  84267. + if (totlen > 0) {
  84268. + tmp = (cfi_all_features_header_t *) buf;
  84269. + tmp->wTotalLen = DWC_CONSTANT_CPU_TO_LE16(totlen);
  84270. + }
  84271. +
  84272. + return totlen;
  84273. +}
  84274. +
  84275. +/**
  84276. + * This function releases all the dynamic memory in the CFI object.
  84277. + */
  84278. +static void cfi_release(cfiobject_t * cfiobj)
  84279. +{
  84280. + cfi_ep_t *cfiep;
  84281. + dwc_list_link_t *tmp;
  84282. +
  84283. + CFI_INFO("%s\n", __func__);
  84284. +
  84285. + if (cfiobj->buf_in.buf) {
  84286. + DWC_DMA_FREE(CFI_IN_BUF_LEN, cfiobj->buf_in.buf,
  84287. + cfiobj->buf_in.addr);
  84288. + cfiobj->buf_in.buf = NULL;
  84289. + }
  84290. +
  84291. + if (cfiobj->buf_out.buf) {
  84292. + DWC_DMA_FREE(CFI_OUT_BUF_LEN, cfiobj->buf_out.buf,
  84293. + cfiobj->buf_out.addr);
  84294. + cfiobj->buf_out.buf = NULL;
  84295. + }
  84296. +
  84297. + /* Free the Buffer Setup values for each EP */
  84298. + //list_for_each_entry(cfiep, &cfiobj->active_eps, lh) {
  84299. + DWC_LIST_FOREACH(tmp, &cfiobj->active_eps) {
  84300. + cfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  84301. + cfi_free_ep_bs_dyn_data(cfiep);
  84302. + }
  84303. +}
  84304. +
  84305. +/**
  84306. + * This function frees the dynamically allocated EP buffer setup data.
  84307. + */
  84308. +static void cfi_free_ep_bs_dyn_data(cfi_ep_t * cfiep)
  84309. +{
  84310. + if (cfiep->bm_sg) {
  84311. + DWC_FREE(cfiep->bm_sg);
  84312. + cfiep->bm_sg = NULL;
  84313. + }
  84314. +
  84315. + if (cfiep->bm_align) {
  84316. + DWC_FREE(cfiep->bm_align);
  84317. + cfiep->bm_align = NULL;
  84318. + }
  84319. +
  84320. + if (cfiep->bm_concat) {
  84321. + if (NULL != cfiep->bm_concat->wTxBytes) {
  84322. + DWC_FREE(cfiep->bm_concat->wTxBytes);
  84323. + cfiep->bm_concat->wTxBytes = NULL;
  84324. + }
  84325. + DWC_FREE(cfiep->bm_concat);
  84326. + cfiep->bm_concat = NULL;
  84327. + }
  84328. +}
  84329. +
  84330. +/**
  84331. + * This function initializes the default values of the features
  84332. + * for a specific endpoint and should be called only once when
  84333. + * the EP is enabled first time.
  84334. + */
  84335. +static int cfi_ep_init_defaults(struct dwc_otg_pcd *pcd, cfi_ep_t * cfiep)
  84336. +{
  84337. + int retval = 0;
  84338. +
  84339. + cfiep->bm_sg = DWC_ALLOC(sizeof(ddma_sg_buffer_setup_t));
  84340. + if (NULL == cfiep->bm_sg) {
  84341. + CFI_INFO("Failed to allocate memory for SG feature value\n");
  84342. + return -DWC_E_NO_MEMORY;
  84343. + }
  84344. + dwc_memset(cfiep->bm_sg, 0, sizeof(ddma_sg_buffer_setup_t));
  84345. +
  84346. + /* For the Concatenation feature's default value we do not allocate
  84347. + * memory for the wTxBytes field - it will be done in the set_feature_value
  84348. + * request handler.
  84349. + */
  84350. + cfiep->bm_concat = DWC_ALLOC(sizeof(ddma_concat_buffer_setup_t));
  84351. + if (NULL == cfiep->bm_concat) {
  84352. + CFI_INFO
  84353. + ("Failed to allocate memory for CONCATENATION feature value\n");
  84354. + DWC_FREE(cfiep->bm_sg);
  84355. + return -DWC_E_NO_MEMORY;
  84356. + }
  84357. + dwc_memset(cfiep->bm_concat, 0, sizeof(ddma_concat_buffer_setup_t));
  84358. +
  84359. + cfiep->bm_align = DWC_ALLOC(sizeof(ddma_align_buffer_setup_t));
  84360. + if (NULL == cfiep->bm_align) {
  84361. + CFI_INFO
  84362. + ("Failed to allocate memory for Alignment feature value\n");
  84363. + DWC_FREE(cfiep->bm_sg);
  84364. + DWC_FREE(cfiep->bm_concat);
  84365. + return -DWC_E_NO_MEMORY;
  84366. + }
  84367. + dwc_memset(cfiep->bm_align, 0, sizeof(ddma_align_buffer_setup_t));
  84368. +
  84369. + return retval;
  84370. +}
  84371. +
  84372. +/**
  84373. + * The callback function that notifies the CFI on the activation of
  84374. + * an endpoint in the PCD. The following steps are done in this function:
  84375. + *
  84376. + * Create a dynamically allocated cfi_ep_t object (a CFI wrapper to the PCD's
  84377. + * active endpoint)
  84378. + * Create MAX_DMA_DESCS_PER_EP count DMA Descriptors for the EP
  84379. + * Set the Buffer Mode to standard
  84380. + * Initialize the default values for all EP modes (SG, Circular, Concat, Align)
  84381. + * Add the cfi_ep_t object to the list of active endpoints in the CFI object
  84382. + */
  84383. +static int cfi_ep_enable(struct cfiobject *cfi, struct dwc_otg_pcd *pcd,
  84384. + struct dwc_otg_pcd_ep *ep)
  84385. +{
  84386. + cfi_ep_t *cfiep;
  84387. + int retval = -DWC_E_NOT_SUPPORTED;
  84388. +
  84389. + CFI_INFO("%s: epname=%s; epnum=0x%02x\n", __func__,
  84390. + "EP_" /*ep->ep.name */ , ep->desc->bEndpointAddress);
  84391. + /* MAS - Check whether this endpoint already is in the list */
  84392. + cfiep = get_cfi_ep_by_pcd_ep(cfi, ep);
  84393. +
  84394. + if (NULL == cfiep) {
  84395. + /* Allocate a cfi_ep_t object */
  84396. + cfiep = DWC_ALLOC(sizeof(cfi_ep_t));
  84397. + if (NULL == cfiep) {
  84398. + CFI_INFO
  84399. + ("Unable to allocate memory for <cfiep> in function %s\n",
  84400. + __func__);
  84401. + return -DWC_E_NO_MEMORY;
  84402. + }
  84403. + dwc_memset(cfiep, 0, sizeof(cfi_ep_t));
  84404. +
  84405. + /* Save the dwc_otg_pcd_ep pointer in the cfiep object */
  84406. + cfiep->ep = ep;
  84407. +
  84408. + /* Allocate the DMA Descriptors chain of MAX_DMA_DESCS_PER_EP count */
  84409. + ep->dwc_ep.descs =
  84410. + DWC_DMA_ALLOC(MAX_DMA_DESCS_PER_EP *
  84411. + sizeof(dwc_otg_dma_desc_t),
  84412. + &ep->dwc_ep.descs_dma_addr);
  84413. +
  84414. + if (NULL == ep->dwc_ep.descs) {
  84415. + DWC_FREE(cfiep);
  84416. + return -DWC_E_NO_MEMORY;
  84417. + }
  84418. +
  84419. + DWC_LIST_INIT(&cfiep->lh);
  84420. +
  84421. + /* Set the buffer mode to BM_STANDARD. It will be modified
  84422. + * when building descriptors for a specific buffer mode */
  84423. + ep->dwc_ep.buff_mode = BM_STANDARD;
  84424. +
  84425. + /* Create and initialize the default values for this EP's Buffer modes */
  84426. + if ((retval = cfi_ep_init_defaults(pcd, cfiep)) < 0)
  84427. + return retval;
  84428. +
  84429. + /* Add the cfi_ep_t object to the CFI object's list of active endpoints */
  84430. + DWC_LIST_INSERT_TAIL(&cfi->active_eps, &cfiep->lh);
  84431. + retval = 0;
  84432. + } else { /* The sought EP already is in the list */
  84433. + CFI_INFO("%s: The sought EP already is in the list\n",
  84434. + __func__);
  84435. + }
  84436. +
  84437. + return retval;
  84438. +}
  84439. +
  84440. +/**
  84441. + * This function is called when the data stage of a 3-stage Control Write request
  84442. + * is complete.
  84443. + *
  84444. + */
  84445. +static int cfi_ctrl_write_complete(struct cfiobject *cfi,
  84446. + struct dwc_otg_pcd *pcd)
  84447. +{
  84448. + uint32_t addr, reg_value;
  84449. + uint16_t wIndex, wValue;
  84450. + uint8_t bRequest;
  84451. + uint8_t *buf = cfi->buf_out.buf;
  84452. + //struct usb_ctrlrequest *ctrl_req = &cfi->ctrl_req_saved;
  84453. + struct cfi_usb_ctrlrequest *ctrl_req = &cfi->ctrl_req;
  84454. + int retval = -DWC_E_NOT_SUPPORTED;
  84455. +
  84456. + CFI_INFO("%s\n", __func__);
  84457. +
  84458. + bRequest = ctrl_req->bRequest;
  84459. + wIndex = DWC_CONSTANT_CPU_TO_LE16(ctrl_req->wIndex);
  84460. + wValue = DWC_CONSTANT_CPU_TO_LE16(ctrl_req->wValue);
  84461. +
  84462. + /*
  84463. + * Save the pointer to the data stage in the ctrl_req's <data> field.
  84464. + * The request should be already saved in the command stage by now.
  84465. + */
  84466. + ctrl_req->data = cfi->buf_out.buf;
  84467. + cfi->need_status_in_complete = 0;
  84468. + cfi->need_gadget_att = 0;
  84469. +
  84470. + switch (bRequest) {
  84471. + case VEN_CORE_WRITE_REGISTER:
  84472. + /* The buffer contains raw data of the new value for the register */
  84473. + reg_value = *((uint32_t *) buf);
  84474. + if (wValue == 0) {
  84475. + addr = 0;
  84476. + //addr = (uint32_t) pcd->otg_dev->os_dep.base;
  84477. + addr += wIndex;
  84478. + } else {
  84479. + addr = (wValue << 16) | wIndex;
  84480. + }
  84481. +
  84482. + //writel(reg_value, addr);
  84483. +
  84484. + retval = 0;
  84485. + cfi->need_status_in_complete = 1;
  84486. + break;
  84487. +
  84488. + case VEN_CORE_SET_FEATURE:
  84489. + /* The buffer contains raw data of the new value of the feature */
  84490. + retval = cfi_set_feature_value(pcd);
  84491. + if (retval < 0)
  84492. + return retval;
  84493. +
  84494. + cfi->need_status_in_complete = 1;
  84495. + break;
  84496. +
  84497. + default:
  84498. + break;
  84499. + }
  84500. +
  84501. + return retval;
  84502. +}
  84503. +
  84504. +/**
  84505. + * This function builds the DMA descriptors for the SG buffer mode.
  84506. + */
  84507. +static void cfi_build_sg_descs(struct cfiobject *cfi, cfi_ep_t * cfiep,
  84508. + dwc_otg_pcd_request_t * req)
  84509. +{
  84510. + struct dwc_otg_pcd_ep *ep = cfiep->ep;
  84511. + ddma_sg_buffer_setup_t *sgval = cfiep->bm_sg;
  84512. + struct dwc_otg_dma_desc *desc = cfiep->ep->dwc_ep.descs;
  84513. + struct dwc_otg_dma_desc *desc_last = cfiep->ep->dwc_ep.descs;
  84514. + dma_addr_t buff_addr = req->dma;
  84515. + int i;
  84516. + uint32_t txsize, off;
  84517. +
  84518. + txsize = sgval->wSize;
  84519. + off = sgval->bOffset;
  84520. +
  84521. +// CFI_INFO("%s: %s TXSIZE=0x%08x; OFFSET=0x%08x\n",
  84522. +// __func__, cfiep->ep->ep.name, txsize, off);
  84523. +
  84524. + for (i = 0; i < sgval->bCount; i++) {
  84525. + desc->status.b.bs = BS_HOST_BUSY;
  84526. + desc->buf = buff_addr;
  84527. + desc->status.b.l = 0;
  84528. + desc->status.b.ioc = 0;
  84529. + desc->status.b.sp = 0;
  84530. + desc->status.b.bytes = txsize;
  84531. + desc->status.b.bs = BS_HOST_READY;
  84532. +
  84533. + /* Set the next address of the buffer */
  84534. + buff_addr += txsize + off;
  84535. + desc_last = desc;
  84536. + desc++;
  84537. + }
  84538. +
  84539. + /* Set the last, ioc and sp bits on the Last DMA Descriptor */
  84540. + desc_last->status.b.l = 1;
  84541. + desc_last->status.b.ioc = 1;
  84542. + desc_last->status.b.sp = ep->dwc_ep.sent_zlp;
  84543. + /* Save the last DMA descriptor pointer */
  84544. + cfiep->dma_desc_last = desc_last;
  84545. + cfiep->desc_count = sgval->bCount;
  84546. +}
  84547. +
  84548. +/**
  84549. + * This function builds the DMA descriptors for the Concatenation buffer mode.
  84550. + */
  84551. +static void cfi_build_concat_descs(struct cfiobject *cfi, cfi_ep_t * cfiep,
  84552. + dwc_otg_pcd_request_t * req)
  84553. +{
  84554. + struct dwc_otg_pcd_ep *ep = cfiep->ep;
  84555. + ddma_concat_buffer_setup_t *concatval = cfiep->bm_concat;
  84556. + struct dwc_otg_dma_desc *desc = cfiep->ep->dwc_ep.descs;
  84557. + struct dwc_otg_dma_desc *desc_last = cfiep->ep->dwc_ep.descs;
  84558. + dma_addr_t buff_addr = req->dma;
  84559. + int i;
  84560. + uint16_t *txsize;
  84561. +
  84562. + txsize = concatval->wTxBytes;
  84563. +
  84564. + for (i = 0; i < concatval->hdr.bDescCount; i++) {
  84565. + desc->buf = buff_addr;
  84566. + desc->status.b.bs = BS_HOST_BUSY;
  84567. + desc->status.b.l = 0;
  84568. + desc->status.b.ioc = 0;
  84569. + desc->status.b.sp = 0;
  84570. + desc->status.b.bytes = *txsize;
  84571. + desc->status.b.bs = BS_HOST_READY;
  84572. +
  84573. + txsize++;
  84574. + /* Set the next address of the buffer */
  84575. + buff_addr += UGETW(ep->desc->wMaxPacketSize);
  84576. + desc_last = desc;
  84577. + desc++;
  84578. + }
  84579. +
  84580. + /* Set the last, ioc and sp bits on the Last DMA Descriptor */
  84581. + desc_last->status.b.l = 1;
  84582. + desc_last->status.b.ioc = 1;
  84583. + desc_last->status.b.sp = ep->dwc_ep.sent_zlp;
  84584. + cfiep->dma_desc_last = desc_last;
  84585. + cfiep->desc_count = concatval->hdr.bDescCount;
  84586. +}
  84587. +
  84588. +/**
  84589. + * This function builds the DMA descriptors for the Circular buffer mode
  84590. + */
  84591. +static void cfi_build_circ_descs(struct cfiobject *cfi, cfi_ep_t * cfiep,
  84592. + dwc_otg_pcd_request_t * req)
  84593. +{
  84594. + /* @todo: MAS - add implementation when this feature needs to be tested */
  84595. +}
  84596. +
  84597. +/**
  84598. + * This function builds the DMA descriptors for the Alignment buffer mode
  84599. + */
  84600. +static void cfi_build_align_descs(struct cfiobject *cfi, cfi_ep_t * cfiep,
  84601. + dwc_otg_pcd_request_t * req)
  84602. +{
  84603. + struct dwc_otg_pcd_ep *ep = cfiep->ep;
  84604. + ddma_align_buffer_setup_t *alignval = cfiep->bm_align;
  84605. + struct dwc_otg_dma_desc *desc = cfiep->ep->dwc_ep.descs;
  84606. + dma_addr_t buff_addr = req->dma;
  84607. +
  84608. + desc->status.b.bs = BS_HOST_BUSY;
  84609. + desc->status.b.l = 1;
  84610. + desc->status.b.ioc = 1;
  84611. + desc->status.b.sp = ep->dwc_ep.sent_zlp;
  84612. + desc->status.b.bytes = req->length;
  84613. + /* Adjust the buffer alignment */
  84614. + desc->buf = (buff_addr + alignval->bAlign);
  84615. + desc->status.b.bs = BS_HOST_READY;
  84616. + cfiep->dma_desc_last = desc;
  84617. + cfiep->desc_count = 1;
  84618. +}
  84619. +
  84620. +/**
  84621. + * This function builds the DMA descriptors chain for different modes of the
  84622. + * buffer setup of an endpoint.
  84623. + */
  84624. +static void cfi_build_descriptors(struct cfiobject *cfi,
  84625. + struct dwc_otg_pcd *pcd,
  84626. + struct dwc_otg_pcd_ep *ep,
  84627. + dwc_otg_pcd_request_t * req)
  84628. +{
  84629. + cfi_ep_t *cfiep;
  84630. +
  84631. + /* Get the cfiep by the dwc_otg_pcd_ep */
  84632. + cfiep = get_cfi_ep_by_pcd_ep(cfi, ep);
  84633. + if (NULL == cfiep) {
  84634. + CFI_INFO("%s: Unable to find a matching active endpoint\n",
  84635. + __func__);
  84636. + return;
  84637. + }
  84638. +
  84639. + cfiep->xfer_len = req->length;
  84640. +
  84641. + /* Iterate through all the DMA descriptors */
  84642. + switch (cfiep->ep->dwc_ep.buff_mode) {
  84643. + case BM_SG:
  84644. + cfi_build_sg_descs(cfi, cfiep, req);
  84645. + break;
  84646. +
  84647. + case BM_CONCAT:
  84648. + cfi_build_concat_descs(cfi, cfiep, req);
  84649. + break;
  84650. +
  84651. + case BM_CIRCULAR:
  84652. + cfi_build_circ_descs(cfi, cfiep, req);
  84653. + break;
  84654. +
  84655. + case BM_ALIGN:
  84656. + cfi_build_align_descs(cfi, cfiep, req);
  84657. + break;
  84658. +
  84659. + default:
  84660. + break;
  84661. + }
  84662. +}
  84663. +
  84664. +/**
  84665. + * Allocate DMA buffer for different Buffer modes.
  84666. + */
  84667. +static void *cfi_ep_alloc_buf(struct cfiobject *cfi, struct dwc_otg_pcd *pcd,
  84668. + struct dwc_otg_pcd_ep *ep, dma_addr_t * dma,
  84669. + unsigned size, gfp_t flags)
  84670. +{
  84671. + return DWC_DMA_ALLOC(size, dma);
  84672. +}
  84673. +
  84674. +/**
  84675. + * This function initializes the CFI object.
  84676. + */
  84677. +int init_cfi(cfiobject_t * cfiobj)
  84678. +{
  84679. + CFI_INFO("%s\n", __func__);
  84680. +
  84681. + /* Allocate a buffer for IN XFERs */
  84682. + cfiobj->buf_in.buf =
  84683. + DWC_DMA_ALLOC(CFI_IN_BUF_LEN, &cfiobj->buf_in.addr);
  84684. + if (NULL == cfiobj->buf_in.buf) {
  84685. + CFI_INFO("Unable to allocate buffer for INs\n");
  84686. + return -DWC_E_NO_MEMORY;
  84687. + }
  84688. +
  84689. + /* Allocate a buffer for OUT XFERs */
  84690. + cfiobj->buf_out.buf =
  84691. + DWC_DMA_ALLOC(CFI_OUT_BUF_LEN, &cfiobj->buf_out.addr);
  84692. + if (NULL == cfiobj->buf_out.buf) {
  84693. + CFI_INFO("Unable to allocate buffer for OUT\n");
  84694. + return -DWC_E_NO_MEMORY;
  84695. + }
  84696. +
  84697. + /* Initialize the callback function pointers */
  84698. + cfiobj->ops.release = cfi_release;
  84699. + cfiobj->ops.ep_enable = cfi_ep_enable;
  84700. + cfiobj->ops.ctrl_write_complete = cfi_ctrl_write_complete;
  84701. + cfiobj->ops.build_descriptors = cfi_build_descriptors;
  84702. + cfiobj->ops.ep_alloc_buf = cfi_ep_alloc_buf;
  84703. +
  84704. + /* Initialize the list of active endpoints in the CFI object */
  84705. + DWC_LIST_INIT(&cfiobj->active_eps);
  84706. +
  84707. + return 0;
  84708. +}
  84709. +
  84710. +/**
  84711. + * This function reads the required feature's current value into the buffer
  84712. + *
  84713. + * @retval: Returns negative as error, or the data length of the feature
  84714. + */
  84715. +static int cfi_get_feature_value(uint8_t * buf, uint16_t buflen,
  84716. + struct dwc_otg_pcd *pcd,
  84717. + struct cfi_usb_ctrlrequest *ctrl_req)
  84718. +{
  84719. + int retval = -DWC_E_NOT_SUPPORTED;
  84720. + struct dwc_otg_core_if *coreif = GET_CORE_IF(pcd);
  84721. + uint16_t dfifo, rxfifo, txfifo;
  84722. +
  84723. + switch (ctrl_req->wIndex) {
  84724. + /* Whether the DDMA is enabled or not */
  84725. + case FT_ID_DMA_MODE:
  84726. + *buf = (coreif->dma_enable && coreif->dma_desc_enable) ? 1 : 0;
  84727. + retval = 1;
  84728. + break;
  84729. +
  84730. + case FT_ID_DMA_BUFFER_SETUP:
  84731. + retval = cfi_ep_get_sg_val(buf, pcd, ctrl_req);
  84732. + break;
  84733. +
  84734. + case FT_ID_DMA_BUFF_ALIGN:
  84735. + retval = cfi_ep_get_align_val(buf, pcd, ctrl_req);
  84736. + break;
  84737. +
  84738. + case FT_ID_DMA_CONCAT_SETUP:
  84739. + retval = cfi_ep_get_concat_val(buf, pcd, ctrl_req);
  84740. + break;
  84741. +
  84742. + case FT_ID_DMA_CIRCULAR:
  84743. + CFI_INFO("GetFeature value (FT_ID_DMA_CIRCULAR)\n");
  84744. + break;
  84745. +
  84746. + case FT_ID_THRESHOLD_SETUP:
  84747. + CFI_INFO("GetFeature value (FT_ID_THRESHOLD_SETUP)\n");
  84748. + break;
  84749. +
  84750. + case FT_ID_DFIFO_DEPTH:
  84751. + dfifo = get_dfifo_size(coreif);
  84752. + *((uint16_t *) buf) = dfifo;
  84753. + retval = sizeof(uint16_t);
  84754. + break;
  84755. +
  84756. + case FT_ID_TX_FIFO_DEPTH:
  84757. + retval = get_txfifo_size(pcd, ctrl_req->wValue);
  84758. + if (retval >= 0) {
  84759. + txfifo = retval;
  84760. + *((uint16_t *) buf) = txfifo;
  84761. + retval = sizeof(uint16_t);
  84762. + }
  84763. + break;
  84764. +
  84765. + case FT_ID_RX_FIFO_DEPTH:
  84766. + retval = get_rxfifo_size(coreif, ctrl_req->wValue);
  84767. + if (retval >= 0) {
  84768. + rxfifo = retval;
  84769. + *((uint16_t *) buf) = rxfifo;
  84770. + retval = sizeof(uint16_t);
  84771. + }
  84772. + break;
  84773. + }
  84774. +
  84775. + return retval;
  84776. +}
  84777. +
  84778. +/**
  84779. + * This function resets the SG for the specified EP to its default value
  84780. + */
  84781. +static int cfi_reset_sg_val(cfi_ep_t * cfiep)
  84782. +{
  84783. + dwc_memset(cfiep->bm_sg, 0, sizeof(ddma_sg_buffer_setup_t));
  84784. + return 0;
  84785. +}
  84786. +
  84787. +/**
  84788. + * This function resets the Alignment for the specified EP to its default value
  84789. + */
  84790. +static int cfi_reset_align_val(cfi_ep_t * cfiep)
  84791. +{
  84792. + dwc_memset(cfiep->bm_sg, 0, sizeof(ddma_sg_buffer_setup_t));
  84793. + return 0;
  84794. +}
  84795. +
  84796. +/**
  84797. + * This function resets the Concatenation for the specified EP to its default value
  84798. + * This function will also set the value of the wTxBytes field to NULL after
  84799. + * freeing the memory previously allocated for this field.
  84800. + */
  84801. +static int cfi_reset_concat_val(cfi_ep_t * cfiep)
  84802. +{
  84803. + /* First we need to free the wTxBytes field */
  84804. + if (cfiep->bm_concat->wTxBytes) {
  84805. + DWC_FREE(cfiep->bm_concat->wTxBytes);
  84806. + cfiep->bm_concat->wTxBytes = NULL;
  84807. + }
  84808. +
  84809. + dwc_memset(cfiep->bm_concat, 0, sizeof(ddma_concat_buffer_setup_t));
  84810. + return 0;
  84811. +}
  84812. +
  84813. +/**
  84814. + * This function resets all the buffer setups of the specified endpoint
  84815. + */
  84816. +static int cfi_ep_reset_all_setup_vals(cfi_ep_t * cfiep)
  84817. +{
  84818. + cfi_reset_sg_val(cfiep);
  84819. + cfi_reset_align_val(cfiep);
  84820. + cfi_reset_concat_val(cfiep);
  84821. + return 0;
  84822. +}
  84823. +
  84824. +static int cfi_handle_reset_fifo_val(struct dwc_otg_pcd *pcd, uint8_t ep_addr,
  84825. + uint8_t rx_rst, uint8_t tx_rst)
  84826. +{
  84827. + int retval = -DWC_E_INVALID;
  84828. + uint16_t tx_siz[15];
  84829. + uint16_t rx_siz = 0;
  84830. + dwc_otg_pcd_ep_t *ep = NULL;
  84831. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  84832. + dwc_otg_core_params_t *params = GET_CORE_IF(pcd)->core_params;
  84833. +
  84834. + if (rx_rst) {
  84835. + rx_siz = params->dev_rx_fifo_size;
  84836. + params->dev_rx_fifo_size = GET_CORE_IF(pcd)->init_rxfsiz;
  84837. + }
  84838. +
  84839. + if (tx_rst) {
  84840. + if (ep_addr == 0) {
  84841. + int i;
  84842. +
  84843. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  84844. + tx_siz[i] =
  84845. + core_if->core_params->dev_tx_fifo_size[i];
  84846. + core_if->core_params->dev_tx_fifo_size[i] =
  84847. + core_if->init_txfsiz[i];
  84848. + }
  84849. + } else {
  84850. +
  84851. + ep = get_ep_by_addr(pcd, ep_addr);
  84852. +
  84853. + if (NULL == ep) {
  84854. + CFI_INFO
  84855. + ("%s: Unable to get the endpoint addr=0x%02x\n",
  84856. + __func__, ep_addr);
  84857. + return -DWC_E_INVALID;
  84858. + }
  84859. +
  84860. + tx_siz[0] =
  84861. + params->dev_tx_fifo_size[ep->dwc_ep.tx_fifo_num -
  84862. + 1];
  84863. + params->dev_tx_fifo_size[ep->dwc_ep.tx_fifo_num - 1] =
  84864. + GET_CORE_IF(pcd)->init_txfsiz[ep->
  84865. + dwc_ep.tx_fifo_num -
  84866. + 1];
  84867. + }
  84868. + }
  84869. +
  84870. + if (resize_fifos(GET_CORE_IF(pcd))) {
  84871. + retval = 0;
  84872. + } else {
  84873. + CFI_INFO
  84874. + ("%s: Error resetting the feature Reset All(FIFO size)\n",
  84875. + __func__);
  84876. + if (rx_rst) {
  84877. + params->dev_rx_fifo_size = rx_siz;
  84878. + }
  84879. +
  84880. + if (tx_rst) {
  84881. + if (ep_addr == 0) {
  84882. + int i;
  84883. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps;
  84884. + i++) {
  84885. + core_if->
  84886. + core_params->dev_tx_fifo_size[i] =
  84887. + tx_siz[i];
  84888. + }
  84889. + } else {
  84890. + params->dev_tx_fifo_size[ep->
  84891. + dwc_ep.tx_fifo_num -
  84892. + 1] = tx_siz[0];
  84893. + }
  84894. + }
  84895. + retval = -DWC_E_INVALID;
  84896. + }
  84897. + return retval;
  84898. +}
  84899. +
  84900. +static int cfi_handle_reset_all(struct dwc_otg_pcd *pcd, uint8_t addr)
  84901. +{
  84902. + int retval = 0;
  84903. + cfi_ep_t *cfiep;
  84904. + cfiobject_t *cfi = pcd->cfi;
  84905. + dwc_list_link_t *tmp;
  84906. +
  84907. + retval = cfi_handle_reset_fifo_val(pcd, addr, 1, 1);
  84908. + if (retval < 0) {
  84909. + return retval;
  84910. + }
  84911. +
  84912. + /* If the EP address is known then reset the features for only that EP */
  84913. + if (addr) {
  84914. + cfiep = get_cfi_ep_by_addr(pcd->cfi, addr);
  84915. + if (NULL == cfiep) {
  84916. + CFI_INFO("%s: Error getting the EP address 0x%02x\n",
  84917. + __func__, addr);
  84918. + return -DWC_E_INVALID;
  84919. + }
  84920. + retval = cfi_ep_reset_all_setup_vals(cfiep);
  84921. + cfiep->ep->dwc_ep.buff_mode = BM_STANDARD;
  84922. + }
  84923. + /* Otherwise (wValue == 0), reset all features of all EP's */
  84924. + else {
  84925. + /* Traverse all the active EP's and reset the feature(s) value(s) */
  84926. + //list_for_each_entry(cfiep, &cfi->active_eps, lh) {
  84927. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  84928. + cfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  84929. + retval = cfi_ep_reset_all_setup_vals(cfiep);
  84930. + cfiep->ep->dwc_ep.buff_mode = BM_STANDARD;
  84931. + if (retval < 0) {
  84932. + CFI_INFO
  84933. + ("%s: Error resetting the feature Reset All\n",
  84934. + __func__);
  84935. + return retval;
  84936. + }
  84937. + }
  84938. + }
  84939. + return retval;
  84940. +}
  84941. +
  84942. +static int cfi_handle_reset_dma_buff_setup(struct dwc_otg_pcd *pcd,
  84943. + uint8_t addr)
  84944. +{
  84945. + int retval = 0;
  84946. + cfi_ep_t *cfiep;
  84947. + cfiobject_t *cfi = pcd->cfi;
  84948. + dwc_list_link_t *tmp;
  84949. +
  84950. + /* If the EP address is known then reset the features for only that EP */
  84951. + if (addr) {
  84952. + cfiep = get_cfi_ep_by_addr(pcd->cfi, addr);
  84953. + if (NULL == cfiep) {
  84954. + CFI_INFO("%s: Error getting the EP address 0x%02x\n",
  84955. + __func__, addr);
  84956. + return -DWC_E_INVALID;
  84957. + }
  84958. + retval = cfi_reset_sg_val(cfiep);
  84959. + }
  84960. + /* Otherwise (wValue == 0), reset all features of all EP's */
  84961. + else {
  84962. + /* Traverse all the active EP's and reset the feature(s) value(s) */
  84963. + //list_for_each_entry(cfiep, &cfi->active_eps, lh) {
  84964. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  84965. + cfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  84966. + retval = cfi_reset_sg_val(cfiep);
  84967. + if (retval < 0) {
  84968. + CFI_INFO
  84969. + ("%s: Error resetting the feature Buffer Setup\n",
  84970. + __func__);
  84971. + return retval;
  84972. + }
  84973. + }
  84974. + }
  84975. + return retval;
  84976. +}
  84977. +
  84978. +static int cfi_handle_reset_concat_val(struct dwc_otg_pcd *pcd, uint8_t addr)
  84979. +{
  84980. + int retval = 0;
  84981. + cfi_ep_t *cfiep;
  84982. + cfiobject_t *cfi = pcd->cfi;
  84983. + dwc_list_link_t *tmp;
  84984. +
  84985. + /* If the EP address is known then reset the features for only that EP */
  84986. + if (addr) {
  84987. + cfiep = get_cfi_ep_by_addr(pcd->cfi, addr);
  84988. + if (NULL == cfiep) {
  84989. + CFI_INFO("%s: Error getting the EP address 0x%02x\n",
  84990. + __func__, addr);
  84991. + return -DWC_E_INVALID;
  84992. + }
  84993. + retval = cfi_reset_concat_val(cfiep);
  84994. + }
  84995. + /* Otherwise (wValue == 0), reset all features of all EP's */
  84996. + else {
  84997. + /* Traverse all the active EP's and reset the feature(s) value(s) */
  84998. + //list_for_each_entry(cfiep, &cfi->active_eps, lh) {
  84999. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  85000. + cfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  85001. + retval = cfi_reset_concat_val(cfiep);
  85002. + if (retval < 0) {
  85003. + CFI_INFO
  85004. + ("%s: Error resetting the feature Concatenation Value\n",
  85005. + __func__);
  85006. + return retval;
  85007. + }
  85008. + }
  85009. + }
  85010. + return retval;
  85011. +}
  85012. +
  85013. +static int cfi_handle_reset_align_val(struct dwc_otg_pcd *pcd, uint8_t addr)
  85014. +{
  85015. + int retval = 0;
  85016. + cfi_ep_t *cfiep;
  85017. + cfiobject_t *cfi = pcd->cfi;
  85018. + dwc_list_link_t *tmp;
  85019. +
  85020. + /* If the EP address is known then reset the features for only that EP */
  85021. + if (addr) {
  85022. + cfiep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85023. + if (NULL == cfiep) {
  85024. + CFI_INFO("%s: Error getting the EP address 0x%02x\n",
  85025. + __func__, addr);
  85026. + return -DWC_E_INVALID;
  85027. + }
  85028. + retval = cfi_reset_align_val(cfiep);
  85029. + }
  85030. + /* Otherwise (wValue == 0), reset all features of all EP's */
  85031. + else {
  85032. + /* Traverse all the active EP's and reset the feature(s) value(s) */
  85033. + //list_for_each_entry(cfiep, &cfi->active_eps, lh) {
  85034. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  85035. + cfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  85036. + retval = cfi_reset_align_val(cfiep);
  85037. + if (retval < 0) {
  85038. + CFI_INFO
  85039. + ("%s: Error resetting the feature Aliignment Value\n",
  85040. + __func__);
  85041. + return retval;
  85042. + }
  85043. + }
  85044. + }
  85045. + return retval;
  85046. +
  85047. +}
  85048. +
  85049. +static int cfi_preproc_reset(struct dwc_otg_pcd *pcd,
  85050. + struct cfi_usb_ctrlrequest *req)
  85051. +{
  85052. + int retval = 0;
  85053. +
  85054. + switch (req->wIndex) {
  85055. + case 0:
  85056. + /* Reset all features */
  85057. + retval = cfi_handle_reset_all(pcd, req->wValue & 0xff);
  85058. + break;
  85059. +
  85060. + case FT_ID_DMA_BUFFER_SETUP:
  85061. + /* Reset the SG buffer setup */
  85062. + retval =
  85063. + cfi_handle_reset_dma_buff_setup(pcd, req->wValue & 0xff);
  85064. + break;
  85065. +
  85066. + case FT_ID_DMA_CONCAT_SETUP:
  85067. + /* Reset the Concatenation buffer setup */
  85068. + retval = cfi_handle_reset_concat_val(pcd, req->wValue & 0xff);
  85069. + break;
  85070. +
  85071. + case FT_ID_DMA_BUFF_ALIGN:
  85072. + /* Reset the Alignment buffer setup */
  85073. + retval = cfi_handle_reset_align_val(pcd, req->wValue & 0xff);
  85074. + break;
  85075. +
  85076. + case FT_ID_TX_FIFO_DEPTH:
  85077. + retval =
  85078. + cfi_handle_reset_fifo_val(pcd, req->wValue & 0xff, 0, 1);
  85079. + pcd->cfi->need_gadget_att = 0;
  85080. + break;
  85081. +
  85082. + case FT_ID_RX_FIFO_DEPTH:
  85083. + retval = cfi_handle_reset_fifo_val(pcd, 0, 1, 0);
  85084. + pcd->cfi->need_gadget_att = 0;
  85085. + break;
  85086. + default:
  85087. + break;
  85088. + }
  85089. + return retval;
  85090. +}
  85091. +
  85092. +/**
  85093. + * This function sets a new value for the SG buffer setup.
  85094. + */
  85095. +static int cfi_ep_set_sg_val(uint8_t * buf, struct dwc_otg_pcd *pcd)
  85096. +{
  85097. + uint8_t inaddr, outaddr;
  85098. + cfi_ep_t *epin, *epout;
  85099. + ddma_sg_buffer_setup_t *psgval;
  85100. + uint32_t desccount, size;
  85101. +
  85102. + CFI_INFO("%s\n", __func__);
  85103. +
  85104. + psgval = (ddma_sg_buffer_setup_t *) buf;
  85105. + desccount = (uint32_t) psgval->bCount;
  85106. + size = (uint32_t) psgval->wSize;
  85107. +
  85108. + /* Check the DMA descriptor count */
  85109. + if ((desccount > MAX_DMA_DESCS_PER_EP) || (desccount == 0)) {
  85110. + CFI_INFO
  85111. + ("%s: The count of DMA Descriptors should be between 1 and %d\n",
  85112. + __func__, MAX_DMA_DESCS_PER_EP);
  85113. + return -DWC_E_INVALID;
  85114. + }
  85115. +
  85116. + /* Check the DMA descriptor count */
  85117. +
  85118. + if (size == 0) {
  85119. +
  85120. + CFI_INFO("%s: The transfer size should be at least 1 byte\n",
  85121. + __func__);
  85122. +
  85123. + return -DWC_E_INVALID;
  85124. +
  85125. + }
  85126. +
  85127. + inaddr = psgval->bInEndpointAddress;
  85128. + outaddr = psgval->bOutEndpointAddress;
  85129. +
  85130. + epin = get_cfi_ep_by_addr(pcd->cfi, inaddr);
  85131. + epout = get_cfi_ep_by_addr(pcd->cfi, outaddr);
  85132. +
  85133. + if (NULL == epin || NULL == epout) {
  85134. + CFI_INFO
  85135. + ("%s: Unable to get the endpoints inaddr=0x%02x outaddr=0x%02x\n",
  85136. + __func__, inaddr, outaddr);
  85137. + return -DWC_E_INVALID;
  85138. + }
  85139. +
  85140. + epin->ep->dwc_ep.buff_mode = BM_SG;
  85141. + dwc_memcpy(epin->bm_sg, psgval, sizeof(ddma_sg_buffer_setup_t));
  85142. +
  85143. + epout->ep->dwc_ep.buff_mode = BM_SG;
  85144. + dwc_memcpy(epout->bm_sg, psgval, sizeof(ddma_sg_buffer_setup_t));
  85145. +
  85146. + return 0;
  85147. +}
  85148. +
  85149. +/**
  85150. + * This function sets a new value for the buffer Alignment setup.
  85151. + */
  85152. +static int cfi_ep_set_alignment_val(uint8_t * buf, struct dwc_otg_pcd *pcd)
  85153. +{
  85154. + cfi_ep_t *ep;
  85155. + uint8_t addr;
  85156. + ddma_align_buffer_setup_t *palignval;
  85157. +
  85158. + palignval = (ddma_align_buffer_setup_t *) buf;
  85159. + addr = palignval->bEndpointAddress;
  85160. +
  85161. + ep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85162. +
  85163. + if (NULL == ep) {
  85164. + CFI_INFO("%s: Unable to get the endpoint addr=0x%02x\n",
  85165. + __func__, addr);
  85166. + return -DWC_E_INVALID;
  85167. + }
  85168. +
  85169. + ep->ep->dwc_ep.buff_mode = BM_ALIGN;
  85170. + dwc_memcpy(ep->bm_align, palignval, sizeof(ddma_align_buffer_setup_t));
  85171. +
  85172. + return 0;
  85173. +}
  85174. +
  85175. +/**
  85176. + * This function sets a new value for the Concatenation buffer setup.
  85177. + */
  85178. +static int cfi_ep_set_concat_val(uint8_t * buf, struct dwc_otg_pcd *pcd)
  85179. +{
  85180. + uint8_t addr;
  85181. + cfi_ep_t *ep;
  85182. + struct _ddma_concat_buffer_setup_hdr *pConcatValHdr;
  85183. + uint16_t *pVals;
  85184. + uint32_t desccount;
  85185. + int i;
  85186. + uint16_t mps;
  85187. +
  85188. + pConcatValHdr = (struct _ddma_concat_buffer_setup_hdr *)buf;
  85189. + desccount = (uint32_t) pConcatValHdr->bDescCount;
  85190. + pVals = (uint16_t *) (buf + BS_CONCAT_VAL_HDR_LEN);
  85191. +
  85192. + /* Check the DMA descriptor count */
  85193. + if (desccount > MAX_DMA_DESCS_PER_EP) {
  85194. + CFI_INFO("%s: Maximum DMA Descriptor count should be %d\n",
  85195. + __func__, MAX_DMA_DESCS_PER_EP);
  85196. + return -DWC_E_INVALID;
  85197. + }
  85198. +
  85199. + addr = pConcatValHdr->bEndpointAddress;
  85200. + ep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85201. + if (NULL == ep) {
  85202. + CFI_INFO("%s: Unable to get the endpoint addr=0x%02x\n",
  85203. + __func__, addr);
  85204. + return -DWC_E_INVALID;
  85205. + }
  85206. +
  85207. + mps = UGETW(ep->ep->desc->wMaxPacketSize);
  85208. +
  85209. +#if 0
  85210. + for (i = 0; i < desccount; i++) {
  85211. + CFI_INFO("%s: wTxSize[%d]=0x%04x\n", __func__, i, pVals[i]);
  85212. + }
  85213. + CFI_INFO("%s: epname=%s; mps=%d\n", __func__, ep->ep->ep.name, mps);
  85214. +#endif
  85215. +
  85216. + /* Check the wTxSizes to be less than or equal to the mps */
  85217. + for (i = 0; i < desccount; i++) {
  85218. + if (pVals[i] > mps) {
  85219. + CFI_INFO
  85220. + ("%s: ERROR - the wTxSize[%d] should be <= MPS (wTxSize=%d)\n",
  85221. + __func__, i, pVals[i]);
  85222. + return -DWC_E_INVALID;
  85223. + }
  85224. + }
  85225. +
  85226. + ep->ep->dwc_ep.buff_mode = BM_CONCAT;
  85227. + dwc_memcpy(ep->bm_concat, pConcatValHdr, BS_CONCAT_VAL_HDR_LEN);
  85228. +
  85229. + /* Free the previously allocated storage for the wTxBytes */
  85230. + if (ep->bm_concat->wTxBytes) {
  85231. + DWC_FREE(ep->bm_concat->wTxBytes);
  85232. + }
  85233. +
  85234. + /* Allocate a new storage for the wTxBytes field */
  85235. + ep->bm_concat->wTxBytes =
  85236. + DWC_ALLOC(sizeof(uint16_t) * pConcatValHdr->bDescCount);
  85237. + if (NULL == ep->bm_concat->wTxBytes) {
  85238. + CFI_INFO("%s: Unable to allocate memory\n", __func__);
  85239. + return -DWC_E_NO_MEMORY;
  85240. + }
  85241. +
  85242. + /* Copy the new values into the wTxBytes filed */
  85243. + dwc_memcpy(ep->bm_concat->wTxBytes, buf + BS_CONCAT_VAL_HDR_LEN,
  85244. + sizeof(uint16_t) * pConcatValHdr->bDescCount);
  85245. +
  85246. + return 0;
  85247. +}
  85248. +
  85249. +/**
  85250. + * This function calculates the total of all FIFO sizes
  85251. + *
  85252. + * @param core_if Programming view of DWC_otg controller
  85253. + *
  85254. + * @return The total of data FIFO sizes.
  85255. + *
  85256. + */
  85257. +static uint16_t get_dfifo_size(dwc_otg_core_if_t * core_if)
  85258. +{
  85259. + dwc_otg_core_params_t *params = core_if->core_params;
  85260. + uint16_t dfifo_total = 0;
  85261. + int i;
  85262. +
  85263. + /* The shared RxFIFO size */
  85264. + dfifo_total =
  85265. + params->dev_rx_fifo_size + params->dev_nperio_tx_fifo_size;
  85266. +
  85267. + /* Add up each TxFIFO size to the total */
  85268. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85269. + dfifo_total += params->dev_tx_fifo_size[i];
  85270. + }
  85271. +
  85272. + return dfifo_total;
  85273. +}
  85274. +
  85275. +/**
  85276. + * This function returns Rx FIFO size
  85277. + *
  85278. + * @param core_if Programming view of DWC_otg controller
  85279. + *
  85280. + * @return The total of data FIFO sizes.
  85281. + *
  85282. + */
  85283. +static int32_t get_rxfifo_size(dwc_otg_core_if_t * core_if, uint16_t wValue)
  85284. +{
  85285. + switch (wValue >> 8) {
  85286. + case 0:
  85287. + return (core_if->pwron_rxfsiz <
  85288. + 32768) ? core_if->pwron_rxfsiz : 32768;
  85289. + break;
  85290. + case 1:
  85291. + return core_if->core_params->dev_rx_fifo_size;
  85292. + break;
  85293. + default:
  85294. + return -DWC_E_INVALID;
  85295. + break;
  85296. + }
  85297. +}
  85298. +
  85299. +/**
  85300. + * This function returns Tx FIFO size for IN EP
  85301. + *
  85302. + * @param core_if Programming view of DWC_otg controller
  85303. + *
  85304. + * @return The total of data FIFO sizes.
  85305. + *
  85306. + */
  85307. +static int32_t get_txfifo_size(struct dwc_otg_pcd *pcd, uint16_t wValue)
  85308. +{
  85309. + dwc_otg_pcd_ep_t *ep;
  85310. +
  85311. + ep = get_ep_by_addr(pcd, wValue & 0xff);
  85312. +
  85313. + if (NULL == ep) {
  85314. + CFI_INFO("%s: Unable to get the endpoint addr=0x%02x\n",
  85315. + __func__, wValue & 0xff);
  85316. + return -DWC_E_INVALID;
  85317. + }
  85318. +
  85319. + if (!ep->dwc_ep.is_in) {
  85320. + CFI_INFO
  85321. + ("%s: No Tx FIFO assingned to the Out endpoint addr=0x%02x\n",
  85322. + __func__, wValue & 0xff);
  85323. + return -DWC_E_INVALID;
  85324. + }
  85325. +
  85326. + switch (wValue >> 8) {
  85327. + case 0:
  85328. + return (GET_CORE_IF(pcd)->pwron_txfsiz
  85329. + [ep->dwc_ep.tx_fifo_num - 1] <
  85330. + 768) ? GET_CORE_IF(pcd)->pwron_txfsiz[ep->
  85331. + dwc_ep.tx_fifo_num
  85332. + - 1] : 32768;
  85333. + break;
  85334. + case 1:
  85335. + return GET_CORE_IF(pcd)->core_params->
  85336. + dev_tx_fifo_size[ep->dwc_ep.num - 1];
  85337. + break;
  85338. + default:
  85339. + return -DWC_E_INVALID;
  85340. + break;
  85341. + }
  85342. +}
  85343. +
  85344. +/**
  85345. + * This function checks if the submitted combination of
  85346. + * device mode FIFO sizes is possible or not.
  85347. + *
  85348. + * @param core_if Programming view of DWC_otg controller
  85349. + *
  85350. + * @return 1 if possible, 0 otherwise.
  85351. + *
  85352. + */
  85353. +static uint8_t check_fifo_sizes(dwc_otg_core_if_t * core_if)
  85354. +{
  85355. + uint16_t dfifo_actual = 0;
  85356. + dwc_otg_core_params_t *params = core_if->core_params;
  85357. + uint16_t start_addr = 0;
  85358. + int i;
  85359. +
  85360. + dfifo_actual =
  85361. + params->dev_rx_fifo_size + params->dev_nperio_tx_fifo_size;
  85362. +
  85363. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85364. + dfifo_actual += params->dev_tx_fifo_size[i];
  85365. + }
  85366. +
  85367. + if (dfifo_actual > core_if->total_fifo_size) {
  85368. + return 0;
  85369. + }
  85370. +
  85371. + if (params->dev_rx_fifo_size > 32768 || params->dev_rx_fifo_size < 16)
  85372. + return 0;
  85373. +
  85374. + if (params->dev_nperio_tx_fifo_size > 32768
  85375. + || params->dev_nperio_tx_fifo_size < 16)
  85376. + return 0;
  85377. +
  85378. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85379. +
  85380. + if (params->dev_tx_fifo_size[i] > 768
  85381. + || params->dev_tx_fifo_size[i] < 4)
  85382. + return 0;
  85383. + }
  85384. +
  85385. + if (params->dev_rx_fifo_size > core_if->pwron_rxfsiz)
  85386. + return 0;
  85387. + start_addr = params->dev_rx_fifo_size;
  85388. +
  85389. + if (params->dev_nperio_tx_fifo_size > core_if->pwron_gnptxfsiz)
  85390. + return 0;
  85391. + start_addr += params->dev_nperio_tx_fifo_size;
  85392. +
  85393. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85394. +
  85395. + if (params->dev_tx_fifo_size[i] > core_if->pwron_txfsiz[i])
  85396. + return 0;
  85397. + start_addr += params->dev_tx_fifo_size[i];
  85398. + }
  85399. +
  85400. + return 1;
  85401. +}
  85402. +
  85403. +/**
  85404. + * This function resizes Device mode FIFOs
  85405. + *
  85406. + * @param core_if Programming view of DWC_otg controller
  85407. + *
  85408. + * @return 1 if successful, 0 otherwise
  85409. + *
  85410. + */
  85411. +static uint8_t resize_fifos(dwc_otg_core_if_t * core_if)
  85412. +{
  85413. + int i = 0;
  85414. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  85415. + dwc_otg_core_params_t *params = core_if->core_params;
  85416. + uint32_t rx_fifo_size;
  85417. + fifosize_data_t nptxfifosize;
  85418. + fifosize_data_t txfifosize[15];
  85419. +
  85420. + uint32_t rx_fsz_bak;
  85421. + uint32_t nptxfsz_bak;
  85422. + uint32_t txfsz_bak[15];
  85423. +
  85424. + uint16_t start_address;
  85425. + uint8_t retval = 1;
  85426. +
  85427. + if (!check_fifo_sizes(core_if)) {
  85428. + return 0;
  85429. + }
  85430. +
  85431. + /* Configure data FIFO sizes */
  85432. + if (core_if->hwcfg2.b.dynamic_fifo && params->enable_dynamic_fifo) {
  85433. + rx_fsz_bak = DWC_READ_REG32(&global_regs->grxfsiz);
  85434. + rx_fifo_size = params->dev_rx_fifo_size;
  85435. + DWC_WRITE_REG32(&global_regs->grxfsiz, rx_fifo_size);
  85436. +
  85437. + /*
  85438. + * Tx FIFOs These FIFOs are numbered from 1 to 15.
  85439. + * Indexes of the FIFO size module parameters in the
  85440. + * dev_tx_fifo_size array and the FIFO size registers in
  85441. + * the dtxfsiz array run from 0 to 14.
  85442. + */
  85443. +
  85444. + /* Non-periodic Tx FIFO */
  85445. + nptxfsz_bak = DWC_READ_REG32(&global_regs->gnptxfsiz);
  85446. + nptxfifosize.b.depth = params->dev_nperio_tx_fifo_size;
  85447. + start_address = params->dev_rx_fifo_size;
  85448. + nptxfifosize.b.startaddr = start_address;
  85449. +
  85450. + DWC_WRITE_REG32(&global_regs->gnptxfsiz, nptxfifosize.d32);
  85451. +
  85452. + start_address += nptxfifosize.b.depth;
  85453. +
  85454. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85455. + txfsz_bak[i] = DWC_READ_REG32(&global_regs->dtxfsiz[i]);
  85456. +
  85457. + txfifosize[i].b.depth = params->dev_tx_fifo_size[i];
  85458. + txfifosize[i].b.startaddr = start_address;
  85459. + DWC_WRITE_REG32(&global_regs->dtxfsiz[i],
  85460. + txfifosize[i].d32);
  85461. +
  85462. + start_address += txfifosize[i].b.depth;
  85463. + }
  85464. +
  85465. + /** Check if register values are set correctly */
  85466. + if (rx_fifo_size != DWC_READ_REG32(&global_regs->grxfsiz)) {
  85467. + retval = 0;
  85468. + }
  85469. +
  85470. + if (nptxfifosize.d32 != DWC_READ_REG32(&global_regs->gnptxfsiz)) {
  85471. + retval = 0;
  85472. + }
  85473. +
  85474. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85475. + if (txfifosize[i].d32 !=
  85476. + DWC_READ_REG32(&global_regs->dtxfsiz[i])) {
  85477. + retval = 0;
  85478. + }
  85479. + }
  85480. +
  85481. + /** If register values are not set correctly, reset old values */
  85482. + if (retval == 0) {
  85483. + DWC_WRITE_REG32(&global_regs->grxfsiz, rx_fsz_bak);
  85484. +
  85485. + /* Non-periodic Tx FIFO */
  85486. + DWC_WRITE_REG32(&global_regs->gnptxfsiz, nptxfsz_bak);
  85487. +
  85488. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  85489. + DWC_WRITE_REG32(&global_regs->dtxfsiz[i],
  85490. + txfsz_bak[i]);
  85491. + }
  85492. + }
  85493. + } else {
  85494. + return 0;
  85495. + }
  85496. +
  85497. + /* Flush the FIFOs */
  85498. + dwc_otg_flush_tx_fifo(core_if, 0x10); /* all Tx FIFOs */
  85499. + dwc_otg_flush_rx_fifo(core_if);
  85500. +
  85501. + return retval;
  85502. +}
  85503. +
  85504. +/**
  85505. + * This function sets a new value for the buffer Alignment setup.
  85506. + */
  85507. +static int cfi_ep_set_tx_fifo_val(uint8_t * buf, dwc_otg_pcd_t * pcd)
  85508. +{
  85509. + int retval;
  85510. + uint32_t fsiz;
  85511. + uint16_t size;
  85512. + uint16_t ep_addr;
  85513. + dwc_otg_pcd_ep_t *ep;
  85514. + dwc_otg_core_params_t *params = GET_CORE_IF(pcd)->core_params;
  85515. + tx_fifo_size_setup_t *ptxfifoval;
  85516. +
  85517. + ptxfifoval = (tx_fifo_size_setup_t *) buf;
  85518. + ep_addr = ptxfifoval->bEndpointAddress;
  85519. + size = ptxfifoval->wDepth;
  85520. +
  85521. + ep = get_ep_by_addr(pcd, ep_addr);
  85522. +
  85523. + CFI_INFO
  85524. + ("%s: Set Tx FIFO size: endpoint addr=0x%02x, depth=%d, FIFO Num=%d\n",
  85525. + __func__, ep_addr, size, ep->dwc_ep.tx_fifo_num);
  85526. +
  85527. + if (NULL == ep) {
  85528. + CFI_INFO("%s: Unable to get the endpoint addr=0x%02x\n",
  85529. + __func__, ep_addr);
  85530. + return -DWC_E_INVALID;
  85531. + }
  85532. +
  85533. + fsiz = params->dev_tx_fifo_size[ep->dwc_ep.tx_fifo_num - 1];
  85534. + params->dev_tx_fifo_size[ep->dwc_ep.tx_fifo_num - 1] = size;
  85535. +
  85536. + if (resize_fifos(GET_CORE_IF(pcd))) {
  85537. + retval = 0;
  85538. + } else {
  85539. + CFI_INFO
  85540. + ("%s: Error setting the feature Tx FIFO Size for EP%d\n",
  85541. + __func__, ep_addr);
  85542. + params->dev_tx_fifo_size[ep->dwc_ep.tx_fifo_num - 1] = fsiz;
  85543. + retval = -DWC_E_INVALID;
  85544. + }
  85545. +
  85546. + return retval;
  85547. +}
  85548. +
  85549. +/**
  85550. + * This function sets a new value for the buffer Alignment setup.
  85551. + */
  85552. +static int cfi_set_rx_fifo_val(uint8_t * buf, dwc_otg_pcd_t * pcd)
  85553. +{
  85554. + int retval;
  85555. + uint32_t fsiz;
  85556. + uint16_t size;
  85557. + dwc_otg_core_params_t *params = GET_CORE_IF(pcd)->core_params;
  85558. + rx_fifo_size_setup_t *prxfifoval;
  85559. +
  85560. + prxfifoval = (rx_fifo_size_setup_t *) buf;
  85561. + size = prxfifoval->wDepth;
  85562. +
  85563. + fsiz = params->dev_rx_fifo_size;
  85564. + params->dev_rx_fifo_size = size;
  85565. +
  85566. + if (resize_fifos(GET_CORE_IF(pcd))) {
  85567. + retval = 0;
  85568. + } else {
  85569. + CFI_INFO("%s: Error setting the feature Rx FIFO Size\n",
  85570. + __func__);
  85571. + params->dev_rx_fifo_size = fsiz;
  85572. + retval = -DWC_E_INVALID;
  85573. + }
  85574. +
  85575. + return retval;
  85576. +}
  85577. +
  85578. +/**
  85579. + * This function reads the SG of an EP's buffer setup into the buffer buf
  85580. + */
  85581. +static int cfi_ep_get_sg_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  85582. + struct cfi_usb_ctrlrequest *req)
  85583. +{
  85584. + int retval = -DWC_E_INVALID;
  85585. + uint8_t addr;
  85586. + cfi_ep_t *ep;
  85587. +
  85588. + /* The Low Byte of the wValue contains a non-zero address of the endpoint */
  85589. + addr = req->wValue & 0xFF;
  85590. + if (addr == 0) /* The address should be non-zero */
  85591. + return retval;
  85592. +
  85593. + ep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85594. + if (NULL == ep) {
  85595. + CFI_INFO("%s: Unable to get the endpoint address(0x%02x)\n",
  85596. + __func__, addr);
  85597. + return retval;
  85598. + }
  85599. +
  85600. + dwc_memcpy(buf, ep->bm_sg, BS_SG_VAL_DESC_LEN);
  85601. + retval = BS_SG_VAL_DESC_LEN;
  85602. + return retval;
  85603. +}
  85604. +
  85605. +/**
  85606. + * This function reads the Concatenation value of an EP's buffer mode into
  85607. + * the buffer buf
  85608. + */
  85609. +static int cfi_ep_get_concat_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  85610. + struct cfi_usb_ctrlrequest *req)
  85611. +{
  85612. + int retval = -DWC_E_INVALID;
  85613. + uint8_t addr;
  85614. + cfi_ep_t *ep;
  85615. + uint8_t desc_count;
  85616. +
  85617. + /* The Low Byte of the wValue contains a non-zero address of the endpoint */
  85618. + addr = req->wValue & 0xFF;
  85619. + if (addr == 0) /* The address should be non-zero */
  85620. + return retval;
  85621. +
  85622. + ep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85623. + if (NULL == ep) {
  85624. + CFI_INFO("%s: Unable to get the endpoint address(0x%02x)\n",
  85625. + __func__, addr);
  85626. + return retval;
  85627. + }
  85628. +
  85629. + /* Copy the header to the buffer */
  85630. + dwc_memcpy(buf, ep->bm_concat, BS_CONCAT_VAL_HDR_LEN);
  85631. + /* Advance the buffer pointer by the header size */
  85632. + buf += BS_CONCAT_VAL_HDR_LEN;
  85633. +
  85634. + desc_count = ep->bm_concat->hdr.bDescCount;
  85635. + /* Copy alll the wTxBytes to the buffer */
  85636. + dwc_memcpy(buf, ep->bm_concat->wTxBytes, sizeof(uid16_t) * desc_count);
  85637. +
  85638. + retval = BS_CONCAT_VAL_HDR_LEN + sizeof(uid16_t) * desc_count;
  85639. + return retval;
  85640. +}
  85641. +
  85642. +/**
  85643. + * This function reads the buffer Alignment value of an EP's buffer mode into
  85644. + * the buffer buf
  85645. + *
  85646. + * @return The total number of bytes copied to the buffer or negative error code.
  85647. + */
  85648. +static int cfi_ep_get_align_val(uint8_t * buf, struct dwc_otg_pcd *pcd,
  85649. + struct cfi_usb_ctrlrequest *req)
  85650. +{
  85651. + int retval = -DWC_E_INVALID;
  85652. + uint8_t addr;
  85653. + cfi_ep_t *ep;
  85654. +
  85655. + /* The Low Byte of the wValue contains a non-zero address of the endpoint */
  85656. + addr = req->wValue & 0xFF;
  85657. + if (addr == 0) /* The address should be non-zero */
  85658. + return retval;
  85659. +
  85660. + ep = get_cfi_ep_by_addr(pcd->cfi, addr);
  85661. + if (NULL == ep) {
  85662. + CFI_INFO("%s: Unable to get the endpoint address(0x%02x)\n",
  85663. + __func__, addr);
  85664. + return retval;
  85665. + }
  85666. +
  85667. + dwc_memcpy(buf, ep->bm_align, BS_ALIGN_VAL_HDR_LEN);
  85668. + retval = BS_ALIGN_VAL_HDR_LEN;
  85669. +
  85670. + return retval;
  85671. +}
  85672. +
  85673. +/**
  85674. + * This function sets a new value for the specified feature
  85675. + *
  85676. + * @param pcd A pointer to the PCD object
  85677. + *
  85678. + * @return 0 if successful, negative error code otherwise to stall the DCE.
  85679. + */
  85680. +static int cfi_set_feature_value(struct dwc_otg_pcd *pcd)
  85681. +{
  85682. + int retval = -DWC_E_NOT_SUPPORTED;
  85683. + uint16_t wIndex, wValue;
  85684. + uint8_t bRequest;
  85685. + struct dwc_otg_core_if *coreif;
  85686. + cfiobject_t *cfi = pcd->cfi;
  85687. + struct cfi_usb_ctrlrequest *ctrl_req;
  85688. + uint8_t *buf;
  85689. + ctrl_req = &cfi->ctrl_req;
  85690. +
  85691. + buf = pcd->cfi->ctrl_req.data;
  85692. +
  85693. + coreif = GET_CORE_IF(pcd);
  85694. + bRequest = ctrl_req->bRequest;
  85695. + wIndex = DWC_CONSTANT_CPU_TO_LE16(ctrl_req->wIndex);
  85696. + wValue = DWC_CONSTANT_CPU_TO_LE16(ctrl_req->wValue);
  85697. +
  85698. + /* See which feature is to be modified */
  85699. + switch (wIndex) {
  85700. + case FT_ID_DMA_BUFFER_SETUP:
  85701. + /* Modify the feature */
  85702. + if ((retval = cfi_ep_set_sg_val(buf, pcd)) < 0)
  85703. + return retval;
  85704. +
  85705. + /* And send this request to the gadget */
  85706. + cfi->need_gadget_att = 1;
  85707. + break;
  85708. +
  85709. + case FT_ID_DMA_BUFF_ALIGN:
  85710. + if ((retval = cfi_ep_set_alignment_val(buf, pcd)) < 0)
  85711. + return retval;
  85712. + cfi->need_gadget_att = 1;
  85713. + break;
  85714. +
  85715. + case FT_ID_DMA_CONCAT_SETUP:
  85716. + /* Modify the feature */
  85717. + if ((retval = cfi_ep_set_concat_val(buf, pcd)) < 0)
  85718. + return retval;
  85719. + cfi->need_gadget_att = 1;
  85720. + break;
  85721. +
  85722. + case FT_ID_DMA_CIRCULAR:
  85723. + CFI_INFO("FT_ID_DMA_CIRCULAR\n");
  85724. + break;
  85725. +
  85726. + case FT_ID_THRESHOLD_SETUP:
  85727. + CFI_INFO("FT_ID_THRESHOLD_SETUP\n");
  85728. + break;
  85729. +
  85730. + case FT_ID_DFIFO_DEPTH:
  85731. + CFI_INFO("FT_ID_DFIFO_DEPTH\n");
  85732. + break;
  85733. +
  85734. + case FT_ID_TX_FIFO_DEPTH:
  85735. + CFI_INFO("FT_ID_TX_FIFO_DEPTH\n");
  85736. + if ((retval = cfi_ep_set_tx_fifo_val(buf, pcd)) < 0)
  85737. + return retval;
  85738. + cfi->need_gadget_att = 0;
  85739. + break;
  85740. +
  85741. + case FT_ID_RX_FIFO_DEPTH:
  85742. + CFI_INFO("FT_ID_RX_FIFO_DEPTH\n");
  85743. + if ((retval = cfi_set_rx_fifo_val(buf, pcd)) < 0)
  85744. + return retval;
  85745. + cfi->need_gadget_att = 0;
  85746. + break;
  85747. + }
  85748. +
  85749. + return retval;
  85750. +}
  85751. +
  85752. +#endif //DWC_UTE_CFI
  85753. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cfi.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cfi.h
  85754. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cfi.h 1970-01-01 01:00:00.000000000 +0100
  85755. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cfi.h 2015-11-29 09:42:39.915098960 +0100
  85756. @@ -0,0 +1,320 @@
  85757. +/* ==========================================================================
  85758. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  85759. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  85760. + * otherwise expressly agreed to in writing between Synopsys and you.
  85761. + *
  85762. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  85763. + * any End User Software License Agreement or Agreement for Licensed Product
  85764. + * with Synopsys or any supplement thereto. You are permitted to use and
  85765. + * redistribute this Software in source and binary forms, with or without
  85766. + * modification, provided that redistributions of source code must retain this
  85767. + * notice. You may not view, use, disclose, copy or distribute this file or
  85768. + * any information contained herein except pursuant to this license grant from
  85769. + * Synopsys. If you do not agree with this notice, including the disclaimer
  85770. + * below, then you are not authorized to use the Software.
  85771. + *
  85772. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  85773. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  85774. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  85775. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  85776. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  85777. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  85778. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  85779. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  85780. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  85781. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  85782. + * DAMAGE.
  85783. + * ========================================================================== */
  85784. +
  85785. +#if !defined(__DWC_OTG_CFI_H__)
  85786. +#define __DWC_OTG_CFI_H__
  85787. +
  85788. +#include "dwc_otg_pcd.h"
  85789. +#include "dwc_cfi_common.h"
  85790. +
  85791. +/**
  85792. + * @file
  85793. + * This file contains the CFI related OTG PCD specific common constants,
  85794. + * interfaces(functions and macros) and data structures.The CFI Protocol is an
  85795. + * optional interface for internal testing purposes that a DUT may implement to
  85796. + * support testing of configurable features.
  85797. + *
  85798. + */
  85799. +
  85800. +struct dwc_otg_pcd;
  85801. +struct dwc_otg_pcd_ep;
  85802. +
  85803. +/** OTG CFI Features (properties) ID constants */
  85804. +/** This is a request for all Core Features */
  85805. +#define FT_ID_DMA_MODE 0x0001
  85806. +#define FT_ID_DMA_BUFFER_SETUP 0x0002
  85807. +#define FT_ID_DMA_BUFF_ALIGN 0x0003
  85808. +#define FT_ID_DMA_CONCAT_SETUP 0x0004
  85809. +#define FT_ID_DMA_CIRCULAR 0x0005
  85810. +#define FT_ID_THRESHOLD_SETUP 0x0006
  85811. +#define FT_ID_DFIFO_DEPTH 0x0007
  85812. +#define FT_ID_TX_FIFO_DEPTH 0x0008
  85813. +#define FT_ID_RX_FIFO_DEPTH 0x0009
  85814. +
  85815. +/**********************************************************/
  85816. +#define CFI_INFO_DEF
  85817. +
  85818. +#ifdef CFI_INFO_DEF
  85819. +#define CFI_INFO(fmt...) DWC_PRINTF("CFI: " fmt);
  85820. +#else
  85821. +#define CFI_INFO(fmt...)
  85822. +#endif
  85823. +
  85824. +#define min(x,y) ({ \
  85825. + x < y ? x : y; })
  85826. +
  85827. +#define max(x,y) ({ \
  85828. + x > y ? x : y; })
  85829. +
  85830. +/**
  85831. + * Descriptor DMA SG Buffer setup structure (SG buffer). This structure is
  85832. + * also used for setting up a buffer for Circular DDMA.
  85833. + */
  85834. +struct _ddma_sg_buffer_setup {
  85835. +#define BS_SG_VAL_DESC_LEN 6
  85836. + /* The OUT EP address */
  85837. + uint8_t bOutEndpointAddress;
  85838. + /* The IN EP address */
  85839. + uint8_t bInEndpointAddress;
  85840. + /* Number of bytes to put between transfer segments (must be DWORD boundaries) */
  85841. + uint8_t bOffset;
  85842. + /* The number of transfer segments (a DMA descriptors per each segment) */
  85843. + uint8_t bCount;
  85844. + /* Size (in byte) of each transfer segment */
  85845. + uint16_t wSize;
  85846. +} __attribute__ ((packed));
  85847. +typedef struct _ddma_sg_buffer_setup ddma_sg_buffer_setup_t;
  85848. +
  85849. +/** Descriptor DMA Concatenation Buffer setup structure */
  85850. +struct _ddma_concat_buffer_setup_hdr {
  85851. +#define BS_CONCAT_VAL_HDR_LEN 4
  85852. + /* The endpoint for which the buffer is to be set up */
  85853. + uint8_t bEndpointAddress;
  85854. + /* The count of descriptors to be used */
  85855. + uint8_t bDescCount;
  85856. + /* The total size of the transfer */
  85857. + uint16_t wSize;
  85858. +} __attribute__ ((packed));
  85859. +typedef struct _ddma_concat_buffer_setup_hdr ddma_concat_buffer_setup_hdr_t;
  85860. +
  85861. +/** Descriptor DMA Concatenation Buffer setup structure */
  85862. +struct _ddma_concat_buffer_setup {
  85863. + /* The SG header */
  85864. + ddma_concat_buffer_setup_hdr_t hdr;
  85865. +
  85866. + /* The XFER sizes pointer (allocated dynamically) */
  85867. + uint16_t *wTxBytes;
  85868. +} __attribute__ ((packed));
  85869. +typedef struct _ddma_concat_buffer_setup ddma_concat_buffer_setup_t;
  85870. +
  85871. +/** Descriptor DMA Alignment Buffer setup structure */
  85872. +struct _ddma_align_buffer_setup {
  85873. +#define BS_ALIGN_VAL_HDR_LEN 2
  85874. + uint8_t bEndpointAddress;
  85875. + uint8_t bAlign;
  85876. +} __attribute__ ((packed));
  85877. +typedef struct _ddma_align_buffer_setup ddma_align_buffer_setup_t;
  85878. +
  85879. +/** Transmit FIFO Size setup structure */
  85880. +struct _tx_fifo_size_setup {
  85881. + uint8_t bEndpointAddress;
  85882. + uint16_t wDepth;
  85883. +} __attribute__ ((packed));
  85884. +typedef struct _tx_fifo_size_setup tx_fifo_size_setup_t;
  85885. +
  85886. +/** Transmit FIFO Size setup structure */
  85887. +struct _rx_fifo_size_setup {
  85888. + uint16_t wDepth;
  85889. +} __attribute__ ((packed));
  85890. +typedef struct _rx_fifo_size_setup rx_fifo_size_setup_t;
  85891. +
  85892. +/**
  85893. + * struct cfi_usb_ctrlrequest - the CFI implementation of the struct usb_ctrlrequest
  85894. + * This structure encapsulates the standard usb_ctrlrequest and adds a pointer
  85895. + * to the data returned in the data stage of a 3-stage Control Write requests.
  85896. + */
  85897. +struct cfi_usb_ctrlrequest {
  85898. + uint8_t bRequestType;
  85899. + uint8_t bRequest;
  85900. + uint16_t wValue;
  85901. + uint16_t wIndex;
  85902. + uint16_t wLength;
  85903. + uint8_t *data;
  85904. +} UPACKED;
  85905. +
  85906. +/*---------------------------------------------------------------------------*/
  85907. +
  85908. +/**
  85909. + * The CFI wrapper of the enabled and activated dwc_otg_pcd_ep structures.
  85910. + * This structure is used to store the buffer setup data for any
  85911. + * enabled endpoint in the PCD.
  85912. + */
  85913. +struct cfi_ep {
  85914. + /* Entry for the list container */
  85915. + dwc_list_link_t lh;
  85916. + /* Pointer to the active PCD endpoint structure */
  85917. + struct dwc_otg_pcd_ep *ep;
  85918. + /* The last descriptor in the chain of DMA descriptors of the endpoint */
  85919. + struct dwc_otg_dma_desc *dma_desc_last;
  85920. + /* The SG feature value */
  85921. + ddma_sg_buffer_setup_t *bm_sg;
  85922. + /* The Circular feature value */
  85923. + ddma_sg_buffer_setup_t *bm_circ;
  85924. + /* The Concatenation feature value */
  85925. + ddma_concat_buffer_setup_t *bm_concat;
  85926. + /* The Alignment feature value */
  85927. + ddma_align_buffer_setup_t *bm_align;
  85928. + /* XFER length */
  85929. + uint32_t xfer_len;
  85930. + /*
  85931. + * Count of DMA descriptors currently used.
  85932. + * The total should not exceed the MAX_DMA_DESCS_PER_EP value
  85933. + * defined in the dwc_otg_cil.h
  85934. + */
  85935. + uint32_t desc_count;
  85936. +};
  85937. +typedef struct cfi_ep cfi_ep_t;
  85938. +
  85939. +typedef struct cfi_dma_buff {
  85940. +#define CFI_IN_BUF_LEN 1024
  85941. +#define CFI_OUT_BUF_LEN 1024
  85942. + dma_addr_t addr;
  85943. + uint8_t *buf;
  85944. +} cfi_dma_buff_t;
  85945. +
  85946. +struct cfiobject;
  85947. +
  85948. +/**
  85949. + * This is the interface for the CFI operations.
  85950. + *
  85951. + * @param ep_enable Called when any endpoint is enabled and activated.
  85952. + * @param release Called when the CFI object is released and it needs to correctly
  85953. + * deallocate the dynamic memory
  85954. + * @param ctrl_write_complete Called when the data stage of the request is complete
  85955. + */
  85956. +typedef struct cfi_ops {
  85957. + int (*ep_enable) (struct cfiobject * cfi, struct dwc_otg_pcd * pcd,
  85958. + struct dwc_otg_pcd_ep * ep);
  85959. + void *(*ep_alloc_buf) (struct cfiobject * cfi, struct dwc_otg_pcd * pcd,
  85960. + struct dwc_otg_pcd_ep * ep, dma_addr_t * dma,
  85961. + unsigned size, gfp_t flags);
  85962. + void (*release) (struct cfiobject * cfi);
  85963. + int (*ctrl_write_complete) (struct cfiobject * cfi,
  85964. + struct dwc_otg_pcd * pcd);
  85965. + void (*build_descriptors) (struct cfiobject * cfi,
  85966. + struct dwc_otg_pcd * pcd,
  85967. + struct dwc_otg_pcd_ep * ep,
  85968. + dwc_otg_pcd_request_t * req);
  85969. +} cfi_ops_t;
  85970. +
  85971. +struct cfiobject {
  85972. + cfi_ops_t ops;
  85973. + struct dwc_otg_pcd *pcd;
  85974. + struct usb_gadget *gadget;
  85975. +
  85976. + /* Buffers used to send/receive CFI-related request data */
  85977. + cfi_dma_buff_t buf_in;
  85978. + cfi_dma_buff_t buf_out;
  85979. +
  85980. + /* CFI specific Control request wrapper */
  85981. + struct cfi_usb_ctrlrequest ctrl_req;
  85982. +
  85983. + /* The list of active EP's in the PCD of type cfi_ep_t */
  85984. + dwc_list_link_t active_eps;
  85985. +
  85986. + /* This flag shall control the propagation of a specific request
  85987. + * to the gadget's processing routines.
  85988. + * 0 - no gadget handling
  85989. + * 1 - the gadget needs to know about this request (w/o completing a status
  85990. + * phase - just return a 0 to the _setup callback)
  85991. + */
  85992. + uint8_t need_gadget_att;
  85993. +
  85994. + /* Flag indicating whether the status IN phase needs to be
  85995. + * completed by the PCD
  85996. + */
  85997. + uint8_t need_status_in_complete;
  85998. +};
  85999. +typedef struct cfiobject cfiobject_t;
  86000. +
  86001. +#define DUMP_MSG
  86002. +
  86003. +#if defined(DUMP_MSG)
  86004. +static inline void dump_msg(const u8 * buf, unsigned int length)
  86005. +{
  86006. + unsigned int start, num, i;
  86007. + char line[52], *p;
  86008. +
  86009. + if (length >= 512)
  86010. + return;
  86011. +
  86012. + start = 0;
  86013. + while (length > 0) {
  86014. + num = min(length, 16u);
  86015. + p = line;
  86016. + for (i = 0; i < num; ++i) {
  86017. + if (i == 8)
  86018. + *p++ = ' ';
  86019. + DWC_SPRINTF(p, " %02x", buf[i]);
  86020. + p += 3;
  86021. + }
  86022. + *p = 0;
  86023. + DWC_DEBUG("%6x: %s\n", start, line);
  86024. + buf += num;
  86025. + start += num;
  86026. + length -= num;
  86027. + }
  86028. +}
  86029. +#else
  86030. +static inline void dump_msg(const u8 * buf, unsigned int length)
  86031. +{
  86032. +}
  86033. +#endif
  86034. +
  86035. +/**
  86036. + * This function returns a pointer to cfi_ep_t object with the addr address.
  86037. + */
  86038. +static inline struct cfi_ep *get_cfi_ep_by_addr(struct cfiobject *cfi,
  86039. + uint8_t addr)
  86040. +{
  86041. + struct cfi_ep *pcfiep;
  86042. + dwc_list_link_t *tmp;
  86043. +
  86044. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  86045. + pcfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  86046. +
  86047. + if (pcfiep->ep->desc->bEndpointAddress == addr) {
  86048. + return pcfiep;
  86049. + }
  86050. + }
  86051. +
  86052. + return NULL;
  86053. +}
  86054. +
  86055. +/**
  86056. + * This function returns a pointer to cfi_ep_t object that matches
  86057. + * the dwc_otg_pcd_ep object.
  86058. + */
  86059. +static inline struct cfi_ep *get_cfi_ep_by_pcd_ep(struct cfiobject *cfi,
  86060. + struct dwc_otg_pcd_ep *ep)
  86061. +{
  86062. + struct cfi_ep *pcfiep = NULL;
  86063. + dwc_list_link_t *tmp;
  86064. +
  86065. + DWC_LIST_FOREACH(tmp, &cfi->active_eps) {
  86066. + pcfiep = DWC_LIST_ENTRY(tmp, struct cfi_ep, lh);
  86067. + if (pcfiep->ep == ep) {
  86068. + return pcfiep;
  86069. + }
  86070. + }
  86071. + return NULL;
  86072. +}
  86073. +
  86074. +int cfi_setup(struct dwc_otg_pcd *pcd, struct cfi_usb_ctrlrequest *ctrl);
  86075. +
  86076. +#endif /* (__DWC_OTG_CFI_H__) */
  86077. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil.c
  86078. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil.c 1970-01-01 01:00:00.000000000 +0100
  86079. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil.c 2015-11-29 09:42:39.919098694 +0100
  86080. @@ -0,0 +1,7141 @@
  86081. +/* ==========================================================================
  86082. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_cil.c $
  86083. + * $Revision: #191 $
  86084. + * $Date: 2012/08/10 $
  86085. + * $Change: 2047372 $
  86086. + *
  86087. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  86088. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  86089. + * otherwise expressly agreed to in writing between Synopsys and you.
  86090. + *
  86091. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  86092. + * any End User Software License Agreement or Agreement for Licensed Product
  86093. + * with Synopsys or any supplement thereto. You are permitted to use and
  86094. + * redistribute this Software in source and binary forms, with or without
  86095. + * modification, provided that redistributions of source code must retain this
  86096. + * notice. You may not view, use, disclose, copy or distribute this file or
  86097. + * any information contained herein except pursuant to this license grant from
  86098. + * Synopsys. If you do not agree with this notice, including the disclaimer
  86099. + * below, then you are not authorized to use the Software.
  86100. + *
  86101. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  86102. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  86103. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  86104. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  86105. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  86106. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  86107. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  86108. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  86109. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  86110. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  86111. + * DAMAGE.
  86112. + * ========================================================================== */
  86113. +
  86114. +/** @file
  86115. + *
  86116. + * The Core Interface Layer provides basic services for accessing and
  86117. + * managing the DWC_otg hardware. These services are used by both the
  86118. + * Host Controller Driver and the Peripheral Controller Driver.
  86119. + *
  86120. + * The CIL manages the memory map for the core so that the HCD and PCD
  86121. + * don't have to do this separately. It also handles basic tasks like
  86122. + * reading/writing the registers and data FIFOs in the controller.
  86123. + * Some of the data access functions provide encapsulation of several
  86124. + * operations required to perform a task, such as writing multiple
  86125. + * registers to start a transfer. Finally, the CIL performs basic
  86126. + * services that are not specific to either the host or device modes
  86127. + * of operation. These services include management of the OTG Host
  86128. + * Negotiation Protocol (HNP) and Session Request Protocol (SRP). A
  86129. + * Diagnostic API is also provided to allow testing of the controller
  86130. + * hardware.
  86131. + *
  86132. + * The Core Interface Layer has the following requirements:
  86133. + * - Provides basic controller operations.
  86134. + * - Minimal use of OS services.
  86135. + * - The OS services used will be abstracted by using inline functions
  86136. + * or macros.
  86137. + *
  86138. + */
  86139. +
  86140. +#include "dwc_os.h"
  86141. +#include "dwc_otg_regs.h"
  86142. +#include "dwc_otg_cil.h"
  86143. +
  86144. +static int dwc_otg_setup_params(dwc_otg_core_if_t * core_if);
  86145. +
  86146. +/**
  86147. + * This function is called to initialize the DWC_otg CSR data
  86148. + * structures. The register addresses in the device and host
  86149. + * structures are initialized from the base address supplied by the
  86150. + * caller. The calling function must make the OS calls to get the
  86151. + * base address of the DWC_otg controller registers. The core_params
  86152. + * argument holds the parameters that specify how the core should be
  86153. + * configured.
  86154. + *
  86155. + * @param reg_base_addr Base address of DWC_otg core registers
  86156. + *
  86157. + */
  86158. +dwc_otg_core_if_t *dwc_otg_cil_init(const uint32_t * reg_base_addr)
  86159. +{
  86160. + dwc_otg_core_if_t *core_if = 0;
  86161. + dwc_otg_dev_if_t *dev_if = 0;
  86162. + dwc_otg_host_if_t *host_if = 0;
  86163. + uint8_t *reg_base = (uint8_t *) reg_base_addr;
  86164. + int i = 0;
  86165. +
  86166. + DWC_DEBUGPL(DBG_CILV, "%s(%p)\n", __func__, reg_base_addr);
  86167. +
  86168. + core_if = DWC_ALLOC(sizeof(dwc_otg_core_if_t));
  86169. +
  86170. + if (core_if == NULL) {
  86171. + DWC_DEBUGPL(DBG_CIL,
  86172. + "Allocation of dwc_otg_core_if_t failed\n");
  86173. + return 0;
  86174. + }
  86175. + core_if->core_global_regs = (dwc_otg_core_global_regs_t *) reg_base;
  86176. +
  86177. + /*
  86178. + * Allocate the Device Mode structures.
  86179. + */
  86180. + dev_if = DWC_ALLOC(sizeof(dwc_otg_dev_if_t));
  86181. +
  86182. + if (dev_if == NULL) {
  86183. + DWC_DEBUGPL(DBG_CIL, "Allocation of dwc_otg_dev_if_t failed\n");
  86184. + DWC_FREE(core_if);
  86185. + return 0;
  86186. + }
  86187. +
  86188. + dev_if->dev_global_regs =
  86189. + (dwc_otg_device_global_regs_t *) (reg_base +
  86190. + DWC_DEV_GLOBAL_REG_OFFSET);
  86191. +
  86192. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  86193. + dev_if->in_ep_regs[i] = (dwc_otg_dev_in_ep_regs_t *)
  86194. + (reg_base + DWC_DEV_IN_EP_REG_OFFSET +
  86195. + (i * DWC_EP_REG_OFFSET));
  86196. +
  86197. + dev_if->out_ep_regs[i] = (dwc_otg_dev_out_ep_regs_t *)
  86198. + (reg_base + DWC_DEV_OUT_EP_REG_OFFSET +
  86199. + (i * DWC_EP_REG_OFFSET));
  86200. + DWC_DEBUGPL(DBG_CILV, "in_ep_regs[%d]->diepctl=%p\n",
  86201. + i, &dev_if->in_ep_regs[i]->diepctl);
  86202. + DWC_DEBUGPL(DBG_CILV, "out_ep_regs[%d]->doepctl=%p\n",
  86203. + i, &dev_if->out_ep_regs[i]->doepctl);
  86204. + }
  86205. +
  86206. + dev_if->speed = 0; // unknown
  86207. +
  86208. + core_if->dev_if = dev_if;
  86209. +
  86210. + /*
  86211. + * Allocate the Host Mode structures.
  86212. + */
  86213. + host_if = DWC_ALLOC(sizeof(dwc_otg_host_if_t));
  86214. +
  86215. + if (host_if == NULL) {
  86216. + DWC_DEBUGPL(DBG_CIL,
  86217. + "Allocation of dwc_otg_host_if_t failed\n");
  86218. + DWC_FREE(dev_if);
  86219. + DWC_FREE(core_if);
  86220. + return 0;
  86221. + }
  86222. +
  86223. + host_if->host_global_regs = (dwc_otg_host_global_regs_t *)
  86224. + (reg_base + DWC_OTG_HOST_GLOBAL_REG_OFFSET);
  86225. +
  86226. + host_if->hprt0 =
  86227. + (uint32_t *) (reg_base + DWC_OTG_HOST_PORT_REGS_OFFSET);
  86228. +
  86229. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  86230. + host_if->hc_regs[i] = (dwc_otg_hc_regs_t *)
  86231. + (reg_base + DWC_OTG_HOST_CHAN_REGS_OFFSET +
  86232. + (i * DWC_OTG_CHAN_REGS_OFFSET));
  86233. + DWC_DEBUGPL(DBG_CILV, "hc_reg[%d]->hcchar=%p\n",
  86234. + i, &host_if->hc_regs[i]->hcchar);
  86235. + }
  86236. +
  86237. + host_if->num_host_channels = MAX_EPS_CHANNELS;
  86238. + core_if->host_if = host_if;
  86239. +
  86240. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  86241. + core_if->data_fifo[i] =
  86242. + (uint32_t *) (reg_base + DWC_OTG_DATA_FIFO_OFFSET +
  86243. + (i * DWC_OTG_DATA_FIFO_SIZE));
  86244. + DWC_DEBUGPL(DBG_CILV, "data_fifo[%d]=0x%08lx\n",
  86245. + i, (unsigned long)core_if->data_fifo[i]);
  86246. + }
  86247. +
  86248. + core_if->pcgcctl = (uint32_t *) (reg_base + DWC_OTG_PCGCCTL_OFFSET);
  86249. +
  86250. + /* Initiate lx_state to L3 disconnected state */
  86251. + core_if->lx_state = DWC_OTG_L3;
  86252. + /*
  86253. + * Store the contents of the hardware configuration registers here for
  86254. + * easy access later.
  86255. + */
  86256. + core_if->hwcfg1.d32 =
  86257. + DWC_READ_REG32(&core_if->core_global_regs->ghwcfg1);
  86258. + core_if->hwcfg2.d32 =
  86259. + DWC_READ_REG32(&core_if->core_global_regs->ghwcfg2);
  86260. + core_if->hwcfg3.d32 =
  86261. + DWC_READ_REG32(&core_if->core_global_regs->ghwcfg3);
  86262. + core_if->hwcfg4.d32 =
  86263. + DWC_READ_REG32(&core_if->core_global_regs->ghwcfg4);
  86264. +
  86265. + /* Force host mode to get HPTXFSIZ exact power on value */
  86266. + {
  86267. + gusbcfg_data_t gusbcfg = {.d32 = 0 };
  86268. + gusbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  86269. + gusbcfg.b.force_host_mode = 1;
  86270. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, gusbcfg.d32);
  86271. + dwc_mdelay(100);
  86272. + core_if->hptxfsiz.d32 =
  86273. + DWC_READ_REG32(&core_if->core_global_regs->hptxfsiz);
  86274. + gusbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  86275. + gusbcfg.b.force_host_mode = 1;
  86276. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, gusbcfg.d32);
  86277. + dwc_mdelay(100);
  86278. + }
  86279. +
  86280. + DWC_DEBUGPL(DBG_CILV, "hwcfg1=%08x\n", core_if->hwcfg1.d32);
  86281. + DWC_DEBUGPL(DBG_CILV, "hwcfg2=%08x\n", core_if->hwcfg2.d32);
  86282. + DWC_DEBUGPL(DBG_CILV, "hwcfg3=%08x\n", core_if->hwcfg3.d32);
  86283. + DWC_DEBUGPL(DBG_CILV, "hwcfg4=%08x\n", core_if->hwcfg4.d32);
  86284. +
  86285. + core_if->hcfg.d32 =
  86286. + DWC_READ_REG32(&core_if->host_if->host_global_regs->hcfg);
  86287. + core_if->dcfg.d32 =
  86288. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  86289. +
  86290. + DWC_DEBUGPL(DBG_CILV, "hcfg=%08x\n", core_if->hcfg.d32);
  86291. + DWC_DEBUGPL(DBG_CILV, "dcfg=%08x\n", core_if->dcfg.d32);
  86292. +
  86293. + DWC_DEBUGPL(DBG_CILV, "op_mode=%0x\n", core_if->hwcfg2.b.op_mode);
  86294. + DWC_DEBUGPL(DBG_CILV, "arch=%0x\n", core_if->hwcfg2.b.architecture);
  86295. + DWC_DEBUGPL(DBG_CILV, "num_dev_ep=%d\n", core_if->hwcfg2.b.num_dev_ep);
  86296. + DWC_DEBUGPL(DBG_CILV, "num_host_chan=%d\n",
  86297. + core_if->hwcfg2.b.num_host_chan);
  86298. + DWC_DEBUGPL(DBG_CILV, "nonperio_tx_q_depth=0x%0x\n",
  86299. + core_if->hwcfg2.b.nonperio_tx_q_depth);
  86300. + DWC_DEBUGPL(DBG_CILV, "host_perio_tx_q_depth=0x%0x\n",
  86301. + core_if->hwcfg2.b.host_perio_tx_q_depth);
  86302. + DWC_DEBUGPL(DBG_CILV, "dev_token_q_depth=0x%0x\n",
  86303. + core_if->hwcfg2.b.dev_token_q_depth);
  86304. +
  86305. + DWC_DEBUGPL(DBG_CILV, "Total FIFO SZ=%d\n",
  86306. + core_if->hwcfg3.b.dfifo_depth);
  86307. + DWC_DEBUGPL(DBG_CILV, "xfer_size_cntr_width=%0x\n",
  86308. + core_if->hwcfg3.b.xfer_size_cntr_width);
  86309. +
  86310. + /*
  86311. + * Set the SRP sucess bit for FS-I2c
  86312. + */
  86313. + core_if->srp_success = 0;
  86314. + core_if->srp_timer_started = 0;
  86315. +
  86316. + /*
  86317. + * Create new workqueue and init works
  86318. + */
  86319. + core_if->wq_otg = DWC_WORKQ_ALLOC("dwc_otg");
  86320. + if (core_if->wq_otg == 0) {
  86321. + DWC_WARN("DWC_WORKQ_ALLOC failed\n");
  86322. + DWC_FREE(host_if);
  86323. + DWC_FREE(dev_if);
  86324. + DWC_FREE(core_if);
  86325. + return 0;
  86326. + }
  86327. +
  86328. + core_if->snpsid = DWC_READ_REG32(&core_if->core_global_regs->gsnpsid);
  86329. +
  86330. + DWC_PRINTF("Core Release: %x.%x%x%x\n",
  86331. + (core_if->snpsid >> 12 & 0xF),
  86332. + (core_if->snpsid >> 8 & 0xF),
  86333. + (core_if->snpsid >> 4 & 0xF), (core_if->snpsid & 0xF));
  86334. +
  86335. + core_if->wkp_timer = DWC_TIMER_ALLOC("Wake Up Timer",
  86336. + w_wakeup_detected, core_if);
  86337. + if (core_if->wkp_timer == 0) {
  86338. + DWC_WARN("DWC_TIMER_ALLOC failed\n");
  86339. + DWC_FREE(host_if);
  86340. + DWC_FREE(dev_if);
  86341. + DWC_WORKQ_FREE(core_if->wq_otg);
  86342. + DWC_FREE(core_if);
  86343. + return 0;
  86344. + }
  86345. +
  86346. + if (dwc_otg_setup_params(core_if)) {
  86347. + DWC_WARN("Error while setting core params\n");
  86348. + }
  86349. +
  86350. + core_if->hibernation_suspend = 0;
  86351. +
  86352. + /** ADP initialization */
  86353. + dwc_otg_adp_init(core_if);
  86354. +
  86355. + return core_if;
  86356. +}
  86357. +
  86358. +/**
  86359. + * This function frees the structures allocated by dwc_otg_cil_init().
  86360. + *
  86361. + * @param core_if The core interface pointer returned from
  86362. + * dwc_otg_cil_init().
  86363. + *
  86364. + */
  86365. +void dwc_otg_cil_remove(dwc_otg_core_if_t * core_if)
  86366. +{
  86367. + dctl_data_t dctl = {.d32 = 0 };
  86368. + DWC_DEBUGPL(DBG_CILV, "%s(%p)\n", __func__, core_if);
  86369. +
  86370. + /* Disable all interrupts */
  86371. + DWC_MODIFY_REG32(&core_if->core_global_regs->gahbcfg, 1, 0);
  86372. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, 0);
  86373. +
  86374. + dctl.b.sftdiscon = 1;
  86375. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  86376. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0,
  86377. + dctl.d32);
  86378. + }
  86379. +
  86380. + if (core_if->wq_otg) {
  86381. + DWC_WORKQ_WAIT_WORK_DONE(core_if->wq_otg, 500);
  86382. + DWC_WORKQ_FREE(core_if->wq_otg);
  86383. + }
  86384. + if (core_if->dev_if) {
  86385. + DWC_FREE(core_if->dev_if);
  86386. + }
  86387. + if (core_if->host_if) {
  86388. + DWC_FREE(core_if->host_if);
  86389. + }
  86390. +
  86391. + /** Remove ADP Stuff */
  86392. + dwc_otg_adp_remove(core_if);
  86393. + if (core_if->core_params) {
  86394. + DWC_FREE(core_if->core_params);
  86395. + }
  86396. + if (core_if->wkp_timer) {
  86397. + DWC_TIMER_FREE(core_if->wkp_timer);
  86398. + }
  86399. + if (core_if->srp_timer) {
  86400. + DWC_TIMER_FREE(core_if->srp_timer);
  86401. + }
  86402. + DWC_FREE(core_if);
  86403. +}
  86404. +
  86405. +/**
  86406. + * This function enables the controller's Global Interrupt in the AHB Config
  86407. + * register.
  86408. + *
  86409. + * @param core_if Programming view of DWC_otg controller.
  86410. + */
  86411. +void dwc_otg_enable_global_interrupts(dwc_otg_core_if_t * core_if)
  86412. +{
  86413. + gahbcfg_data_t ahbcfg = {.d32 = 0 };
  86414. + ahbcfg.b.glblintrmsk = 1; /* Enable interrupts */
  86415. + DWC_MODIFY_REG32(&core_if->core_global_regs->gahbcfg, 0, ahbcfg.d32);
  86416. +}
  86417. +
  86418. +/**
  86419. + * This function disables the controller's Global Interrupt in the AHB Config
  86420. + * register.
  86421. + *
  86422. + * @param core_if Programming view of DWC_otg controller.
  86423. + */
  86424. +void dwc_otg_disable_global_interrupts(dwc_otg_core_if_t * core_if)
  86425. +{
  86426. + gahbcfg_data_t ahbcfg = {.d32 = 0 };
  86427. + ahbcfg.b.glblintrmsk = 1; /* Disable interrupts */
  86428. + DWC_MODIFY_REG32(&core_if->core_global_regs->gahbcfg, ahbcfg.d32, 0);
  86429. +}
  86430. +
  86431. +/**
  86432. + * This function initializes the commmon interrupts, used in both
  86433. + * device and host modes.
  86434. + *
  86435. + * @param core_if Programming view of the DWC_otg controller
  86436. + *
  86437. + */
  86438. +static void dwc_otg_enable_common_interrupts(dwc_otg_core_if_t * core_if)
  86439. +{
  86440. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  86441. + gintmsk_data_t intr_mask = {.d32 = 0 };
  86442. +
  86443. + /* Clear any pending OTG Interrupts */
  86444. + DWC_WRITE_REG32(&global_regs->gotgint, 0xFFFFFFFF);
  86445. +
  86446. + /* Clear any pending interrupts */
  86447. + DWC_WRITE_REG32(&global_regs->gintsts, 0xFFFFFFFF);
  86448. +
  86449. + /*
  86450. + * Enable the interrupts in the GINTMSK.
  86451. + */
  86452. + intr_mask.b.modemismatch = 1;
  86453. + intr_mask.b.otgintr = 1;
  86454. +
  86455. + if (!core_if->dma_enable) {
  86456. + intr_mask.b.rxstsqlvl = 1;
  86457. + }
  86458. +
  86459. + intr_mask.b.conidstschng = 1;
  86460. + intr_mask.b.wkupintr = 1;
  86461. + intr_mask.b.disconnect = 0;
  86462. + intr_mask.b.usbsuspend = 1;
  86463. + intr_mask.b.sessreqintr = 1;
  86464. +#ifdef CONFIG_USB_DWC_OTG_LPM
  86465. + if (core_if->core_params->lpm_enable) {
  86466. + intr_mask.b.lpmtranrcvd = 1;
  86467. + }
  86468. +#endif
  86469. + DWC_WRITE_REG32(&global_regs->gintmsk, intr_mask.d32);
  86470. +}
  86471. +
  86472. +/*
  86473. + * The restore operation is modified to support Synopsys Emulated Powerdown and
  86474. + * Hibernation. This function is for exiting from Device mode hibernation by
  86475. + * Host Initiated Resume/Reset and Device Initiated Remote-Wakeup.
  86476. + * @param core_if Programming view of DWC_otg controller.
  86477. + * @param rem_wakeup - indicates whether resume is initiated by Device or Host.
  86478. + * @param reset - indicates whether resume is initiated by Reset.
  86479. + */
  86480. +int dwc_otg_device_hibernation_restore(dwc_otg_core_if_t * core_if,
  86481. + int rem_wakeup, int reset)
  86482. +{
  86483. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  86484. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  86485. + dctl_data_t dctl = {.d32 = 0 };
  86486. +
  86487. + int timeout = 2000;
  86488. +
  86489. + if (!core_if->hibernation_suspend) {
  86490. + DWC_PRINTF("Already exited from Hibernation\n");
  86491. + return 1;
  86492. + }
  86493. +
  86494. + DWC_DEBUGPL(DBG_PCD, "%s called\n", __FUNCTION__);
  86495. + /* Switch-on voltage to the core */
  86496. + gpwrdn.b.pwrdnswtch = 1;
  86497. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86498. + dwc_udelay(10);
  86499. +
  86500. + /* Reset core */
  86501. + gpwrdn.d32 = 0;
  86502. + gpwrdn.b.pwrdnrstn = 1;
  86503. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86504. + dwc_udelay(10);
  86505. +
  86506. + /* Assert Restore signal */
  86507. + gpwrdn.d32 = 0;
  86508. + gpwrdn.b.restore = 1;
  86509. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  86510. + dwc_udelay(10);
  86511. +
  86512. + /* Disable power clamps */
  86513. + gpwrdn.d32 = 0;
  86514. + gpwrdn.b.pwrdnclmp = 1;
  86515. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86516. +
  86517. + if (rem_wakeup) {
  86518. + dwc_udelay(70);
  86519. + }
  86520. +
  86521. + /* Deassert Reset core */
  86522. + gpwrdn.d32 = 0;
  86523. + gpwrdn.b.pwrdnrstn = 1;
  86524. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  86525. + dwc_udelay(10);
  86526. +
  86527. + /* Disable PMU interrupt */
  86528. + gpwrdn.d32 = 0;
  86529. + gpwrdn.b.pmuintsel = 1;
  86530. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86531. +
  86532. + /* Mask interrupts from gpwrdn */
  86533. + gpwrdn.d32 = 0;
  86534. + gpwrdn.b.connect_det_msk = 1;
  86535. + gpwrdn.b.srp_det_msk = 1;
  86536. + gpwrdn.b.disconn_det_msk = 1;
  86537. + gpwrdn.b.rst_det_msk = 1;
  86538. + gpwrdn.b.lnstchng_msk = 1;
  86539. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86540. +
  86541. + /* Indicates that we are going out from hibernation */
  86542. + core_if->hibernation_suspend = 0;
  86543. +
  86544. + /*
  86545. + * Set Restore Essential Regs bit in PCGCCTL register, restore_mode = 1
  86546. + * indicates restore from remote_wakeup
  86547. + */
  86548. + restore_essential_regs(core_if, rem_wakeup, 0);
  86549. +
  86550. + /*
  86551. + * Wait a little for seeing new value of variable hibernation_suspend if
  86552. + * Restore done interrupt received before polling
  86553. + */
  86554. + dwc_udelay(10);
  86555. +
  86556. + if (core_if->hibernation_suspend == 0) {
  86557. + /*
  86558. + * Wait For Restore_done Interrupt. This mechanism of polling the
  86559. + * interrupt is introduced to avoid any possible race conditions
  86560. + */
  86561. + do {
  86562. + gintsts_data_t gintsts;
  86563. + gintsts.d32 =
  86564. + DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  86565. + if (gintsts.b.restoredone) {
  86566. + gintsts.d32 = 0;
  86567. + gintsts.b.restoredone = 1;
  86568. + DWC_WRITE_REG32(&core_if->core_global_regs->
  86569. + gintsts, gintsts.d32);
  86570. + DWC_PRINTF("Restore Done Interrupt seen\n");
  86571. + break;
  86572. + }
  86573. + dwc_udelay(10);
  86574. + } while (--timeout);
  86575. + if (!timeout) {
  86576. + DWC_PRINTF("Restore Done interrupt wasn't generated here\n");
  86577. + }
  86578. + }
  86579. + /* Clear all pending interupts */
  86580. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  86581. +
  86582. + /* De-assert Restore */
  86583. + gpwrdn.d32 = 0;
  86584. + gpwrdn.b.restore = 1;
  86585. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86586. + dwc_udelay(10);
  86587. +
  86588. + if (!rem_wakeup) {
  86589. + pcgcctl.d32 = 0;
  86590. + pcgcctl.b.rstpdwnmodule = 1;
  86591. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  86592. + }
  86593. +
  86594. + /* Restore GUSBCFG and DCFG */
  86595. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg,
  86596. + core_if->gr_backup->gusbcfg_local);
  86597. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg,
  86598. + core_if->dr_backup->dcfg);
  86599. +
  86600. + /* De-assert Wakeup Logic */
  86601. + gpwrdn.d32 = 0;
  86602. + gpwrdn.b.pmuactv = 1;
  86603. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86604. + dwc_udelay(10);
  86605. +
  86606. + if (!rem_wakeup) {
  86607. + /* Set Device programming done bit */
  86608. + dctl.b.pwronprgdone = 1;
  86609. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  86610. + } else {
  86611. + /* Start Remote Wakeup Signaling */
  86612. + dctl.d32 = core_if->dr_backup->dctl;
  86613. + dctl.b.rmtwkupsig = 1;
  86614. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32);
  86615. + }
  86616. +
  86617. + dwc_mdelay(2);
  86618. + /* Clear all pending interupts */
  86619. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  86620. +
  86621. + /* Restore global registers */
  86622. + dwc_otg_restore_global_regs(core_if);
  86623. + /* Restore device global registers */
  86624. + dwc_otg_restore_dev_regs(core_if, rem_wakeup);
  86625. +
  86626. + if (rem_wakeup) {
  86627. + dwc_mdelay(7);
  86628. + dctl.d32 = 0;
  86629. + dctl.b.rmtwkupsig = 1;
  86630. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32, 0);
  86631. + }
  86632. +
  86633. + core_if->hibernation_suspend = 0;
  86634. + /* The core will be in ON STATE */
  86635. + core_if->lx_state = DWC_OTG_L0;
  86636. + DWC_PRINTF("Hibernation recovery completes here\n");
  86637. +
  86638. + return 1;
  86639. +}
  86640. +
  86641. +/*
  86642. + * The restore operation is modified to support Synopsys Emulated Powerdown and
  86643. + * Hibernation. This function is for exiting from Host mode hibernation by
  86644. + * Host Initiated Resume/Reset and Device Initiated Remote-Wakeup.
  86645. + * @param core_if Programming view of DWC_otg controller.
  86646. + * @param rem_wakeup - indicates whether resume is initiated by Device or Host.
  86647. + * @param reset - indicates whether resume is initiated by Reset.
  86648. + */
  86649. +int dwc_otg_host_hibernation_restore(dwc_otg_core_if_t * core_if,
  86650. + int rem_wakeup, int reset)
  86651. +{
  86652. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  86653. + hprt0_data_t hprt0 = {.d32 = 0 };
  86654. +
  86655. + int timeout = 2000;
  86656. +
  86657. + DWC_DEBUGPL(DBG_HCD, "%s called\n", __FUNCTION__);
  86658. + /* Switch-on voltage to the core */
  86659. + gpwrdn.b.pwrdnswtch = 1;
  86660. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86661. + dwc_udelay(10);
  86662. +
  86663. + /* Reset core */
  86664. + gpwrdn.d32 = 0;
  86665. + gpwrdn.b.pwrdnrstn = 1;
  86666. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86667. + dwc_udelay(10);
  86668. +
  86669. + /* Assert Restore signal */
  86670. + gpwrdn.d32 = 0;
  86671. + gpwrdn.b.restore = 1;
  86672. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  86673. + dwc_udelay(10);
  86674. +
  86675. + /* Disable power clamps */
  86676. + gpwrdn.d32 = 0;
  86677. + gpwrdn.b.pwrdnclmp = 1;
  86678. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86679. +
  86680. + if (!rem_wakeup) {
  86681. + dwc_udelay(50);
  86682. + }
  86683. +
  86684. + /* Deassert Reset core */
  86685. + gpwrdn.d32 = 0;
  86686. + gpwrdn.b.pwrdnrstn = 1;
  86687. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  86688. + dwc_udelay(10);
  86689. +
  86690. + /* Disable PMU interrupt */
  86691. + gpwrdn.d32 = 0;
  86692. + gpwrdn.b.pmuintsel = 1;
  86693. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86694. +
  86695. + gpwrdn.d32 = 0;
  86696. + gpwrdn.b.connect_det_msk = 1;
  86697. + gpwrdn.b.srp_det_msk = 1;
  86698. + gpwrdn.b.disconn_det_msk = 1;
  86699. + gpwrdn.b.rst_det_msk = 1;
  86700. + gpwrdn.b.lnstchng_msk = 1;
  86701. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86702. +
  86703. + /* Indicates that we are going out from hibernation */
  86704. + core_if->hibernation_suspend = 0;
  86705. +
  86706. + /* Set Restore Essential Regs bit in PCGCCTL register */
  86707. + restore_essential_regs(core_if, rem_wakeup, 1);
  86708. +
  86709. + /* Wait a little for seeing new value of variable hibernation_suspend if
  86710. + * Restore done interrupt received before polling */
  86711. + dwc_udelay(10);
  86712. +
  86713. + if (core_if->hibernation_suspend == 0) {
  86714. + /* Wait For Restore_done Interrupt. This mechanism of polling the
  86715. + * interrupt is introduced to avoid any possible race conditions
  86716. + */
  86717. + do {
  86718. + gintsts_data_t gintsts;
  86719. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  86720. + if (gintsts.b.restoredone) {
  86721. + gintsts.d32 = 0;
  86722. + gintsts.b.restoredone = 1;
  86723. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  86724. + DWC_DEBUGPL(DBG_HCD,"Restore Done Interrupt seen\n");
  86725. + break;
  86726. + }
  86727. + dwc_udelay(10);
  86728. + } while (--timeout);
  86729. + if (!timeout) {
  86730. + DWC_WARN("Restore Done interrupt wasn't generated\n");
  86731. + }
  86732. + }
  86733. +
  86734. + /* Set the flag's value to 0 again after receiving restore done interrupt */
  86735. + core_if->hibernation_suspend = 0;
  86736. +
  86737. + /* This step is not described in functional spec but if not wait for this
  86738. + * delay, mismatch interrupts occurred because just after restore core is
  86739. + * in Device mode(gintsts.curmode == 0) */
  86740. + dwc_mdelay(100);
  86741. +
  86742. + /* Clear all pending interrupts */
  86743. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  86744. +
  86745. + /* De-assert Restore */
  86746. + gpwrdn.d32 = 0;
  86747. + gpwrdn.b.restore = 1;
  86748. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86749. + dwc_udelay(10);
  86750. +
  86751. + /* Restore GUSBCFG and HCFG */
  86752. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg,
  86753. + core_if->gr_backup->gusbcfg_local);
  86754. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hcfg,
  86755. + core_if->hr_backup->hcfg_local);
  86756. +
  86757. + /* De-assert Wakeup Logic */
  86758. + gpwrdn.d32 = 0;
  86759. + gpwrdn.b.pmuactv = 1;
  86760. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  86761. + dwc_udelay(10);
  86762. +
  86763. + /* Start the Resume operation by programming HPRT0 */
  86764. + hprt0.d32 = core_if->hr_backup->hprt0_local;
  86765. + hprt0.b.prtpwr = 1;
  86766. + hprt0.b.prtena = 0;
  86767. + hprt0.b.prtsusp = 0;
  86768. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86769. +
  86770. + DWC_PRINTF("Resume Starts Now\n");
  86771. + if (!reset) { // Indicates it is Resume Operation
  86772. + hprt0.d32 = core_if->hr_backup->hprt0_local;
  86773. + hprt0.b.prtres = 1;
  86774. + hprt0.b.prtpwr = 1;
  86775. + hprt0.b.prtena = 0;
  86776. + hprt0.b.prtsusp = 0;
  86777. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86778. +
  86779. + if (!rem_wakeup)
  86780. + hprt0.b.prtres = 0;
  86781. + /* Wait for Resume time and then program HPRT again */
  86782. + dwc_mdelay(100);
  86783. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86784. +
  86785. + } else { // Indicates it is Reset Operation
  86786. + hprt0.d32 = core_if->hr_backup->hprt0_local;
  86787. + hprt0.b.prtrst = 1;
  86788. + hprt0.b.prtpwr = 1;
  86789. + hprt0.b.prtena = 0;
  86790. + hprt0.b.prtsusp = 0;
  86791. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86792. + /* Wait for Reset time and then program HPRT again */
  86793. + dwc_mdelay(60);
  86794. + hprt0.b.prtrst = 0;
  86795. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86796. + }
  86797. + /* Clear all interrupt status */
  86798. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  86799. + hprt0.b.prtconndet = 1;
  86800. + hprt0.b.prtenchng = 1;
  86801. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  86802. +
  86803. + /* Clear all pending interupts */
  86804. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  86805. +
  86806. + /* Restore global registers */
  86807. + dwc_otg_restore_global_regs(core_if);
  86808. + /* Restore host global registers */
  86809. + dwc_otg_restore_host_regs(core_if, reset);
  86810. +
  86811. + /* The core will be in ON STATE */
  86812. + core_if->lx_state = DWC_OTG_L0;
  86813. + DWC_PRINTF("Hibernation recovery is complete here\n");
  86814. + return 0;
  86815. +}
  86816. +
  86817. +/** Saves some register values into system memory. */
  86818. +int dwc_otg_save_global_regs(dwc_otg_core_if_t * core_if)
  86819. +{
  86820. + struct dwc_otg_global_regs_backup *gr;
  86821. + int i;
  86822. +
  86823. + gr = core_if->gr_backup;
  86824. + if (!gr) {
  86825. + gr = DWC_ALLOC(sizeof(*gr));
  86826. + if (!gr) {
  86827. + return -DWC_E_NO_MEMORY;
  86828. + }
  86829. + core_if->gr_backup = gr;
  86830. + }
  86831. +
  86832. + gr->gotgctl_local = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  86833. + gr->gintmsk_local = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  86834. + gr->gahbcfg_local = DWC_READ_REG32(&core_if->core_global_regs->gahbcfg);
  86835. + gr->gusbcfg_local = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  86836. + gr->grxfsiz_local = DWC_READ_REG32(&core_if->core_global_regs->grxfsiz);
  86837. + gr->gnptxfsiz_local = DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz);
  86838. + gr->hptxfsiz_local = DWC_READ_REG32(&core_if->core_global_regs->hptxfsiz);
  86839. +#ifdef CONFIG_USB_DWC_OTG_LPM
  86840. + gr->glpmcfg_local = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  86841. +#endif
  86842. + gr->gi2cctl_local = DWC_READ_REG32(&core_if->core_global_regs->gi2cctl);
  86843. + gr->pcgcctl_local = DWC_READ_REG32(core_if->pcgcctl);
  86844. + gr->gdfifocfg_local =
  86845. + DWC_READ_REG32(&core_if->core_global_regs->gdfifocfg);
  86846. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  86847. + gr->dtxfsiz_local[i] =
  86848. + DWC_READ_REG32(&(core_if->core_global_regs->dtxfsiz[i]));
  86849. + }
  86850. +
  86851. + DWC_DEBUGPL(DBG_ANY, "===========Backing Global registers==========\n");
  86852. + DWC_DEBUGPL(DBG_ANY, "Backed up gotgctl = %08x\n", gr->gotgctl_local);
  86853. + DWC_DEBUGPL(DBG_ANY, "Backed up gintmsk = %08x\n", gr->gintmsk_local);
  86854. + DWC_DEBUGPL(DBG_ANY, "Backed up gahbcfg = %08x\n", gr->gahbcfg_local);
  86855. + DWC_DEBUGPL(DBG_ANY, "Backed up gusbcfg = %08x\n", gr->gusbcfg_local);
  86856. + DWC_DEBUGPL(DBG_ANY, "Backed up grxfsiz = %08x\n", gr->grxfsiz_local);
  86857. + DWC_DEBUGPL(DBG_ANY, "Backed up gnptxfsiz = %08x\n",
  86858. + gr->gnptxfsiz_local);
  86859. + DWC_DEBUGPL(DBG_ANY, "Backed up hptxfsiz = %08x\n",
  86860. + gr->hptxfsiz_local);
  86861. +#ifdef CONFIG_USB_DWC_OTG_LPM
  86862. + DWC_DEBUGPL(DBG_ANY, "Backed up glpmcfg = %08x\n", gr->glpmcfg_local);
  86863. +#endif
  86864. + DWC_DEBUGPL(DBG_ANY, "Backed up gi2cctl = %08x\n", gr->gi2cctl_local);
  86865. + DWC_DEBUGPL(DBG_ANY, "Backed up pcgcctl = %08x\n", gr->pcgcctl_local);
  86866. + DWC_DEBUGPL(DBG_ANY,"Backed up gdfifocfg = %08x\n",gr->gdfifocfg_local);
  86867. +
  86868. + return 0;
  86869. +}
  86870. +
  86871. +/** Saves GINTMSK register before setting the msk bits. */
  86872. +int dwc_otg_save_gintmsk_reg(dwc_otg_core_if_t * core_if)
  86873. +{
  86874. + struct dwc_otg_global_regs_backup *gr;
  86875. +
  86876. + gr = core_if->gr_backup;
  86877. + if (!gr) {
  86878. + gr = DWC_ALLOC(sizeof(*gr));
  86879. + if (!gr) {
  86880. + return -DWC_E_NO_MEMORY;
  86881. + }
  86882. + core_if->gr_backup = gr;
  86883. + }
  86884. +
  86885. + gr->gintmsk_local = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  86886. +
  86887. + DWC_DEBUGPL(DBG_ANY,"=============Backing GINTMSK registers============\n");
  86888. + DWC_DEBUGPL(DBG_ANY, "Backed up gintmsk = %08x\n", gr->gintmsk_local);
  86889. +
  86890. + return 0;
  86891. +}
  86892. +
  86893. +int dwc_otg_save_dev_regs(dwc_otg_core_if_t * core_if)
  86894. +{
  86895. + struct dwc_otg_dev_regs_backup *dr;
  86896. + int i;
  86897. +
  86898. + dr = core_if->dr_backup;
  86899. + if (!dr) {
  86900. + dr = DWC_ALLOC(sizeof(*dr));
  86901. + if (!dr) {
  86902. + return -DWC_E_NO_MEMORY;
  86903. + }
  86904. + core_if->dr_backup = dr;
  86905. + }
  86906. +
  86907. + dr->dcfg = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  86908. + dr->dctl = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dctl);
  86909. + dr->daintmsk =
  86910. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->daintmsk);
  86911. + dr->diepmsk =
  86912. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->diepmsk);
  86913. + dr->doepmsk =
  86914. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->doepmsk);
  86915. +
  86916. + for (i = 0; i < core_if->dev_if->num_in_eps; ++i) {
  86917. + dr->diepctl[i] =
  86918. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[i]->diepctl);
  86919. + dr->dieptsiz[i] =
  86920. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[i]->dieptsiz);
  86921. + dr->diepdma[i] =
  86922. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[i]->diepdma);
  86923. + }
  86924. +
  86925. + DWC_DEBUGPL(DBG_ANY,
  86926. + "=============Backing Host registers==============\n");
  86927. + DWC_DEBUGPL(DBG_ANY, "Backed up dcfg = %08x\n", dr->dcfg);
  86928. + DWC_DEBUGPL(DBG_ANY, "Backed up dctl = %08x\n", dr->dctl);
  86929. + DWC_DEBUGPL(DBG_ANY, "Backed up daintmsk = %08x\n",
  86930. + dr->daintmsk);
  86931. + DWC_DEBUGPL(DBG_ANY, "Backed up diepmsk = %08x\n", dr->diepmsk);
  86932. + DWC_DEBUGPL(DBG_ANY, "Backed up doepmsk = %08x\n", dr->doepmsk);
  86933. + for (i = 0; i < core_if->dev_if->num_in_eps; ++i) {
  86934. + DWC_DEBUGPL(DBG_ANY, "Backed up diepctl[%d] = %08x\n", i,
  86935. + dr->diepctl[i]);
  86936. + DWC_DEBUGPL(DBG_ANY, "Backed up dieptsiz[%d] = %08x\n",
  86937. + i, dr->dieptsiz[i]);
  86938. + DWC_DEBUGPL(DBG_ANY, "Backed up diepdma[%d] = %08x\n", i,
  86939. + dr->diepdma[i]);
  86940. + }
  86941. +
  86942. + return 0;
  86943. +}
  86944. +
  86945. +int dwc_otg_save_host_regs(dwc_otg_core_if_t * core_if)
  86946. +{
  86947. + struct dwc_otg_host_regs_backup *hr;
  86948. + int i;
  86949. +
  86950. + hr = core_if->hr_backup;
  86951. + if (!hr) {
  86952. + hr = DWC_ALLOC(sizeof(*hr));
  86953. + if (!hr) {
  86954. + return -DWC_E_NO_MEMORY;
  86955. + }
  86956. + core_if->hr_backup = hr;
  86957. + }
  86958. +
  86959. + hr->hcfg_local =
  86960. + DWC_READ_REG32(&core_if->host_if->host_global_regs->hcfg);
  86961. + hr->haintmsk_local =
  86962. + DWC_READ_REG32(&core_if->host_if->host_global_regs->haintmsk);
  86963. + for (i = 0; i < dwc_otg_get_param_host_channels(core_if); ++i) {
  86964. + hr->hcintmsk_local[i] =
  86965. + DWC_READ_REG32(&core_if->host_if->hc_regs[i]->hcintmsk);
  86966. + }
  86967. + hr->hprt0_local = DWC_READ_REG32(core_if->host_if->hprt0);
  86968. + hr->hfir_local =
  86969. + DWC_READ_REG32(&core_if->host_if->host_global_regs->hfir);
  86970. +
  86971. + DWC_DEBUGPL(DBG_ANY,
  86972. + "=============Backing Host registers===============\n");
  86973. + DWC_DEBUGPL(DBG_ANY, "Backed up hcfg = %08x\n",
  86974. + hr->hcfg_local);
  86975. + DWC_DEBUGPL(DBG_ANY, "Backed up haintmsk = %08x\n", hr->haintmsk_local);
  86976. + for (i = 0; i < dwc_otg_get_param_host_channels(core_if); ++i) {
  86977. + DWC_DEBUGPL(DBG_ANY, "Backed up hcintmsk[%02d]=%08x\n", i,
  86978. + hr->hcintmsk_local[i]);
  86979. + }
  86980. + DWC_DEBUGPL(DBG_ANY, "Backed up hprt0 = %08x\n",
  86981. + hr->hprt0_local);
  86982. + DWC_DEBUGPL(DBG_ANY, "Backed up hfir = %08x\n",
  86983. + hr->hfir_local);
  86984. +
  86985. + return 0;
  86986. +}
  86987. +
  86988. +int dwc_otg_restore_global_regs(dwc_otg_core_if_t *core_if)
  86989. +{
  86990. + struct dwc_otg_global_regs_backup *gr;
  86991. + int i;
  86992. +
  86993. + gr = core_if->gr_backup;
  86994. + if (!gr) {
  86995. + return -DWC_E_INVALID;
  86996. + }
  86997. +
  86998. + DWC_WRITE_REG32(&core_if->core_global_regs->gotgctl, gr->gotgctl_local);
  86999. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, gr->gintmsk_local);
  87000. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, gr->gusbcfg_local);
  87001. + DWC_WRITE_REG32(&core_if->core_global_regs->gahbcfg, gr->gahbcfg_local);
  87002. + DWC_WRITE_REG32(&core_if->core_global_regs->grxfsiz, gr->grxfsiz_local);
  87003. + DWC_WRITE_REG32(&core_if->core_global_regs->gnptxfsiz,
  87004. + gr->gnptxfsiz_local);
  87005. + DWC_WRITE_REG32(&core_if->core_global_regs->hptxfsiz,
  87006. + gr->hptxfsiz_local);
  87007. + DWC_WRITE_REG32(&core_if->core_global_regs->gdfifocfg,
  87008. + gr->gdfifocfg_local);
  87009. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  87010. + DWC_WRITE_REG32(&core_if->core_global_regs->dtxfsiz[i],
  87011. + gr->dtxfsiz_local[i]);
  87012. + }
  87013. +
  87014. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  87015. + DWC_WRITE_REG32(core_if->host_if->hprt0, 0x0000100A);
  87016. + DWC_WRITE_REG32(&core_if->core_global_regs->gahbcfg,
  87017. + (gr->gahbcfg_local));
  87018. + return 0;
  87019. +}
  87020. +
  87021. +int dwc_otg_restore_dev_regs(dwc_otg_core_if_t * core_if, int rem_wakeup)
  87022. +{
  87023. + struct dwc_otg_dev_regs_backup *dr;
  87024. + int i;
  87025. +
  87026. + dr = core_if->dr_backup;
  87027. +
  87028. + if (!dr) {
  87029. + return -DWC_E_INVALID;
  87030. + }
  87031. +
  87032. + if (!rem_wakeup) {
  87033. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl,
  87034. + dr->dctl);
  87035. + }
  87036. +
  87037. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->daintmsk, dr->daintmsk);
  87038. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->diepmsk, dr->diepmsk);
  87039. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->doepmsk, dr->doepmsk);
  87040. +
  87041. + for (i = 0; i < core_if->dev_if->num_in_eps; ++i) {
  87042. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[i]->dieptsiz, dr->dieptsiz[i]);
  87043. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[i]->diepdma, dr->diepdma[i]);
  87044. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[i]->diepctl, dr->diepctl[i]);
  87045. + }
  87046. +
  87047. + return 0;
  87048. +}
  87049. +
  87050. +int dwc_otg_restore_host_regs(dwc_otg_core_if_t * core_if, int reset)
  87051. +{
  87052. + struct dwc_otg_host_regs_backup *hr;
  87053. + int i;
  87054. + hr = core_if->hr_backup;
  87055. +
  87056. + if (!hr) {
  87057. + return -DWC_E_INVALID;
  87058. + }
  87059. +
  87060. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hcfg, hr->hcfg_local);
  87061. + //if (!reset)
  87062. + //{
  87063. + // DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hfir, hr->hfir_local);
  87064. + //}
  87065. +
  87066. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->haintmsk,
  87067. + hr->haintmsk_local);
  87068. + for (i = 0; i < dwc_otg_get_param_host_channels(core_if); ++i) {
  87069. + DWC_WRITE_REG32(&core_if->host_if->hc_regs[i]->hcintmsk,
  87070. + hr->hcintmsk_local[i]);
  87071. + }
  87072. +
  87073. + return 0;
  87074. +}
  87075. +
  87076. +int restore_lpm_i2c_regs(dwc_otg_core_if_t * core_if)
  87077. +{
  87078. + struct dwc_otg_global_regs_backup *gr;
  87079. +
  87080. + gr = core_if->gr_backup;
  87081. +
  87082. + /* Restore values for LPM and I2C */
  87083. +#ifdef CONFIG_USB_DWC_OTG_LPM
  87084. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg, gr->glpmcfg_local);
  87085. +#endif
  87086. + DWC_WRITE_REG32(&core_if->core_global_regs->gi2cctl, gr->gi2cctl_local);
  87087. +
  87088. + return 0;
  87089. +}
  87090. +
  87091. +int restore_essential_regs(dwc_otg_core_if_t * core_if, int rmode, int is_host)
  87092. +{
  87093. + struct dwc_otg_global_regs_backup *gr;
  87094. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  87095. + gahbcfg_data_t gahbcfg = {.d32 = 0 };
  87096. + gusbcfg_data_t gusbcfg = {.d32 = 0 };
  87097. + gintmsk_data_t gintmsk = {.d32 = 0 };
  87098. +
  87099. + /* Restore LPM and I2C registers */
  87100. + restore_lpm_i2c_regs(core_if);
  87101. +
  87102. + /* Set PCGCCTL to 0 */
  87103. + DWC_WRITE_REG32(core_if->pcgcctl, 0x00000000);
  87104. +
  87105. + gr = core_if->gr_backup;
  87106. + /* Load restore values for [31:14] bits */
  87107. + DWC_WRITE_REG32(core_if->pcgcctl,
  87108. + ((gr->pcgcctl_local & 0xffffc000) | 0x00020000));
  87109. +
  87110. + /* Umnask global Interrupt in GAHBCFG and restore it */
  87111. + gahbcfg.d32 = gr->gahbcfg_local;
  87112. + gahbcfg.b.glblintrmsk = 1;
  87113. + DWC_WRITE_REG32(&core_if->core_global_regs->gahbcfg, gahbcfg.d32);
  87114. +
  87115. + /* Clear all pending interupts */
  87116. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  87117. +
  87118. + /* Unmask restore done interrupt */
  87119. + gintmsk.b.restoredone = 1;
  87120. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, gintmsk.d32);
  87121. +
  87122. + /* Restore GUSBCFG and HCFG/DCFG */
  87123. + gusbcfg.d32 = core_if->gr_backup->gusbcfg_local;
  87124. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, gusbcfg.d32);
  87125. +
  87126. + if (is_host) {
  87127. + hcfg_data_t hcfg = {.d32 = 0 };
  87128. + hcfg.d32 = core_if->hr_backup->hcfg_local;
  87129. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hcfg,
  87130. + hcfg.d32);
  87131. +
  87132. + /* Load restore values for [31:14] bits */
  87133. + pcgcctl.d32 = gr->pcgcctl_local & 0xffffc000;
  87134. + pcgcctl.d32 = gr->pcgcctl_local | 0x00020000;
  87135. +
  87136. + if (rmode)
  87137. + pcgcctl.b.restoremode = 1;
  87138. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  87139. + dwc_udelay(10);
  87140. +
  87141. + /* Load restore values for [31:14] bits and set EssRegRestored bit */
  87142. + pcgcctl.d32 = gr->pcgcctl_local | 0xffffc000;
  87143. + pcgcctl.d32 = gr->pcgcctl_local & 0xffffc000;
  87144. + pcgcctl.b.ess_reg_restored = 1;
  87145. + if (rmode)
  87146. + pcgcctl.b.restoremode = 1;
  87147. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  87148. + } else {
  87149. + dcfg_data_t dcfg = {.d32 = 0 };
  87150. + dcfg.d32 = core_if->dr_backup->dcfg;
  87151. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg, dcfg.d32);
  87152. +
  87153. + /* Load restore values for [31:14] bits */
  87154. + pcgcctl.d32 = gr->pcgcctl_local & 0xffffc000;
  87155. + pcgcctl.d32 = gr->pcgcctl_local | 0x00020000;
  87156. + if (!rmode) {
  87157. + pcgcctl.d32 |= 0x208;
  87158. + }
  87159. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  87160. + dwc_udelay(10);
  87161. +
  87162. + /* Load restore values for [31:14] bits */
  87163. + pcgcctl.d32 = gr->pcgcctl_local & 0xffffc000;
  87164. + pcgcctl.d32 = gr->pcgcctl_local | 0x00020000;
  87165. + pcgcctl.b.ess_reg_restored = 1;
  87166. + if (!rmode)
  87167. + pcgcctl.d32 |= 0x208;
  87168. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  87169. + }
  87170. +
  87171. + return 0;
  87172. +}
  87173. +
  87174. +/**
  87175. + * Initializes the FSLSPClkSel field of the HCFG register depending on the PHY
  87176. + * type.
  87177. + */
  87178. +static void init_fslspclksel(dwc_otg_core_if_t * core_if)
  87179. +{
  87180. + uint32_t val;
  87181. + hcfg_data_t hcfg;
  87182. +
  87183. + if (((core_if->hwcfg2.b.hs_phy_type == 2) &&
  87184. + (core_if->hwcfg2.b.fs_phy_type == 1) &&
  87185. + (core_if->core_params->ulpi_fs_ls)) ||
  87186. + (core_if->core_params->phy_type == DWC_PHY_TYPE_PARAM_FS)) {
  87187. + /* Full speed PHY */
  87188. + val = DWC_HCFG_48_MHZ;
  87189. + } else {
  87190. + /* High speed PHY running at full speed or high speed */
  87191. + val = DWC_HCFG_30_60_MHZ;
  87192. + }
  87193. +
  87194. + DWC_DEBUGPL(DBG_CIL, "Initializing HCFG.FSLSPClkSel to 0x%1x\n", val);
  87195. + hcfg.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->hcfg);
  87196. + hcfg.b.fslspclksel = val;
  87197. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hcfg, hcfg.d32);
  87198. +}
  87199. +
  87200. +/**
  87201. + * Initializes the DevSpd field of the DCFG register depending on the PHY type
  87202. + * and the enumeration speed of the device.
  87203. + */
  87204. +static void init_devspd(dwc_otg_core_if_t * core_if)
  87205. +{
  87206. + uint32_t val;
  87207. + dcfg_data_t dcfg;
  87208. +
  87209. + if (((core_if->hwcfg2.b.hs_phy_type == 2) &&
  87210. + (core_if->hwcfg2.b.fs_phy_type == 1) &&
  87211. + (core_if->core_params->ulpi_fs_ls)) ||
  87212. + (core_if->core_params->phy_type == DWC_PHY_TYPE_PARAM_FS)) {
  87213. + /* Full speed PHY */
  87214. + val = 0x3;
  87215. + } else if (core_if->core_params->speed == DWC_SPEED_PARAM_FULL) {
  87216. + /* High speed PHY running at full speed */
  87217. + val = 0x1;
  87218. + } else {
  87219. + /* High speed PHY running at high speed */
  87220. + val = 0x0;
  87221. + }
  87222. +
  87223. + DWC_DEBUGPL(DBG_CIL, "Initializing DCFG.DevSpd to 0x%1x\n", val);
  87224. +
  87225. + dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  87226. + dcfg.b.devspd = val;
  87227. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg, dcfg.d32);
  87228. +}
  87229. +
  87230. +/**
  87231. + * This function calculates the number of IN EPS
  87232. + * using GHWCFG1 and GHWCFG2 registers values
  87233. + *
  87234. + * @param core_if Programming view of the DWC_otg controller
  87235. + */
  87236. +static uint32_t calc_num_in_eps(dwc_otg_core_if_t * core_if)
  87237. +{
  87238. + uint32_t num_in_eps = 0;
  87239. + uint32_t num_eps = core_if->hwcfg2.b.num_dev_ep;
  87240. + uint32_t hwcfg1 = core_if->hwcfg1.d32 >> 3;
  87241. + uint32_t num_tx_fifos = core_if->hwcfg4.b.num_in_eps;
  87242. + int i;
  87243. +
  87244. + for (i = 0; i < num_eps; ++i) {
  87245. + if (!(hwcfg1 & 0x1))
  87246. + num_in_eps++;
  87247. +
  87248. + hwcfg1 >>= 2;
  87249. + }
  87250. +
  87251. + if (core_if->hwcfg4.b.ded_fifo_en) {
  87252. + num_in_eps =
  87253. + (num_in_eps > num_tx_fifos) ? num_tx_fifos : num_in_eps;
  87254. + }
  87255. +
  87256. + return num_in_eps;
  87257. +}
  87258. +
  87259. +/**
  87260. + * This function calculates the number of OUT EPS
  87261. + * using GHWCFG1 and GHWCFG2 registers values
  87262. + *
  87263. + * @param core_if Programming view of the DWC_otg controller
  87264. + */
  87265. +static uint32_t calc_num_out_eps(dwc_otg_core_if_t * core_if)
  87266. +{
  87267. + uint32_t num_out_eps = 0;
  87268. + uint32_t num_eps = core_if->hwcfg2.b.num_dev_ep;
  87269. + uint32_t hwcfg1 = core_if->hwcfg1.d32 >> 2;
  87270. + int i;
  87271. +
  87272. + for (i = 0; i < num_eps; ++i) {
  87273. + if (!(hwcfg1 & 0x1))
  87274. + num_out_eps++;
  87275. +
  87276. + hwcfg1 >>= 2;
  87277. + }
  87278. + return num_out_eps;
  87279. +}
  87280. +
  87281. +/**
  87282. + * This function initializes the DWC_otg controller registers and
  87283. + * prepares the core for device mode or host mode operation.
  87284. + *
  87285. + * @param core_if Programming view of the DWC_otg controller
  87286. + *
  87287. + */
  87288. +void dwc_otg_core_init(dwc_otg_core_if_t * core_if)
  87289. +{
  87290. + int i = 0;
  87291. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  87292. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  87293. + gahbcfg_data_t ahbcfg = {.d32 = 0 };
  87294. + gusbcfg_data_t usbcfg = {.d32 = 0 };
  87295. + gi2cctl_data_t i2cctl = {.d32 = 0 };
  87296. +
  87297. + DWC_DEBUGPL(DBG_CILV, "dwc_otg_core_init(%p) regs at %p\n",
  87298. + core_if, global_regs);
  87299. +
  87300. + /* Common Initialization */
  87301. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87302. +
  87303. + /* Program the ULPI External VBUS bit if needed */
  87304. + usbcfg.b.ulpi_ext_vbus_drv =
  87305. + (core_if->core_params->phy_ulpi_ext_vbus ==
  87306. + DWC_PHY_ULPI_EXTERNAL_VBUS) ? 1 : 0;
  87307. +
  87308. + /* Set external TS Dline pulsing */
  87309. + usbcfg.b.term_sel_dl_pulse =
  87310. + (core_if->core_params->ts_dline == 1) ? 1 : 0;
  87311. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87312. +
  87313. + /* Reset the Controller */
  87314. + dwc_otg_core_reset(core_if);
  87315. +
  87316. + core_if->adp_enable = core_if->core_params->adp_supp_enable;
  87317. + core_if->power_down = core_if->core_params->power_down;
  87318. + core_if->otg_sts = 0;
  87319. +
  87320. + /* Initialize parameters from Hardware configuration registers. */
  87321. + dev_if->num_in_eps = calc_num_in_eps(core_if);
  87322. + dev_if->num_out_eps = calc_num_out_eps(core_if);
  87323. +
  87324. + DWC_DEBUGPL(DBG_CIL, "num_dev_perio_in_ep=%d\n",
  87325. + core_if->hwcfg4.b.num_dev_perio_in_ep);
  87326. +
  87327. + for (i = 0; i < core_if->hwcfg4.b.num_dev_perio_in_ep; i++) {
  87328. + dev_if->perio_tx_fifo_size[i] =
  87329. + DWC_READ_REG32(&global_regs->dtxfsiz[i]) >> 16;
  87330. + DWC_DEBUGPL(DBG_CIL, "Periodic Tx FIFO SZ #%d=0x%0x\n",
  87331. + i, dev_if->perio_tx_fifo_size[i]);
  87332. + }
  87333. +
  87334. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  87335. + dev_if->tx_fifo_size[i] =
  87336. + DWC_READ_REG32(&global_regs->dtxfsiz[i]) >> 16;
  87337. + DWC_DEBUGPL(DBG_CIL, "Tx FIFO SZ #%d=0x%0x\n",
  87338. + i, dev_if->tx_fifo_size[i]);
  87339. + }
  87340. +
  87341. + core_if->total_fifo_size = core_if->hwcfg3.b.dfifo_depth;
  87342. + core_if->rx_fifo_size = DWC_READ_REG32(&global_regs->grxfsiz);
  87343. + core_if->nperio_tx_fifo_size =
  87344. + DWC_READ_REG32(&global_regs->gnptxfsiz) >> 16;
  87345. +
  87346. + DWC_DEBUGPL(DBG_CIL, "Total FIFO SZ=%d\n", core_if->total_fifo_size);
  87347. + DWC_DEBUGPL(DBG_CIL, "Rx FIFO SZ=%d\n", core_if->rx_fifo_size);
  87348. + DWC_DEBUGPL(DBG_CIL, "NP Tx FIFO SZ=%d\n",
  87349. + core_if->nperio_tx_fifo_size);
  87350. +
  87351. + /* This programming sequence needs to happen in FS mode before any other
  87352. + * programming occurs */
  87353. + if ((core_if->core_params->speed == DWC_SPEED_PARAM_FULL) &&
  87354. + (core_if->core_params->phy_type == DWC_PHY_TYPE_PARAM_FS)) {
  87355. + /* If FS mode with FS PHY */
  87356. +
  87357. + /* core_init() is now called on every switch so only call the
  87358. + * following for the first time through. */
  87359. + if (!core_if->phy_init_done) {
  87360. + core_if->phy_init_done = 1;
  87361. + DWC_DEBUGPL(DBG_CIL, "FS_PHY detected\n");
  87362. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87363. + usbcfg.b.physel = 1;
  87364. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87365. +
  87366. + /* Reset after a PHY select */
  87367. + dwc_otg_core_reset(core_if);
  87368. + }
  87369. +
  87370. + /* Program DCFG.DevSpd or HCFG.FSLSPclkSel to 48Mhz in FS. Also
  87371. + * do this on HNP Dev/Host mode switches (done in dev_init and
  87372. + * host_init). */
  87373. + if (dwc_otg_is_host_mode(core_if)) {
  87374. + init_fslspclksel(core_if);
  87375. + } else {
  87376. + init_devspd(core_if);
  87377. + }
  87378. +
  87379. + if (core_if->core_params->i2c_enable) {
  87380. + DWC_DEBUGPL(DBG_CIL, "FS_PHY Enabling I2c\n");
  87381. + /* Program GUSBCFG.OtgUtmifsSel to I2C */
  87382. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87383. + usbcfg.b.otgutmifssel = 1;
  87384. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87385. +
  87386. + /* Program GI2CCTL.I2CEn */
  87387. + i2cctl.d32 = DWC_READ_REG32(&global_regs->gi2cctl);
  87388. + i2cctl.b.i2cdevaddr = 1;
  87389. + i2cctl.b.i2cen = 0;
  87390. + DWC_WRITE_REG32(&global_regs->gi2cctl, i2cctl.d32);
  87391. + i2cctl.b.i2cen = 1;
  87392. + DWC_WRITE_REG32(&global_regs->gi2cctl, i2cctl.d32);
  87393. + }
  87394. +
  87395. + } /* endif speed == DWC_SPEED_PARAM_FULL */
  87396. + else {
  87397. + /* High speed PHY. */
  87398. + if (!core_if->phy_init_done) {
  87399. + core_if->phy_init_done = 1;
  87400. + /* HS PHY parameters. These parameters are preserved
  87401. + * during soft reset so only program the first time. Do
  87402. + * a soft reset immediately after setting phyif. */
  87403. +
  87404. + if (core_if->core_params->phy_type == 2) {
  87405. + /* ULPI interface */
  87406. + usbcfg.b.ulpi_utmi_sel = 1;
  87407. + usbcfg.b.phyif = 0;
  87408. + usbcfg.b.ddrsel =
  87409. + core_if->core_params->phy_ulpi_ddr;
  87410. + } else if (core_if->core_params->phy_type == 1) {
  87411. + /* UTMI+ interface */
  87412. + usbcfg.b.ulpi_utmi_sel = 0;
  87413. + if (core_if->core_params->phy_utmi_width == 16) {
  87414. + usbcfg.b.phyif = 1;
  87415. +
  87416. + } else {
  87417. + usbcfg.b.phyif = 0;
  87418. + }
  87419. + } else {
  87420. + DWC_ERROR("FS PHY TYPE\n");
  87421. + }
  87422. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87423. + /* Reset after setting the PHY parameters */
  87424. + dwc_otg_core_reset(core_if);
  87425. + }
  87426. + }
  87427. +
  87428. + if ((core_if->hwcfg2.b.hs_phy_type == 2) &&
  87429. + (core_if->hwcfg2.b.fs_phy_type == 1) &&
  87430. + (core_if->core_params->ulpi_fs_ls)) {
  87431. + DWC_DEBUGPL(DBG_CIL, "Setting ULPI FSLS\n");
  87432. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87433. + usbcfg.b.ulpi_fsls = 1;
  87434. + usbcfg.b.ulpi_clk_sus_m = 1;
  87435. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87436. + } else {
  87437. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87438. + usbcfg.b.ulpi_fsls = 0;
  87439. + usbcfg.b.ulpi_clk_sus_m = 0;
  87440. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87441. + }
  87442. +
  87443. + /* Program the GAHBCFG Register. */
  87444. + switch (core_if->hwcfg2.b.architecture) {
  87445. +
  87446. + case DWC_SLAVE_ONLY_ARCH:
  87447. + DWC_DEBUGPL(DBG_CIL, "Slave Only Mode\n");
  87448. + ahbcfg.b.nptxfemplvl_txfemplvl =
  87449. + DWC_GAHBCFG_TXFEMPTYLVL_HALFEMPTY;
  87450. + ahbcfg.b.ptxfemplvl = DWC_GAHBCFG_TXFEMPTYLVL_HALFEMPTY;
  87451. + core_if->dma_enable = 0;
  87452. + core_if->dma_desc_enable = 0;
  87453. + break;
  87454. +
  87455. + case DWC_EXT_DMA_ARCH:
  87456. + DWC_DEBUGPL(DBG_CIL, "External DMA Mode\n");
  87457. + {
  87458. + uint8_t brst_sz = core_if->core_params->dma_burst_size;
  87459. + ahbcfg.b.hburstlen = 0;
  87460. + while (brst_sz > 1) {
  87461. + ahbcfg.b.hburstlen++;
  87462. + brst_sz >>= 1;
  87463. + }
  87464. + }
  87465. + core_if->dma_enable = (core_if->core_params->dma_enable != 0);
  87466. + core_if->dma_desc_enable =
  87467. + (core_if->core_params->dma_desc_enable != 0);
  87468. + break;
  87469. +
  87470. + case DWC_INT_DMA_ARCH:
  87471. + DWC_DEBUGPL(DBG_CIL, "Internal DMA Mode\n");
  87472. + /* Old value was DWC_GAHBCFG_INT_DMA_BURST_INCR - done for
  87473. + Host mode ISOC in issue fix - vahrama */
  87474. + /* Broadcom had altered to (1<<3)|(0<<0) - WRESP=1, max 4 beats */
  87475. + ahbcfg.b.hburstlen = (1<<3)|(0<<0);//DWC_GAHBCFG_INT_DMA_BURST_INCR4;
  87476. + core_if->dma_enable = (core_if->core_params->dma_enable != 0);
  87477. + core_if->dma_desc_enable =
  87478. + (core_if->core_params->dma_desc_enable != 0);
  87479. + break;
  87480. +
  87481. + }
  87482. + if (core_if->dma_enable) {
  87483. + if (core_if->dma_desc_enable) {
  87484. + DWC_PRINTF("Using Descriptor DMA mode\n");
  87485. + } else {
  87486. + DWC_PRINTF("Using Buffer DMA mode\n");
  87487. +
  87488. + }
  87489. + } else {
  87490. + DWC_PRINTF("Using Slave mode\n");
  87491. + core_if->dma_desc_enable = 0;
  87492. + }
  87493. +
  87494. + if (core_if->core_params->ahb_single) {
  87495. + ahbcfg.b.ahbsingle = 1;
  87496. + }
  87497. +
  87498. + ahbcfg.b.dmaenable = core_if->dma_enable;
  87499. + DWC_WRITE_REG32(&global_regs->gahbcfg, ahbcfg.d32);
  87500. +
  87501. + core_if->en_multiple_tx_fifo = core_if->hwcfg4.b.ded_fifo_en;
  87502. +
  87503. + core_if->pti_enh_enable = core_if->core_params->pti_enable != 0;
  87504. + core_if->multiproc_int_enable = core_if->core_params->mpi_enable;
  87505. + DWC_PRINTF("Periodic Transfer Interrupt Enhancement - %s\n",
  87506. + ((core_if->pti_enh_enable) ? "enabled" : "disabled"));
  87507. + DWC_PRINTF("Multiprocessor Interrupt Enhancement - %s\n",
  87508. + ((core_if->multiproc_int_enable) ? "enabled" : "disabled"));
  87509. +
  87510. + /*
  87511. + * Program the GUSBCFG register.
  87512. + */
  87513. + usbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  87514. +
  87515. + switch (core_if->hwcfg2.b.op_mode) {
  87516. + case DWC_MODE_HNP_SRP_CAPABLE:
  87517. + usbcfg.b.hnpcap = (core_if->core_params->otg_cap ==
  87518. + DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE);
  87519. + usbcfg.b.srpcap = (core_if->core_params->otg_cap !=
  87520. + DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE);
  87521. + break;
  87522. +
  87523. + case DWC_MODE_SRP_ONLY_CAPABLE:
  87524. + usbcfg.b.hnpcap = 0;
  87525. + usbcfg.b.srpcap = (core_if->core_params->otg_cap !=
  87526. + DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE);
  87527. + break;
  87528. +
  87529. + case DWC_MODE_NO_HNP_SRP_CAPABLE:
  87530. + usbcfg.b.hnpcap = 0;
  87531. + usbcfg.b.srpcap = 0;
  87532. + break;
  87533. +
  87534. + case DWC_MODE_SRP_CAPABLE_DEVICE:
  87535. + usbcfg.b.hnpcap = 0;
  87536. + usbcfg.b.srpcap = (core_if->core_params->otg_cap !=
  87537. + DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE);
  87538. + break;
  87539. +
  87540. + case DWC_MODE_NO_SRP_CAPABLE_DEVICE:
  87541. + usbcfg.b.hnpcap = 0;
  87542. + usbcfg.b.srpcap = 0;
  87543. + break;
  87544. +
  87545. + case DWC_MODE_SRP_CAPABLE_HOST:
  87546. + usbcfg.b.hnpcap = 0;
  87547. + usbcfg.b.srpcap = (core_if->core_params->otg_cap !=
  87548. + DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE);
  87549. + break;
  87550. +
  87551. + case DWC_MODE_NO_SRP_CAPABLE_HOST:
  87552. + usbcfg.b.hnpcap = 0;
  87553. + usbcfg.b.srpcap = 0;
  87554. + break;
  87555. + }
  87556. +
  87557. + DWC_WRITE_REG32(&global_regs->gusbcfg, usbcfg.d32);
  87558. +
  87559. +#ifdef CONFIG_USB_DWC_OTG_LPM
  87560. + if (core_if->core_params->lpm_enable) {
  87561. + glpmcfg_data_t lpmcfg = {.d32 = 0 };
  87562. +
  87563. + /* To enable LPM support set lpm_cap_en bit */
  87564. + lpmcfg.b.lpm_cap_en = 1;
  87565. +
  87566. + /* Make AppL1Res ACK */
  87567. + lpmcfg.b.appl_resp = 1;
  87568. +
  87569. + /* Retry 3 times */
  87570. + lpmcfg.b.retry_count = 3;
  87571. +
  87572. + DWC_MODIFY_REG32(&core_if->core_global_regs->glpmcfg,
  87573. + 0, lpmcfg.d32);
  87574. +
  87575. + }
  87576. +#endif
  87577. + if (core_if->core_params->ic_usb_cap) {
  87578. + gusbcfg_data_t gusbcfg = {.d32 = 0 };
  87579. + gusbcfg.b.ic_usb_cap = 1;
  87580. + DWC_MODIFY_REG32(&core_if->core_global_regs->gusbcfg,
  87581. + 0, gusbcfg.d32);
  87582. + }
  87583. + {
  87584. + gotgctl_data_t gotgctl = {.d32 = 0 };
  87585. + gotgctl.b.otgver = core_if->core_params->otg_ver;
  87586. + DWC_MODIFY_REG32(&core_if->core_global_regs->gotgctl, 0,
  87587. + gotgctl.d32);
  87588. + /* Set OTG version supported */
  87589. + core_if->otg_ver = core_if->core_params->otg_ver;
  87590. + DWC_PRINTF("OTG VER PARAM: %d, OTG VER FLAG: %d\n",
  87591. + core_if->core_params->otg_ver, core_if->otg_ver);
  87592. + }
  87593. +
  87594. +
  87595. + /* Enable common interrupts */
  87596. + dwc_otg_enable_common_interrupts(core_if);
  87597. +
  87598. + /* Do device or host intialization based on mode during PCD
  87599. + * and HCD initialization */
  87600. + if (dwc_otg_is_host_mode(core_if)) {
  87601. + DWC_DEBUGPL(DBG_ANY, "Host Mode\n");
  87602. + core_if->op_state = A_HOST;
  87603. + } else {
  87604. + DWC_DEBUGPL(DBG_ANY, "Device Mode\n");
  87605. + core_if->op_state = B_PERIPHERAL;
  87606. +#ifdef DWC_DEVICE_ONLY
  87607. + dwc_otg_core_dev_init(core_if);
  87608. +#endif
  87609. + }
  87610. +}
  87611. +
  87612. +/**
  87613. + * This function enables the Device mode interrupts.
  87614. + *
  87615. + * @param core_if Programming view of DWC_otg controller
  87616. + */
  87617. +void dwc_otg_enable_device_interrupts(dwc_otg_core_if_t * core_if)
  87618. +{
  87619. + gintmsk_data_t intr_mask = {.d32 = 0 };
  87620. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  87621. +
  87622. + DWC_DEBUGPL(DBG_CIL, "%s()\n", __func__);
  87623. +
  87624. + /* Disable all interrupts. */
  87625. + DWC_WRITE_REG32(&global_regs->gintmsk, 0);
  87626. +
  87627. + /* Clear any pending interrupts */
  87628. + DWC_WRITE_REG32(&global_regs->gintsts, 0xFFFFFFFF);
  87629. +
  87630. + /* Enable the common interrupts */
  87631. + dwc_otg_enable_common_interrupts(core_if);
  87632. +
  87633. + /* Enable interrupts */
  87634. + intr_mask.b.usbreset = 1;
  87635. + intr_mask.b.enumdone = 1;
  87636. + /* Disable Disconnect interrupt in Device mode */
  87637. + intr_mask.b.disconnect = 0;
  87638. +
  87639. + if (!core_if->multiproc_int_enable) {
  87640. + intr_mask.b.inepintr = 1;
  87641. + intr_mask.b.outepintr = 1;
  87642. + }
  87643. +
  87644. + intr_mask.b.erlysuspend = 1;
  87645. +
  87646. + if (core_if->en_multiple_tx_fifo == 0) {
  87647. + intr_mask.b.epmismatch = 1;
  87648. + }
  87649. +
  87650. + //intr_mask.b.incomplisoout = 1;
  87651. + intr_mask.b.incomplisoin = 1;
  87652. +
  87653. +/* Enable the ignore frame number for ISOC xfers - MAS */
  87654. +/* Disable to support high bandwith ISOC transfers - manukz */
  87655. +#if 0
  87656. +#ifdef DWC_UTE_PER_IO
  87657. + if (core_if->dma_enable) {
  87658. + if (core_if->dma_desc_enable) {
  87659. + dctl_data_t dctl1 = {.d32 = 0 };
  87660. + dctl1.b.ifrmnum = 1;
  87661. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  87662. + dctl, 0, dctl1.d32);
  87663. + DWC_DEBUG("----Enabled Ignore frame number (0x%08x)",
  87664. + DWC_READ_REG32(&core_if->dev_if->
  87665. + dev_global_regs->dctl));
  87666. + }
  87667. + }
  87668. +#endif
  87669. +#endif
  87670. +#ifdef DWC_EN_ISOC
  87671. + if (core_if->dma_enable) {
  87672. + if (core_if->dma_desc_enable == 0) {
  87673. + if (core_if->pti_enh_enable) {
  87674. + dctl_data_t dctl = {.d32 = 0 };
  87675. + dctl.b.ifrmnum = 1;
  87676. + DWC_MODIFY_REG32(&core_if->
  87677. + dev_if->dev_global_regs->dctl,
  87678. + 0, dctl.d32);
  87679. + } else {
  87680. + intr_mask.b.incomplisoin = 1;
  87681. + intr_mask.b.incomplisoout = 1;
  87682. + }
  87683. + }
  87684. + } else {
  87685. + intr_mask.b.incomplisoin = 1;
  87686. + intr_mask.b.incomplisoout = 1;
  87687. + }
  87688. +#endif /* DWC_EN_ISOC */
  87689. +
  87690. + /** @todo NGS: Should this be a module parameter? */
  87691. +#ifdef USE_PERIODIC_EP
  87692. + intr_mask.b.isooutdrop = 1;
  87693. + intr_mask.b.eopframe = 1;
  87694. + intr_mask.b.incomplisoin = 1;
  87695. + intr_mask.b.incomplisoout = 1;
  87696. +#endif
  87697. +
  87698. + DWC_MODIFY_REG32(&global_regs->gintmsk, intr_mask.d32, intr_mask.d32);
  87699. +
  87700. + DWC_DEBUGPL(DBG_CIL, "%s() gintmsk=%0x\n", __func__,
  87701. + DWC_READ_REG32(&global_regs->gintmsk));
  87702. +}
  87703. +
  87704. +/**
  87705. + * This function initializes the DWC_otg controller registers for
  87706. + * device mode.
  87707. + *
  87708. + * @param core_if Programming view of DWC_otg controller
  87709. + *
  87710. + */
  87711. +void dwc_otg_core_dev_init(dwc_otg_core_if_t * core_if)
  87712. +{
  87713. + int i;
  87714. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  87715. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  87716. + dwc_otg_core_params_t *params = core_if->core_params;
  87717. + dcfg_data_t dcfg = {.d32 = 0 };
  87718. + depctl_data_t diepctl = {.d32 = 0 };
  87719. + grstctl_t resetctl = {.d32 = 0 };
  87720. + uint32_t rx_fifo_size;
  87721. + fifosize_data_t nptxfifosize;
  87722. + fifosize_data_t txfifosize;
  87723. + dthrctl_data_t dthrctl;
  87724. + fifosize_data_t ptxfifosize;
  87725. + uint16_t rxfsiz, nptxfsiz;
  87726. + gdfifocfg_data_t gdfifocfg = {.d32 = 0 };
  87727. + hwcfg3_data_t hwcfg3 = {.d32 = 0 };
  87728. +
  87729. + /* Restart the Phy Clock */
  87730. + DWC_WRITE_REG32(core_if->pcgcctl, 0);
  87731. +
  87732. + /* Device configuration register */
  87733. + init_devspd(core_if);
  87734. + dcfg.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dcfg);
  87735. + dcfg.b.descdma = (core_if->dma_desc_enable) ? 1 : 0;
  87736. + dcfg.b.perfrint = DWC_DCFG_FRAME_INTERVAL_80;
  87737. + /* Enable Device OUT NAK in case of DDMA mode*/
  87738. + if (core_if->core_params->dev_out_nak) {
  87739. + dcfg.b.endevoutnak = 1;
  87740. + }
  87741. +
  87742. + if (core_if->core_params->cont_on_bna) {
  87743. + dctl_data_t dctl = {.d32 = 0 };
  87744. + dctl.b.encontonbna = 1;
  87745. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, 0, dctl.d32);
  87746. + }
  87747. +
  87748. +
  87749. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dcfg, dcfg.d32);
  87750. +
  87751. + /* Configure data FIFO sizes */
  87752. + if (core_if->hwcfg2.b.dynamic_fifo && params->enable_dynamic_fifo) {
  87753. + DWC_DEBUGPL(DBG_CIL, "Total FIFO Size=%d\n",
  87754. + core_if->total_fifo_size);
  87755. + DWC_DEBUGPL(DBG_CIL, "Rx FIFO Size=%d\n",
  87756. + params->dev_rx_fifo_size);
  87757. + DWC_DEBUGPL(DBG_CIL, "NP Tx FIFO Size=%d\n",
  87758. + params->dev_nperio_tx_fifo_size);
  87759. +
  87760. + /* Rx FIFO */
  87761. + DWC_DEBUGPL(DBG_CIL, "initial grxfsiz=%08x\n",
  87762. + DWC_READ_REG32(&global_regs->grxfsiz));
  87763. +
  87764. +#ifdef DWC_UTE_CFI
  87765. + core_if->pwron_rxfsiz = DWC_READ_REG32(&global_regs->grxfsiz);
  87766. + core_if->init_rxfsiz = params->dev_rx_fifo_size;
  87767. +#endif
  87768. + rx_fifo_size = params->dev_rx_fifo_size;
  87769. + DWC_WRITE_REG32(&global_regs->grxfsiz, rx_fifo_size);
  87770. +
  87771. + DWC_DEBUGPL(DBG_CIL, "new grxfsiz=%08x\n",
  87772. + DWC_READ_REG32(&global_regs->grxfsiz));
  87773. +
  87774. + /** Set Periodic Tx FIFO Mask all bits 0 */
  87775. + core_if->p_tx_msk = 0;
  87776. +
  87777. + /** Set Tx FIFO Mask all bits 0 */
  87778. + core_if->tx_msk = 0;
  87779. +
  87780. + if (core_if->en_multiple_tx_fifo == 0) {
  87781. + /* Non-periodic Tx FIFO */
  87782. + DWC_DEBUGPL(DBG_CIL, "initial gnptxfsiz=%08x\n",
  87783. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  87784. +
  87785. + nptxfifosize.b.depth = params->dev_nperio_tx_fifo_size;
  87786. + nptxfifosize.b.startaddr = params->dev_rx_fifo_size;
  87787. +
  87788. + DWC_WRITE_REG32(&global_regs->gnptxfsiz,
  87789. + nptxfifosize.d32);
  87790. +
  87791. + DWC_DEBUGPL(DBG_CIL, "new gnptxfsiz=%08x\n",
  87792. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  87793. +
  87794. + /**@todo NGS: Fix Periodic FIFO Sizing! */
  87795. + /*
  87796. + * Periodic Tx FIFOs These FIFOs are numbered from 1 to 15.
  87797. + * Indexes of the FIFO size module parameters in the
  87798. + * dev_perio_tx_fifo_size array and the FIFO size registers in
  87799. + * the dptxfsiz array run from 0 to 14.
  87800. + */
  87801. + /** @todo Finish debug of this */
  87802. + ptxfifosize.b.startaddr =
  87803. + nptxfifosize.b.startaddr + nptxfifosize.b.depth;
  87804. + for (i = 0; i < core_if->hwcfg4.b.num_dev_perio_in_ep; i++) {
  87805. + ptxfifosize.b.depth =
  87806. + params->dev_perio_tx_fifo_size[i];
  87807. + DWC_DEBUGPL(DBG_CIL,
  87808. + "initial dtxfsiz[%d]=%08x\n", i,
  87809. + DWC_READ_REG32(&global_regs->dtxfsiz
  87810. + [i]));
  87811. + DWC_WRITE_REG32(&global_regs->dtxfsiz[i],
  87812. + ptxfifosize.d32);
  87813. + DWC_DEBUGPL(DBG_CIL, "new dtxfsiz[%d]=%08x\n",
  87814. + i,
  87815. + DWC_READ_REG32(&global_regs->dtxfsiz
  87816. + [i]));
  87817. + ptxfifosize.b.startaddr += ptxfifosize.b.depth;
  87818. + }
  87819. + } else {
  87820. + /*
  87821. + * Tx FIFOs These FIFOs are numbered from 1 to 15.
  87822. + * Indexes of the FIFO size module parameters in the
  87823. + * dev_tx_fifo_size array and the FIFO size registers in
  87824. + * the dtxfsiz array run from 0 to 14.
  87825. + */
  87826. +
  87827. + /* Non-periodic Tx FIFO */
  87828. + DWC_DEBUGPL(DBG_CIL, "initial gnptxfsiz=%08x\n",
  87829. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  87830. +
  87831. +#ifdef DWC_UTE_CFI
  87832. + core_if->pwron_gnptxfsiz =
  87833. + (DWC_READ_REG32(&global_regs->gnptxfsiz) >> 16);
  87834. + core_if->init_gnptxfsiz =
  87835. + params->dev_nperio_tx_fifo_size;
  87836. +#endif
  87837. + nptxfifosize.b.depth = params->dev_nperio_tx_fifo_size;
  87838. + nptxfifosize.b.startaddr = params->dev_rx_fifo_size;
  87839. +
  87840. + DWC_WRITE_REG32(&global_regs->gnptxfsiz,
  87841. + nptxfifosize.d32);
  87842. +
  87843. + DWC_DEBUGPL(DBG_CIL, "new gnptxfsiz=%08x\n",
  87844. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  87845. +
  87846. + txfifosize.b.startaddr =
  87847. + nptxfifosize.b.startaddr + nptxfifosize.b.depth;
  87848. +
  87849. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; i++) {
  87850. +
  87851. + txfifosize.b.depth =
  87852. + params->dev_tx_fifo_size[i];
  87853. +
  87854. + DWC_DEBUGPL(DBG_CIL,
  87855. + "initial dtxfsiz[%d]=%08x\n",
  87856. + i,
  87857. + DWC_READ_REG32(&global_regs->dtxfsiz
  87858. + [i]));
  87859. +
  87860. +#ifdef DWC_UTE_CFI
  87861. + core_if->pwron_txfsiz[i] =
  87862. + (DWC_READ_REG32
  87863. + (&global_regs->dtxfsiz[i]) >> 16);
  87864. + core_if->init_txfsiz[i] =
  87865. + params->dev_tx_fifo_size[i];
  87866. +#endif
  87867. + DWC_WRITE_REG32(&global_regs->dtxfsiz[i],
  87868. + txfifosize.d32);
  87869. +
  87870. + DWC_DEBUGPL(DBG_CIL,
  87871. + "new dtxfsiz[%d]=%08x\n",
  87872. + i,
  87873. + DWC_READ_REG32(&global_regs->dtxfsiz
  87874. + [i]));
  87875. +
  87876. + txfifosize.b.startaddr += txfifosize.b.depth;
  87877. + }
  87878. + if (core_if->snpsid <= OTG_CORE_REV_2_94a) {
  87879. + /* Calculating DFIFOCFG for Device mode to include RxFIFO and NPTXFIFO */
  87880. + gdfifocfg.d32 = DWC_READ_REG32(&global_regs->gdfifocfg);
  87881. + hwcfg3.d32 = DWC_READ_REG32(&global_regs->ghwcfg3);
  87882. + gdfifocfg.b.gdfifocfg = (DWC_READ_REG32(&global_regs->ghwcfg3) >> 16);
  87883. + DWC_WRITE_REG32(&global_regs->gdfifocfg, gdfifocfg.d32);
  87884. + rxfsiz = (DWC_READ_REG32(&global_regs->grxfsiz) & 0x0000ffff);
  87885. + nptxfsiz = (DWC_READ_REG32(&global_regs->gnptxfsiz) >> 16);
  87886. + gdfifocfg.b.epinfobase = rxfsiz + nptxfsiz;
  87887. + DWC_WRITE_REG32(&global_regs->gdfifocfg, gdfifocfg.d32);
  87888. + }
  87889. + }
  87890. +
  87891. + /* Flush the FIFOs */
  87892. + dwc_otg_flush_tx_fifo(core_if, 0x10); /* all Tx FIFOs */
  87893. + dwc_otg_flush_rx_fifo(core_if);
  87894. +
  87895. + /* Flush the Learning Queue. */
  87896. + resetctl.b.intknqflsh = 1;
  87897. + DWC_WRITE_REG32(&core_if->core_global_regs->grstctl, resetctl.d32);
  87898. +
  87899. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable) {
  87900. + core_if->start_predict = 0;
  87901. + for (i = 0; i<= core_if->dev_if->num_in_eps; ++i) {
  87902. + core_if->nextep_seq[i] = 0xff; // 0xff - EP not active
  87903. + }
  87904. + core_if->nextep_seq[0] = 0;
  87905. + core_if->first_in_nextep_seq = 0;
  87906. + diepctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[0]->diepctl);
  87907. + diepctl.b.nextep = 0;
  87908. + DWC_WRITE_REG32(&dev_if->in_ep_regs[0]->diepctl, diepctl.d32);
  87909. +
  87910. + /* Update IN Endpoint Mismatch Count by active IN NP EP count + 1 */
  87911. + dcfg.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dcfg);
  87912. + dcfg.b.epmscnt = 2;
  87913. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dcfg, dcfg.d32);
  87914. +
  87915. + DWC_DEBUGPL(DBG_CILV,"%s first_in_nextep_seq= %2d; nextep_seq[]:\n",
  87916. + __func__, core_if->first_in_nextep_seq);
  87917. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  87918. + DWC_DEBUGPL(DBG_CILV, "%2d ", core_if->nextep_seq[i]);
  87919. + }
  87920. + DWC_DEBUGPL(DBG_CILV,"\n");
  87921. + }
  87922. +
  87923. + /* Clear all pending Device Interrupts */
  87924. + /** @todo - if the condition needed to be checked
  87925. + * or in any case all pending interrutps should be cleared?
  87926. + */
  87927. + if (core_if->multiproc_int_enable) {
  87928. + for (i = 0; i < core_if->dev_if->num_in_eps; ++i) {
  87929. + DWC_WRITE_REG32(&dev_if->
  87930. + dev_global_regs->diepeachintmsk[i], 0);
  87931. + }
  87932. + }
  87933. +
  87934. + for (i = 0; i < core_if->dev_if->num_out_eps; ++i) {
  87935. + DWC_WRITE_REG32(&dev_if->
  87936. + dev_global_regs->doepeachintmsk[i], 0);
  87937. + }
  87938. +
  87939. + DWC_WRITE_REG32(&dev_if->dev_global_regs->deachint, 0xFFFFFFFF);
  87940. + DWC_WRITE_REG32(&dev_if->dev_global_regs->deachintmsk, 0);
  87941. + } else {
  87942. + DWC_WRITE_REG32(&dev_if->dev_global_regs->diepmsk, 0);
  87943. + DWC_WRITE_REG32(&dev_if->dev_global_regs->doepmsk, 0);
  87944. + DWC_WRITE_REG32(&dev_if->dev_global_regs->daint, 0xFFFFFFFF);
  87945. + DWC_WRITE_REG32(&dev_if->dev_global_regs->daintmsk, 0);
  87946. + }
  87947. +
  87948. + for (i = 0; i <= dev_if->num_in_eps; i++) {
  87949. + depctl_data_t depctl;
  87950. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  87951. + if (depctl.b.epena) {
  87952. + depctl.d32 = 0;
  87953. + depctl.b.epdis = 1;
  87954. + depctl.b.snak = 1;
  87955. + } else {
  87956. + depctl.d32 = 0;
  87957. + }
  87958. +
  87959. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepctl, depctl.d32);
  87960. +
  87961. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->dieptsiz, 0);
  87962. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepdma, 0);
  87963. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepint, 0xFF);
  87964. + }
  87965. +
  87966. + for (i = 0; i <= dev_if->num_out_eps; i++) {
  87967. + depctl_data_t depctl;
  87968. + depctl.d32 = DWC_READ_REG32(&dev_if->out_ep_regs[i]->doepctl);
  87969. + if (depctl.b.epena) {
  87970. + dctl_data_t dctl = {.d32 = 0 };
  87971. + gintmsk_data_t gintsts = {.d32 = 0 };
  87972. + doepint_data_t doepint = {.d32 = 0 };
  87973. + dctl.b.sgoutnak = 1;
  87974. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  87975. + do {
  87976. + dwc_udelay(10);
  87977. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  87978. + } while (!gintsts.b.goutnakeff);
  87979. + gintsts.d32 = 0;
  87980. + gintsts.b.goutnakeff = 1;
  87981. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  87982. +
  87983. + depctl.d32 = 0;
  87984. + depctl.b.epdis = 1;
  87985. + depctl.b.snak = 1;
  87986. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[i]->doepctl, depctl.d32);
  87987. + do {
  87988. + dwc_udelay(10);
  87989. + doepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  87990. + out_ep_regs[i]->doepint);
  87991. + } while (!doepint.b.epdisabled);
  87992. +
  87993. + doepint.b.epdisabled = 1;
  87994. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[i]->doepint, doepint.d32);
  87995. +
  87996. + dctl.d32 = 0;
  87997. + dctl.b.cgoutnak = 1;
  87998. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  87999. + } else {
  88000. + depctl.d32 = 0;
  88001. + }
  88002. +
  88003. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doepctl, depctl.d32);
  88004. +
  88005. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doeptsiz, 0);
  88006. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doepdma, 0);
  88007. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doepint, 0xFF);
  88008. + }
  88009. +
  88010. + if (core_if->en_multiple_tx_fifo && core_if->dma_enable) {
  88011. + dev_if->non_iso_tx_thr_en = params->thr_ctl & 0x1;
  88012. + dev_if->iso_tx_thr_en = (params->thr_ctl >> 1) & 0x1;
  88013. + dev_if->rx_thr_en = (params->thr_ctl >> 2) & 0x1;
  88014. +
  88015. + dev_if->rx_thr_length = params->rx_thr_length;
  88016. + dev_if->tx_thr_length = params->tx_thr_length;
  88017. +
  88018. + dev_if->setup_desc_index = 0;
  88019. +
  88020. + dthrctl.d32 = 0;
  88021. + dthrctl.b.non_iso_thr_en = dev_if->non_iso_tx_thr_en;
  88022. + dthrctl.b.iso_thr_en = dev_if->iso_tx_thr_en;
  88023. + dthrctl.b.tx_thr_len = dev_if->tx_thr_length;
  88024. + dthrctl.b.rx_thr_en = dev_if->rx_thr_en;
  88025. + dthrctl.b.rx_thr_len = dev_if->rx_thr_length;
  88026. + dthrctl.b.ahb_thr_ratio = params->ahb_thr_ratio;
  88027. +
  88028. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dtknqr3_dthrctl,
  88029. + dthrctl.d32);
  88030. +
  88031. + DWC_DEBUGPL(DBG_CIL,
  88032. + "Non ISO Tx Thr - %d\nISO Tx Thr - %d\nRx Thr - %d\nTx Thr Len - %d\nRx Thr Len - %d\n",
  88033. + dthrctl.b.non_iso_thr_en, dthrctl.b.iso_thr_en,
  88034. + dthrctl.b.rx_thr_en, dthrctl.b.tx_thr_len,
  88035. + dthrctl.b.rx_thr_len);
  88036. +
  88037. + }
  88038. +
  88039. + dwc_otg_enable_device_interrupts(core_if);
  88040. +
  88041. + {
  88042. + diepmsk_data_t msk = {.d32 = 0 };
  88043. + msk.b.txfifoundrn = 1;
  88044. + if (core_if->multiproc_int_enable) {
  88045. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->
  88046. + diepeachintmsk[0], msk.d32, msk.d32);
  88047. + } else {
  88048. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->diepmsk,
  88049. + msk.d32, msk.d32);
  88050. + }
  88051. + }
  88052. +
  88053. + if (core_if->multiproc_int_enable) {
  88054. + /* Set NAK on Babble */
  88055. + dctl_data_t dctl = {.d32 = 0 };
  88056. + dctl.b.nakonbble = 1;
  88057. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, 0, dctl.d32);
  88058. + }
  88059. +
  88060. + if (core_if->snpsid >= OTG_CORE_REV_2_94a) {
  88061. + dctl_data_t dctl = {.d32 = 0 };
  88062. + dctl.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dctl);
  88063. + dctl.b.sftdiscon = 0;
  88064. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dctl, dctl.d32);
  88065. + }
  88066. +}
  88067. +
  88068. +/**
  88069. + * This function enables the Host mode interrupts.
  88070. + *
  88071. + * @param core_if Programming view of DWC_otg controller
  88072. + */
  88073. +void dwc_otg_enable_host_interrupts(dwc_otg_core_if_t * core_if)
  88074. +{
  88075. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  88076. + gintmsk_data_t intr_mask = {.d32 = 0 };
  88077. +
  88078. + DWC_DEBUGPL(DBG_CIL, "%s(%p)\n", __func__, core_if);
  88079. +
  88080. + /* Disable all interrupts. */
  88081. + DWC_WRITE_REG32(&global_regs->gintmsk, 0);
  88082. +
  88083. + /* Clear any pending interrupts. */
  88084. + DWC_WRITE_REG32(&global_regs->gintsts, 0xFFFFFFFF);
  88085. +
  88086. + /* Enable the common interrupts */
  88087. + dwc_otg_enable_common_interrupts(core_if);
  88088. +
  88089. + /*
  88090. + * Enable host mode interrupts without disturbing common
  88091. + * interrupts.
  88092. + */
  88093. +
  88094. + intr_mask.b.disconnect = 1;
  88095. + intr_mask.b.portintr = 1;
  88096. + intr_mask.b.hcintr = 1;
  88097. +
  88098. + DWC_MODIFY_REG32(&global_regs->gintmsk, intr_mask.d32, intr_mask.d32);
  88099. +}
  88100. +
  88101. +/**
  88102. + * This function disables the Host Mode interrupts.
  88103. + *
  88104. + * @param core_if Programming view of DWC_otg controller
  88105. + */
  88106. +void dwc_otg_disable_host_interrupts(dwc_otg_core_if_t * core_if)
  88107. +{
  88108. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  88109. + gintmsk_data_t intr_mask = {.d32 = 0 };
  88110. +
  88111. + DWC_DEBUGPL(DBG_CILV, "%s()\n", __func__);
  88112. +
  88113. + /*
  88114. + * Disable host mode interrupts without disturbing common
  88115. + * interrupts.
  88116. + */
  88117. + intr_mask.b.sofintr = 1;
  88118. + intr_mask.b.portintr = 1;
  88119. + intr_mask.b.hcintr = 1;
  88120. + intr_mask.b.ptxfempty = 1;
  88121. + intr_mask.b.nptxfempty = 1;
  88122. +
  88123. + DWC_MODIFY_REG32(&global_regs->gintmsk, intr_mask.d32, 0);
  88124. +}
  88125. +
  88126. +/**
  88127. + * This function initializes the DWC_otg controller registers for
  88128. + * host mode.
  88129. + *
  88130. + * This function flushes the Tx and Rx FIFOs and it flushes any entries in the
  88131. + * request queues. Host channels are reset to ensure that they are ready for
  88132. + * performing transfers.
  88133. + *
  88134. + * @param core_if Programming view of DWC_otg controller
  88135. + *
  88136. + */
  88137. +void dwc_otg_core_host_init(dwc_otg_core_if_t * core_if)
  88138. +{
  88139. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  88140. + dwc_otg_host_if_t *host_if = core_if->host_if;
  88141. + dwc_otg_core_params_t *params = core_if->core_params;
  88142. + hprt0_data_t hprt0 = {.d32 = 0 };
  88143. + fifosize_data_t nptxfifosize;
  88144. + fifosize_data_t ptxfifosize;
  88145. + uint16_t rxfsiz, nptxfsiz, hptxfsiz;
  88146. + gdfifocfg_data_t gdfifocfg = {.d32 = 0 };
  88147. + int i;
  88148. + hcchar_data_t hcchar;
  88149. + hcfg_data_t hcfg;
  88150. + hfir_data_t hfir;
  88151. + dwc_otg_hc_regs_t *hc_regs;
  88152. + int num_channels;
  88153. + gotgctl_data_t gotgctl = {.d32 = 0 };
  88154. +
  88155. + DWC_DEBUGPL(DBG_CILV, "%s(%p)\n", __func__, core_if);
  88156. +
  88157. + /* Restart the Phy Clock */
  88158. + DWC_WRITE_REG32(core_if->pcgcctl, 0);
  88159. +
  88160. + /* Initialize Host Configuration Register */
  88161. + init_fslspclksel(core_if);
  88162. + if (core_if->core_params->speed == DWC_SPEED_PARAM_FULL) {
  88163. + hcfg.d32 = DWC_READ_REG32(&host_if->host_global_regs->hcfg);
  88164. + hcfg.b.fslssupp = 1;
  88165. + DWC_WRITE_REG32(&host_if->host_global_regs->hcfg, hcfg.d32);
  88166. +
  88167. + }
  88168. +
  88169. + /* This bit allows dynamic reloading of the HFIR register
  88170. + * during runtime. This bit needs to be programmed during
  88171. + * initial configuration and its value must not be changed
  88172. + * during runtime.*/
  88173. + if (core_if->core_params->reload_ctl == 1) {
  88174. + hfir.d32 = DWC_READ_REG32(&host_if->host_global_regs->hfir);
  88175. + hfir.b.hfirrldctrl = 1;
  88176. + DWC_WRITE_REG32(&host_if->host_global_regs->hfir, hfir.d32);
  88177. + }
  88178. +
  88179. + if (core_if->core_params->dma_desc_enable) {
  88180. + uint8_t op_mode = core_if->hwcfg2.b.op_mode;
  88181. + if (!
  88182. + (core_if->hwcfg4.b.desc_dma
  88183. + && (core_if->snpsid >= OTG_CORE_REV_2_90a)
  88184. + && ((op_mode == DWC_HWCFG2_OP_MODE_HNP_SRP_CAPABLE_OTG)
  88185. + || (op_mode == DWC_HWCFG2_OP_MODE_SRP_ONLY_CAPABLE_OTG)
  88186. + || (op_mode ==
  88187. + DWC_HWCFG2_OP_MODE_NO_HNP_SRP_CAPABLE_OTG)
  88188. + || (op_mode == DWC_HWCFG2_OP_MODE_SRP_CAPABLE_HOST)
  88189. + || (op_mode ==
  88190. + DWC_HWCFG2_OP_MODE_NO_SRP_CAPABLE_HOST)))) {
  88191. +
  88192. + DWC_ERROR("Host can't operate in Descriptor DMA mode.\n"
  88193. + "Either core version is below 2.90a or "
  88194. + "GHWCFG2, GHWCFG4 registers' values do not allow Descriptor DMA in host mode.\n"
  88195. + "To run the driver in Buffer DMA host mode set dma_desc_enable "
  88196. + "module parameter to 0.\n");
  88197. + return;
  88198. + }
  88199. + hcfg.d32 = DWC_READ_REG32(&host_if->host_global_regs->hcfg);
  88200. + hcfg.b.descdma = 1;
  88201. + DWC_WRITE_REG32(&host_if->host_global_regs->hcfg, hcfg.d32);
  88202. + }
  88203. +
  88204. + /* Configure data FIFO sizes */
  88205. + if (core_if->hwcfg2.b.dynamic_fifo && params->enable_dynamic_fifo) {
  88206. + DWC_DEBUGPL(DBG_CIL, "Total FIFO Size=%d\n",
  88207. + core_if->total_fifo_size);
  88208. + DWC_DEBUGPL(DBG_CIL, "Rx FIFO Size=%d\n",
  88209. + params->host_rx_fifo_size);
  88210. + DWC_DEBUGPL(DBG_CIL, "NP Tx FIFO Size=%d\n",
  88211. + params->host_nperio_tx_fifo_size);
  88212. + DWC_DEBUGPL(DBG_CIL, "P Tx FIFO Size=%d\n",
  88213. + params->host_perio_tx_fifo_size);
  88214. +
  88215. + /* Rx FIFO */
  88216. + DWC_DEBUGPL(DBG_CIL, "initial grxfsiz=%08x\n",
  88217. + DWC_READ_REG32(&global_regs->grxfsiz));
  88218. + DWC_WRITE_REG32(&global_regs->grxfsiz,
  88219. + params->host_rx_fifo_size);
  88220. + DWC_DEBUGPL(DBG_CIL, "new grxfsiz=%08x\n",
  88221. + DWC_READ_REG32(&global_regs->grxfsiz));
  88222. +
  88223. + /* Non-periodic Tx FIFO */
  88224. + DWC_DEBUGPL(DBG_CIL, "initial gnptxfsiz=%08x\n",
  88225. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  88226. + nptxfifosize.b.depth = params->host_nperio_tx_fifo_size;
  88227. + nptxfifosize.b.startaddr = params->host_rx_fifo_size;
  88228. + DWC_WRITE_REG32(&global_regs->gnptxfsiz, nptxfifosize.d32);
  88229. + DWC_DEBUGPL(DBG_CIL, "new gnptxfsiz=%08x\n",
  88230. + DWC_READ_REG32(&global_regs->gnptxfsiz));
  88231. +
  88232. + /* Periodic Tx FIFO */
  88233. + DWC_DEBUGPL(DBG_CIL, "initial hptxfsiz=%08x\n",
  88234. + DWC_READ_REG32(&global_regs->hptxfsiz));
  88235. + ptxfifosize.b.depth = params->host_perio_tx_fifo_size;
  88236. + ptxfifosize.b.startaddr =
  88237. + nptxfifosize.b.startaddr + nptxfifosize.b.depth;
  88238. + DWC_WRITE_REG32(&global_regs->hptxfsiz, ptxfifosize.d32);
  88239. + DWC_DEBUGPL(DBG_CIL, "new hptxfsiz=%08x\n",
  88240. + DWC_READ_REG32(&global_regs->hptxfsiz));
  88241. +
  88242. + if (core_if->en_multiple_tx_fifo
  88243. + && core_if->snpsid <= OTG_CORE_REV_2_94a) {
  88244. + /* Global DFIFOCFG calculation for Host mode - include RxFIFO, NPTXFIFO and HPTXFIFO */
  88245. + gdfifocfg.d32 = DWC_READ_REG32(&global_regs->gdfifocfg);
  88246. + rxfsiz = (DWC_READ_REG32(&global_regs->grxfsiz) & 0x0000ffff);
  88247. + nptxfsiz = (DWC_READ_REG32(&global_regs->gnptxfsiz) >> 16);
  88248. + hptxfsiz = (DWC_READ_REG32(&global_regs->hptxfsiz) >> 16);
  88249. + gdfifocfg.b.epinfobase = rxfsiz + nptxfsiz + hptxfsiz;
  88250. + DWC_WRITE_REG32(&global_regs->gdfifocfg, gdfifocfg.d32);
  88251. + }
  88252. + }
  88253. +
  88254. + /* TODO - check this */
  88255. + /* Clear Host Set HNP Enable in the OTG Control Register */
  88256. + gotgctl.b.hstsethnpen = 1;
  88257. + DWC_MODIFY_REG32(&global_regs->gotgctl, gotgctl.d32, 0);
  88258. + /* Make sure the FIFOs are flushed. */
  88259. + dwc_otg_flush_tx_fifo(core_if, 0x10 /* all TX FIFOs */ );
  88260. + dwc_otg_flush_rx_fifo(core_if);
  88261. +
  88262. + /* Clear Host Set HNP Enable in the OTG Control Register */
  88263. + gotgctl.b.hstsethnpen = 1;
  88264. + DWC_MODIFY_REG32(&global_regs->gotgctl, gotgctl.d32, 0);
  88265. +
  88266. + if (!core_if->core_params->dma_desc_enable) {
  88267. + /* Flush out any leftover queued requests. */
  88268. + num_channels = core_if->core_params->host_channels;
  88269. +
  88270. + for (i = 0; i < num_channels; i++) {
  88271. + hc_regs = core_if->host_if->hc_regs[i];
  88272. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88273. + hcchar.b.chen = 0;
  88274. + hcchar.b.chdis = 1;
  88275. + hcchar.b.epdir = 0;
  88276. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  88277. + }
  88278. +
  88279. + /* Halt all channels to put them into a known state. */
  88280. + for (i = 0; i < num_channels; i++) {
  88281. + int count = 0;
  88282. + hc_regs = core_if->host_if->hc_regs[i];
  88283. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88284. + hcchar.b.chen = 1;
  88285. + hcchar.b.chdis = 1;
  88286. + hcchar.b.epdir = 0;
  88287. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  88288. + DWC_DEBUGPL(DBG_HCDV, "%s: Halt channel %d regs %p\n", __func__, i, hc_regs);
  88289. + do {
  88290. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88291. + if (++count > 1000) {
  88292. + DWC_ERROR
  88293. + ("%s: Unable to clear halt on channel %d (timeout HCCHAR 0x%X @%p)\n",
  88294. + __func__, i, hcchar.d32, &hc_regs->hcchar);
  88295. + break;
  88296. + }
  88297. + dwc_udelay(1);
  88298. + } while (hcchar.b.chen);
  88299. + }
  88300. + }
  88301. +
  88302. + /* Turn on the vbus power. */
  88303. + DWC_PRINTF("Init: Port Power? op_state=%d\n", core_if->op_state);
  88304. + if (core_if->op_state == A_HOST) {
  88305. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  88306. + DWC_PRINTF("Init: Power Port (%d)\n", hprt0.b.prtpwr);
  88307. + if (hprt0.b.prtpwr == 0) {
  88308. + hprt0.b.prtpwr = 1;
  88309. + DWC_WRITE_REG32(host_if->hprt0, hprt0.d32);
  88310. + }
  88311. + }
  88312. +
  88313. + dwc_otg_enable_host_interrupts(core_if);
  88314. +}
  88315. +
  88316. +/**
  88317. + * Prepares a host channel for transferring packets to/from a specific
  88318. + * endpoint. The HCCHARn register is set up with the characteristics specified
  88319. + * in _hc. Host channel interrupts that may need to be serviced while this
  88320. + * transfer is in progress are enabled.
  88321. + *
  88322. + * @param core_if Programming view of DWC_otg controller
  88323. + * @param hc Information needed to initialize the host channel
  88324. + */
  88325. +void dwc_otg_hc_init(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  88326. +{
  88327. + hcintmsk_data_t hc_intr_mask;
  88328. + hcchar_data_t hcchar;
  88329. + hcsplt_data_t hcsplt;
  88330. +
  88331. + uint8_t hc_num = hc->hc_num;
  88332. + dwc_otg_host_if_t *host_if = core_if->host_if;
  88333. + dwc_otg_hc_regs_t *hc_regs = host_if->hc_regs[hc_num];
  88334. +
  88335. + /* Clear old interrupt conditions for this host channel. */
  88336. + hc_intr_mask.d32 = 0xFFFFFFFF;
  88337. + hc_intr_mask.b.reserved14_31 = 0;
  88338. + DWC_WRITE_REG32(&hc_regs->hcint, hc_intr_mask.d32);
  88339. +
  88340. + /* Enable channel interrupts required for this transfer. */
  88341. + hc_intr_mask.d32 = 0;
  88342. + hc_intr_mask.b.chhltd = 1;
  88343. + if (core_if->dma_enable) {
  88344. + /* For Descriptor DMA mode core halts the channel on AHB error. Interrupt is not required */
  88345. + if (!core_if->dma_desc_enable)
  88346. + hc_intr_mask.b.ahberr = 1;
  88347. + else {
  88348. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC)
  88349. + hc_intr_mask.b.xfercompl = 1;
  88350. + }
  88351. +
  88352. + if (hc->error_state && !hc->do_split &&
  88353. + hc->ep_type != DWC_OTG_EP_TYPE_ISOC) {
  88354. + hc_intr_mask.b.ack = 1;
  88355. + if (hc->ep_is_in) {
  88356. + hc_intr_mask.b.datatglerr = 1;
  88357. + if (hc->ep_type != DWC_OTG_EP_TYPE_INTR) {
  88358. + hc_intr_mask.b.nak = 1;
  88359. + }
  88360. + }
  88361. + }
  88362. + } else {
  88363. + switch (hc->ep_type) {
  88364. + case DWC_OTG_EP_TYPE_CONTROL:
  88365. + case DWC_OTG_EP_TYPE_BULK:
  88366. + hc_intr_mask.b.xfercompl = 1;
  88367. + hc_intr_mask.b.stall = 1;
  88368. + hc_intr_mask.b.xacterr = 1;
  88369. + hc_intr_mask.b.datatglerr = 1;
  88370. + if (hc->ep_is_in) {
  88371. + hc_intr_mask.b.bblerr = 1;
  88372. + } else {
  88373. + hc_intr_mask.b.nak = 1;
  88374. + hc_intr_mask.b.nyet = 1;
  88375. + if (hc->do_ping) {
  88376. + hc_intr_mask.b.ack = 1;
  88377. + }
  88378. + }
  88379. +
  88380. + if (hc->do_split) {
  88381. + hc_intr_mask.b.nak = 1;
  88382. + if (hc->complete_split) {
  88383. + hc_intr_mask.b.nyet = 1;
  88384. + } else {
  88385. + hc_intr_mask.b.ack = 1;
  88386. + }
  88387. + }
  88388. +
  88389. + if (hc->error_state) {
  88390. + hc_intr_mask.b.ack = 1;
  88391. + }
  88392. + break;
  88393. + case DWC_OTG_EP_TYPE_INTR:
  88394. + hc_intr_mask.b.xfercompl = 1;
  88395. + hc_intr_mask.b.nak = 1;
  88396. + hc_intr_mask.b.stall = 1;
  88397. + hc_intr_mask.b.xacterr = 1;
  88398. + hc_intr_mask.b.datatglerr = 1;
  88399. + hc_intr_mask.b.frmovrun = 1;
  88400. +
  88401. + if (hc->ep_is_in) {
  88402. + hc_intr_mask.b.bblerr = 1;
  88403. + }
  88404. + if (hc->error_state) {
  88405. + hc_intr_mask.b.ack = 1;
  88406. + }
  88407. + if (hc->do_split) {
  88408. + if (hc->complete_split) {
  88409. + hc_intr_mask.b.nyet = 1;
  88410. + } else {
  88411. + hc_intr_mask.b.ack = 1;
  88412. + }
  88413. + }
  88414. + break;
  88415. + case DWC_OTG_EP_TYPE_ISOC:
  88416. + hc_intr_mask.b.xfercompl = 1;
  88417. + hc_intr_mask.b.frmovrun = 1;
  88418. + hc_intr_mask.b.ack = 1;
  88419. +
  88420. + if (hc->ep_is_in) {
  88421. + hc_intr_mask.b.xacterr = 1;
  88422. + hc_intr_mask.b.bblerr = 1;
  88423. + }
  88424. + break;
  88425. + }
  88426. + }
  88427. + DWC_WRITE_REG32(&hc_regs->hcintmsk, hc_intr_mask.d32);
  88428. +
  88429. + /*
  88430. + * Program the HCCHARn register with the endpoint characteristics for
  88431. + * the current transfer.
  88432. + */
  88433. + hcchar.d32 = 0;
  88434. + hcchar.b.devaddr = hc->dev_addr;
  88435. + hcchar.b.epnum = hc->ep_num;
  88436. + hcchar.b.epdir = hc->ep_is_in;
  88437. + hcchar.b.lspddev = (hc->speed == DWC_OTG_EP_SPEED_LOW);
  88438. + hcchar.b.eptype = hc->ep_type;
  88439. + hcchar.b.mps = hc->max_packet;
  88440. +
  88441. + DWC_WRITE_REG32(&host_if->hc_regs[hc_num]->hcchar, hcchar.d32);
  88442. +
  88443. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d, Dev Addr %d, EP #%d\n",
  88444. + __func__, hc->hc_num, hcchar.b.devaddr, hcchar.b.epnum);
  88445. + DWC_DEBUGPL(DBG_HCDV, " Is In %d, Is Low Speed %d, EP Type %d, "
  88446. + "Max Pkt %d, Multi Cnt %d\n",
  88447. + hcchar.b.epdir, hcchar.b.lspddev, hcchar.b.eptype,
  88448. + hcchar.b.mps, hcchar.b.multicnt);
  88449. +
  88450. + /*
  88451. + * Program the HCSPLIT register for SPLITs
  88452. + */
  88453. + hcsplt.d32 = 0;
  88454. + if (hc->do_split) {
  88455. + DWC_DEBUGPL(DBG_HCDV, "Programming HC %d with split --> %s\n",
  88456. + hc->hc_num,
  88457. + hc->complete_split ? "CSPLIT" : "SSPLIT");
  88458. + hcsplt.b.compsplt = hc->complete_split;
  88459. + hcsplt.b.xactpos = hc->xact_pos;
  88460. + hcsplt.b.hubaddr = hc->hub_addr;
  88461. + hcsplt.b.prtaddr = hc->port_addr;
  88462. + DWC_DEBUGPL(DBG_HCDV, "\t comp split %d\n", hc->complete_split);
  88463. + DWC_DEBUGPL(DBG_HCDV, "\t xact pos %d\n", hc->xact_pos);
  88464. + DWC_DEBUGPL(DBG_HCDV, "\t hub addr %d\n", hc->hub_addr);
  88465. + DWC_DEBUGPL(DBG_HCDV, "\t port addr %d\n", hc->port_addr);
  88466. + DWC_DEBUGPL(DBG_HCDV, "\t is_in %d\n", hc->ep_is_in);
  88467. + DWC_DEBUGPL(DBG_HCDV, "\t Max Pkt: %d\n", hcchar.b.mps);
  88468. + DWC_DEBUGPL(DBG_HCDV, "\t xferlen: %d\n", hc->xfer_len);
  88469. + }
  88470. + DWC_WRITE_REG32(&host_if->hc_regs[hc_num]->hcsplt, hcsplt.d32);
  88471. +
  88472. +}
  88473. +
  88474. +/**
  88475. + * Attempts to halt a host channel. This function should only be called in
  88476. + * Slave mode or to abort a transfer in either Slave mode or DMA mode. Under
  88477. + * normal circumstances in DMA mode, the controller halts the channel when the
  88478. + * transfer is complete or a condition occurs that requires application
  88479. + * intervention.
  88480. + *
  88481. + * In slave mode, checks for a free request queue entry, then sets the Channel
  88482. + * Enable and Channel Disable bits of the Host Channel Characteristics
  88483. + * register of the specified channel to intiate the halt. If there is no free
  88484. + * request queue entry, sets only the Channel Disable bit of the HCCHARn
  88485. + * register to flush requests for this channel. In the latter case, sets a
  88486. + * flag to indicate that the host channel needs to be halted when a request
  88487. + * queue slot is open.
  88488. + *
  88489. + * In DMA mode, always sets the Channel Enable and Channel Disable bits of the
  88490. + * HCCHARn register. The controller ensures there is space in the request
  88491. + * queue before submitting the halt request.
  88492. + *
  88493. + * Some time may elapse before the core flushes any posted requests for this
  88494. + * host channel and halts. The Channel Halted interrupt handler completes the
  88495. + * deactivation of the host channel.
  88496. + *
  88497. + * @param core_if Controller register interface.
  88498. + * @param hc Host channel to halt.
  88499. + * @param halt_status Reason for halting the channel.
  88500. + */
  88501. +void dwc_otg_hc_halt(dwc_otg_core_if_t * core_if,
  88502. + dwc_hc_t * hc, dwc_otg_halt_status_e halt_status)
  88503. +{
  88504. + gnptxsts_data_t nptxsts;
  88505. + hptxsts_data_t hptxsts;
  88506. + hcchar_data_t hcchar;
  88507. + dwc_otg_hc_regs_t *hc_regs;
  88508. + dwc_otg_core_global_regs_t *global_regs;
  88509. + dwc_otg_host_global_regs_t *host_global_regs;
  88510. +
  88511. + hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  88512. + global_regs = core_if->core_global_regs;
  88513. + host_global_regs = core_if->host_if->host_global_regs;
  88514. +
  88515. + DWC_ASSERT(!(halt_status == DWC_OTG_HC_XFER_NO_HALT_STATUS),
  88516. + "halt_status = %d\n", halt_status);
  88517. +
  88518. + if (halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE ||
  88519. + halt_status == DWC_OTG_HC_XFER_AHB_ERR) {
  88520. + /*
  88521. + * Disable all channel interrupts except Ch Halted. The QTD
  88522. + * and QH state associated with this transfer has been cleared
  88523. + * (in the case of URB_DEQUEUE), so the channel needs to be
  88524. + * shut down carefully to prevent crashes.
  88525. + */
  88526. + hcintmsk_data_t hcintmsk;
  88527. + hcintmsk.d32 = 0;
  88528. + hcintmsk.b.chhltd = 1;
  88529. + DWC_WRITE_REG32(&hc_regs->hcintmsk, hcintmsk.d32);
  88530. +
  88531. + /*
  88532. + * Make sure no other interrupts besides halt are currently
  88533. + * pending. Handling another interrupt could cause a crash due
  88534. + * to the QTD and QH state.
  88535. + */
  88536. + DWC_WRITE_REG32(&hc_regs->hcint, ~hcintmsk.d32);
  88537. +
  88538. + /*
  88539. + * Make sure the halt status is set to URB_DEQUEUE or AHB_ERR
  88540. + * even if the channel was already halted for some other
  88541. + * reason.
  88542. + */
  88543. + hc->halt_status = halt_status;
  88544. +
  88545. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88546. + if (hcchar.b.chen == 0) {
  88547. + /*
  88548. + * The channel is either already halted or it hasn't
  88549. + * started yet. In DMA mode, the transfer may halt if
  88550. + * it finishes normally or a condition occurs that
  88551. + * requires driver intervention. Don't want to halt
  88552. + * the channel again. In either Slave or DMA mode,
  88553. + * it's possible that the transfer has been assigned
  88554. + * to a channel, but not started yet when an URB is
  88555. + * dequeued. Don't want to halt a channel that hasn't
  88556. + * started yet.
  88557. + */
  88558. + return;
  88559. + }
  88560. + }
  88561. + if (hc->halt_pending) {
  88562. + /*
  88563. + * A halt has already been issued for this channel. This might
  88564. + * happen when a transfer is aborted by a higher level in
  88565. + * the stack.
  88566. + */
  88567. +#ifdef DEBUG
  88568. + DWC_PRINTF
  88569. + ("*** %s: Channel %d, _hc->halt_pending already set ***\n",
  88570. + __func__, hc->hc_num);
  88571. +
  88572. +#endif
  88573. + return;
  88574. + }
  88575. +
  88576. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88577. +
  88578. + /* No need to set the bit in DDMA for disabling the channel */
  88579. + //TODO check it everywhere channel is disabled
  88580. + if (!core_if->core_params->dma_desc_enable)
  88581. + hcchar.b.chen = 1;
  88582. + hcchar.b.chdis = 1;
  88583. +
  88584. + if (!core_if->dma_enable) {
  88585. + /* Check for space in the request queue to issue the halt. */
  88586. + if (hc->ep_type == DWC_OTG_EP_TYPE_CONTROL ||
  88587. + hc->ep_type == DWC_OTG_EP_TYPE_BULK) {
  88588. + nptxsts.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  88589. + if (nptxsts.b.nptxqspcavail == 0) {
  88590. + hcchar.b.chen = 0;
  88591. + }
  88592. + } else {
  88593. + hptxsts.d32 =
  88594. + DWC_READ_REG32(&host_global_regs->hptxsts);
  88595. + if ((hptxsts.b.ptxqspcavail == 0)
  88596. + || (core_if->queuing_high_bandwidth)) {
  88597. + hcchar.b.chen = 0;
  88598. + }
  88599. + }
  88600. + }
  88601. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  88602. +
  88603. + hc->halt_status = halt_status;
  88604. +
  88605. + if (hcchar.b.chen) {
  88606. + hc->halt_pending = 1;
  88607. + hc->halt_on_queue = 0;
  88608. + } else {
  88609. + hc->halt_on_queue = 1;
  88610. + }
  88611. +
  88612. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d\n", __func__, hc->hc_num);
  88613. + DWC_DEBUGPL(DBG_HCDV, " hcchar: 0x%08x\n", hcchar.d32);
  88614. + DWC_DEBUGPL(DBG_HCDV, " halt_pending: %d\n", hc->halt_pending);
  88615. + DWC_DEBUGPL(DBG_HCDV, " halt_on_queue: %d\n", hc->halt_on_queue);
  88616. + DWC_DEBUGPL(DBG_HCDV, " halt_status: %d\n", hc->halt_status);
  88617. +
  88618. + return;
  88619. +}
  88620. +
  88621. +/**
  88622. + * Clears the transfer state for a host channel. This function is normally
  88623. + * called after a transfer is done and the host channel is being released.
  88624. + *
  88625. + * @param core_if Programming view of DWC_otg controller.
  88626. + * @param hc Identifies the host channel to clean up.
  88627. + */
  88628. +void dwc_otg_hc_cleanup(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  88629. +{
  88630. + dwc_otg_hc_regs_t *hc_regs;
  88631. +
  88632. + hc->xfer_started = 0;
  88633. +
  88634. + /*
  88635. + * Clear channel interrupt enables and any unhandled channel interrupt
  88636. + * conditions.
  88637. + */
  88638. + hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  88639. + DWC_WRITE_REG32(&hc_regs->hcintmsk, 0);
  88640. + DWC_WRITE_REG32(&hc_regs->hcint, 0xFFFFFFFF);
  88641. +#ifdef DEBUG
  88642. + DWC_TIMER_CANCEL(core_if->hc_xfer_timer[hc->hc_num]);
  88643. +#endif
  88644. +}
  88645. +
  88646. +/**
  88647. + * Sets the channel property that indicates in which frame a periodic transfer
  88648. + * should occur. This is always set to the _next_ frame. This function has no
  88649. + * effect on non-periodic transfers.
  88650. + *
  88651. + * @param core_if Programming view of DWC_otg controller.
  88652. + * @param hc Identifies the host channel to set up and its properties.
  88653. + * @param hcchar Current value of the HCCHAR register for the specified host
  88654. + * channel.
  88655. + */
  88656. +static inline void hc_set_even_odd_frame(dwc_otg_core_if_t * core_if,
  88657. + dwc_hc_t * hc, hcchar_data_t * hcchar)
  88658. +{
  88659. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  88660. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  88661. + hfnum_data_t hfnum;
  88662. + hfnum.d32 =
  88663. + DWC_READ_REG32(&core_if->host_if->host_global_regs->hfnum);
  88664. +
  88665. + /* 1 if _next_ frame is odd, 0 if it's even */
  88666. + hcchar->b.oddfrm = (hfnum.b.frnum & 0x1) ? 0 : 1;
  88667. +#ifdef DEBUG
  88668. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR && hc->do_split
  88669. + && !hc->complete_split) {
  88670. + switch (hfnum.b.frnum & 0x7) {
  88671. + case 7:
  88672. + core_if->hfnum_7_samples++;
  88673. + core_if->hfnum_7_frrem_accum += hfnum.b.frrem;
  88674. + break;
  88675. + case 0:
  88676. + core_if->hfnum_0_samples++;
  88677. + core_if->hfnum_0_frrem_accum += hfnum.b.frrem;
  88678. + break;
  88679. + default:
  88680. + core_if->hfnum_other_samples++;
  88681. + core_if->hfnum_other_frrem_accum +=
  88682. + hfnum.b.frrem;
  88683. + break;
  88684. + }
  88685. + }
  88686. +#endif
  88687. + }
  88688. +}
  88689. +
  88690. +#ifdef DEBUG
  88691. +void hc_xfer_timeout(void *ptr)
  88692. +{
  88693. + hc_xfer_info_t *xfer_info = NULL;
  88694. + int hc_num = 0;
  88695. +
  88696. + if (ptr)
  88697. + xfer_info = (hc_xfer_info_t *) ptr;
  88698. +
  88699. + if (!xfer_info->hc) {
  88700. + DWC_ERROR("xfer_info->hc = %p\n", xfer_info->hc);
  88701. + return;
  88702. + }
  88703. +
  88704. + hc_num = xfer_info->hc->hc_num;
  88705. + DWC_WARN("%s: timeout on channel %d\n", __func__, hc_num);
  88706. + DWC_WARN(" start_hcchar_val 0x%08x\n",
  88707. + xfer_info->core_if->start_hcchar_val[hc_num]);
  88708. +}
  88709. +#endif
  88710. +
  88711. +void ep_xfer_timeout(void *ptr)
  88712. +{
  88713. + ep_xfer_info_t *xfer_info = NULL;
  88714. + int ep_num = 0;
  88715. + dctl_data_t dctl = {.d32 = 0 };
  88716. + gintsts_data_t gintsts = {.d32 = 0 };
  88717. + gintmsk_data_t gintmsk = {.d32 = 0 };
  88718. +
  88719. + if (ptr)
  88720. + xfer_info = (ep_xfer_info_t *) ptr;
  88721. +
  88722. + if (!xfer_info->ep) {
  88723. + DWC_ERROR("xfer_info->ep = %p\n", xfer_info->ep);
  88724. + return;
  88725. + }
  88726. +
  88727. + ep_num = xfer_info->ep->num;
  88728. + DWC_WARN("%s: timeout on endpoit %d\n", __func__, ep_num);
  88729. + /* Put the sate to 2 as it was time outed */
  88730. + xfer_info->state = 2;
  88731. +
  88732. + dctl.d32 =
  88733. + DWC_READ_REG32(&xfer_info->core_if->dev_if->dev_global_regs->dctl);
  88734. + gintsts.d32 =
  88735. + DWC_READ_REG32(&xfer_info->core_if->core_global_regs->gintsts);
  88736. + gintmsk.d32 =
  88737. + DWC_READ_REG32(&xfer_info->core_if->core_global_regs->gintmsk);
  88738. +
  88739. + if (!gintmsk.b.goutnakeff) {
  88740. + /* Unmask it */
  88741. + gintmsk.b.goutnakeff = 1;
  88742. + DWC_WRITE_REG32(&xfer_info->core_if->core_global_regs->gintmsk,
  88743. + gintmsk.d32);
  88744. +
  88745. + }
  88746. +
  88747. + if (!gintsts.b.goutnakeff) {
  88748. + dctl.b.sgoutnak = 1;
  88749. + }
  88750. + DWC_WRITE_REG32(&xfer_info->core_if->dev_if->dev_global_regs->dctl,
  88751. + dctl.d32);
  88752. +
  88753. +}
  88754. +
  88755. +void set_pid_isoc(dwc_hc_t * hc)
  88756. +{
  88757. + /* Set up the initial PID for the transfer. */
  88758. + if (hc->speed == DWC_OTG_EP_SPEED_HIGH) {
  88759. + if (hc->ep_is_in) {
  88760. + if (hc->multi_count == 1) {
  88761. + hc->data_pid_start = DWC_OTG_HC_PID_DATA0;
  88762. + } else if (hc->multi_count == 2) {
  88763. + hc->data_pid_start = DWC_OTG_HC_PID_DATA1;
  88764. + } else {
  88765. + hc->data_pid_start = DWC_OTG_HC_PID_DATA2;
  88766. + }
  88767. + } else {
  88768. + if (hc->multi_count == 1) {
  88769. + hc->data_pid_start = DWC_OTG_HC_PID_DATA0;
  88770. + } else {
  88771. + hc->data_pid_start = DWC_OTG_HC_PID_MDATA;
  88772. + }
  88773. + }
  88774. + } else {
  88775. + hc->data_pid_start = DWC_OTG_HC_PID_DATA0;
  88776. + }
  88777. +}
  88778. +
  88779. +/**
  88780. + * This function does the setup for a data transfer for a host channel and
  88781. + * starts the transfer. May be called in either Slave mode or DMA mode. In
  88782. + * Slave mode, the caller must ensure that there is sufficient space in the
  88783. + * request queue and Tx Data FIFO.
  88784. + *
  88785. + * For an OUT transfer in Slave mode, it loads a data packet into the
  88786. + * appropriate FIFO. If necessary, additional data packets will be loaded in
  88787. + * the Host ISR.
  88788. + *
  88789. + * For an IN transfer in Slave mode, a data packet is requested. The data
  88790. + * packets are unloaded from the Rx FIFO in the Host ISR. If necessary,
  88791. + * additional data packets are requested in the Host ISR.
  88792. + *
  88793. + * For a PING transfer in Slave mode, the Do Ping bit is set in the HCTSIZ
  88794. + * register along with a packet count of 1 and the channel is enabled. This
  88795. + * causes a single PING transaction to occur. Other fields in HCTSIZ are
  88796. + * simply set to 0 since no data transfer occurs in this case.
  88797. + *
  88798. + * For a PING transfer in DMA mode, the HCTSIZ register is initialized with
  88799. + * all the information required to perform the subsequent data transfer. In
  88800. + * addition, the Do Ping bit is set in the HCTSIZ register. In this case, the
  88801. + * controller performs the entire PING protocol, then starts the data
  88802. + * transfer.
  88803. + *
  88804. + * @param core_if Programming view of DWC_otg controller.
  88805. + * @param hc Information needed to initialize the host channel. The xfer_len
  88806. + * value may be reduced to accommodate the max widths of the XferSize and
  88807. + * PktCnt fields in the HCTSIZn register. The multi_count value may be changed
  88808. + * to reflect the final xfer_len value.
  88809. + */
  88810. +void dwc_otg_hc_start_transfer(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  88811. +{
  88812. + hcchar_data_t hcchar;
  88813. + hctsiz_data_t hctsiz;
  88814. + uint16_t num_packets;
  88815. + uint32_t max_hc_xfer_size = core_if->core_params->max_transfer_size;
  88816. + uint16_t max_hc_pkt_count = core_if->core_params->max_packet_count;
  88817. + dwc_otg_hc_regs_t *hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  88818. +
  88819. + hctsiz.d32 = 0;
  88820. +
  88821. + if (hc->do_ping) {
  88822. + if (!core_if->dma_enable) {
  88823. + dwc_otg_hc_do_ping(core_if, hc);
  88824. + hc->xfer_started = 1;
  88825. + return;
  88826. + } else {
  88827. + hctsiz.b.dopng = 1;
  88828. + }
  88829. + }
  88830. +
  88831. + if (hc->do_split) {
  88832. + num_packets = 1;
  88833. +
  88834. + if (hc->complete_split && !hc->ep_is_in) {
  88835. + /* For CSPLIT OUT Transfer, set the size to 0 so the
  88836. + * core doesn't expect any data written to the FIFO */
  88837. + hc->xfer_len = 0;
  88838. + } else if (hc->ep_is_in || (hc->xfer_len > hc->max_packet)) {
  88839. + hc->xfer_len = hc->max_packet;
  88840. + } else if (!hc->ep_is_in && (hc->xfer_len > 188)) {
  88841. + hc->xfer_len = 188;
  88842. + }
  88843. +
  88844. + hctsiz.b.xfersize = hc->xfer_len;
  88845. + } else {
  88846. + /*
  88847. + * Ensure that the transfer length and packet count will fit
  88848. + * in the widths allocated for them in the HCTSIZn register.
  88849. + */
  88850. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  88851. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  88852. + /*
  88853. + * Make sure the transfer size is no larger than one
  88854. + * (micro)frame's worth of data. (A check was done
  88855. + * when the periodic transfer was accepted to ensure
  88856. + * that a (micro)frame's worth of data can be
  88857. + * programmed into a channel.)
  88858. + */
  88859. + uint32_t max_periodic_len =
  88860. + hc->multi_count * hc->max_packet;
  88861. + if (hc->xfer_len > max_periodic_len) {
  88862. + hc->xfer_len = max_periodic_len;
  88863. + } else {
  88864. + }
  88865. + } else if (hc->xfer_len > max_hc_xfer_size) {
  88866. + /* Make sure that xfer_len is a multiple of max packet size. */
  88867. + hc->xfer_len = max_hc_xfer_size - hc->max_packet + 1;
  88868. + }
  88869. +
  88870. + if (hc->xfer_len > 0) {
  88871. + num_packets =
  88872. + (hc->xfer_len + hc->max_packet -
  88873. + 1) / hc->max_packet;
  88874. + if (num_packets > max_hc_pkt_count) {
  88875. + num_packets = max_hc_pkt_count;
  88876. + hc->xfer_len = num_packets * hc->max_packet;
  88877. + }
  88878. + } else {
  88879. + /* Need 1 packet for transfer length of 0. */
  88880. + num_packets = 1;
  88881. + }
  88882. +
  88883. + if (hc->ep_is_in) {
  88884. + /* Always program an integral # of max packets for IN transfers. */
  88885. + hc->xfer_len = num_packets * hc->max_packet;
  88886. + }
  88887. +
  88888. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  88889. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  88890. + /*
  88891. + * Make sure that the multi_count field matches the
  88892. + * actual transfer length.
  88893. + */
  88894. + hc->multi_count = num_packets;
  88895. + }
  88896. +
  88897. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC)
  88898. + set_pid_isoc(hc);
  88899. +
  88900. + hctsiz.b.xfersize = hc->xfer_len;
  88901. + }
  88902. +
  88903. + hc->start_pkt_count = num_packets;
  88904. + hctsiz.b.pktcnt = num_packets;
  88905. + hctsiz.b.pid = hc->data_pid_start;
  88906. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  88907. +
  88908. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d\n", __func__, hc->hc_num);
  88909. + DWC_DEBUGPL(DBG_HCDV, " Xfer Size: %d\n", hctsiz.b.xfersize);
  88910. + DWC_DEBUGPL(DBG_HCDV, " Num Pkts: %d\n", hctsiz.b.pktcnt);
  88911. + DWC_DEBUGPL(DBG_HCDV, " Start PID: %d\n", hctsiz.b.pid);
  88912. +
  88913. + if (core_if->dma_enable) {
  88914. + dwc_dma_t dma_addr;
  88915. + if (hc->align_buff) {
  88916. + dma_addr = hc->align_buff;
  88917. + } else {
  88918. + dma_addr = ((unsigned long)hc->xfer_buff & 0xffffffff);
  88919. + }
  88920. + DWC_WRITE_REG32(&hc_regs->hcdma, dma_addr);
  88921. + }
  88922. +
  88923. + /* Start the split */
  88924. + if (hc->do_split) {
  88925. + hcsplt_data_t hcsplt;
  88926. + hcsplt.d32 = DWC_READ_REG32(&hc_regs->hcsplt);
  88927. + hcsplt.b.spltena = 1;
  88928. + DWC_WRITE_REG32(&hc_regs->hcsplt, hcsplt.d32);
  88929. + }
  88930. +
  88931. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  88932. + hcchar.b.multicnt = hc->multi_count;
  88933. + hc_set_even_odd_frame(core_if, hc, &hcchar);
  88934. +#ifdef DEBUG
  88935. + core_if->start_hcchar_val[hc->hc_num] = hcchar.d32;
  88936. + if (hcchar.b.chdis) {
  88937. + DWC_WARN("%s: chdis set, channel %d, hcchar 0x%08x\n",
  88938. + __func__, hc->hc_num, hcchar.d32);
  88939. + }
  88940. +#endif
  88941. +
  88942. + /* Set host channel enable after all other setup is complete. */
  88943. + hcchar.b.chen = 1;
  88944. + hcchar.b.chdis = 0;
  88945. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  88946. +
  88947. + hc->xfer_started = 1;
  88948. + hc->requests++;
  88949. +
  88950. + if (!core_if->dma_enable && !hc->ep_is_in && hc->xfer_len > 0) {
  88951. + /* Load OUT packet into the appropriate Tx FIFO. */
  88952. + dwc_otg_hc_write_packet(core_if, hc);
  88953. + }
  88954. +#ifdef DEBUG
  88955. + if (hc->ep_type != DWC_OTG_EP_TYPE_INTR) {
  88956. + DWC_DEBUGPL(DBG_HCDV, "transfer %d from core_if %p\n",
  88957. + hc->hc_num, core_if);//GRAYG
  88958. + core_if->hc_xfer_info[hc->hc_num].core_if = core_if;
  88959. + core_if->hc_xfer_info[hc->hc_num].hc = hc;
  88960. +
  88961. + /* Start a timer for this transfer. */
  88962. + DWC_TIMER_SCHEDULE(core_if->hc_xfer_timer[hc->hc_num], 10000);
  88963. + }
  88964. +#endif
  88965. +}
  88966. +
  88967. +/**
  88968. + * This function does the setup for a data transfer for a host channel
  88969. + * and starts the transfer in Descriptor DMA mode.
  88970. + *
  88971. + * Initializes HCTSIZ register. For a PING transfer the Do Ping bit is set.
  88972. + * Sets PID and NTD values. For periodic transfers
  88973. + * initializes SCHED_INFO field with micro-frame bitmap.
  88974. + *
  88975. + * Initializes HCDMA register with descriptor list address and CTD value
  88976. + * then starts the transfer via enabling the channel.
  88977. + *
  88978. + * @param core_if Programming view of DWC_otg controller.
  88979. + * @param hc Information needed to initialize the host channel.
  88980. + */
  88981. +void dwc_otg_hc_start_transfer_ddma(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  88982. +{
  88983. + dwc_otg_hc_regs_t *hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  88984. + hcchar_data_t hcchar;
  88985. + hctsiz_data_t hctsiz;
  88986. + hcdma_data_t hcdma;
  88987. +
  88988. + hctsiz.d32 = 0;
  88989. +
  88990. + if (hc->do_ping)
  88991. + hctsiz.b_ddma.dopng = 1;
  88992. +
  88993. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC)
  88994. + set_pid_isoc(hc);
  88995. +
  88996. + /* Packet Count and Xfer Size are not used in Descriptor DMA mode */
  88997. + hctsiz.b_ddma.pid = hc->data_pid_start;
  88998. + hctsiz.b_ddma.ntd = hc->ntd - 1; /* 0 - 1 descriptor, 1 - 2 descriptors, etc. */
  88999. + hctsiz.b_ddma.schinfo = hc->schinfo; /* Non-zero only for high-speed interrupt endpoints */
  89000. +
  89001. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d\n", __func__, hc->hc_num);
  89002. + DWC_DEBUGPL(DBG_HCDV, " Start PID: %d\n", hctsiz.b.pid);
  89003. + DWC_DEBUGPL(DBG_HCDV, " NTD: %d\n", hctsiz.b_ddma.ntd);
  89004. +
  89005. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  89006. +
  89007. + hcdma.d32 = 0;
  89008. + hcdma.b.dma_addr = ((uint32_t) hc->desc_list_addr) >> 11;
  89009. +
  89010. + /* Always start from first descriptor. */
  89011. + hcdma.b.ctd = 0;
  89012. + DWC_WRITE_REG32(&hc_regs->hcdma, hcdma.d32);
  89013. +
  89014. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  89015. + hcchar.b.multicnt = hc->multi_count;
  89016. +
  89017. +#ifdef DEBUG
  89018. + core_if->start_hcchar_val[hc->hc_num] = hcchar.d32;
  89019. + if (hcchar.b.chdis) {
  89020. + DWC_WARN("%s: chdis set, channel %d, hcchar 0x%08x\n",
  89021. + __func__, hc->hc_num, hcchar.d32);
  89022. + }
  89023. +#endif
  89024. +
  89025. + /* Set host channel enable after all other setup is complete. */
  89026. + hcchar.b.chen = 1;
  89027. + hcchar.b.chdis = 0;
  89028. +
  89029. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  89030. +
  89031. + hc->xfer_started = 1;
  89032. + hc->requests++;
  89033. +
  89034. +#ifdef DEBUG
  89035. + if ((hc->ep_type != DWC_OTG_EP_TYPE_INTR)
  89036. + && (hc->ep_type != DWC_OTG_EP_TYPE_ISOC)) {
  89037. + DWC_DEBUGPL(DBG_HCDV, "DMA transfer %d from core_if %p\n",
  89038. + hc->hc_num, core_if);//GRAYG
  89039. + core_if->hc_xfer_info[hc->hc_num].core_if = core_if;
  89040. + core_if->hc_xfer_info[hc->hc_num].hc = hc;
  89041. + /* Start a timer for this transfer. */
  89042. + DWC_TIMER_SCHEDULE(core_if->hc_xfer_timer[hc->hc_num], 10000);
  89043. + }
  89044. +#endif
  89045. +
  89046. +}
  89047. +
  89048. +/**
  89049. + * This function continues a data transfer that was started by previous call
  89050. + * to <code>dwc_otg_hc_start_transfer</code>. The caller must ensure there is
  89051. + * sufficient space in the request queue and Tx Data FIFO. This function
  89052. + * should only be called in Slave mode. In DMA mode, the controller acts
  89053. + * autonomously to complete transfers programmed to a host channel.
  89054. + *
  89055. + * For an OUT transfer, a new data packet is loaded into the appropriate FIFO
  89056. + * if there is any data remaining to be queued. For an IN transfer, another
  89057. + * data packet is always requested. For the SETUP phase of a control transfer,
  89058. + * this function does nothing.
  89059. + *
  89060. + * @return 1 if a new request is queued, 0 if no more requests are required
  89061. + * for this transfer.
  89062. + */
  89063. +int dwc_otg_hc_continue_transfer(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  89064. +{
  89065. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d\n", __func__, hc->hc_num);
  89066. +
  89067. + if (hc->do_split) {
  89068. + /* SPLITs always queue just once per channel */
  89069. + return 0;
  89070. + } else if (hc->data_pid_start == DWC_OTG_HC_PID_SETUP) {
  89071. + /* SETUPs are queued only once since they can't be NAKed. */
  89072. + return 0;
  89073. + } else if (hc->ep_is_in) {
  89074. + /*
  89075. + * Always queue another request for other IN transfers. If
  89076. + * back-to-back INs are issued and NAKs are received for both,
  89077. + * the driver may still be processing the first NAK when the
  89078. + * second NAK is received. When the interrupt handler clears
  89079. + * the NAK interrupt for the first NAK, the second NAK will
  89080. + * not be seen. So we can't depend on the NAK interrupt
  89081. + * handler to requeue a NAKed request. Instead, IN requests
  89082. + * are issued each time this function is called. When the
  89083. + * transfer completes, the extra requests for the channel will
  89084. + * be flushed.
  89085. + */
  89086. + hcchar_data_t hcchar;
  89087. + dwc_otg_hc_regs_t *hc_regs =
  89088. + core_if->host_if->hc_regs[hc->hc_num];
  89089. +
  89090. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  89091. + hc_set_even_odd_frame(core_if, hc, &hcchar);
  89092. + hcchar.b.chen = 1;
  89093. + hcchar.b.chdis = 0;
  89094. + DWC_DEBUGPL(DBG_HCDV, " IN xfer: hcchar = 0x%08x\n",
  89095. + hcchar.d32);
  89096. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  89097. + hc->requests++;
  89098. + return 1;
  89099. + } else {
  89100. + /* OUT transfers. */
  89101. + if (hc->xfer_count < hc->xfer_len) {
  89102. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  89103. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  89104. + hcchar_data_t hcchar;
  89105. + dwc_otg_hc_regs_t *hc_regs;
  89106. + hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  89107. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  89108. + hc_set_even_odd_frame(core_if, hc, &hcchar);
  89109. + }
  89110. +
  89111. + /* Load OUT packet into the appropriate Tx FIFO. */
  89112. + dwc_otg_hc_write_packet(core_if, hc);
  89113. + hc->requests++;
  89114. + return 1;
  89115. + } else {
  89116. + return 0;
  89117. + }
  89118. + }
  89119. +}
  89120. +
  89121. +/**
  89122. + * Starts a PING transfer. This function should only be called in Slave mode.
  89123. + * The Do Ping bit is set in the HCTSIZ register, then the channel is enabled.
  89124. + */
  89125. +void dwc_otg_hc_do_ping(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  89126. +{
  89127. + hcchar_data_t hcchar;
  89128. + hctsiz_data_t hctsiz;
  89129. + dwc_otg_hc_regs_t *hc_regs = core_if->host_if->hc_regs[hc->hc_num];
  89130. +
  89131. + DWC_DEBUGPL(DBG_HCDV, "%s: Channel %d\n", __func__, hc->hc_num);
  89132. +
  89133. + hctsiz.d32 = 0;
  89134. + hctsiz.b.dopng = 1;
  89135. + hctsiz.b.pktcnt = 1;
  89136. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  89137. +
  89138. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  89139. + hcchar.b.chen = 1;
  89140. + hcchar.b.chdis = 0;
  89141. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  89142. +}
  89143. +
  89144. +/*
  89145. + * This function writes a packet into the Tx FIFO associated with the Host
  89146. + * Channel. For a channel associated with a non-periodic EP, the non-periodic
  89147. + * Tx FIFO is written. For a channel associated with a periodic EP, the
  89148. + * periodic Tx FIFO is written. This function should only be called in Slave
  89149. + * mode.
  89150. + *
  89151. + * Upon return the xfer_buff and xfer_count fields in _hc are incremented by
  89152. + * then number of bytes written to the Tx FIFO.
  89153. + */
  89154. +void dwc_otg_hc_write_packet(dwc_otg_core_if_t * core_if, dwc_hc_t * hc)
  89155. +{
  89156. + uint32_t i;
  89157. + uint32_t remaining_count;
  89158. + uint32_t byte_count;
  89159. + uint32_t dword_count;
  89160. +
  89161. + uint32_t *data_buff = (uint32_t *) (hc->xfer_buff);
  89162. + uint32_t *data_fifo = core_if->data_fifo[hc->hc_num];
  89163. +
  89164. + remaining_count = hc->xfer_len - hc->xfer_count;
  89165. + if (remaining_count > hc->max_packet) {
  89166. + byte_count = hc->max_packet;
  89167. + } else {
  89168. + byte_count = remaining_count;
  89169. + }
  89170. +
  89171. + dword_count = (byte_count + 3) / 4;
  89172. +
  89173. + if ((((unsigned long)data_buff) & 0x3) == 0) {
  89174. + /* xfer_buff is DWORD aligned. */
  89175. + for (i = 0; i < dword_count; i++, data_buff++) {
  89176. + DWC_WRITE_REG32(data_fifo, *data_buff);
  89177. + }
  89178. + } else {
  89179. + /* xfer_buff is not DWORD aligned. */
  89180. + for (i = 0; i < dword_count; i++, data_buff++) {
  89181. + uint32_t data;
  89182. + data =
  89183. + (data_buff[0] | data_buff[1] << 8 | data_buff[2] <<
  89184. + 16 | data_buff[3] << 24);
  89185. + DWC_WRITE_REG32(data_fifo, data);
  89186. + }
  89187. + }
  89188. +
  89189. + hc->xfer_count += byte_count;
  89190. + hc->xfer_buff += byte_count;
  89191. +}
  89192. +
  89193. +/**
  89194. + * Gets the current USB frame number. This is the frame number from the last
  89195. + * SOF packet.
  89196. + */
  89197. +uint32_t dwc_otg_get_frame_number(dwc_otg_core_if_t * core_if)
  89198. +{
  89199. + dsts_data_t dsts;
  89200. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  89201. +
  89202. + /* read current frame/microframe number from DSTS register */
  89203. + return dsts.b.soffn;
  89204. +}
  89205. +
  89206. +/**
  89207. + * Calculates and gets the frame Interval value of HFIR register according PHY
  89208. + * type and speed.The application can modify a value of HFIR register only after
  89209. + * the Port Enable bit of the Host Port Control and Status register
  89210. + * (HPRT.PrtEnaPort) has been set.
  89211. +*/
  89212. +
  89213. +uint32_t calc_frame_interval(dwc_otg_core_if_t * core_if)
  89214. +{
  89215. + gusbcfg_data_t usbcfg;
  89216. + hwcfg2_data_t hwcfg2;
  89217. + hprt0_data_t hprt0;
  89218. + int clock = 60; // default value
  89219. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  89220. + hwcfg2.d32 = DWC_READ_REG32(&core_if->core_global_regs->ghwcfg2);
  89221. + hprt0.d32 = DWC_READ_REG32(core_if->host_if->hprt0);
  89222. + if (!usbcfg.b.physel && usbcfg.b.ulpi_utmi_sel && !usbcfg.b.phyif)
  89223. + clock = 60;
  89224. + if (usbcfg.b.physel && hwcfg2.b.fs_phy_type == 3)
  89225. + clock = 48;
  89226. + if (!usbcfg.b.phylpwrclksel && !usbcfg.b.physel &&
  89227. + !usbcfg.b.ulpi_utmi_sel && usbcfg.b.phyif)
  89228. + clock = 30;
  89229. + if (!usbcfg.b.phylpwrclksel && !usbcfg.b.physel &&
  89230. + !usbcfg.b.ulpi_utmi_sel && !usbcfg.b.phyif)
  89231. + clock = 60;
  89232. + if (usbcfg.b.phylpwrclksel && !usbcfg.b.physel &&
  89233. + !usbcfg.b.ulpi_utmi_sel && usbcfg.b.phyif)
  89234. + clock = 48;
  89235. + if (usbcfg.b.physel && !usbcfg.b.phyif && hwcfg2.b.fs_phy_type == 2)
  89236. + clock = 48;
  89237. + if (usbcfg.b.physel && hwcfg2.b.fs_phy_type == 1)
  89238. + clock = 48;
  89239. + if (hprt0.b.prtspd == 0)
  89240. + /* High speed case */
  89241. + return 125 * clock;
  89242. + else
  89243. + /* FS/LS case */
  89244. + return 1000 * clock;
  89245. +}
  89246. +
  89247. +/**
  89248. + * This function reads a setup packet from the Rx FIFO into the destination
  89249. + * buffer. This function is called from the Rx Status Queue Level (RxStsQLvl)
  89250. + * Interrupt routine when a SETUP packet has been received in Slave mode.
  89251. + *
  89252. + * @param core_if Programming view of DWC_otg controller.
  89253. + * @param dest Destination buffer for packet data.
  89254. + */
  89255. +void dwc_otg_read_setup_packet(dwc_otg_core_if_t * core_if, uint32_t * dest)
  89256. +{
  89257. + device_grxsts_data_t status;
  89258. + /* Get the 8 bytes of a setup transaction data */
  89259. +
  89260. + /* Pop 2 DWORDS off the receive data FIFO into memory */
  89261. + dest[0] = DWC_READ_REG32(core_if->data_fifo[0]);
  89262. + dest[1] = DWC_READ_REG32(core_if->data_fifo[0]);
  89263. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  89264. + status.d32 =
  89265. + DWC_READ_REG32(&core_if->core_global_regs->grxstsp);
  89266. + DWC_DEBUGPL(DBG_ANY,
  89267. + "EP:%d BCnt:%d " "pktsts:%x Frame:%d(0x%0x)\n",
  89268. + status.b.epnum, status.b.bcnt, status.b.pktsts,
  89269. + status.b.fn, status.b.fn);
  89270. + }
  89271. +}
  89272. +
  89273. +/**
  89274. + * This function enables EP0 OUT to receive SETUP packets and configures EP0
  89275. + * IN for transmitting packets. It is normally called when the
  89276. + * "Enumeration Done" interrupt occurs.
  89277. + *
  89278. + * @param core_if Programming view of DWC_otg controller.
  89279. + * @param ep The EP0 data.
  89280. + */
  89281. +void dwc_otg_ep0_activate(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  89282. +{
  89283. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  89284. + dsts_data_t dsts;
  89285. + depctl_data_t diepctl;
  89286. + depctl_data_t doepctl;
  89287. + dctl_data_t dctl = {.d32 = 0 };
  89288. +
  89289. + ep->stp_rollover = 0;
  89290. + /* Read the Device Status and Endpoint 0 Control registers */
  89291. + dsts.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dsts);
  89292. + diepctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[0]->diepctl);
  89293. + doepctl.d32 = DWC_READ_REG32(&dev_if->out_ep_regs[0]->doepctl);
  89294. +
  89295. + /* Set the MPS of the IN EP based on the enumeration speed */
  89296. + switch (dsts.b.enumspd) {
  89297. + case DWC_DSTS_ENUMSPD_HS_PHY_30MHZ_OR_60MHZ:
  89298. + case DWC_DSTS_ENUMSPD_FS_PHY_30MHZ_OR_60MHZ:
  89299. + case DWC_DSTS_ENUMSPD_FS_PHY_48MHZ:
  89300. + diepctl.b.mps = DWC_DEP0CTL_MPS_64;
  89301. + break;
  89302. + case DWC_DSTS_ENUMSPD_LS_PHY_6MHZ:
  89303. + diepctl.b.mps = DWC_DEP0CTL_MPS_8;
  89304. + break;
  89305. + }
  89306. +
  89307. + DWC_WRITE_REG32(&dev_if->in_ep_regs[0]->diepctl, diepctl.d32);
  89308. +
  89309. + /* Enable OUT EP for receive */
  89310. + if (core_if->snpsid <= OTG_CORE_REV_2_94a) {
  89311. + doepctl.b.epena = 1;
  89312. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doepctl, doepctl.d32);
  89313. + }
  89314. +#ifdef VERBOSE
  89315. + DWC_DEBUGPL(DBG_PCDV, "doepctl0=%0x\n",
  89316. + DWC_READ_REG32(&dev_if->out_ep_regs[0]->doepctl));
  89317. + DWC_DEBUGPL(DBG_PCDV, "diepctl0=%0x\n",
  89318. + DWC_READ_REG32(&dev_if->in_ep_regs[0]->diepctl));
  89319. +#endif
  89320. + dctl.b.cgnpinnak = 1;
  89321. +
  89322. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, dctl.d32, dctl.d32);
  89323. + DWC_DEBUGPL(DBG_PCDV, "dctl=%0x\n",
  89324. + DWC_READ_REG32(&dev_if->dev_global_regs->dctl));
  89325. +
  89326. +}
  89327. +
  89328. +/**
  89329. + * This function activates an EP. The Device EP control register for
  89330. + * the EP is configured as defined in the ep structure. Note: This
  89331. + * function is not used for EP0.
  89332. + *
  89333. + * @param core_if Programming view of DWC_otg controller.
  89334. + * @param ep The EP to activate.
  89335. + */
  89336. +void dwc_otg_ep_activate(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  89337. +{
  89338. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  89339. + depctl_data_t depctl;
  89340. + volatile uint32_t *addr;
  89341. + daint_data_t daintmsk = {.d32 = 0 };
  89342. + dcfg_data_t dcfg;
  89343. + uint8_t i;
  89344. +
  89345. + DWC_DEBUGPL(DBG_PCDV, "%s() EP%d-%s\n", __func__, ep->num,
  89346. + (ep->is_in ? "IN" : "OUT"));
  89347. +
  89348. +#ifdef DWC_UTE_PER_IO
  89349. + ep->xiso_frame_num = 0xFFFFFFFF;
  89350. + ep->xiso_active_xfers = 0;
  89351. + ep->xiso_queued_xfers = 0;
  89352. +#endif
  89353. + /* Read DEPCTLn register */
  89354. + if (ep->is_in == 1) {
  89355. + addr = &dev_if->in_ep_regs[ep->num]->diepctl;
  89356. + daintmsk.ep.in = 1 << ep->num;
  89357. + } else {
  89358. + addr = &dev_if->out_ep_regs[ep->num]->doepctl;
  89359. + daintmsk.ep.out = 1 << ep->num;
  89360. + }
  89361. +
  89362. + /* If the EP is already active don't change the EP Control
  89363. + * register. */
  89364. + depctl.d32 = DWC_READ_REG32(addr);
  89365. + if (!depctl.b.usbactep) {
  89366. + depctl.b.mps = ep->maxpacket;
  89367. + depctl.b.eptype = ep->type;
  89368. + depctl.b.txfnum = ep->tx_fifo_num;
  89369. +
  89370. + if (ep->type == DWC_OTG_EP_TYPE_ISOC) {
  89371. + depctl.b.setd0pid = 1; // ???
  89372. + } else {
  89373. + depctl.b.setd0pid = 1;
  89374. + }
  89375. + depctl.b.usbactep = 1;
  89376. +
  89377. + /* Update nextep_seq array and EPMSCNT in DCFG*/
  89378. + if (!(depctl.b.eptype & 1) && (ep->is_in == 1)) { // NP IN EP
  89379. + for (i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  89380. + if (core_if->nextep_seq[i] == core_if->first_in_nextep_seq)
  89381. + break;
  89382. + }
  89383. + core_if->nextep_seq[i] = ep->num;
  89384. + core_if->nextep_seq[ep->num] = core_if->first_in_nextep_seq;
  89385. + depctl.b.nextep = core_if->nextep_seq[ep->num];
  89386. + dcfg.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dcfg);
  89387. + dcfg.b.epmscnt++;
  89388. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dcfg, dcfg.d32);
  89389. +
  89390. + DWC_DEBUGPL(DBG_PCDV,
  89391. + "%s first_in_nextep_seq= %2d; nextep_seq[]:\n",
  89392. + __func__, core_if->first_in_nextep_seq);
  89393. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  89394. + DWC_DEBUGPL(DBG_PCDV, "%2d\n",
  89395. + core_if->nextep_seq[i]);
  89396. + }
  89397. +
  89398. + }
  89399. +
  89400. +
  89401. + DWC_WRITE_REG32(addr, depctl.d32);
  89402. + DWC_DEBUGPL(DBG_PCDV, "DEPCTL=%08x\n", DWC_READ_REG32(addr));
  89403. + }
  89404. +
  89405. + /* Enable the Interrupt for this EP */
  89406. + if (core_if->multiproc_int_enable) {
  89407. + if (ep->is_in == 1) {
  89408. + diepmsk_data_t diepmsk = {.d32 = 0 };
  89409. + diepmsk.b.xfercompl = 1;
  89410. + diepmsk.b.timeout = 1;
  89411. + diepmsk.b.epdisabled = 1;
  89412. + diepmsk.b.ahberr = 1;
  89413. + diepmsk.b.intknepmis = 1;
  89414. + if (!core_if->en_multiple_tx_fifo && core_if->dma_enable)
  89415. + diepmsk.b.intknepmis = 0;
  89416. + diepmsk.b.txfifoundrn = 1; //?????
  89417. + if (ep->type == DWC_OTG_EP_TYPE_ISOC) {
  89418. + diepmsk.b.nak = 1;
  89419. + }
  89420. +
  89421. +
  89422. +
  89423. +/*
  89424. + if (core_if->dma_desc_enable) {
  89425. + diepmsk.b.bna = 1;
  89426. + }
  89427. +*/
  89428. +/*
  89429. + if (core_if->dma_enable) {
  89430. + doepmsk.b.nak = 1;
  89431. + }
  89432. +*/
  89433. + DWC_WRITE_REG32(&dev_if->dev_global_regs->
  89434. + diepeachintmsk[ep->num], diepmsk.d32);
  89435. +
  89436. + } else {
  89437. + doepmsk_data_t doepmsk = {.d32 = 0 };
  89438. + doepmsk.b.xfercompl = 1;
  89439. + doepmsk.b.ahberr = 1;
  89440. + doepmsk.b.epdisabled = 1;
  89441. + if (ep->type == DWC_OTG_EP_TYPE_ISOC)
  89442. + doepmsk.b.outtknepdis = 1;
  89443. +
  89444. +/*
  89445. +
  89446. + if (core_if->dma_desc_enable) {
  89447. + doepmsk.b.bna = 1;
  89448. + }
  89449. +*/
  89450. +/*
  89451. + doepmsk.b.babble = 1;
  89452. + doepmsk.b.nyet = 1;
  89453. + doepmsk.b.nak = 1;
  89454. +*/
  89455. + DWC_WRITE_REG32(&dev_if->dev_global_regs->
  89456. + doepeachintmsk[ep->num], doepmsk.d32);
  89457. + }
  89458. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->deachintmsk,
  89459. + 0, daintmsk.d32);
  89460. + } else {
  89461. + if (ep->type == DWC_OTG_EP_TYPE_ISOC) {
  89462. + if (ep->is_in) {
  89463. + diepmsk_data_t diepmsk = {.d32 = 0 };
  89464. + diepmsk.b.nak = 1;
  89465. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->diepmsk, 0, diepmsk.d32);
  89466. + } else {
  89467. + doepmsk_data_t doepmsk = {.d32 = 0 };
  89468. + doepmsk.b.outtknepdis = 1;
  89469. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->doepmsk, 0, doepmsk.d32);
  89470. + }
  89471. + }
  89472. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->daintmsk,
  89473. + 0, daintmsk.d32);
  89474. + }
  89475. +
  89476. + DWC_DEBUGPL(DBG_PCDV, "DAINTMSK=%0x\n",
  89477. + DWC_READ_REG32(&dev_if->dev_global_regs->daintmsk));
  89478. +
  89479. + ep->stall_clear_flag = 0;
  89480. +
  89481. + return;
  89482. +}
  89483. +
  89484. +/**
  89485. + * This function deactivates an EP. This is done by clearing the USB Active
  89486. + * EP bit in the Device EP control register. Note: This function is not used
  89487. + * for EP0. EP0 cannot be deactivated.
  89488. + *
  89489. + * @param core_if Programming view of DWC_otg controller.
  89490. + * @param ep The EP to deactivate.
  89491. + */
  89492. +void dwc_otg_ep_deactivate(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  89493. +{
  89494. + depctl_data_t depctl = {.d32 = 0 };
  89495. + volatile uint32_t *addr;
  89496. + daint_data_t daintmsk = {.d32 = 0 };
  89497. + dcfg_data_t dcfg;
  89498. + uint8_t i = 0;
  89499. +
  89500. +#ifdef DWC_UTE_PER_IO
  89501. + ep->xiso_frame_num = 0xFFFFFFFF;
  89502. + ep->xiso_active_xfers = 0;
  89503. + ep->xiso_queued_xfers = 0;
  89504. +#endif
  89505. +
  89506. + /* Read DEPCTLn register */
  89507. + if (ep->is_in == 1) {
  89508. + addr = &core_if->dev_if->in_ep_regs[ep->num]->diepctl;
  89509. + daintmsk.ep.in = 1 << ep->num;
  89510. + } else {
  89511. + addr = &core_if->dev_if->out_ep_regs[ep->num]->doepctl;
  89512. + daintmsk.ep.out = 1 << ep->num;
  89513. + }
  89514. +
  89515. + depctl.d32 = DWC_READ_REG32(addr);
  89516. +
  89517. + depctl.b.usbactep = 0;
  89518. +
  89519. + /* Update nextep_seq array and EPMSCNT in DCFG*/
  89520. + if (!(depctl.b.eptype & 1) && ep->is_in == 1) { // NP EP IN
  89521. + for (i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  89522. + if (core_if->nextep_seq[i] == ep->num)
  89523. + break;
  89524. + }
  89525. + core_if->nextep_seq[i] = core_if->nextep_seq[ep->num];
  89526. + if (core_if->first_in_nextep_seq == ep->num)
  89527. + core_if->first_in_nextep_seq = i;
  89528. + core_if->nextep_seq[ep->num] = 0xff;
  89529. + depctl.b.nextep = 0;
  89530. + dcfg.d32 =
  89531. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  89532. + dcfg.b.epmscnt--;
  89533. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg,
  89534. + dcfg.d32);
  89535. +
  89536. + DWC_DEBUGPL(DBG_PCDV,
  89537. + "%s first_in_nextep_seq= %2d; nextep_seq[]:\n",
  89538. + __func__, core_if->first_in_nextep_seq);
  89539. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  89540. + DWC_DEBUGPL(DBG_PCDV, "%2d\n", core_if->nextep_seq[i]);
  89541. + }
  89542. + }
  89543. +
  89544. + if (ep->is_in == 1)
  89545. + depctl.b.txfnum = 0;
  89546. +
  89547. + if (core_if->dma_desc_enable)
  89548. + depctl.b.epdis = 1;
  89549. +
  89550. + DWC_WRITE_REG32(addr, depctl.d32);
  89551. + depctl.d32 = DWC_READ_REG32(addr);
  89552. + if (core_if->dma_enable && ep->type == DWC_OTG_EP_TYPE_ISOC
  89553. + && depctl.b.epena) {
  89554. + depctl_data_t depctl = {.d32 = 0};
  89555. + if (ep->is_in) {
  89556. + diepint_data_t diepint = {.d32 = 0};
  89557. +
  89558. + depctl.b.snak = 1;
  89559. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  89560. + diepctl, depctl.d32);
  89561. + do {
  89562. + dwc_udelay(10);
  89563. + diepint.d32 =
  89564. + DWC_READ_REG32(&core_if->
  89565. + dev_if->in_ep_regs[ep->num]->
  89566. + diepint);
  89567. + } while (!diepint.b.inepnakeff);
  89568. + diepint.b.inepnakeff = 1;
  89569. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  89570. + diepint, diepint.d32);
  89571. + depctl.d32 = 0;
  89572. + depctl.b.epdis = 1;
  89573. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  89574. + diepctl, depctl.d32);
  89575. + do {
  89576. + dwc_udelay(10);
  89577. + diepint.d32 =
  89578. + DWC_READ_REG32(&core_if->
  89579. + dev_if->in_ep_regs[ep->num]->
  89580. + diepint);
  89581. + } while (!diepint.b.epdisabled);
  89582. + diepint.b.epdisabled = 1;
  89583. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  89584. + diepint, diepint.d32);
  89585. + } else {
  89586. + dctl_data_t dctl = {.d32 = 0};
  89587. + gintmsk_data_t gintsts = {.d32 = 0};
  89588. + doepint_data_t doepint = {.d32 = 0};
  89589. + dctl.b.sgoutnak = 1;
  89590. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  89591. + dctl, 0, dctl.d32);
  89592. + do {
  89593. + dwc_udelay(10);
  89594. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  89595. + } while (!gintsts.b.goutnakeff);
  89596. + gintsts.d32 = 0;
  89597. + gintsts.b.goutnakeff = 1;
  89598. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  89599. +
  89600. + depctl.d32 = 0;
  89601. + depctl.b.epdis = 1;
  89602. + depctl.b.snak = 1;
  89603. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[ep->num]->doepctl, depctl.d32);
  89604. + do
  89605. + {
  89606. + dwc_udelay(10);
  89607. + doepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  89608. + out_ep_regs[ep->num]->doepint);
  89609. + } while (!doepint.b.epdisabled);
  89610. +
  89611. + doepint.b.epdisabled = 1;
  89612. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[ep->num]->doepint, doepint.d32);
  89613. +
  89614. + dctl.d32 = 0;
  89615. + dctl.b.cgoutnak = 1;
  89616. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  89617. + }
  89618. + }
  89619. +
  89620. + /* Disable the Interrupt for this EP */
  89621. + if (core_if->multiproc_int_enable) {
  89622. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->deachintmsk,
  89623. + daintmsk.d32, 0);
  89624. +
  89625. + if (ep->is_in == 1) {
  89626. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->
  89627. + diepeachintmsk[ep->num], 0);
  89628. + } else {
  89629. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->
  89630. + doepeachintmsk[ep->num], 0);
  89631. + }
  89632. + } else {
  89633. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->daintmsk,
  89634. + daintmsk.d32, 0);
  89635. + }
  89636. +
  89637. +}
  89638. +
  89639. +/**
  89640. + * This function initializes dma descriptor chain.
  89641. + *
  89642. + * @param core_if Programming view of DWC_otg controller.
  89643. + * @param ep The EP to start the transfer on.
  89644. + */
  89645. +static void init_dma_desc_chain(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  89646. +{
  89647. + dwc_otg_dev_dma_desc_t *dma_desc;
  89648. + uint32_t offset;
  89649. + uint32_t xfer_est;
  89650. + int i;
  89651. + unsigned maxxfer_local, total_len;
  89652. +
  89653. + if (!ep->is_in && ep->type == DWC_OTG_EP_TYPE_INTR &&
  89654. + (ep->maxpacket%4)) {
  89655. + maxxfer_local = ep->maxpacket;
  89656. + total_len = ep->xfer_len;
  89657. + } else {
  89658. + maxxfer_local = ep->maxxfer;
  89659. + total_len = ep->total_len;
  89660. + }
  89661. +
  89662. + ep->desc_cnt = (total_len / maxxfer_local) +
  89663. + ((total_len % maxxfer_local) ? 1 : 0);
  89664. +
  89665. + if (!ep->desc_cnt)
  89666. + ep->desc_cnt = 1;
  89667. +
  89668. + if (ep->desc_cnt > MAX_DMA_DESC_CNT)
  89669. + ep->desc_cnt = MAX_DMA_DESC_CNT;
  89670. +
  89671. + dma_desc = ep->desc_addr;
  89672. + if (maxxfer_local == ep->maxpacket) {
  89673. + if ((total_len % maxxfer_local) &&
  89674. + (total_len/maxxfer_local < MAX_DMA_DESC_CNT)) {
  89675. + xfer_est = (ep->desc_cnt - 1) * maxxfer_local +
  89676. + (total_len % maxxfer_local);
  89677. + } else
  89678. + xfer_est = ep->desc_cnt * maxxfer_local;
  89679. + } else
  89680. + xfer_est = total_len;
  89681. + offset = 0;
  89682. + for (i = 0; i < ep->desc_cnt; ++i) {
  89683. + /** DMA Descriptor Setup */
  89684. + if (xfer_est > maxxfer_local) {
  89685. + dma_desc->status.b.bs = BS_HOST_BUSY;
  89686. + dma_desc->status.b.l = 0;
  89687. + dma_desc->status.b.ioc = 0;
  89688. + dma_desc->status.b.sp = 0;
  89689. + dma_desc->status.b.bytes = maxxfer_local;
  89690. + dma_desc->buf = ep->dma_addr + offset;
  89691. + dma_desc->status.b.sts = 0;
  89692. + dma_desc->status.b.bs = BS_HOST_READY;
  89693. +
  89694. + xfer_est -= maxxfer_local;
  89695. + offset += maxxfer_local;
  89696. + } else {
  89697. + dma_desc->status.b.bs = BS_HOST_BUSY;
  89698. + dma_desc->status.b.l = 1;
  89699. + dma_desc->status.b.ioc = 1;
  89700. + if (ep->is_in) {
  89701. + dma_desc->status.b.sp =
  89702. + (xfer_est %
  89703. + ep->maxpacket) ? 1 : ((ep->
  89704. + sent_zlp) ? 1 : 0);
  89705. + dma_desc->status.b.bytes = xfer_est;
  89706. + } else {
  89707. + if (maxxfer_local == ep->maxpacket)
  89708. + dma_desc->status.b.bytes = xfer_est;
  89709. + else
  89710. + dma_desc->status.b.bytes =
  89711. + xfer_est + ((4 - (xfer_est & 0x3)) & 0x3);
  89712. + }
  89713. +
  89714. + dma_desc->buf = ep->dma_addr + offset;
  89715. + dma_desc->status.b.sts = 0;
  89716. + dma_desc->status.b.bs = BS_HOST_READY;
  89717. + }
  89718. + dma_desc++;
  89719. + }
  89720. +}
  89721. +/**
  89722. + * This function is called when to write ISOC data into appropriate dedicated
  89723. + * periodic FIFO.
  89724. + */
  89725. +static int32_t write_isoc_tx_fifo(dwc_otg_core_if_t * core_if, dwc_ep_t * dwc_ep)
  89726. +{
  89727. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  89728. + dwc_otg_dev_in_ep_regs_t *ep_regs;
  89729. + dtxfsts_data_t txstatus = {.d32 = 0 };
  89730. + uint32_t len = 0;
  89731. + int epnum = dwc_ep->num;
  89732. + int dwords;
  89733. +
  89734. + DWC_DEBUGPL(DBG_PCD, "Dedicated TxFifo Empty: %d \n", epnum);
  89735. +
  89736. + ep_regs = core_if->dev_if->in_ep_regs[epnum];
  89737. +
  89738. + len = dwc_ep->xfer_len - dwc_ep->xfer_count;
  89739. +
  89740. + if (len > dwc_ep->maxpacket) {
  89741. + len = dwc_ep->maxpacket;
  89742. + }
  89743. +
  89744. + dwords = (len + 3) / 4;
  89745. +
  89746. + /* While there is space in the queue and space in the FIFO and
  89747. + * More data to tranfer, Write packets to the Tx FIFO */
  89748. + txstatus.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts);
  89749. + DWC_DEBUGPL(DBG_PCDV, "b4 dtxfsts[%d]=0x%08x\n", epnum, txstatus.d32);
  89750. +
  89751. + while (txstatus.b.txfspcavail > dwords &&
  89752. + dwc_ep->xfer_count < dwc_ep->xfer_len && dwc_ep->xfer_len != 0) {
  89753. + /* Write the FIFO */
  89754. + dwc_otg_ep_write_packet(core_if, dwc_ep, 0);
  89755. +
  89756. + len = dwc_ep->xfer_len - dwc_ep->xfer_count;
  89757. + if (len > dwc_ep->maxpacket) {
  89758. + len = dwc_ep->maxpacket;
  89759. + }
  89760. +
  89761. + dwords = (len + 3) / 4;
  89762. + txstatus.d32 =
  89763. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts);
  89764. + DWC_DEBUGPL(DBG_PCDV, "dtxfsts[%d]=0x%08x\n", epnum,
  89765. + txstatus.d32);
  89766. + }
  89767. +
  89768. + DWC_DEBUGPL(DBG_PCDV, "b4 dtxfsts[%d]=0x%08x\n", epnum,
  89769. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts));
  89770. +
  89771. + return 1;
  89772. +}
  89773. +/**
  89774. + * This function does the setup for a data transfer for an EP and
  89775. + * starts the transfer. For an IN transfer, the packets will be
  89776. + * loaded into the appropriate Tx FIFO in the ISR. For OUT transfers,
  89777. + * the packets are unloaded from the Rx FIFO in the ISR. the ISR.
  89778. + *
  89779. + * @param core_if Programming view of DWC_otg controller.
  89780. + * @param ep The EP to start the transfer on.
  89781. + */
  89782. +
  89783. +void dwc_otg_ep_start_transfer(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  89784. +{
  89785. + depctl_data_t depctl;
  89786. + deptsiz_data_t deptsiz;
  89787. + gintmsk_data_t intr_mask = {.d32 = 0 };
  89788. +
  89789. + DWC_DEBUGPL((DBG_PCDV | DBG_CILV), "%s()\n", __func__);
  89790. + DWC_DEBUGPL(DBG_PCD, "ep%d-%s xfer_len=%d xfer_cnt=%d "
  89791. + "xfer_buff=%p start_xfer_buff=%p, total_len = %d\n",
  89792. + ep->num, (ep->is_in ? "IN" : "OUT"), ep->xfer_len,
  89793. + ep->xfer_count, ep->xfer_buff, ep->start_xfer_buff,
  89794. + ep->total_len);
  89795. + /* IN endpoint */
  89796. + if (ep->is_in == 1) {
  89797. + dwc_otg_dev_in_ep_regs_t *in_regs =
  89798. + core_if->dev_if->in_ep_regs[ep->num];
  89799. +
  89800. + gnptxsts_data_t gtxstatus;
  89801. +
  89802. + gtxstatus.d32 =
  89803. + DWC_READ_REG32(&core_if->core_global_regs->gnptxsts);
  89804. +
  89805. + if (core_if->en_multiple_tx_fifo == 0
  89806. + && gtxstatus.b.nptxqspcavail == 0 && !core_if->dma_enable) {
  89807. +#ifdef DEBUG
  89808. + DWC_PRINTF("TX Queue Full (0x%0x)\n", gtxstatus.d32);
  89809. +#endif
  89810. + return;
  89811. + }
  89812. +
  89813. + depctl.d32 = DWC_READ_REG32(&(in_regs->diepctl));
  89814. + deptsiz.d32 = DWC_READ_REG32(&(in_regs->dieptsiz));
  89815. +
  89816. + if (ep->maxpacket > ep->maxxfer / MAX_PKT_CNT)
  89817. + ep->xfer_len += (ep->maxxfer < (ep->total_len - ep->xfer_len)) ?
  89818. + ep->maxxfer : (ep->total_len - ep->xfer_len);
  89819. + else
  89820. + ep->xfer_len += (MAX_PKT_CNT * ep->maxpacket < (ep->total_len - ep->xfer_len)) ?
  89821. + MAX_PKT_CNT * ep->maxpacket : (ep->total_len - ep->xfer_len);
  89822. +
  89823. +
  89824. + /* Zero Length Packet? */
  89825. + if ((ep->xfer_len - ep->xfer_count) == 0) {
  89826. + deptsiz.b.xfersize = 0;
  89827. + deptsiz.b.pktcnt = 1;
  89828. + } else {
  89829. + /* Program the transfer size and packet count
  89830. + * as follows: xfersize = N * maxpacket +
  89831. + * short_packet pktcnt = N + (short_packet
  89832. + * exist ? 1 : 0)
  89833. + */
  89834. + deptsiz.b.xfersize = ep->xfer_len - ep->xfer_count;
  89835. + deptsiz.b.pktcnt =
  89836. + (ep->xfer_len - ep->xfer_count - 1 +
  89837. + ep->maxpacket) / ep->maxpacket;
  89838. + if (deptsiz.b.pktcnt > MAX_PKT_CNT) {
  89839. + deptsiz.b.pktcnt = MAX_PKT_CNT;
  89840. + deptsiz.b.xfersize = deptsiz.b.pktcnt * ep->maxpacket;
  89841. + }
  89842. + if (ep->type == DWC_OTG_EP_TYPE_ISOC)
  89843. + deptsiz.b.mc = deptsiz.b.pktcnt;
  89844. + }
  89845. +
  89846. + /* Write the DMA register */
  89847. + if (core_if->dma_enable) {
  89848. + if (core_if->dma_desc_enable == 0) {
  89849. + if (ep->type != DWC_OTG_EP_TYPE_ISOC)
  89850. + deptsiz.b.mc = 1;
  89851. + DWC_WRITE_REG32(&in_regs->dieptsiz,
  89852. + deptsiz.d32);
  89853. + DWC_WRITE_REG32(&(in_regs->diepdma),
  89854. + (uint32_t) ep->dma_addr);
  89855. + } else {
  89856. +#ifdef DWC_UTE_CFI
  89857. + /* The descriptor chain should be already initialized by now */
  89858. + if (ep->buff_mode != BM_STANDARD) {
  89859. + DWC_WRITE_REG32(&in_regs->diepdma,
  89860. + ep->descs_dma_addr);
  89861. + } else {
  89862. +#endif
  89863. + init_dma_desc_chain(core_if, ep);
  89864. + /** DIEPDMAn Register write */
  89865. + DWC_WRITE_REG32(&in_regs->diepdma,
  89866. + ep->dma_desc_addr);
  89867. +#ifdef DWC_UTE_CFI
  89868. + }
  89869. +#endif
  89870. + }
  89871. + } else {
  89872. + DWC_WRITE_REG32(&in_regs->dieptsiz, deptsiz.d32);
  89873. + if (ep->type != DWC_OTG_EP_TYPE_ISOC) {
  89874. + /**
  89875. + * Enable the Non-Periodic Tx FIFO empty interrupt,
  89876. + * or the Tx FIFO epmty interrupt in dedicated Tx FIFO mode,
  89877. + * the data will be written into the fifo by the ISR.
  89878. + */
  89879. + if (core_if->en_multiple_tx_fifo == 0) {
  89880. + intr_mask.b.nptxfempty = 1;
  89881. + DWC_MODIFY_REG32
  89882. + (&core_if->core_global_regs->gintmsk,
  89883. + intr_mask.d32, intr_mask.d32);
  89884. + } else {
  89885. + /* Enable the Tx FIFO Empty Interrupt for this EP */
  89886. + if (ep->xfer_len > 0) {
  89887. + uint32_t fifoemptymsk = 0;
  89888. + fifoemptymsk = 1 << ep->num;
  89889. + DWC_MODIFY_REG32
  89890. + (&core_if->dev_if->dev_global_regs->dtknqr4_fifoemptymsk,
  89891. + 0, fifoemptymsk);
  89892. +
  89893. + }
  89894. + }
  89895. + } else {
  89896. + write_isoc_tx_fifo(core_if, ep);
  89897. + }
  89898. + }
  89899. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable)
  89900. + depctl.b.nextep = core_if->nextep_seq[ep->num];
  89901. +
  89902. + if (ep->type == DWC_OTG_EP_TYPE_ISOC) {
  89903. + dsts_data_t dsts = {.d32 = 0};
  89904. + if (ep->bInterval == 1) {
  89905. + dsts.d32 =
  89906. + DWC_READ_REG32(&core_if->dev_if->
  89907. + dev_global_regs->dsts);
  89908. + ep->frame_num = dsts.b.soffn + ep->bInterval;
  89909. + if (ep->frame_num > 0x3FFF) {
  89910. + ep->frm_overrun = 1;
  89911. + ep->frame_num &= 0x3FFF;
  89912. + } else
  89913. + ep->frm_overrun = 0;
  89914. + if (ep->frame_num & 0x1) {
  89915. + depctl.b.setd1pid = 1;
  89916. + } else {
  89917. + depctl.b.setd0pid = 1;
  89918. + }
  89919. + }
  89920. + }
  89921. + /* EP enable, IN data in FIFO */
  89922. + depctl.b.cnak = 1;
  89923. + depctl.b.epena = 1;
  89924. + DWC_WRITE_REG32(&in_regs->diepctl, depctl.d32);
  89925. +
  89926. + } else {
  89927. + /* OUT endpoint */
  89928. + dwc_otg_dev_out_ep_regs_t *out_regs =
  89929. + core_if->dev_if->out_ep_regs[ep->num];
  89930. +
  89931. + depctl.d32 = DWC_READ_REG32(&(out_regs->doepctl));
  89932. + deptsiz.d32 = DWC_READ_REG32(&(out_regs->doeptsiz));
  89933. +
  89934. + if (!core_if->dma_desc_enable) {
  89935. + if (ep->maxpacket > ep->maxxfer / MAX_PKT_CNT)
  89936. + ep->xfer_len += (ep->maxxfer < (ep->total_len - ep->xfer_len)) ?
  89937. + ep->maxxfer : (ep->total_len - ep->xfer_len);
  89938. + else
  89939. + ep->xfer_len += (MAX_PKT_CNT * ep->maxpacket < (ep->total_len
  89940. + - ep->xfer_len)) ? MAX_PKT_CNT * ep->maxpacket : (ep->total_len - ep->xfer_len);
  89941. + }
  89942. +
  89943. + /* Program the transfer size and packet count as follows:
  89944. + *
  89945. + * pktcnt = N
  89946. + * xfersize = N * maxpacket
  89947. + */
  89948. + if ((ep->xfer_len - ep->xfer_count) == 0) {
  89949. + /* Zero Length Packet */
  89950. + deptsiz.b.xfersize = ep->maxpacket;
  89951. + deptsiz.b.pktcnt = 1;
  89952. + } else {
  89953. + deptsiz.b.pktcnt =
  89954. + (ep->xfer_len - ep->xfer_count +
  89955. + (ep->maxpacket - 1)) / ep->maxpacket;
  89956. + if (deptsiz.b.pktcnt > MAX_PKT_CNT) {
  89957. + deptsiz.b.pktcnt = MAX_PKT_CNT;
  89958. + }
  89959. + if (!core_if->dma_desc_enable) {
  89960. + ep->xfer_len =
  89961. + deptsiz.b.pktcnt * ep->maxpacket + ep->xfer_count;
  89962. + }
  89963. + deptsiz.b.xfersize = ep->xfer_len - ep->xfer_count;
  89964. + }
  89965. +
  89966. + DWC_DEBUGPL(DBG_PCDV, "ep%d xfersize=%d pktcnt=%d\n",
  89967. + ep->num, deptsiz.b.xfersize, deptsiz.b.pktcnt);
  89968. +
  89969. + if (core_if->dma_enable) {
  89970. + if (!core_if->dma_desc_enable) {
  89971. + DWC_WRITE_REG32(&out_regs->doeptsiz,
  89972. + deptsiz.d32);
  89973. +
  89974. + DWC_WRITE_REG32(&(out_regs->doepdma),
  89975. + (uint32_t) ep->dma_addr);
  89976. + } else {
  89977. +#ifdef DWC_UTE_CFI
  89978. + /* The descriptor chain should be already initialized by now */
  89979. + if (ep->buff_mode != BM_STANDARD) {
  89980. + DWC_WRITE_REG32(&out_regs->doepdma,
  89981. + ep->descs_dma_addr);
  89982. + } else {
  89983. +#endif
  89984. + /** This is used for interrupt out transfers*/
  89985. + if (!ep->xfer_len)
  89986. + ep->xfer_len = ep->total_len;
  89987. + init_dma_desc_chain(core_if, ep);
  89988. +
  89989. + if (core_if->core_params->dev_out_nak) {
  89990. + if (ep->type == DWC_OTG_EP_TYPE_BULK) {
  89991. + deptsiz.b.pktcnt = (ep->total_len +
  89992. + (ep->maxpacket - 1)) / ep->maxpacket;
  89993. + deptsiz.b.xfersize = ep->total_len;
  89994. + /* Remember initial value of doeptsiz */
  89995. + core_if->start_doeptsiz_val[ep->num] = deptsiz.d32;
  89996. + DWC_WRITE_REG32(&out_regs->doeptsiz,
  89997. + deptsiz.d32);
  89998. + }
  89999. + }
  90000. + /** DOEPDMAn Register write */
  90001. + DWC_WRITE_REG32(&out_regs->doepdma,
  90002. + ep->dma_desc_addr);
  90003. +#ifdef DWC_UTE_CFI
  90004. + }
  90005. +#endif
  90006. + }
  90007. + } else {
  90008. + DWC_WRITE_REG32(&out_regs->doeptsiz, deptsiz.d32);
  90009. + }
  90010. +
  90011. + if (ep->type == DWC_OTG_EP_TYPE_ISOC) {
  90012. + dsts_data_t dsts = {.d32 = 0};
  90013. + if (ep->bInterval == 1) {
  90014. + dsts.d32 =
  90015. + DWC_READ_REG32(&core_if->dev_if->
  90016. + dev_global_regs->dsts);
  90017. + ep->frame_num = dsts.b.soffn + ep->bInterval;
  90018. + if (ep->frame_num > 0x3FFF) {
  90019. + ep->frm_overrun = 1;
  90020. + ep->frame_num &= 0x3FFF;
  90021. + } else
  90022. + ep->frm_overrun = 0;
  90023. +
  90024. + if (ep->frame_num & 0x1) {
  90025. + depctl.b.setd1pid = 1;
  90026. + } else {
  90027. + depctl.b.setd0pid = 1;
  90028. + }
  90029. + }
  90030. + }
  90031. +
  90032. + /* EP enable */
  90033. + depctl.b.cnak = 1;
  90034. + depctl.b.epena = 1;
  90035. +
  90036. + DWC_WRITE_REG32(&out_regs->doepctl, depctl.d32);
  90037. +
  90038. + DWC_DEBUGPL(DBG_PCD, "DOEPCTL=%08x DOEPTSIZ=%08x\n",
  90039. + DWC_READ_REG32(&out_regs->doepctl),
  90040. + DWC_READ_REG32(&out_regs->doeptsiz));
  90041. + DWC_DEBUGPL(DBG_PCD, "DAINTMSK=%08x GINTMSK=%08x\n",
  90042. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->
  90043. + daintmsk),
  90044. + DWC_READ_REG32(&core_if->core_global_regs->
  90045. + gintmsk));
  90046. +
  90047. + /* Timer is scheduling only for out bulk transfers for
  90048. + * "Device DDMA OUT NAK Enhancement" feature to inform user
  90049. + * about received data payload in case of timeout
  90050. + */
  90051. + if (core_if->core_params->dev_out_nak) {
  90052. + if (ep->type == DWC_OTG_EP_TYPE_BULK) {
  90053. + core_if->ep_xfer_info[ep->num].core_if = core_if;
  90054. + core_if->ep_xfer_info[ep->num].ep = ep;
  90055. + core_if->ep_xfer_info[ep->num].state = 1;
  90056. +
  90057. + /* Start a timer for this transfer. */
  90058. + DWC_TIMER_SCHEDULE(core_if->ep_xfer_timer[ep->num], 10000);
  90059. + }
  90060. + }
  90061. + }
  90062. +}
  90063. +
  90064. +/**
  90065. + * This function setup a zero length transfer in Buffer DMA and
  90066. + * Slave modes for usb requests with zero field set
  90067. + *
  90068. + * @param core_if Programming view of DWC_otg controller.
  90069. + * @param ep The EP to start the transfer on.
  90070. + *
  90071. + */
  90072. +void dwc_otg_ep_start_zl_transfer(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  90073. +{
  90074. +
  90075. + depctl_data_t depctl;
  90076. + deptsiz_data_t deptsiz;
  90077. + gintmsk_data_t intr_mask = {.d32 = 0 };
  90078. +
  90079. + DWC_DEBUGPL((DBG_PCDV | DBG_CILV), "%s()\n", __func__);
  90080. + DWC_PRINTF("zero length transfer is called\n");
  90081. +
  90082. + /* IN endpoint */
  90083. + if (ep->is_in == 1) {
  90084. + dwc_otg_dev_in_ep_regs_t *in_regs =
  90085. + core_if->dev_if->in_ep_regs[ep->num];
  90086. +
  90087. + depctl.d32 = DWC_READ_REG32(&(in_regs->diepctl));
  90088. + deptsiz.d32 = DWC_READ_REG32(&(in_regs->dieptsiz));
  90089. +
  90090. + deptsiz.b.xfersize = 0;
  90091. + deptsiz.b.pktcnt = 1;
  90092. +
  90093. + /* Write the DMA register */
  90094. + if (core_if->dma_enable) {
  90095. + if (core_if->dma_desc_enable == 0) {
  90096. + deptsiz.b.mc = 1;
  90097. + DWC_WRITE_REG32(&in_regs->dieptsiz,
  90098. + deptsiz.d32);
  90099. + DWC_WRITE_REG32(&(in_regs->diepdma),
  90100. + (uint32_t) ep->dma_addr);
  90101. + }
  90102. + } else {
  90103. + DWC_WRITE_REG32(&in_regs->dieptsiz, deptsiz.d32);
  90104. + /**
  90105. + * Enable the Non-Periodic Tx FIFO empty interrupt,
  90106. + * or the Tx FIFO epmty interrupt in dedicated Tx FIFO mode,
  90107. + * the data will be written into the fifo by the ISR.
  90108. + */
  90109. + if (core_if->en_multiple_tx_fifo == 0) {
  90110. + intr_mask.b.nptxfempty = 1;
  90111. + DWC_MODIFY_REG32(&core_if->
  90112. + core_global_regs->gintmsk,
  90113. + intr_mask.d32, intr_mask.d32);
  90114. + } else {
  90115. + /* Enable the Tx FIFO Empty Interrupt for this EP */
  90116. + if (ep->xfer_len > 0) {
  90117. + uint32_t fifoemptymsk = 0;
  90118. + fifoemptymsk = 1 << ep->num;
  90119. + DWC_MODIFY_REG32(&core_if->
  90120. + dev_if->dev_global_regs->dtknqr4_fifoemptymsk,
  90121. + 0, fifoemptymsk);
  90122. + }
  90123. + }
  90124. + }
  90125. +
  90126. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable)
  90127. + depctl.b.nextep = core_if->nextep_seq[ep->num];
  90128. + /* EP enable, IN data in FIFO */
  90129. + depctl.b.cnak = 1;
  90130. + depctl.b.epena = 1;
  90131. + DWC_WRITE_REG32(&in_regs->diepctl, depctl.d32);
  90132. +
  90133. + } else {
  90134. + /* OUT endpoint */
  90135. + dwc_otg_dev_out_ep_regs_t *out_regs =
  90136. + core_if->dev_if->out_ep_regs[ep->num];
  90137. +
  90138. + depctl.d32 = DWC_READ_REG32(&(out_regs->doepctl));
  90139. + deptsiz.d32 = DWC_READ_REG32(&(out_regs->doeptsiz));
  90140. +
  90141. + /* Zero Length Packet */
  90142. + deptsiz.b.xfersize = ep->maxpacket;
  90143. + deptsiz.b.pktcnt = 1;
  90144. +
  90145. + if (core_if->dma_enable) {
  90146. + if (!core_if->dma_desc_enable) {
  90147. + DWC_WRITE_REG32(&out_regs->doeptsiz,
  90148. + deptsiz.d32);
  90149. +
  90150. + DWC_WRITE_REG32(&(out_regs->doepdma),
  90151. + (uint32_t) ep->dma_addr);
  90152. + }
  90153. + } else {
  90154. + DWC_WRITE_REG32(&out_regs->doeptsiz, deptsiz.d32);
  90155. + }
  90156. +
  90157. + /* EP enable */
  90158. + depctl.b.cnak = 1;
  90159. + depctl.b.epena = 1;
  90160. +
  90161. + DWC_WRITE_REG32(&out_regs->doepctl, depctl.d32);
  90162. +
  90163. + }
  90164. +}
  90165. +
  90166. +/**
  90167. + * This function does the setup for a data transfer for EP0 and starts
  90168. + * the transfer. For an IN transfer, the packets will be loaded into
  90169. + * the appropriate Tx FIFO in the ISR. For OUT transfers, the packets are
  90170. + * unloaded from the Rx FIFO in the ISR.
  90171. + *
  90172. + * @param core_if Programming view of DWC_otg controller.
  90173. + * @param ep The EP0 data.
  90174. + */
  90175. +void dwc_otg_ep0_start_transfer(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  90176. +{
  90177. + depctl_data_t depctl;
  90178. + deptsiz0_data_t deptsiz;
  90179. + gintmsk_data_t intr_mask = {.d32 = 0 };
  90180. + dwc_otg_dev_dma_desc_t *dma_desc;
  90181. +
  90182. + DWC_DEBUGPL(DBG_PCD, "ep%d-%s xfer_len=%d xfer_cnt=%d "
  90183. + "xfer_buff=%p start_xfer_buff=%p \n",
  90184. + ep->num, (ep->is_in ? "IN" : "OUT"), ep->xfer_len,
  90185. + ep->xfer_count, ep->xfer_buff, ep->start_xfer_buff);
  90186. +
  90187. + ep->total_len = ep->xfer_len;
  90188. +
  90189. + /* IN endpoint */
  90190. + if (ep->is_in == 1) {
  90191. + dwc_otg_dev_in_ep_regs_t *in_regs =
  90192. + core_if->dev_if->in_ep_regs[0];
  90193. +
  90194. + gnptxsts_data_t gtxstatus;
  90195. +
  90196. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  90197. + depctl.d32 = DWC_READ_REG32(&in_regs->diepctl);
  90198. + if (depctl.b.epena)
  90199. + return;
  90200. + }
  90201. +
  90202. + gtxstatus.d32 =
  90203. + DWC_READ_REG32(&core_if->core_global_regs->gnptxsts);
  90204. +
  90205. + /* If dedicated FIFO every time flush fifo before enable ep*/
  90206. + if (core_if->en_multiple_tx_fifo && core_if->snpsid >= OTG_CORE_REV_3_00a)
  90207. + dwc_otg_flush_tx_fifo(core_if, ep->tx_fifo_num);
  90208. +
  90209. + if (core_if->en_multiple_tx_fifo == 0
  90210. + && gtxstatus.b.nptxqspcavail == 0
  90211. + && !core_if->dma_enable) {
  90212. +#ifdef DEBUG
  90213. + deptsiz.d32 = DWC_READ_REG32(&in_regs->dieptsiz);
  90214. + DWC_DEBUGPL(DBG_PCD, "DIEPCTL0=%0x\n",
  90215. + DWC_READ_REG32(&in_regs->diepctl));
  90216. + DWC_DEBUGPL(DBG_PCD, "DIEPTSIZ0=%0x (sz=%d, pcnt=%d)\n",
  90217. + deptsiz.d32,
  90218. + deptsiz.b.xfersize, deptsiz.b.pktcnt);
  90219. + DWC_PRINTF("TX Queue or FIFO Full (0x%0x)\n",
  90220. + gtxstatus.d32);
  90221. +#endif
  90222. + return;
  90223. + }
  90224. +
  90225. + depctl.d32 = DWC_READ_REG32(&in_regs->diepctl);
  90226. + deptsiz.d32 = DWC_READ_REG32(&in_regs->dieptsiz);
  90227. +
  90228. + /* Zero Length Packet? */
  90229. + if (ep->xfer_len == 0) {
  90230. + deptsiz.b.xfersize = 0;
  90231. + deptsiz.b.pktcnt = 1;
  90232. + } else {
  90233. + /* Program the transfer size and packet count
  90234. + * as follows: xfersize = N * maxpacket +
  90235. + * short_packet pktcnt = N + (short_packet
  90236. + * exist ? 1 : 0)
  90237. + */
  90238. + if (ep->xfer_len > ep->maxpacket) {
  90239. + ep->xfer_len = ep->maxpacket;
  90240. + deptsiz.b.xfersize = ep->maxpacket;
  90241. + } else {
  90242. + deptsiz.b.xfersize = ep->xfer_len;
  90243. + }
  90244. + deptsiz.b.pktcnt = 1;
  90245. +
  90246. + }
  90247. + DWC_DEBUGPL(DBG_PCDV,
  90248. + "IN len=%d xfersize=%d pktcnt=%d [%08x]\n",
  90249. + ep->xfer_len, deptsiz.b.xfersize, deptsiz.b.pktcnt,
  90250. + deptsiz.d32);
  90251. +
  90252. + /* Write the DMA register */
  90253. + if (core_if->dma_enable) {
  90254. + if (core_if->dma_desc_enable == 0) {
  90255. + DWC_WRITE_REG32(&in_regs->dieptsiz,
  90256. + deptsiz.d32);
  90257. +
  90258. + DWC_WRITE_REG32(&(in_regs->diepdma),
  90259. + (uint32_t) ep->dma_addr);
  90260. + } else {
  90261. + dma_desc = core_if->dev_if->in_desc_addr;
  90262. +
  90263. + /** DMA Descriptor Setup */
  90264. + dma_desc->status.b.bs = BS_HOST_BUSY;
  90265. + dma_desc->status.b.l = 1;
  90266. + dma_desc->status.b.ioc = 1;
  90267. + dma_desc->status.b.sp =
  90268. + (ep->xfer_len == ep->maxpacket) ? 0 : 1;
  90269. + dma_desc->status.b.bytes = ep->xfer_len;
  90270. + dma_desc->buf = ep->dma_addr;
  90271. + dma_desc->status.b.sts = 0;
  90272. + dma_desc->status.b.bs = BS_HOST_READY;
  90273. +
  90274. + /** DIEPDMA0 Register write */
  90275. + DWC_WRITE_REG32(&in_regs->diepdma,
  90276. + core_if->
  90277. + dev_if->dma_in_desc_addr);
  90278. + }
  90279. + } else {
  90280. + DWC_WRITE_REG32(&in_regs->dieptsiz, deptsiz.d32);
  90281. + }
  90282. +
  90283. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable)
  90284. + depctl.b.nextep = core_if->nextep_seq[ep->num];
  90285. + /* EP enable, IN data in FIFO */
  90286. + depctl.b.cnak = 1;
  90287. + depctl.b.epena = 1;
  90288. + DWC_WRITE_REG32(&in_regs->diepctl, depctl.d32);
  90289. +
  90290. + /**
  90291. + * Enable the Non-Periodic Tx FIFO empty interrupt, the
  90292. + * data will be written into the fifo by the ISR.
  90293. + */
  90294. + if (!core_if->dma_enable) {
  90295. + if (core_if->en_multiple_tx_fifo == 0) {
  90296. + intr_mask.b.nptxfempty = 1;
  90297. + DWC_MODIFY_REG32(&core_if->
  90298. + core_global_regs->gintmsk,
  90299. + intr_mask.d32, intr_mask.d32);
  90300. + } else {
  90301. + /* Enable the Tx FIFO Empty Interrupt for this EP */
  90302. + if (ep->xfer_len > 0) {
  90303. + uint32_t fifoemptymsk = 0;
  90304. + fifoemptymsk |= 1 << ep->num;
  90305. + DWC_MODIFY_REG32(&core_if->
  90306. + dev_if->dev_global_regs->dtknqr4_fifoemptymsk,
  90307. + 0, fifoemptymsk);
  90308. + }
  90309. + }
  90310. + }
  90311. + } else {
  90312. + /* OUT endpoint */
  90313. + dwc_otg_dev_out_ep_regs_t *out_regs =
  90314. + core_if->dev_if->out_ep_regs[0];
  90315. +
  90316. + depctl.d32 = DWC_READ_REG32(&out_regs->doepctl);
  90317. + deptsiz.d32 = DWC_READ_REG32(&out_regs->doeptsiz);
  90318. +
  90319. + /* Program the transfer size and packet count as follows:
  90320. + * xfersize = N * (maxpacket + 4 - (maxpacket % 4))
  90321. + * pktcnt = N */
  90322. + /* Zero Length Packet */
  90323. + deptsiz.b.xfersize = ep->maxpacket;
  90324. + deptsiz.b.pktcnt = 1;
  90325. + if (core_if->snpsid >= OTG_CORE_REV_3_00a)
  90326. + deptsiz.b.supcnt = 3;
  90327. +
  90328. + DWC_DEBUGPL(DBG_PCDV, "len=%d xfersize=%d pktcnt=%d\n",
  90329. + ep->xfer_len, deptsiz.b.xfersize, deptsiz.b.pktcnt);
  90330. +
  90331. + if (core_if->dma_enable) {
  90332. + if (!core_if->dma_desc_enable) {
  90333. + DWC_WRITE_REG32(&out_regs->doeptsiz,
  90334. + deptsiz.d32);
  90335. +
  90336. + DWC_WRITE_REG32(&(out_regs->doepdma),
  90337. + (uint32_t) ep->dma_addr);
  90338. + } else {
  90339. + dma_desc = core_if->dev_if->out_desc_addr;
  90340. +
  90341. + /** DMA Descriptor Setup */
  90342. + dma_desc->status.b.bs = BS_HOST_BUSY;
  90343. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  90344. + dma_desc->status.b.mtrf = 0;
  90345. + dma_desc->status.b.sr = 0;
  90346. + }
  90347. + dma_desc->status.b.l = 1;
  90348. + dma_desc->status.b.ioc = 1;
  90349. + dma_desc->status.b.bytes = ep->maxpacket;
  90350. + dma_desc->buf = ep->dma_addr;
  90351. + dma_desc->status.b.sts = 0;
  90352. + dma_desc->status.b.bs = BS_HOST_READY;
  90353. +
  90354. + /** DOEPDMA0 Register write */
  90355. + DWC_WRITE_REG32(&out_regs->doepdma,
  90356. + core_if->dev_if->
  90357. + dma_out_desc_addr);
  90358. + }
  90359. + } else {
  90360. + DWC_WRITE_REG32(&out_regs->doeptsiz, deptsiz.d32);
  90361. + }
  90362. +
  90363. + /* EP enable */
  90364. + depctl.b.cnak = 1;
  90365. + depctl.b.epena = 1;
  90366. + DWC_WRITE_REG32(&(out_regs->doepctl), depctl.d32);
  90367. + }
  90368. +}
  90369. +
  90370. +/**
  90371. + * This function continues control IN transfers started by
  90372. + * dwc_otg_ep0_start_transfer, when the transfer does not fit in a
  90373. + * single packet. NOTE: The DIEPCTL0/DOEPCTL0 registers only have one
  90374. + * bit for the packet count.
  90375. + *
  90376. + * @param core_if Programming view of DWC_otg controller.
  90377. + * @param ep The EP0 data.
  90378. + */
  90379. +void dwc_otg_ep0_continue_transfer(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  90380. +{
  90381. + depctl_data_t depctl;
  90382. + deptsiz0_data_t deptsiz;
  90383. + gintmsk_data_t intr_mask = {.d32 = 0 };
  90384. + dwc_otg_dev_dma_desc_t *dma_desc;
  90385. +
  90386. + if (ep->is_in == 1) {
  90387. + dwc_otg_dev_in_ep_regs_t *in_regs =
  90388. + core_if->dev_if->in_ep_regs[0];
  90389. + gnptxsts_data_t tx_status = {.d32 = 0 };
  90390. +
  90391. + tx_status.d32 =
  90392. + DWC_READ_REG32(&core_if->core_global_regs->gnptxsts);
  90393. + /** @todo Should there be check for room in the Tx
  90394. + * Status Queue. If not remove the code above this comment. */
  90395. +
  90396. + depctl.d32 = DWC_READ_REG32(&in_regs->diepctl);
  90397. + deptsiz.d32 = DWC_READ_REG32(&in_regs->dieptsiz);
  90398. +
  90399. + /* Program the transfer size and packet count
  90400. + * as follows: xfersize = N * maxpacket +
  90401. + * short_packet pktcnt = N + (short_packet
  90402. + * exist ? 1 : 0)
  90403. + */
  90404. +
  90405. + if (core_if->dma_desc_enable == 0) {
  90406. + deptsiz.b.xfersize =
  90407. + (ep->total_len - ep->xfer_count) >
  90408. + ep->maxpacket ? ep->maxpacket : (ep->total_len -
  90409. + ep->xfer_count);
  90410. + deptsiz.b.pktcnt = 1;
  90411. + if (core_if->dma_enable == 0) {
  90412. + ep->xfer_len += deptsiz.b.xfersize;
  90413. + } else {
  90414. + ep->xfer_len = deptsiz.b.xfersize;
  90415. + }
  90416. + DWC_WRITE_REG32(&in_regs->dieptsiz, deptsiz.d32);
  90417. + } else {
  90418. + ep->xfer_len =
  90419. + (ep->total_len - ep->xfer_count) >
  90420. + ep->maxpacket ? ep->maxpacket : (ep->total_len -
  90421. + ep->xfer_count);
  90422. +
  90423. + dma_desc = core_if->dev_if->in_desc_addr;
  90424. +
  90425. + /** DMA Descriptor Setup */
  90426. + dma_desc->status.b.bs = BS_HOST_BUSY;
  90427. + dma_desc->status.b.l = 1;
  90428. + dma_desc->status.b.ioc = 1;
  90429. + dma_desc->status.b.sp =
  90430. + (ep->xfer_len == ep->maxpacket) ? 0 : 1;
  90431. + dma_desc->status.b.bytes = ep->xfer_len;
  90432. + dma_desc->buf = ep->dma_addr;
  90433. + dma_desc->status.b.sts = 0;
  90434. + dma_desc->status.b.bs = BS_HOST_READY;
  90435. +
  90436. + /** DIEPDMA0 Register write */
  90437. + DWC_WRITE_REG32(&in_regs->diepdma,
  90438. + core_if->dev_if->dma_in_desc_addr);
  90439. + }
  90440. +
  90441. + DWC_DEBUGPL(DBG_PCDV,
  90442. + "IN len=%d xfersize=%d pktcnt=%d [%08x]\n",
  90443. + ep->xfer_len, deptsiz.b.xfersize, deptsiz.b.pktcnt,
  90444. + deptsiz.d32);
  90445. +
  90446. + /* Write the DMA register */
  90447. + if (core_if->hwcfg2.b.architecture == DWC_INT_DMA_ARCH) {
  90448. + if (core_if->dma_desc_enable == 0)
  90449. + DWC_WRITE_REG32(&(in_regs->diepdma),
  90450. + (uint32_t) ep->dma_addr);
  90451. + }
  90452. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable)
  90453. + depctl.b.nextep = core_if->nextep_seq[ep->num];
  90454. + /* EP enable, IN data in FIFO */
  90455. + depctl.b.cnak = 1;
  90456. + depctl.b.epena = 1;
  90457. + DWC_WRITE_REG32(&in_regs->diepctl, depctl.d32);
  90458. +
  90459. + /**
  90460. + * Enable the Non-Periodic Tx FIFO empty interrupt, the
  90461. + * data will be written into the fifo by the ISR.
  90462. + */
  90463. + if (!core_if->dma_enable) {
  90464. + if (core_if->en_multiple_tx_fifo == 0) {
  90465. + /* First clear it from GINTSTS */
  90466. + intr_mask.b.nptxfempty = 1;
  90467. + DWC_MODIFY_REG32(&core_if->
  90468. + core_global_regs->gintmsk,
  90469. + intr_mask.d32, intr_mask.d32);
  90470. +
  90471. + } else {
  90472. + /* Enable the Tx FIFO Empty Interrupt for this EP */
  90473. + if (ep->xfer_len > 0) {
  90474. + uint32_t fifoemptymsk = 0;
  90475. + fifoemptymsk |= 1 << ep->num;
  90476. + DWC_MODIFY_REG32(&core_if->
  90477. + dev_if->dev_global_regs->dtknqr4_fifoemptymsk,
  90478. + 0, fifoemptymsk);
  90479. + }
  90480. + }
  90481. + }
  90482. + } else {
  90483. + dwc_otg_dev_out_ep_regs_t *out_regs =
  90484. + core_if->dev_if->out_ep_regs[0];
  90485. +
  90486. + depctl.d32 = DWC_READ_REG32(&out_regs->doepctl);
  90487. + deptsiz.d32 = DWC_READ_REG32(&out_regs->doeptsiz);
  90488. +
  90489. + /* Program the transfer size and packet count
  90490. + * as follows: xfersize = N * maxpacket +
  90491. + * short_packet pktcnt = N + (short_packet
  90492. + * exist ? 1 : 0)
  90493. + */
  90494. + deptsiz.b.xfersize = ep->maxpacket;
  90495. + deptsiz.b.pktcnt = 1;
  90496. +
  90497. + if (core_if->dma_desc_enable == 0) {
  90498. + DWC_WRITE_REG32(&out_regs->doeptsiz, deptsiz.d32);
  90499. + } else {
  90500. + dma_desc = core_if->dev_if->out_desc_addr;
  90501. +
  90502. + /** DMA Descriptor Setup */
  90503. + dma_desc->status.b.bs = BS_HOST_BUSY;
  90504. + dma_desc->status.b.l = 1;
  90505. + dma_desc->status.b.ioc = 1;
  90506. + dma_desc->status.b.bytes = ep->maxpacket;
  90507. + dma_desc->buf = ep->dma_addr;
  90508. + dma_desc->status.b.sts = 0;
  90509. + dma_desc->status.b.bs = BS_HOST_READY;
  90510. +
  90511. + /** DOEPDMA0 Register write */
  90512. + DWC_WRITE_REG32(&out_regs->doepdma,
  90513. + core_if->dev_if->dma_out_desc_addr);
  90514. + }
  90515. +
  90516. + DWC_DEBUGPL(DBG_PCDV,
  90517. + "IN len=%d xfersize=%d pktcnt=%d [%08x]\n",
  90518. + ep->xfer_len, deptsiz.b.xfersize, deptsiz.b.pktcnt,
  90519. + deptsiz.d32);
  90520. +
  90521. + /* Write the DMA register */
  90522. + if (core_if->hwcfg2.b.architecture == DWC_INT_DMA_ARCH) {
  90523. + if (core_if->dma_desc_enable == 0)
  90524. + DWC_WRITE_REG32(&(out_regs->doepdma),
  90525. + (uint32_t) ep->dma_addr);
  90526. +
  90527. + }
  90528. +
  90529. + /* EP enable, IN data in FIFO */
  90530. + depctl.b.cnak = 1;
  90531. + depctl.b.epena = 1;
  90532. + DWC_WRITE_REG32(&out_regs->doepctl, depctl.d32);
  90533. +
  90534. + }
  90535. +}
  90536. +
  90537. +#ifdef DEBUG
  90538. +void dump_msg(const u8 * buf, unsigned int length)
  90539. +{
  90540. + unsigned int start, num, i;
  90541. + char line[52], *p;
  90542. +
  90543. + if (length >= 512)
  90544. + return;
  90545. + start = 0;
  90546. + while (length > 0) {
  90547. + num = length < 16u ? length : 16u;
  90548. + p = line;
  90549. + for (i = 0; i < num; ++i) {
  90550. + if (i == 8)
  90551. + *p++ = ' ';
  90552. + DWC_SPRINTF(p, " %02x", buf[i]);
  90553. + p += 3;
  90554. + }
  90555. + *p = 0;
  90556. + DWC_PRINTF("%6x: %s\n", start, line);
  90557. + buf += num;
  90558. + start += num;
  90559. + length -= num;
  90560. + }
  90561. +}
  90562. +#else
  90563. +static inline void dump_msg(const u8 * buf, unsigned int length)
  90564. +{
  90565. +}
  90566. +#endif
  90567. +
  90568. +/**
  90569. + * This function writes a packet into the Tx FIFO associated with the
  90570. + * EP. For non-periodic EPs the non-periodic Tx FIFO is written. For
  90571. + * periodic EPs the periodic Tx FIFO associated with the EP is written
  90572. + * with all packets for the next micro-frame.
  90573. + *
  90574. + * @param core_if Programming view of DWC_otg controller.
  90575. + * @param ep The EP to write packet for.
  90576. + * @param dma Indicates if DMA is being used.
  90577. + */
  90578. +void dwc_otg_ep_write_packet(dwc_otg_core_if_t * core_if, dwc_ep_t * ep,
  90579. + int dma)
  90580. +{
  90581. + /**
  90582. + * The buffer is padded to DWORD on a per packet basis in
  90583. + * slave/dma mode if the MPS is not DWORD aligned. The last
  90584. + * packet, if short, is also padded to a multiple of DWORD.
  90585. + *
  90586. + * ep->xfer_buff always starts DWORD aligned in memory and is a
  90587. + * multiple of DWORD in length
  90588. + *
  90589. + * ep->xfer_len can be any number of bytes
  90590. + *
  90591. + * ep->xfer_count is a multiple of ep->maxpacket until the last
  90592. + * packet
  90593. + *
  90594. + * FIFO access is DWORD */
  90595. +
  90596. + uint32_t i;
  90597. + uint32_t byte_count;
  90598. + uint32_t dword_count;
  90599. + uint32_t *fifo;
  90600. + uint32_t *data_buff = (uint32_t *) ep->xfer_buff;
  90601. +
  90602. + DWC_DEBUGPL((DBG_PCDV | DBG_CILV), "%s(%p,%p)\n", __func__, core_if,
  90603. + ep);
  90604. + if (ep->xfer_count >= ep->xfer_len) {
  90605. + DWC_WARN("%s() No data for EP%d!!!\n", __func__, ep->num);
  90606. + return;
  90607. + }
  90608. +
  90609. + /* Find the byte length of the packet either short packet or MPS */
  90610. + if ((ep->xfer_len - ep->xfer_count) < ep->maxpacket) {
  90611. + byte_count = ep->xfer_len - ep->xfer_count;
  90612. + } else {
  90613. + byte_count = ep->maxpacket;
  90614. + }
  90615. +
  90616. + /* Find the DWORD length, padded by extra bytes as neccessary if MPS
  90617. + * is not a multiple of DWORD */
  90618. + dword_count = (byte_count + 3) / 4;
  90619. +
  90620. +#ifdef VERBOSE
  90621. + dump_msg(ep->xfer_buff, byte_count);
  90622. +#endif
  90623. +
  90624. + /**@todo NGS Where are the Periodic Tx FIFO addresses
  90625. + * intialized? What should this be? */
  90626. +
  90627. + fifo = core_if->data_fifo[ep->num];
  90628. +
  90629. + DWC_DEBUGPL((DBG_PCDV | DBG_CILV), "fifo=%p buff=%p *p=%08x bc=%d\n",
  90630. + fifo, data_buff, *data_buff, byte_count);
  90631. +
  90632. + if (!dma) {
  90633. + for (i = 0; i < dword_count; i++, data_buff++) {
  90634. + DWC_WRITE_REG32(fifo, *data_buff);
  90635. + }
  90636. + }
  90637. +
  90638. + ep->xfer_count += byte_count;
  90639. + ep->xfer_buff += byte_count;
  90640. + ep->dma_addr += byte_count;
  90641. +}
  90642. +
  90643. +/**
  90644. + * Set the EP STALL.
  90645. + *
  90646. + * @param core_if Programming view of DWC_otg controller.
  90647. + * @param ep The EP to set the stall on.
  90648. + */
  90649. +void dwc_otg_ep_set_stall(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  90650. +{
  90651. + depctl_data_t depctl;
  90652. + volatile uint32_t *depctl_addr;
  90653. +
  90654. + DWC_DEBUGPL(DBG_PCD, "%s ep%d-%s\n", __func__, ep->num,
  90655. + (ep->is_in ? "IN" : "OUT"));
  90656. +
  90657. + if (ep->is_in == 1) {
  90658. + depctl_addr = &(core_if->dev_if->in_ep_regs[ep->num]->diepctl);
  90659. + depctl.d32 = DWC_READ_REG32(depctl_addr);
  90660. +
  90661. + /* set the disable and stall bits */
  90662. + if (depctl.b.epena) {
  90663. + depctl.b.epdis = 1;
  90664. + }
  90665. + depctl.b.stall = 1;
  90666. + DWC_WRITE_REG32(depctl_addr, depctl.d32);
  90667. + } else {
  90668. + depctl_addr = &(core_if->dev_if->out_ep_regs[ep->num]->doepctl);
  90669. + depctl.d32 = DWC_READ_REG32(depctl_addr);
  90670. +
  90671. + /* set the stall bit */
  90672. + depctl.b.stall = 1;
  90673. + DWC_WRITE_REG32(depctl_addr, depctl.d32);
  90674. + }
  90675. +
  90676. + DWC_DEBUGPL(DBG_PCD, "DEPCTL=%0x\n", DWC_READ_REG32(depctl_addr));
  90677. +
  90678. + return;
  90679. +}
  90680. +
  90681. +/**
  90682. + * Clear the EP STALL.
  90683. + *
  90684. + * @param core_if Programming view of DWC_otg controller.
  90685. + * @param ep The EP to clear stall from.
  90686. + */
  90687. +void dwc_otg_ep_clear_stall(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  90688. +{
  90689. + depctl_data_t depctl;
  90690. + volatile uint32_t *depctl_addr;
  90691. +
  90692. + DWC_DEBUGPL(DBG_PCD, "%s ep%d-%s\n", __func__, ep->num,
  90693. + (ep->is_in ? "IN" : "OUT"));
  90694. +
  90695. + if (ep->is_in == 1) {
  90696. + depctl_addr = &(core_if->dev_if->in_ep_regs[ep->num]->diepctl);
  90697. + } else {
  90698. + depctl_addr = &(core_if->dev_if->out_ep_regs[ep->num]->doepctl);
  90699. + }
  90700. +
  90701. + depctl.d32 = DWC_READ_REG32(depctl_addr);
  90702. +
  90703. + /* clear the stall bits */
  90704. + depctl.b.stall = 0;
  90705. +
  90706. + /*
  90707. + * USB Spec 9.4.5: For endpoints using data toggle, regardless
  90708. + * of whether an endpoint has the Halt feature set, a
  90709. + * ClearFeature(ENDPOINT_HALT) request always results in the
  90710. + * data toggle being reinitialized to DATA0.
  90711. + */
  90712. + if (ep->type == DWC_OTG_EP_TYPE_INTR ||
  90713. + ep->type == DWC_OTG_EP_TYPE_BULK) {
  90714. + depctl.b.setd0pid = 1; /* DATA0 */
  90715. + }
  90716. +
  90717. + DWC_WRITE_REG32(depctl_addr, depctl.d32);
  90718. + DWC_DEBUGPL(DBG_PCD, "DEPCTL=%0x\n", DWC_READ_REG32(depctl_addr));
  90719. + return;
  90720. +}
  90721. +
  90722. +/**
  90723. + * This function reads a packet from the Rx FIFO into the destination
  90724. + * buffer. To read SETUP data use dwc_otg_read_setup_packet.
  90725. + *
  90726. + * @param core_if Programming view of DWC_otg controller.
  90727. + * @param dest Destination buffer for the packet.
  90728. + * @param bytes Number of bytes to copy to the destination.
  90729. + */
  90730. +void dwc_otg_read_packet(dwc_otg_core_if_t * core_if,
  90731. + uint8_t * dest, uint16_t bytes)
  90732. +{
  90733. + int i;
  90734. + int word_count = (bytes + 3) / 4;
  90735. +
  90736. + volatile uint32_t *fifo = core_if->data_fifo[0];
  90737. + uint32_t *data_buff = (uint32_t *) dest;
  90738. +
  90739. + /**
  90740. + * @todo Account for the case where _dest is not dword aligned. This
  90741. + * requires reading data from the FIFO into a uint32_t temp buffer,
  90742. + * then moving it into the data buffer.
  90743. + */
  90744. +
  90745. + DWC_DEBUGPL((DBG_PCDV | DBG_CILV), "%s(%p,%p,%d)\n", __func__,
  90746. + core_if, dest, bytes);
  90747. +
  90748. + for (i = 0; i < word_count; i++, data_buff++) {
  90749. + *data_buff = DWC_READ_REG32(fifo);
  90750. + }
  90751. +
  90752. + return;
  90753. +}
  90754. +
  90755. +/**
  90756. + * This functions reads the device registers and prints them
  90757. + *
  90758. + * @param core_if Programming view of DWC_otg controller.
  90759. + */
  90760. +void dwc_otg_dump_dev_registers(dwc_otg_core_if_t * core_if)
  90761. +{
  90762. + int i;
  90763. + volatile uint32_t *addr;
  90764. +
  90765. + DWC_PRINTF("Device Global Registers\n");
  90766. + addr = &core_if->dev_if->dev_global_regs->dcfg;
  90767. + DWC_PRINTF("DCFG @0x%08lX : 0x%08X\n",
  90768. + (unsigned long)addr, DWC_READ_REG32(addr));
  90769. + addr = &core_if->dev_if->dev_global_regs->dctl;
  90770. + DWC_PRINTF("DCTL @0x%08lX : 0x%08X\n",
  90771. + (unsigned long)addr, DWC_READ_REG32(addr));
  90772. + addr = &core_if->dev_if->dev_global_regs->dsts;
  90773. + DWC_PRINTF("DSTS @0x%08lX : 0x%08X\n",
  90774. + (unsigned long)addr, DWC_READ_REG32(addr));
  90775. + addr = &core_if->dev_if->dev_global_regs->diepmsk;
  90776. + DWC_PRINTF("DIEPMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90777. + DWC_READ_REG32(addr));
  90778. + addr = &core_if->dev_if->dev_global_regs->doepmsk;
  90779. + DWC_PRINTF("DOEPMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90780. + DWC_READ_REG32(addr));
  90781. + addr = &core_if->dev_if->dev_global_regs->daint;
  90782. + DWC_PRINTF("DAINT @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90783. + DWC_READ_REG32(addr));
  90784. + addr = &core_if->dev_if->dev_global_regs->daintmsk;
  90785. + DWC_PRINTF("DAINTMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90786. + DWC_READ_REG32(addr));
  90787. + addr = &core_if->dev_if->dev_global_regs->dtknqr1;
  90788. + DWC_PRINTF("DTKNQR1 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90789. + DWC_READ_REG32(addr));
  90790. + if (core_if->hwcfg2.b.dev_token_q_depth > 6) {
  90791. + addr = &core_if->dev_if->dev_global_regs->dtknqr2;
  90792. + DWC_PRINTF("DTKNQR2 @0x%08lX : 0x%08X\n",
  90793. + (unsigned long)addr, DWC_READ_REG32(addr));
  90794. + }
  90795. +
  90796. + addr = &core_if->dev_if->dev_global_regs->dvbusdis;
  90797. + DWC_PRINTF("DVBUSID @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90798. + DWC_READ_REG32(addr));
  90799. +
  90800. + addr = &core_if->dev_if->dev_global_regs->dvbuspulse;
  90801. + DWC_PRINTF("DVBUSPULSE @0x%08lX : 0x%08X\n",
  90802. + (unsigned long)addr, DWC_READ_REG32(addr));
  90803. +
  90804. + addr = &core_if->dev_if->dev_global_regs->dtknqr3_dthrctl;
  90805. + DWC_PRINTF("DTKNQR3_DTHRCTL @0x%08lX : 0x%08X\n",
  90806. + (unsigned long)addr, DWC_READ_REG32(addr));
  90807. +
  90808. + if (core_if->hwcfg2.b.dev_token_q_depth > 22) {
  90809. + addr = &core_if->dev_if->dev_global_regs->dtknqr4_fifoemptymsk;
  90810. + DWC_PRINTF("DTKNQR4 @0x%08lX : 0x%08X\n",
  90811. + (unsigned long)addr, DWC_READ_REG32(addr));
  90812. + }
  90813. +
  90814. + addr = &core_if->dev_if->dev_global_regs->dtknqr4_fifoemptymsk;
  90815. + DWC_PRINTF("FIFOEMPMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90816. + DWC_READ_REG32(addr));
  90817. +
  90818. + if (core_if->hwcfg2.b.multi_proc_int) {
  90819. +
  90820. + addr = &core_if->dev_if->dev_global_regs->deachint;
  90821. + DWC_PRINTF("DEACHINT @0x%08lX : 0x%08X\n",
  90822. + (unsigned long)addr, DWC_READ_REG32(addr));
  90823. + addr = &core_if->dev_if->dev_global_regs->deachintmsk;
  90824. + DWC_PRINTF("DEACHINTMSK @0x%08lX : 0x%08X\n",
  90825. + (unsigned long)addr, DWC_READ_REG32(addr));
  90826. +
  90827. + for (i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  90828. + addr =
  90829. + &core_if->dev_if->
  90830. + dev_global_regs->diepeachintmsk[i];
  90831. + DWC_PRINTF("DIEPEACHINTMSK[%d] @0x%08lX : 0x%08X\n",
  90832. + i, (unsigned long)addr,
  90833. + DWC_READ_REG32(addr));
  90834. + }
  90835. +
  90836. + for (i = 0; i <= core_if->dev_if->num_out_eps; i++) {
  90837. + addr =
  90838. + &core_if->dev_if->
  90839. + dev_global_regs->doepeachintmsk[i];
  90840. + DWC_PRINTF("DOEPEACHINTMSK[%d] @0x%08lX : 0x%08X\n",
  90841. + i, (unsigned long)addr,
  90842. + DWC_READ_REG32(addr));
  90843. + }
  90844. + }
  90845. +
  90846. + for (i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  90847. + DWC_PRINTF("Device IN EP %d Registers\n", i);
  90848. + addr = &core_if->dev_if->in_ep_regs[i]->diepctl;
  90849. + DWC_PRINTF("DIEPCTL @0x%08lX : 0x%08X\n",
  90850. + (unsigned long)addr, DWC_READ_REG32(addr));
  90851. + addr = &core_if->dev_if->in_ep_regs[i]->diepint;
  90852. + DWC_PRINTF("DIEPINT @0x%08lX : 0x%08X\n",
  90853. + (unsigned long)addr, DWC_READ_REG32(addr));
  90854. + addr = &core_if->dev_if->in_ep_regs[i]->dieptsiz;
  90855. + DWC_PRINTF("DIETSIZ @0x%08lX : 0x%08X\n",
  90856. + (unsigned long)addr, DWC_READ_REG32(addr));
  90857. + addr = &core_if->dev_if->in_ep_regs[i]->diepdma;
  90858. + DWC_PRINTF("DIEPDMA @0x%08lX : 0x%08X\n",
  90859. + (unsigned long)addr, DWC_READ_REG32(addr));
  90860. + addr = &core_if->dev_if->in_ep_regs[i]->dtxfsts;
  90861. + DWC_PRINTF("DTXFSTS @0x%08lX : 0x%08X\n",
  90862. + (unsigned long)addr, DWC_READ_REG32(addr));
  90863. + addr = &core_if->dev_if->in_ep_regs[i]->diepdmab;
  90864. + DWC_PRINTF("DIEPDMAB @0x%08lX : 0x%08X\n",
  90865. + (unsigned long)addr, 0 /*DWC_READ_REG32(addr) */ );
  90866. + }
  90867. +
  90868. + for (i = 0; i <= core_if->dev_if->num_out_eps; i++) {
  90869. + DWC_PRINTF("Device OUT EP %d Registers\n", i);
  90870. + addr = &core_if->dev_if->out_ep_regs[i]->doepctl;
  90871. + DWC_PRINTF("DOEPCTL @0x%08lX : 0x%08X\n",
  90872. + (unsigned long)addr, DWC_READ_REG32(addr));
  90873. + addr = &core_if->dev_if->out_ep_regs[i]->doepint;
  90874. + DWC_PRINTF("DOEPINT @0x%08lX : 0x%08X\n",
  90875. + (unsigned long)addr, DWC_READ_REG32(addr));
  90876. + addr = &core_if->dev_if->out_ep_regs[i]->doeptsiz;
  90877. + DWC_PRINTF("DOETSIZ @0x%08lX : 0x%08X\n",
  90878. + (unsigned long)addr, DWC_READ_REG32(addr));
  90879. + addr = &core_if->dev_if->out_ep_regs[i]->doepdma;
  90880. + DWC_PRINTF("DOEPDMA @0x%08lX : 0x%08X\n",
  90881. + (unsigned long)addr, DWC_READ_REG32(addr));
  90882. + if (core_if->dma_enable) { /* Don't access this register in SLAVE mode */
  90883. + addr = &core_if->dev_if->out_ep_regs[i]->doepdmab;
  90884. + DWC_PRINTF("DOEPDMAB @0x%08lX : 0x%08X\n",
  90885. + (unsigned long)addr, DWC_READ_REG32(addr));
  90886. + }
  90887. +
  90888. + }
  90889. +}
  90890. +
  90891. +/**
  90892. + * This functions reads the SPRAM and prints its content
  90893. + *
  90894. + * @param core_if Programming view of DWC_otg controller.
  90895. + */
  90896. +void dwc_otg_dump_spram(dwc_otg_core_if_t * core_if)
  90897. +{
  90898. + volatile uint8_t *addr, *start_addr, *end_addr;
  90899. +
  90900. + DWC_PRINTF("SPRAM Data:\n");
  90901. + start_addr = (void *)core_if->core_global_regs;
  90902. + DWC_PRINTF("Base Address: 0x%8lX\n", (unsigned long)start_addr);
  90903. + start_addr += 0x00028000;
  90904. + end_addr = (void *)core_if->core_global_regs;
  90905. + end_addr += 0x000280e0;
  90906. +
  90907. + for (addr = start_addr; addr < end_addr; addr += 16) {
  90908. + DWC_PRINTF
  90909. + ("0x%8lX:\t%2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X %2X\n",
  90910. + (unsigned long)addr, addr[0], addr[1], addr[2], addr[3],
  90911. + addr[4], addr[5], addr[6], addr[7], addr[8], addr[9],
  90912. + addr[10], addr[11], addr[12], addr[13], addr[14], addr[15]
  90913. + );
  90914. + }
  90915. +
  90916. + return;
  90917. +}
  90918. +
  90919. +/**
  90920. + * This function reads the host registers and prints them
  90921. + *
  90922. + * @param core_if Programming view of DWC_otg controller.
  90923. + */
  90924. +void dwc_otg_dump_host_registers(dwc_otg_core_if_t * core_if)
  90925. +{
  90926. + int i;
  90927. + volatile uint32_t *addr;
  90928. +
  90929. + DWC_PRINTF("Host Global Registers\n");
  90930. + addr = &core_if->host_if->host_global_regs->hcfg;
  90931. + DWC_PRINTF("HCFG @0x%08lX : 0x%08X\n",
  90932. + (unsigned long)addr, DWC_READ_REG32(addr));
  90933. + addr = &core_if->host_if->host_global_regs->hfir;
  90934. + DWC_PRINTF("HFIR @0x%08lX : 0x%08X\n",
  90935. + (unsigned long)addr, DWC_READ_REG32(addr));
  90936. + addr = &core_if->host_if->host_global_regs->hfnum;
  90937. + DWC_PRINTF("HFNUM @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90938. + DWC_READ_REG32(addr));
  90939. + addr = &core_if->host_if->host_global_regs->hptxsts;
  90940. + DWC_PRINTF("HPTXSTS @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90941. + DWC_READ_REG32(addr));
  90942. + addr = &core_if->host_if->host_global_regs->haint;
  90943. + DWC_PRINTF("HAINT @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90944. + DWC_READ_REG32(addr));
  90945. + addr = &core_if->host_if->host_global_regs->haintmsk;
  90946. + DWC_PRINTF("HAINTMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90947. + DWC_READ_REG32(addr));
  90948. + if (core_if->dma_desc_enable) {
  90949. + addr = &core_if->host_if->host_global_regs->hflbaddr;
  90950. + DWC_PRINTF("HFLBADDR @0x%08lX : 0x%08X\n",
  90951. + (unsigned long)addr, DWC_READ_REG32(addr));
  90952. + }
  90953. +
  90954. + addr = core_if->host_if->hprt0;
  90955. + DWC_PRINTF("HPRT0 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  90956. + DWC_READ_REG32(addr));
  90957. +
  90958. + for (i = 0; i < core_if->core_params->host_channels; i++) {
  90959. + DWC_PRINTF("Host Channel %d Specific Registers\n", i);
  90960. + addr = &core_if->host_if->hc_regs[i]->hcchar;
  90961. + DWC_PRINTF("HCCHAR @0x%08lX : 0x%08X\n",
  90962. + (unsigned long)addr, DWC_READ_REG32(addr));
  90963. + addr = &core_if->host_if->hc_regs[i]->hcsplt;
  90964. + DWC_PRINTF("HCSPLT @0x%08lX : 0x%08X\n",
  90965. + (unsigned long)addr, DWC_READ_REG32(addr));
  90966. + addr = &core_if->host_if->hc_regs[i]->hcint;
  90967. + DWC_PRINTF("HCINT @0x%08lX : 0x%08X\n",
  90968. + (unsigned long)addr, DWC_READ_REG32(addr));
  90969. + addr = &core_if->host_if->hc_regs[i]->hcintmsk;
  90970. + DWC_PRINTF("HCINTMSK @0x%08lX : 0x%08X\n",
  90971. + (unsigned long)addr, DWC_READ_REG32(addr));
  90972. + addr = &core_if->host_if->hc_regs[i]->hctsiz;
  90973. + DWC_PRINTF("HCTSIZ @0x%08lX : 0x%08X\n",
  90974. + (unsigned long)addr, DWC_READ_REG32(addr));
  90975. + addr = &core_if->host_if->hc_regs[i]->hcdma;
  90976. + DWC_PRINTF("HCDMA @0x%08lX : 0x%08X\n",
  90977. + (unsigned long)addr, DWC_READ_REG32(addr));
  90978. + if (core_if->dma_desc_enable) {
  90979. + addr = &core_if->host_if->hc_regs[i]->hcdmab;
  90980. + DWC_PRINTF("HCDMAB @0x%08lX : 0x%08X\n",
  90981. + (unsigned long)addr, DWC_READ_REG32(addr));
  90982. + }
  90983. +
  90984. + }
  90985. + return;
  90986. +}
  90987. +
  90988. +/**
  90989. + * This function reads the core global registers and prints them
  90990. + *
  90991. + * @param core_if Programming view of DWC_otg controller.
  90992. + */
  90993. +void dwc_otg_dump_global_registers(dwc_otg_core_if_t * core_if)
  90994. +{
  90995. + int i, ep_num;
  90996. + volatile uint32_t *addr;
  90997. + char *txfsiz;
  90998. +
  90999. + DWC_PRINTF("Core Global Registers\n");
  91000. + addr = &core_if->core_global_regs->gotgctl;
  91001. + DWC_PRINTF("GOTGCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91002. + DWC_READ_REG32(addr));
  91003. + addr = &core_if->core_global_regs->gotgint;
  91004. + DWC_PRINTF("GOTGINT @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91005. + DWC_READ_REG32(addr));
  91006. + addr = &core_if->core_global_regs->gahbcfg;
  91007. + DWC_PRINTF("GAHBCFG @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91008. + DWC_READ_REG32(addr));
  91009. + addr = &core_if->core_global_regs->gusbcfg;
  91010. + DWC_PRINTF("GUSBCFG @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91011. + DWC_READ_REG32(addr));
  91012. + addr = &core_if->core_global_regs->grstctl;
  91013. + DWC_PRINTF("GRSTCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91014. + DWC_READ_REG32(addr));
  91015. + addr = &core_if->core_global_regs->gintsts;
  91016. + DWC_PRINTF("GINTSTS @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91017. + DWC_READ_REG32(addr));
  91018. + addr = &core_if->core_global_regs->gintmsk;
  91019. + DWC_PRINTF("GINTMSK @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91020. + DWC_READ_REG32(addr));
  91021. + addr = &core_if->core_global_regs->grxstsr;
  91022. + DWC_PRINTF("GRXSTSR @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91023. + DWC_READ_REG32(addr));
  91024. + addr = &core_if->core_global_regs->grxfsiz;
  91025. + DWC_PRINTF("GRXFSIZ @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91026. + DWC_READ_REG32(addr));
  91027. + addr = &core_if->core_global_regs->gnptxfsiz;
  91028. + DWC_PRINTF("GNPTXFSIZ @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91029. + DWC_READ_REG32(addr));
  91030. + addr = &core_if->core_global_regs->gnptxsts;
  91031. + DWC_PRINTF("GNPTXSTS @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91032. + DWC_READ_REG32(addr));
  91033. + addr = &core_if->core_global_regs->gi2cctl;
  91034. + DWC_PRINTF("GI2CCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91035. + DWC_READ_REG32(addr));
  91036. + addr = &core_if->core_global_regs->gpvndctl;
  91037. + DWC_PRINTF("GPVNDCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91038. + DWC_READ_REG32(addr));
  91039. + addr = &core_if->core_global_regs->ggpio;
  91040. + DWC_PRINTF("GGPIO @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91041. + DWC_READ_REG32(addr));
  91042. + addr = &core_if->core_global_regs->guid;
  91043. + DWC_PRINTF("GUID @0x%08lX : 0x%08X\n",
  91044. + (unsigned long)addr, DWC_READ_REG32(addr));
  91045. + addr = &core_if->core_global_regs->gsnpsid;
  91046. + DWC_PRINTF("GSNPSID @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91047. + DWC_READ_REG32(addr));
  91048. + addr = &core_if->core_global_regs->ghwcfg1;
  91049. + DWC_PRINTF("GHWCFG1 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91050. + DWC_READ_REG32(addr));
  91051. + addr = &core_if->core_global_regs->ghwcfg2;
  91052. + DWC_PRINTF("GHWCFG2 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91053. + DWC_READ_REG32(addr));
  91054. + addr = &core_if->core_global_regs->ghwcfg3;
  91055. + DWC_PRINTF("GHWCFG3 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91056. + DWC_READ_REG32(addr));
  91057. + addr = &core_if->core_global_regs->ghwcfg4;
  91058. + DWC_PRINTF("GHWCFG4 @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91059. + DWC_READ_REG32(addr));
  91060. + addr = &core_if->core_global_regs->glpmcfg;
  91061. + DWC_PRINTF("GLPMCFG @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91062. + DWC_READ_REG32(addr));
  91063. + addr = &core_if->core_global_regs->gpwrdn;
  91064. + DWC_PRINTF("GPWRDN @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91065. + DWC_READ_REG32(addr));
  91066. + addr = &core_if->core_global_regs->gdfifocfg;
  91067. + DWC_PRINTF("GDFIFOCFG @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91068. + DWC_READ_REG32(addr));
  91069. + addr = &core_if->core_global_regs->adpctl;
  91070. + DWC_PRINTF("ADPCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91071. + dwc_otg_adp_read_reg(core_if));
  91072. + addr = &core_if->core_global_regs->hptxfsiz;
  91073. + DWC_PRINTF("HPTXFSIZ @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91074. + DWC_READ_REG32(addr));
  91075. +
  91076. + if (core_if->en_multiple_tx_fifo == 0) {
  91077. + ep_num = core_if->hwcfg4.b.num_dev_perio_in_ep;
  91078. + txfsiz = "DPTXFSIZ";
  91079. + } else {
  91080. + ep_num = core_if->hwcfg4.b.num_in_eps;
  91081. + txfsiz = "DIENPTXF";
  91082. + }
  91083. + for (i = 0; i < ep_num; i++) {
  91084. + addr = &core_if->core_global_regs->dtxfsiz[i];
  91085. + DWC_PRINTF("%s[%d] @0x%08lX : 0x%08X\n", txfsiz, i + 1,
  91086. + (unsigned long)addr, DWC_READ_REG32(addr));
  91087. + }
  91088. + addr = core_if->pcgcctl;
  91089. + DWC_PRINTF("PCGCCTL @0x%08lX : 0x%08X\n", (unsigned long)addr,
  91090. + DWC_READ_REG32(addr));
  91091. +}
  91092. +
  91093. +/**
  91094. + * Flush a Tx FIFO.
  91095. + *
  91096. + * @param core_if Programming view of DWC_otg controller.
  91097. + * @param num Tx FIFO to flush.
  91098. + */
  91099. +void dwc_otg_flush_tx_fifo(dwc_otg_core_if_t * core_if, const int num)
  91100. +{
  91101. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  91102. + volatile grstctl_t greset = {.d32 = 0 };
  91103. + int count = 0;
  91104. +
  91105. + DWC_DEBUGPL((DBG_CIL | DBG_PCDV), "Flush Tx FIFO %d\n", num);
  91106. +
  91107. + greset.b.txfflsh = 1;
  91108. + greset.b.txfnum = num;
  91109. + DWC_WRITE_REG32(&global_regs->grstctl, greset.d32);
  91110. +
  91111. + do {
  91112. + greset.d32 = DWC_READ_REG32(&global_regs->grstctl);
  91113. + if (++count > 10000) {
  91114. + DWC_WARN("%s() HANG! GRSTCTL=%0x GNPTXSTS=0x%08x\n",
  91115. + __func__, greset.d32,
  91116. + DWC_READ_REG32(&global_regs->gnptxsts));
  91117. + break;
  91118. + }
  91119. + dwc_udelay(1);
  91120. + } while (greset.b.txfflsh == 1);
  91121. +
  91122. + /* Wait for 3 PHY Clocks */
  91123. + dwc_udelay(1);
  91124. +}
  91125. +
  91126. +/**
  91127. + * Flush Rx FIFO.
  91128. + *
  91129. + * @param core_if Programming view of DWC_otg controller.
  91130. + */
  91131. +void dwc_otg_flush_rx_fifo(dwc_otg_core_if_t * core_if)
  91132. +{
  91133. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  91134. + volatile grstctl_t greset = {.d32 = 0 };
  91135. + int count = 0;
  91136. +
  91137. + DWC_DEBUGPL((DBG_CIL | DBG_PCDV), "%s\n", __func__);
  91138. + /*
  91139. + *
  91140. + */
  91141. + greset.b.rxfflsh = 1;
  91142. + DWC_WRITE_REG32(&global_regs->grstctl, greset.d32);
  91143. +
  91144. + do {
  91145. + greset.d32 = DWC_READ_REG32(&global_regs->grstctl);
  91146. + if (++count > 10000) {
  91147. + DWC_WARN("%s() HANG! GRSTCTL=%0x\n", __func__,
  91148. + greset.d32);
  91149. + break;
  91150. + }
  91151. + dwc_udelay(1);
  91152. + } while (greset.b.rxfflsh == 1);
  91153. +
  91154. + /* Wait for 3 PHY Clocks */
  91155. + dwc_udelay(1);
  91156. +}
  91157. +
  91158. +/**
  91159. + * Do core a soft reset of the core. Be careful with this because it
  91160. + * resets all the internal state machines of the core.
  91161. + */
  91162. +void dwc_otg_core_reset(dwc_otg_core_if_t * core_if)
  91163. +{
  91164. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  91165. + volatile grstctl_t greset = {.d32 = 0 };
  91166. + int count = 0;
  91167. +
  91168. + DWC_DEBUGPL(DBG_CILV, "%s\n", __func__);
  91169. + /* Wait for AHB master IDLE state. */
  91170. + do {
  91171. + dwc_udelay(10);
  91172. + greset.d32 = DWC_READ_REG32(&global_regs->grstctl);
  91173. + if (++count > 100000) {
  91174. + DWC_WARN("%s() HANG! AHB Idle GRSTCTL=%0x\n", __func__,
  91175. + greset.d32);
  91176. + return;
  91177. + }
  91178. + }
  91179. + while (greset.b.ahbidle == 0);
  91180. +
  91181. + /* Core Soft Reset */
  91182. + count = 0;
  91183. + greset.b.csftrst = 1;
  91184. + DWC_WRITE_REG32(&global_regs->grstctl, greset.d32);
  91185. + do {
  91186. + greset.d32 = DWC_READ_REG32(&global_regs->grstctl);
  91187. + if (++count > 10000) {
  91188. + DWC_WARN("%s() HANG! Soft Reset GRSTCTL=%0x\n",
  91189. + __func__, greset.d32);
  91190. + break;
  91191. + }
  91192. + dwc_udelay(1);
  91193. + }
  91194. + while (greset.b.csftrst == 1);
  91195. +
  91196. + /* Wait for 3 PHY Clocks */
  91197. + dwc_mdelay(100);
  91198. +}
  91199. +
  91200. +uint8_t dwc_otg_is_device_mode(dwc_otg_core_if_t * _core_if)
  91201. +{
  91202. + return (dwc_otg_mode(_core_if) != DWC_HOST_MODE);
  91203. +}
  91204. +
  91205. +uint8_t dwc_otg_is_host_mode(dwc_otg_core_if_t * _core_if)
  91206. +{
  91207. + return (dwc_otg_mode(_core_if) == DWC_HOST_MODE);
  91208. +}
  91209. +
  91210. +/**
  91211. + * Register HCD callbacks. The callbacks are used to start and stop
  91212. + * the HCD for interrupt processing.
  91213. + *
  91214. + * @param core_if Programming view of DWC_otg controller.
  91215. + * @param cb the HCD callback structure.
  91216. + * @param p pointer to be passed to callback function (usb_hcd*).
  91217. + */
  91218. +void dwc_otg_cil_register_hcd_callbacks(dwc_otg_core_if_t * core_if,
  91219. + dwc_otg_cil_callbacks_t * cb, void *p)
  91220. +{
  91221. + core_if->hcd_cb = cb;
  91222. + cb->p = p;
  91223. +}
  91224. +
  91225. +/**
  91226. + * Register PCD callbacks. The callbacks are used to start and stop
  91227. + * the PCD for interrupt processing.
  91228. + *
  91229. + * @param core_if Programming view of DWC_otg controller.
  91230. + * @param cb the PCD callback structure.
  91231. + * @param p pointer to be passed to callback function (pcd*).
  91232. + */
  91233. +void dwc_otg_cil_register_pcd_callbacks(dwc_otg_core_if_t * core_if,
  91234. + dwc_otg_cil_callbacks_t * cb, void *p)
  91235. +{
  91236. + core_if->pcd_cb = cb;
  91237. + cb->p = p;
  91238. +}
  91239. +
  91240. +#ifdef DWC_EN_ISOC
  91241. +
  91242. +/**
  91243. + * This function writes isoc data per 1 (micro)frame into tx fifo
  91244. + *
  91245. + * @param core_if Programming view of DWC_otg controller.
  91246. + * @param ep The EP to start the transfer on.
  91247. + *
  91248. + */
  91249. +void write_isoc_frame_data(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  91250. +{
  91251. + dwc_otg_dev_in_ep_regs_t *ep_regs;
  91252. + dtxfsts_data_t txstatus = {.d32 = 0 };
  91253. + uint32_t len = 0;
  91254. + uint32_t dwords;
  91255. +
  91256. + ep->xfer_len = ep->data_per_frame;
  91257. + ep->xfer_count = 0;
  91258. +
  91259. + ep_regs = core_if->dev_if->in_ep_regs[ep->num];
  91260. +
  91261. + len = ep->xfer_len - ep->xfer_count;
  91262. +
  91263. + if (len > ep->maxpacket) {
  91264. + len = ep->maxpacket;
  91265. + }
  91266. +
  91267. + dwords = (len + 3) / 4;
  91268. +
  91269. + /* While there is space in the queue and space in the FIFO and
  91270. + * More data to tranfer, Write packets to the Tx FIFO */
  91271. + txstatus.d32 =
  91272. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[ep->num]->dtxfsts);
  91273. + DWC_DEBUGPL(DBG_PCDV, "b4 dtxfsts[%d]=0x%08x\n", ep->num, txstatus.d32);
  91274. +
  91275. + while (txstatus.b.txfspcavail > dwords &&
  91276. + ep->xfer_count < ep->xfer_len && ep->xfer_len != 0) {
  91277. + /* Write the FIFO */
  91278. + dwc_otg_ep_write_packet(core_if, ep, 0);
  91279. +
  91280. + len = ep->xfer_len - ep->xfer_count;
  91281. + if (len > ep->maxpacket) {
  91282. + len = ep->maxpacket;
  91283. + }
  91284. +
  91285. + dwords = (len + 3) / 4;
  91286. + txstatus.d32 =
  91287. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  91288. + dtxfsts);
  91289. + DWC_DEBUGPL(DBG_PCDV, "dtxfsts[%d]=0x%08x\n", ep->num,
  91290. + txstatus.d32);
  91291. + }
  91292. +}
  91293. +
  91294. +/**
  91295. + * This function initializes a descriptor chain for Isochronous transfer
  91296. + *
  91297. + * @param core_if Programming view of DWC_otg controller.
  91298. + * @param ep The EP to start the transfer on.
  91299. + *
  91300. + */
  91301. +void dwc_otg_iso_ep_start_frm_transfer(dwc_otg_core_if_t * core_if,
  91302. + dwc_ep_t * ep)
  91303. +{
  91304. + deptsiz_data_t deptsiz = {.d32 = 0 };
  91305. + depctl_data_t depctl = {.d32 = 0 };
  91306. + dsts_data_t dsts = {.d32 = 0 };
  91307. + volatile uint32_t *addr;
  91308. +
  91309. + if (ep->is_in) {
  91310. + addr = &core_if->dev_if->in_ep_regs[ep->num]->diepctl;
  91311. + } else {
  91312. + addr = &core_if->dev_if->out_ep_regs[ep->num]->doepctl;
  91313. + }
  91314. +
  91315. + ep->xfer_len = ep->data_per_frame;
  91316. + ep->xfer_count = 0;
  91317. + ep->xfer_buff = ep->cur_pkt_addr;
  91318. + ep->dma_addr = ep->cur_pkt_dma_addr;
  91319. +
  91320. + if (ep->is_in) {
  91321. + /* Program the transfer size and packet count
  91322. + * as follows: xfersize = N * maxpacket +
  91323. + * short_packet pktcnt = N + (short_packet
  91324. + * exist ? 1 : 0)
  91325. + */
  91326. + deptsiz.b.xfersize = ep->xfer_len;
  91327. + deptsiz.b.pktcnt =
  91328. + (ep->xfer_len - 1 + ep->maxpacket) / ep->maxpacket;
  91329. + deptsiz.b.mc = deptsiz.b.pktcnt;
  91330. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->dieptsiz,
  91331. + deptsiz.d32);
  91332. +
  91333. + /* Write the DMA register */
  91334. + if (core_if->dma_enable) {
  91335. + DWC_WRITE_REG32(&
  91336. + (core_if->dev_if->in_ep_regs[ep->num]->
  91337. + diepdma), (uint32_t) ep->dma_addr);
  91338. + }
  91339. + } else {
  91340. + deptsiz.b.pktcnt =
  91341. + (ep->xfer_len + (ep->maxpacket - 1)) / ep->maxpacket;
  91342. + deptsiz.b.xfersize = deptsiz.b.pktcnt * ep->maxpacket;
  91343. +
  91344. + DWC_WRITE_REG32(&core_if->dev_if->
  91345. + out_ep_regs[ep->num]->doeptsiz, deptsiz.d32);
  91346. +
  91347. + if (core_if->dma_enable) {
  91348. + DWC_WRITE_REG32(&
  91349. + (core_if->dev_if->
  91350. + out_ep_regs[ep->num]->doepdma),
  91351. + (uint32_t) ep->dma_addr);
  91352. + }
  91353. + }
  91354. +
  91355. + /** Enable endpoint, clear nak */
  91356. +
  91357. + depctl.d32 = 0;
  91358. + if (ep->bInterval == 1) {
  91359. + dsts.d32 =
  91360. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  91361. + ep->next_frame = dsts.b.soffn + ep->bInterval;
  91362. +
  91363. + if (ep->next_frame & 0x1) {
  91364. + depctl.b.setd1pid = 1;
  91365. + } else {
  91366. + depctl.b.setd0pid = 1;
  91367. + }
  91368. + } else {
  91369. + ep->next_frame += ep->bInterval;
  91370. +
  91371. + if (ep->next_frame & 0x1) {
  91372. + depctl.b.setd1pid = 1;
  91373. + } else {
  91374. + depctl.b.setd0pid = 1;
  91375. + }
  91376. + }
  91377. + depctl.b.epena = 1;
  91378. + depctl.b.cnak = 1;
  91379. +
  91380. + DWC_MODIFY_REG32(addr, 0, depctl.d32);
  91381. + depctl.d32 = DWC_READ_REG32(addr);
  91382. +
  91383. + if (ep->is_in && core_if->dma_enable == 0) {
  91384. + write_isoc_frame_data(core_if, ep);
  91385. + }
  91386. +
  91387. +}
  91388. +#endif /* DWC_EN_ISOC */
  91389. +
  91390. +static void dwc_otg_set_uninitialized(int32_t * p, int size)
  91391. +{
  91392. + int i;
  91393. + for (i = 0; i < size; i++) {
  91394. + p[i] = -1;
  91395. + }
  91396. +}
  91397. +
  91398. +static int dwc_otg_param_initialized(int32_t val)
  91399. +{
  91400. + return val != -1;
  91401. +}
  91402. +
  91403. +static int dwc_otg_setup_params(dwc_otg_core_if_t * core_if)
  91404. +{
  91405. + int i;
  91406. + core_if->core_params = DWC_ALLOC(sizeof(*core_if->core_params));
  91407. + if (!core_if->core_params) {
  91408. + return -DWC_E_NO_MEMORY;
  91409. + }
  91410. + dwc_otg_set_uninitialized((int32_t *) core_if->core_params,
  91411. + sizeof(*core_if->core_params) /
  91412. + sizeof(int32_t));
  91413. + DWC_PRINTF("Setting default values for core params\n");
  91414. + dwc_otg_set_param_otg_cap(core_if, dwc_param_otg_cap_default);
  91415. + dwc_otg_set_param_dma_enable(core_if, dwc_param_dma_enable_default);
  91416. + dwc_otg_set_param_dma_desc_enable(core_if,
  91417. + dwc_param_dma_desc_enable_default);
  91418. + dwc_otg_set_param_opt(core_if, dwc_param_opt_default);
  91419. + dwc_otg_set_param_dma_burst_size(core_if,
  91420. + dwc_param_dma_burst_size_default);
  91421. + dwc_otg_set_param_host_support_fs_ls_low_power(core_if,
  91422. + dwc_param_host_support_fs_ls_low_power_default);
  91423. + dwc_otg_set_param_enable_dynamic_fifo(core_if,
  91424. + dwc_param_enable_dynamic_fifo_default);
  91425. + dwc_otg_set_param_data_fifo_size(core_if,
  91426. + dwc_param_data_fifo_size_default);
  91427. + dwc_otg_set_param_dev_rx_fifo_size(core_if,
  91428. + dwc_param_dev_rx_fifo_size_default);
  91429. + dwc_otg_set_param_dev_nperio_tx_fifo_size(core_if,
  91430. + dwc_param_dev_nperio_tx_fifo_size_default);
  91431. + dwc_otg_set_param_host_rx_fifo_size(core_if,
  91432. + dwc_param_host_rx_fifo_size_default);
  91433. + dwc_otg_set_param_host_nperio_tx_fifo_size(core_if,
  91434. + dwc_param_host_nperio_tx_fifo_size_default);
  91435. + dwc_otg_set_param_host_perio_tx_fifo_size(core_if,
  91436. + dwc_param_host_perio_tx_fifo_size_default);
  91437. + dwc_otg_set_param_max_transfer_size(core_if,
  91438. + dwc_param_max_transfer_size_default);
  91439. + dwc_otg_set_param_max_packet_count(core_if,
  91440. + dwc_param_max_packet_count_default);
  91441. + dwc_otg_set_param_host_channels(core_if,
  91442. + dwc_param_host_channels_default);
  91443. + dwc_otg_set_param_dev_endpoints(core_if,
  91444. + dwc_param_dev_endpoints_default);
  91445. + dwc_otg_set_param_phy_type(core_if, dwc_param_phy_type_default);
  91446. + dwc_otg_set_param_speed(core_if, dwc_param_speed_default);
  91447. + dwc_otg_set_param_host_ls_low_power_phy_clk(core_if,
  91448. + dwc_param_host_ls_low_power_phy_clk_default);
  91449. + dwc_otg_set_param_phy_ulpi_ddr(core_if, dwc_param_phy_ulpi_ddr_default);
  91450. + dwc_otg_set_param_phy_ulpi_ext_vbus(core_if,
  91451. + dwc_param_phy_ulpi_ext_vbus_default);
  91452. + dwc_otg_set_param_phy_utmi_width(core_if,
  91453. + dwc_param_phy_utmi_width_default);
  91454. + dwc_otg_set_param_ts_dline(core_if, dwc_param_ts_dline_default);
  91455. + dwc_otg_set_param_i2c_enable(core_if, dwc_param_i2c_enable_default);
  91456. + dwc_otg_set_param_ulpi_fs_ls(core_if, dwc_param_ulpi_fs_ls_default);
  91457. + dwc_otg_set_param_en_multiple_tx_fifo(core_if,
  91458. + dwc_param_en_multiple_tx_fifo_default);
  91459. + for (i = 0; i < 15; i++) {
  91460. + dwc_otg_set_param_dev_perio_tx_fifo_size(core_if,
  91461. + dwc_param_dev_perio_tx_fifo_size_default,
  91462. + i);
  91463. + }
  91464. +
  91465. + for (i = 0; i < 15; i++) {
  91466. + dwc_otg_set_param_dev_tx_fifo_size(core_if,
  91467. + dwc_param_dev_tx_fifo_size_default,
  91468. + i);
  91469. + }
  91470. + dwc_otg_set_param_thr_ctl(core_if, dwc_param_thr_ctl_default);
  91471. + dwc_otg_set_param_mpi_enable(core_if, dwc_param_mpi_enable_default);
  91472. + dwc_otg_set_param_pti_enable(core_if, dwc_param_pti_enable_default);
  91473. + dwc_otg_set_param_lpm_enable(core_if, dwc_param_lpm_enable_default);
  91474. + dwc_otg_set_param_ic_usb_cap(core_if, dwc_param_ic_usb_cap_default);
  91475. + dwc_otg_set_param_tx_thr_length(core_if,
  91476. + dwc_param_tx_thr_length_default);
  91477. + dwc_otg_set_param_rx_thr_length(core_if,
  91478. + dwc_param_rx_thr_length_default);
  91479. + dwc_otg_set_param_ahb_thr_ratio(core_if,
  91480. + dwc_param_ahb_thr_ratio_default);
  91481. + dwc_otg_set_param_power_down(core_if, dwc_param_power_down_default);
  91482. + dwc_otg_set_param_reload_ctl(core_if, dwc_param_reload_ctl_default);
  91483. + dwc_otg_set_param_dev_out_nak(core_if, dwc_param_dev_out_nak_default);
  91484. + dwc_otg_set_param_cont_on_bna(core_if, dwc_param_cont_on_bna_default);
  91485. + dwc_otg_set_param_ahb_single(core_if, dwc_param_ahb_single_default);
  91486. + dwc_otg_set_param_otg_ver(core_if, dwc_param_otg_ver_default);
  91487. + dwc_otg_set_param_adp_enable(core_if, dwc_param_adp_enable_default);
  91488. + DWC_PRINTF("Finished setting default values for core params\n");
  91489. +
  91490. + return 0;
  91491. +}
  91492. +
  91493. +uint8_t dwc_otg_is_dma_enable(dwc_otg_core_if_t * core_if)
  91494. +{
  91495. + return core_if->dma_enable;
  91496. +}
  91497. +
  91498. +/* Checks if the parameter is outside of its valid range of values */
  91499. +#define DWC_OTG_PARAM_TEST(_param_, _low_, _high_) \
  91500. + (((_param_) < (_low_)) || \
  91501. + ((_param_) > (_high_)))
  91502. +
  91503. +/* Parameter access functions */
  91504. +int dwc_otg_set_param_otg_cap(dwc_otg_core_if_t * core_if, int32_t val)
  91505. +{
  91506. + int valid;
  91507. + int retval = 0;
  91508. + if (DWC_OTG_PARAM_TEST(val, 0, 2)) {
  91509. + DWC_WARN("Wrong value for otg_cap parameter\n");
  91510. + DWC_WARN("otg_cap parameter must be 0,1 or 2\n");
  91511. + retval = -DWC_E_INVALID;
  91512. + goto out;
  91513. + }
  91514. +
  91515. + valid = 1;
  91516. + switch (val) {
  91517. + case DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE:
  91518. + if (core_if->hwcfg2.b.op_mode !=
  91519. + DWC_HWCFG2_OP_MODE_HNP_SRP_CAPABLE_OTG)
  91520. + valid = 0;
  91521. + break;
  91522. + case DWC_OTG_CAP_PARAM_SRP_ONLY_CAPABLE:
  91523. + if ((core_if->hwcfg2.b.op_mode !=
  91524. + DWC_HWCFG2_OP_MODE_HNP_SRP_CAPABLE_OTG)
  91525. + && (core_if->hwcfg2.b.op_mode !=
  91526. + DWC_HWCFG2_OP_MODE_SRP_ONLY_CAPABLE_OTG)
  91527. + && (core_if->hwcfg2.b.op_mode !=
  91528. + DWC_HWCFG2_OP_MODE_SRP_CAPABLE_DEVICE)
  91529. + && (core_if->hwcfg2.b.op_mode !=
  91530. + DWC_HWCFG2_OP_MODE_SRP_CAPABLE_HOST)) {
  91531. + valid = 0;
  91532. + }
  91533. + break;
  91534. + case DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE:
  91535. + /* always valid */
  91536. + break;
  91537. + }
  91538. + if (!valid) {
  91539. + if (dwc_otg_param_initialized(core_if->core_params->otg_cap)) {
  91540. + DWC_ERROR
  91541. + ("%d invalid for otg_cap paremter. Check HW configuration.\n",
  91542. + val);
  91543. + }
  91544. + val =
  91545. + (((core_if->hwcfg2.b.op_mode ==
  91546. + DWC_HWCFG2_OP_MODE_HNP_SRP_CAPABLE_OTG)
  91547. + || (core_if->hwcfg2.b.op_mode ==
  91548. + DWC_HWCFG2_OP_MODE_SRP_ONLY_CAPABLE_OTG)
  91549. + || (core_if->hwcfg2.b.op_mode ==
  91550. + DWC_HWCFG2_OP_MODE_SRP_CAPABLE_DEVICE)
  91551. + || (core_if->hwcfg2.b.op_mode ==
  91552. + DWC_HWCFG2_OP_MODE_SRP_CAPABLE_HOST)) ?
  91553. + DWC_OTG_CAP_PARAM_SRP_ONLY_CAPABLE :
  91554. + DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE);
  91555. + retval = -DWC_E_INVALID;
  91556. + }
  91557. +
  91558. + core_if->core_params->otg_cap = val;
  91559. +out:
  91560. + return retval;
  91561. +}
  91562. +
  91563. +int32_t dwc_otg_get_param_otg_cap(dwc_otg_core_if_t * core_if)
  91564. +{
  91565. + return core_if->core_params->otg_cap;
  91566. +}
  91567. +
  91568. +int dwc_otg_set_param_opt(dwc_otg_core_if_t * core_if, int32_t val)
  91569. +{
  91570. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  91571. + DWC_WARN("Wrong value for opt parameter\n");
  91572. + return -DWC_E_INVALID;
  91573. + }
  91574. + core_if->core_params->opt = val;
  91575. + return 0;
  91576. +}
  91577. +
  91578. +int32_t dwc_otg_get_param_opt(dwc_otg_core_if_t * core_if)
  91579. +{
  91580. + return core_if->core_params->opt;
  91581. +}
  91582. +
  91583. +int dwc_otg_set_param_dma_enable(dwc_otg_core_if_t * core_if, int32_t val)
  91584. +{
  91585. + int retval = 0;
  91586. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  91587. + DWC_WARN("Wrong value for dma enable\n");
  91588. + return -DWC_E_INVALID;
  91589. + }
  91590. +
  91591. + if ((val == 1) && (core_if->hwcfg2.b.architecture == 0)) {
  91592. + if (dwc_otg_param_initialized(core_if->core_params->dma_enable)) {
  91593. + DWC_ERROR
  91594. + ("%d invalid for dma_enable paremter. Check HW configuration.\n",
  91595. + val);
  91596. + }
  91597. + val = 0;
  91598. + retval = -DWC_E_INVALID;
  91599. + }
  91600. +
  91601. + core_if->core_params->dma_enable = val;
  91602. + if (val == 0) {
  91603. + dwc_otg_set_param_dma_desc_enable(core_if, 0);
  91604. + }
  91605. + return retval;
  91606. +}
  91607. +
  91608. +int32_t dwc_otg_get_param_dma_enable(dwc_otg_core_if_t * core_if)
  91609. +{
  91610. + return core_if->core_params->dma_enable;
  91611. +}
  91612. +
  91613. +int dwc_otg_set_param_dma_desc_enable(dwc_otg_core_if_t * core_if, int32_t val)
  91614. +{
  91615. + int retval = 0;
  91616. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  91617. + DWC_WARN("Wrong value for dma_enable\n");
  91618. + DWC_WARN("dma_desc_enable must be 0 or 1\n");
  91619. + return -DWC_E_INVALID;
  91620. + }
  91621. +
  91622. + if ((val == 1)
  91623. + && ((dwc_otg_get_param_dma_enable(core_if) == 0)
  91624. + || (core_if->hwcfg4.b.desc_dma == 0))) {
  91625. + if (dwc_otg_param_initialized
  91626. + (core_if->core_params->dma_desc_enable)) {
  91627. + DWC_ERROR
  91628. + ("%d invalid for dma_desc_enable paremter. Check HW configuration.\n",
  91629. + val);
  91630. + }
  91631. + val = 0;
  91632. + retval = -DWC_E_INVALID;
  91633. + }
  91634. + core_if->core_params->dma_desc_enable = val;
  91635. + return retval;
  91636. +}
  91637. +
  91638. +int32_t dwc_otg_get_param_dma_desc_enable(dwc_otg_core_if_t * core_if)
  91639. +{
  91640. + return core_if->core_params->dma_desc_enable;
  91641. +}
  91642. +
  91643. +int dwc_otg_set_param_host_support_fs_ls_low_power(dwc_otg_core_if_t * core_if,
  91644. + int32_t val)
  91645. +{
  91646. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  91647. + DWC_WARN("Wrong value for host_support_fs_low_power\n");
  91648. + DWC_WARN("host_support_fs_low_power must be 0 or 1\n");
  91649. + return -DWC_E_INVALID;
  91650. + }
  91651. + core_if->core_params->host_support_fs_ls_low_power = val;
  91652. + return 0;
  91653. +}
  91654. +
  91655. +int32_t dwc_otg_get_param_host_support_fs_ls_low_power(dwc_otg_core_if_t *
  91656. + core_if)
  91657. +{
  91658. + return core_if->core_params->host_support_fs_ls_low_power;
  91659. +}
  91660. +
  91661. +int dwc_otg_set_param_enable_dynamic_fifo(dwc_otg_core_if_t * core_if,
  91662. + int32_t val)
  91663. +{
  91664. + int retval = 0;
  91665. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  91666. + DWC_WARN("Wrong value for enable_dynamic_fifo\n");
  91667. + DWC_WARN("enable_dynamic_fifo must be 0 or 1\n");
  91668. + return -DWC_E_INVALID;
  91669. + }
  91670. +
  91671. + if ((val == 1) && (core_if->hwcfg2.b.dynamic_fifo == 0)) {
  91672. + if (dwc_otg_param_initialized
  91673. + (core_if->core_params->enable_dynamic_fifo)) {
  91674. + DWC_ERROR
  91675. + ("%d invalid for enable_dynamic_fifo paremter. Check HW configuration.\n",
  91676. + val);
  91677. + }
  91678. + val = 0;
  91679. + retval = -DWC_E_INVALID;
  91680. + }
  91681. + core_if->core_params->enable_dynamic_fifo = val;
  91682. + return retval;
  91683. +}
  91684. +
  91685. +int32_t dwc_otg_get_param_enable_dynamic_fifo(dwc_otg_core_if_t * core_if)
  91686. +{
  91687. + return core_if->core_params->enable_dynamic_fifo;
  91688. +}
  91689. +
  91690. +int dwc_otg_set_param_data_fifo_size(dwc_otg_core_if_t * core_if, int32_t val)
  91691. +{
  91692. + int retval = 0;
  91693. + if (DWC_OTG_PARAM_TEST(val, 32, 32768)) {
  91694. + DWC_WARN("Wrong value for data_fifo_size\n");
  91695. + DWC_WARN("data_fifo_size must be 32-32768\n");
  91696. + return -DWC_E_INVALID;
  91697. + }
  91698. +
  91699. + if (val > core_if->hwcfg3.b.dfifo_depth) {
  91700. + if (dwc_otg_param_initialized
  91701. + (core_if->core_params->data_fifo_size)) {
  91702. + DWC_ERROR
  91703. + ("%d invalid for data_fifo_size parameter. Check HW configuration.\n",
  91704. + val);
  91705. + }
  91706. + val = core_if->hwcfg3.b.dfifo_depth;
  91707. + retval = -DWC_E_INVALID;
  91708. + }
  91709. +
  91710. + core_if->core_params->data_fifo_size = val;
  91711. + return retval;
  91712. +}
  91713. +
  91714. +int32_t dwc_otg_get_param_data_fifo_size(dwc_otg_core_if_t * core_if)
  91715. +{
  91716. + return core_if->core_params->data_fifo_size;
  91717. +}
  91718. +
  91719. +int dwc_otg_set_param_dev_rx_fifo_size(dwc_otg_core_if_t * core_if, int32_t val)
  91720. +{
  91721. + int retval = 0;
  91722. + if (DWC_OTG_PARAM_TEST(val, 16, 32768)) {
  91723. + DWC_WARN("Wrong value for dev_rx_fifo_size\n");
  91724. + DWC_WARN("dev_rx_fifo_size must be 16-32768\n");
  91725. + return -DWC_E_INVALID;
  91726. + }
  91727. +
  91728. + if (val > DWC_READ_REG32(&core_if->core_global_regs->grxfsiz)) {
  91729. + if (dwc_otg_param_initialized(core_if->core_params->dev_rx_fifo_size)) {
  91730. + DWC_WARN("%d invalid for dev_rx_fifo_size parameter\n", val);
  91731. + }
  91732. + val = DWC_READ_REG32(&core_if->core_global_regs->grxfsiz);
  91733. + retval = -DWC_E_INVALID;
  91734. + }
  91735. +
  91736. + core_if->core_params->dev_rx_fifo_size = val;
  91737. + return retval;
  91738. +}
  91739. +
  91740. +int32_t dwc_otg_get_param_dev_rx_fifo_size(dwc_otg_core_if_t * core_if)
  91741. +{
  91742. + return core_if->core_params->dev_rx_fifo_size;
  91743. +}
  91744. +
  91745. +int dwc_otg_set_param_dev_nperio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  91746. + int32_t val)
  91747. +{
  91748. + int retval = 0;
  91749. +
  91750. + if (DWC_OTG_PARAM_TEST(val, 16, 32768)) {
  91751. + DWC_WARN("Wrong value for dev_nperio_tx_fifo\n");
  91752. + DWC_WARN("dev_nperio_tx_fifo must be 16-32768\n");
  91753. + return -DWC_E_INVALID;
  91754. + }
  91755. +
  91756. + if (val > (DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz) >> 16)) {
  91757. + if (dwc_otg_param_initialized
  91758. + (core_if->core_params->dev_nperio_tx_fifo_size)) {
  91759. + DWC_ERROR
  91760. + ("%d invalid for dev_nperio_tx_fifo_size. Check HW configuration.\n",
  91761. + val);
  91762. + }
  91763. + val =
  91764. + (DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz) >>
  91765. + 16);
  91766. + retval = -DWC_E_INVALID;
  91767. + }
  91768. +
  91769. + core_if->core_params->dev_nperio_tx_fifo_size = val;
  91770. + return retval;
  91771. +}
  91772. +
  91773. +int32_t dwc_otg_get_param_dev_nperio_tx_fifo_size(dwc_otg_core_if_t * core_if)
  91774. +{
  91775. + return core_if->core_params->dev_nperio_tx_fifo_size;
  91776. +}
  91777. +
  91778. +int dwc_otg_set_param_host_rx_fifo_size(dwc_otg_core_if_t * core_if,
  91779. + int32_t val)
  91780. +{
  91781. + int retval = 0;
  91782. +
  91783. + if (DWC_OTG_PARAM_TEST(val, 16, 32768)) {
  91784. + DWC_WARN("Wrong value for host_rx_fifo_size\n");
  91785. + DWC_WARN("host_rx_fifo_size must be 16-32768\n");
  91786. + return -DWC_E_INVALID;
  91787. + }
  91788. +
  91789. + if (val > DWC_READ_REG32(&core_if->core_global_regs->grxfsiz)) {
  91790. + if (dwc_otg_param_initialized
  91791. + (core_if->core_params->host_rx_fifo_size)) {
  91792. + DWC_ERROR
  91793. + ("%d invalid for host_rx_fifo_size. Check HW configuration.\n",
  91794. + val);
  91795. + }
  91796. + val = DWC_READ_REG32(&core_if->core_global_regs->grxfsiz);
  91797. + retval = -DWC_E_INVALID;
  91798. + }
  91799. +
  91800. + core_if->core_params->host_rx_fifo_size = val;
  91801. + return retval;
  91802. +
  91803. +}
  91804. +
  91805. +int32_t dwc_otg_get_param_host_rx_fifo_size(dwc_otg_core_if_t * core_if)
  91806. +{
  91807. + return core_if->core_params->host_rx_fifo_size;
  91808. +}
  91809. +
  91810. +int dwc_otg_set_param_host_nperio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  91811. + int32_t val)
  91812. +{
  91813. + int retval = 0;
  91814. +
  91815. + if (DWC_OTG_PARAM_TEST(val, 16, 32768)) {
  91816. + DWC_WARN("Wrong value for host_nperio_tx_fifo_size\n");
  91817. + DWC_WARN("host_nperio_tx_fifo_size must be 16-32768\n");
  91818. + return -DWC_E_INVALID;
  91819. + }
  91820. +
  91821. + if (val > (DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz) >> 16)) {
  91822. + if (dwc_otg_param_initialized
  91823. + (core_if->core_params->host_nperio_tx_fifo_size)) {
  91824. + DWC_ERROR
  91825. + ("%d invalid for host_nperio_tx_fifo_size. Check HW configuration.\n",
  91826. + val);
  91827. + }
  91828. + val =
  91829. + (DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz) >>
  91830. + 16);
  91831. + retval = -DWC_E_INVALID;
  91832. + }
  91833. +
  91834. + core_if->core_params->host_nperio_tx_fifo_size = val;
  91835. + return retval;
  91836. +}
  91837. +
  91838. +int32_t dwc_otg_get_param_host_nperio_tx_fifo_size(dwc_otg_core_if_t * core_if)
  91839. +{
  91840. + return core_if->core_params->host_nperio_tx_fifo_size;
  91841. +}
  91842. +
  91843. +int dwc_otg_set_param_host_perio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  91844. + int32_t val)
  91845. +{
  91846. + int retval = 0;
  91847. + if (DWC_OTG_PARAM_TEST(val, 16, 32768)) {
  91848. + DWC_WARN("Wrong value for host_perio_tx_fifo_size\n");
  91849. + DWC_WARN("host_perio_tx_fifo_size must be 16-32768\n");
  91850. + return -DWC_E_INVALID;
  91851. + }
  91852. +
  91853. + if (val > ((core_if->hptxfsiz.d32) >> 16)) {
  91854. + if (dwc_otg_param_initialized
  91855. + (core_if->core_params->host_perio_tx_fifo_size)) {
  91856. + DWC_ERROR
  91857. + ("%d invalid for host_perio_tx_fifo_size. Check HW configuration.\n",
  91858. + val);
  91859. + }
  91860. + val = (core_if->hptxfsiz.d32) >> 16;
  91861. + retval = -DWC_E_INVALID;
  91862. + }
  91863. +
  91864. + core_if->core_params->host_perio_tx_fifo_size = val;
  91865. + return retval;
  91866. +}
  91867. +
  91868. +int32_t dwc_otg_get_param_host_perio_tx_fifo_size(dwc_otg_core_if_t * core_if)
  91869. +{
  91870. + return core_if->core_params->host_perio_tx_fifo_size;
  91871. +}
  91872. +
  91873. +int dwc_otg_set_param_max_transfer_size(dwc_otg_core_if_t * core_if,
  91874. + int32_t val)
  91875. +{
  91876. + int retval = 0;
  91877. +
  91878. + if (DWC_OTG_PARAM_TEST(val, 2047, 524288)) {
  91879. + DWC_WARN("Wrong value for max_transfer_size\n");
  91880. + DWC_WARN("max_transfer_size must be 2047-524288\n");
  91881. + return -DWC_E_INVALID;
  91882. + }
  91883. +
  91884. + if (val >= (1 << (core_if->hwcfg3.b.xfer_size_cntr_width + 11))) {
  91885. + if (dwc_otg_param_initialized
  91886. + (core_if->core_params->max_transfer_size)) {
  91887. + DWC_ERROR
  91888. + ("%d invalid for max_transfer_size. Check HW configuration.\n",
  91889. + val);
  91890. + }
  91891. + val =
  91892. + ((1 << (core_if->hwcfg3.b.packet_size_cntr_width + 11)) -
  91893. + 1);
  91894. + retval = -DWC_E_INVALID;
  91895. + }
  91896. +
  91897. + core_if->core_params->max_transfer_size = val;
  91898. + return retval;
  91899. +}
  91900. +
  91901. +int32_t dwc_otg_get_param_max_transfer_size(dwc_otg_core_if_t * core_if)
  91902. +{
  91903. + return core_if->core_params->max_transfer_size;
  91904. +}
  91905. +
  91906. +int dwc_otg_set_param_max_packet_count(dwc_otg_core_if_t * core_if, int32_t val)
  91907. +{
  91908. + int retval = 0;
  91909. +
  91910. + if (DWC_OTG_PARAM_TEST(val, 15, 511)) {
  91911. + DWC_WARN("Wrong value for max_packet_count\n");
  91912. + DWC_WARN("max_packet_count must be 15-511\n");
  91913. + return -DWC_E_INVALID;
  91914. + }
  91915. +
  91916. + if (val > (1 << (core_if->hwcfg3.b.packet_size_cntr_width + 4))) {
  91917. + if (dwc_otg_param_initialized
  91918. + (core_if->core_params->max_packet_count)) {
  91919. + DWC_ERROR
  91920. + ("%d invalid for max_packet_count. Check HW configuration.\n",
  91921. + val);
  91922. + }
  91923. + val =
  91924. + ((1 << (core_if->hwcfg3.b.packet_size_cntr_width + 4)) - 1);
  91925. + retval = -DWC_E_INVALID;
  91926. + }
  91927. +
  91928. + core_if->core_params->max_packet_count = val;
  91929. + return retval;
  91930. +}
  91931. +
  91932. +int32_t dwc_otg_get_param_max_packet_count(dwc_otg_core_if_t * core_if)
  91933. +{
  91934. + return core_if->core_params->max_packet_count;
  91935. +}
  91936. +
  91937. +int dwc_otg_set_param_host_channels(dwc_otg_core_if_t * core_if, int32_t val)
  91938. +{
  91939. + int retval = 0;
  91940. +
  91941. + if (DWC_OTG_PARAM_TEST(val, 1, 16)) {
  91942. + DWC_WARN("Wrong value for host_channels\n");
  91943. + DWC_WARN("host_channels must be 1-16\n");
  91944. + return -DWC_E_INVALID;
  91945. + }
  91946. +
  91947. + if (val > (core_if->hwcfg2.b.num_host_chan + 1)) {
  91948. + if (dwc_otg_param_initialized
  91949. + (core_if->core_params->host_channels)) {
  91950. + DWC_ERROR
  91951. + ("%d invalid for host_channels. Check HW configurations.\n",
  91952. + val);
  91953. + }
  91954. + val = (core_if->hwcfg2.b.num_host_chan + 1);
  91955. + retval = -DWC_E_INVALID;
  91956. + }
  91957. +
  91958. + core_if->core_params->host_channels = val;
  91959. + return retval;
  91960. +}
  91961. +
  91962. +int32_t dwc_otg_get_param_host_channels(dwc_otg_core_if_t * core_if)
  91963. +{
  91964. + return core_if->core_params->host_channels;
  91965. +}
  91966. +
  91967. +int dwc_otg_set_param_dev_endpoints(dwc_otg_core_if_t * core_if, int32_t val)
  91968. +{
  91969. + int retval = 0;
  91970. +
  91971. + if (DWC_OTG_PARAM_TEST(val, 1, 15)) {
  91972. + DWC_WARN("Wrong value for dev_endpoints\n");
  91973. + DWC_WARN("dev_endpoints must be 1-15\n");
  91974. + return -DWC_E_INVALID;
  91975. + }
  91976. +
  91977. + if (val > (core_if->hwcfg2.b.num_dev_ep)) {
  91978. + if (dwc_otg_param_initialized
  91979. + (core_if->core_params->dev_endpoints)) {
  91980. + DWC_ERROR
  91981. + ("%d invalid for dev_endpoints. Check HW configurations.\n",
  91982. + val);
  91983. + }
  91984. + val = core_if->hwcfg2.b.num_dev_ep;
  91985. + retval = -DWC_E_INVALID;
  91986. + }
  91987. +
  91988. + core_if->core_params->dev_endpoints = val;
  91989. + return retval;
  91990. +}
  91991. +
  91992. +int32_t dwc_otg_get_param_dev_endpoints(dwc_otg_core_if_t * core_if)
  91993. +{
  91994. + return core_if->core_params->dev_endpoints;
  91995. +}
  91996. +
  91997. +int dwc_otg_set_param_phy_type(dwc_otg_core_if_t * core_if, int32_t val)
  91998. +{
  91999. + int retval = 0;
  92000. + int valid = 0;
  92001. +
  92002. + if (DWC_OTG_PARAM_TEST(val, 0, 2)) {
  92003. + DWC_WARN("Wrong value for phy_type\n");
  92004. + DWC_WARN("phy_type must be 0,1 or 2\n");
  92005. + return -DWC_E_INVALID;
  92006. + }
  92007. +#ifndef NO_FS_PHY_HW_CHECKS
  92008. + if ((val == DWC_PHY_TYPE_PARAM_UTMI) &&
  92009. + ((core_if->hwcfg2.b.hs_phy_type == 1) ||
  92010. + (core_if->hwcfg2.b.hs_phy_type == 3))) {
  92011. + valid = 1;
  92012. + } else if ((val == DWC_PHY_TYPE_PARAM_ULPI) &&
  92013. + ((core_if->hwcfg2.b.hs_phy_type == 2) ||
  92014. + (core_if->hwcfg2.b.hs_phy_type == 3))) {
  92015. + valid = 1;
  92016. + } else if ((val == DWC_PHY_TYPE_PARAM_FS) &&
  92017. + (core_if->hwcfg2.b.fs_phy_type == 1)) {
  92018. + valid = 1;
  92019. + }
  92020. + if (!valid) {
  92021. + if (dwc_otg_param_initialized(core_if->core_params->phy_type)) {
  92022. + DWC_ERROR
  92023. + ("%d invalid for phy_type. Check HW configurations.\n",
  92024. + val);
  92025. + }
  92026. + if (core_if->hwcfg2.b.hs_phy_type) {
  92027. + if ((core_if->hwcfg2.b.hs_phy_type == 3) ||
  92028. + (core_if->hwcfg2.b.hs_phy_type == 1)) {
  92029. + val = DWC_PHY_TYPE_PARAM_UTMI;
  92030. + } else {
  92031. + val = DWC_PHY_TYPE_PARAM_ULPI;
  92032. + }
  92033. + }
  92034. + retval = -DWC_E_INVALID;
  92035. + }
  92036. +#endif
  92037. + core_if->core_params->phy_type = val;
  92038. + return retval;
  92039. +}
  92040. +
  92041. +int32_t dwc_otg_get_param_phy_type(dwc_otg_core_if_t * core_if)
  92042. +{
  92043. + return core_if->core_params->phy_type;
  92044. +}
  92045. +
  92046. +int dwc_otg_set_param_speed(dwc_otg_core_if_t * core_if, int32_t val)
  92047. +{
  92048. + int retval = 0;
  92049. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92050. + DWC_WARN("Wrong value for speed parameter\n");
  92051. + DWC_WARN("max_speed parameter must be 0 or 1\n");
  92052. + return -DWC_E_INVALID;
  92053. + }
  92054. + if ((val == 0)
  92055. + && dwc_otg_get_param_phy_type(core_if) == DWC_PHY_TYPE_PARAM_FS) {
  92056. + if (dwc_otg_param_initialized(core_if->core_params->speed)) {
  92057. + DWC_ERROR
  92058. + ("%d invalid for speed paremter. Check HW configuration.\n",
  92059. + val);
  92060. + }
  92061. + val =
  92062. + (dwc_otg_get_param_phy_type(core_if) ==
  92063. + DWC_PHY_TYPE_PARAM_FS ? 1 : 0);
  92064. + retval = -DWC_E_INVALID;
  92065. + }
  92066. + core_if->core_params->speed = val;
  92067. + return retval;
  92068. +}
  92069. +
  92070. +int32_t dwc_otg_get_param_speed(dwc_otg_core_if_t * core_if)
  92071. +{
  92072. + return core_if->core_params->speed;
  92073. +}
  92074. +
  92075. +int dwc_otg_set_param_host_ls_low_power_phy_clk(dwc_otg_core_if_t * core_if,
  92076. + int32_t val)
  92077. +{
  92078. + int retval = 0;
  92079. +
  92080. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92081. + DWC_WARN
  92082. + ("Wrong value for host_ls_low_power_phy_clk parameter\n");
  92083. + DWC_WARN("host_ls_low_power_phy_clk must be 0 or 1\n");
  92084. + return -DWC_E_INVALID;
  92085. + }
  92086. +
  92087. + if ((val == DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_48MHZ)
  92088. + && (dwc_otg_get_param_phy_type(core_if) == DWC_PHY_TYPE_PARAM_FS)) {
  92089. + if (dwc_otg_param_initialized
  92090. + (core_if->core_params->host_ls_low_power_phy_clk)) {
  92091. + DWC_ERROR
  92092. + ("%d invalid for host_ls_low_power_phy_clk. Check HW configuration.\n",
  92093. + val);
  92094. + }
  92095. + val =
  92096. + (dwc_otg_get_param_phy_type(core_if) ==
  92097. + DWC_PHY_TYPE_PARAM_FS) ?
  92098. + DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_6MHZ :
  92099. + DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_48MHZ;
  92100. + retval = -DWC_E_INVALID;
  92101. + }
  92102. +
  92103. + core_if->core_params->host_ls_low_power_phy_clk = val;
  92104. + return retval;
  92105. +}
  92106. +
  92107. +int32_t dwc_otg_get_param_host_ls_low_power_phy_clk(dwc_otg_core_if_t * core_if)
  92108. +{
  92109. + return core_if->core_params->host_ls_low_power_phy_clk;
  92110. +}
  92111. +
  92112. +int dwc_otg_set_param_phy_ulpi_ddr(dwc_otg_core_if_t * core_if, int32_t val)
  92113. +{
  92114. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92115. + DWC_WARN("Wrong value for phy_ulpi_ddr\n");
  92116. + DWC_WARN("phy_upli_ddr must be 0 or 1\n");
  92117. + return -DWC_E_INVALID;
  92118. + }
  92119. +
  92120. + core_if->core_params->phy_ulpi_ddr = val;
  92121. + return 0;
  92122. +}
  92123. +
  92124. +int32_t dwc_otg_get_param_phy_ulpi_ddr(dwc_otg_core_if_t * core_if)
  92125. +{
  92126. + return core_if->core_params->phy_ulpi_ddr;
  92127. +}
  92128. +
  92129. +int dwc_otg_set_param_phy_ulpi_ext_vbus(dwc_otg_core_if_t * core_if,
  92130. + int32_t val)
  92131. +{
  92132. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92133. + DWC_WARN("Wrong valaue for phy_ulpi_ext_vbus\n");
  92134. + DWC_WARN("phy_ulpi_ext_vbus must be 0 or 1\n");
  92135. + return -DWC_E_INVALID;
  92136. + }
  92137. +
  92138. + core_if->core_params->phy_ulpi_ext_vbus = val;
  92139. + return 0;
  92140. +}
  92141. +
  92142. +int32_t dwc_otg_get_param_phy_ulpi_ext_vbus(dwc_otg_core_if_t * core_if)
  92143. +{
  92144. + return core_if->core_params->phy_ulpi_ext_vbus;
  92145. +}
  92146. +
  92147. +int dwc_otg_set_param_phy_utmi_width(dwc_otg_core_if_t * core_if, int32_t val)
  92148. +{
  92149. + if (DWC_OTG_PARAM_TEST(val, 8, 8) && DWC_OTG_PARAM_TEST(val, 16, 16)) {
  92150. + DWC_WARN("Wrong valaue for phy_utmi_width\n");
  92151. + DWC_WARN("phy_utmi_width must be 8 or 16\n");
  92152. + return -DWC_E_INVALID;
  92153. + }
  92154. +
  92155. + core_if->core_params->phy_utmi_width = val;
  92156. + return 0;
  92157. +}
  92158. +
  92159. +int32_t dwc_otg_get_param_phy_utmi_width(dwc_otg_core_if_t * core_if)
  92160. +{
  92161. + return core_if->core_params->phy_utmi_width;
  92162. +}
  92163. +
  92164. +int dwc_otg_set_param_ulpi_fs_ls(dwc_otg_core_if_t * core_if, int32_t val)
  92165. +{
  92166. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92167. + DWC_WARN("Wrong valaue for ulpi_fs_ls\n");
  92168. + DWC_WARN("ulpi_fs_ls must be 0 or 1\n");
  92169. + return -DWC_E_INVALID;
  92170. + }
  92171. +
  92172. + core_if->core_params->ulpi_fs_ls = val;
  92173. + return 0;
  92174. +}
  92175. +
  92176. +int32_t dwc_otg_get_param_ulpi_fs_ls(dwc_otg_core_if_t * core_if)
  92177. +{
  92178. + return core_if->core_params->ulpi_fs_ls;
  92179. +}
  92180. +
  92181. +int dwc_otg_set_param_ts_dline(dwc_otg_core_if_t * core_if, int32_t val)
  92182. +{
  92183. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92184. + DWC_WARN("Wrong valaue for ts_dline\n");
  92185. + DWC_WARN("ts_dline must be 0 or 1\n");
  92186. + return -DWC_E_INVALID;
  92187. + }
  92188. +
  92189. + core_if->core_params->ts_dline = val;
  92190. + return 0;
  92191. +}
  92192. +
  92193. +int32_t dwc_otg_get_param_ts_dline(dwc_otg_core_if_t * core_if)
  92194. +{
  92195. + return core_if->core_params->ts_dline;
  92196. +}
  92197. +
  92198. +int dwc_otg_set_param_i2c_enable(dwc_otg_core_if_t * core_if, int32_t val)
  92199. +{
  92200. + int retval = 0;
  92201. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92202. + DWC_WARN("Wrong valaue for i2c_enable\n");
  92203. + DWC_WARN("i2c_enable must be 0 or 1\n");
  92204. + return -DWC_E_INVALID;
  92205. + }
  92206. +#ifndef NO_FS_PHY_HW_CHECK
  92207. + if (val == 1 && core_if->hwcfg3.b.i2c == 0) {
  92208. + if (dwc_otg_param_initialized(core_if->core_params->i2c_enable)) {
  92209. + DWC_ERROR
  92210. + ("%d invalid for i2c_enable. Check HW configuration.\n",
  92211. + val);
  92212. + }
  92213. + val = 0;
  92214. + retval = -DWC_E_INVALID;
  92215. + }
  92216. +#endif
  92217. +
  92218. + core_if->core_params->i2c_enable = val;
  92219. + return retval;
  92220. +}
  92221. +
  92222. +int32_t dwc_otg_get_param_i2c_enable(dwc_otg_core_if_t * core_if)
  92223. +{
  92224. + return core_if->core_params->i2c_enable;
  92225. +}
  92226. +
  92227. +int dwc_otg_set_param_dev_perio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  92228. + int32_t val, int fifo_num)
  92229. +{
  92230. + int retval = 0;
  92231. +
  92232. + if (DWC_OTG_PARAM_TEST(val, 4, 768)) {
  92233. + DWC_WARN("Wrong value for dev_perio_tx_fifo_size\n");
  92234. + DWC_WARN("dev_perio_tx_fifo_size must be 4-768\n");
  92235. + return -DWC_E_INVALID;
  92236. + }
  92237. +
  92238. + if (val >
  92239. + (DWC_READ_REG32(&core_if->core_global_regs->dtxfsiz[fifo_num]))) {
  92240. + if (dwc_otg_param_initialized
  92241. + (core_if->core_params->dev_perio_tx_fifo_size[fifo_num])) {
  92242. + DWC_ERROR
  92243. + ("`%d' invalid for parameter `dev_perio_fifo_size_%d'. Check HW configuration.\n",
  92244. + val, fifo_num);
  92245. + }
  92246. + val = (DWC_READ_REG32(&core_if->core_global_regs->dtxfsiz[fifo_num]));
  92247. + retval = -DWC_E_INVALID;
  92248. + }
  92249. +
  92250. + core_if->core_params->dev_perio_tx_fifo_size[fifo_num] = val;
  92251. + return retval;
  92252. +}
  92253. +
  92254. +int32_t dwc_otg_get_param_dev_perio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  92255. + int fifo_num)
  92256. +{
  92257. + return core_if->core_params->dev_perio_tx_fifo_size[fifo_num];
  92258. +}
  92259. +
  92260. +int dwc_otg_set_param_en_multiple_tx_fifo(dwc_otg_core_if_t * core_if,
  92261. + int32_t val)
  92262. +{
  92263. + int retval = 0;
  92264. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92265. + DWC_WARN("Wrong valaue for en_multiple_tx_fifo,\n");
  92266. + DWC_WARN("en_multiple_tx_fifo must be 0 or 1\n");
  92267. + return -DWC_E_INVALID;
  92268. + }
  92269. +
  92270. + if (val == 1 && core_if->hwcfg4.b.ded_fifo_en == 0) {
  92271. + if (dwc_otg_param_initialized
  92272. + (core_if->core_params->en_multiple_tx_fifo)) {
  92273. + DWC_ERROR
  92274. + ("%d invalid for parameter en_multiple_tx_fifo. Check HW configuration.\n",
  92275. + val);
  92276. + }
  92277. + val = 0;
  92278. + retval = -DWC_E_INVALID;
  92279. + }
  92280. +
  92281. + core_if->core_params->en_multiple_tx_fifo = val;
  92282. + return retval;
  92283. +}
  92284. +
  92285. +int32_t dwc_otg_get_param_en_multiple_tx_fifo(dwc_otg_core_if_t * core_if)
  92286. +{
  92287. + return core_if->core_params->en_multiple_tx_fifo;
  92288. +}
  92289. +
  92290. +int dwc_otg_set_param_dev_tx_fifo_size(dwc_otg_core_if_t * core_if, int32_t val,
  92291. + int fifo_num)
  92292. +{
  92293. + int retval = 0;
  92294. +
  92295. + if (DWC_OTG_PARAM_TEST(val, 4, 768)) {
  92296. + DWC_WARN("Wrong value for dev_tx_fifo_size\n");
  92297. + DWC_WARN("dev_tx_fifo_size must be 4-768\n");
  92298. + return -DWC_E_INVALID;
  92299. + }
  92300. +
  92301. + if (val >
  92302. + (DWC_READ_REG32(&core_if->core_global_regs->dtxfsiz[fifo_num]))) {
  92303. + if (dwc_otg_param_initialized
  92304. + (core_if->core_params->dev_tx_fifo_size[fifo_num])) {
  92305. + DWC_ERROR
  92306. + ("`%d' invalid for parameter `dev_tx_fifo_size_%d'. Check HW configuration.\n",
  92307. + val, fifo_num);
  92308. + }
  92309. + val = (DWC_READ_REG32(&core_if->core_global_regs->dtxfsiz[fifo_num]));
  92310. + retval = -DWC_E_INVALID;
  92311. + }
  92312. +
  92313. + core_if->core_params->dev_tx_fifo_size[fifo_num] = val;
  92314. + return retval;
  92315. +}
  92316. +
  92317. +int32_t dwc_otg_get_param_dev_tx_fifo_size(dwc_otg_core_if_t * core_if,
  92318. + int fifo_num)
  92319. +{
  92320. + return core_if->core_params->dev_tx_fifo_size[fifo_num];
  92321. +}
  92322. +
  92323. +int dwc_otg_set_param_thr_ctl(dwc_otg_core_if_t * core_if, int32_t val)
  92324. +{
  92325. + int retval = 0;
  92326. +
  92327. + if (DWC_OTG_PARAM_TEST(val, 0, 7)) {
  92328. + DWC_WARN("Wrong value for thr_ctl\n");
  92329. + DWC_WARN("thr_ctl must be 0-7\n");
  92330. + return -DWC_E_INVALID;
  92331. + }
  92332. +
  92333. + if ((val != 0) &&
  92334. + (!dwc_otg_get_param_dma_enable(core_if) ||
  92335. + !core_if->hwcfg4.b.ded_fifo_en)) {
  92336. + if (dwc_otg_param_initialized(core_if->core_params->thr_ctl)) {
  92337. + DWC_ERROR
  92338. + ("%d invalid for parameter thr_ctl. Check HW configuration.\n",
  92339. + val);
  92340. + }
  92341. + val = 0;
  92342. + retval = -DWC_E_INVALID;
  92343. + }
  92344. +
  92345. + core_if->core_params->thr_ctl = val;
  92346. + return retval;
  92347. +}
  92348. +
  92349. +int32_t dwc_otg_get_param_thr_ctl(dwc_otg_core_if_t * core_if)
  92350. +{
  92351. + return core_if->core_params->thr_ctl;
  92352. +}
  92353. +
  92354. +int dwc_otg_set_param_lpm_enable(dwc_otg_core_if_t * core_if, int32_t val)
  92355. +{
  92356. + int retval = 0;
  92357. +
  92358. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92359. + DWC_WARN("Wrong value for lpm_enable\n");
  92360. + DWC_WARN("lpm_enable must be 0 or 1\n");
  92361. + return -DWC_E_INVALID;
  92362. + }
  92363. +
  92364. + if (val && !core_if->hwcfg3.b.otg_lpm_en) {
  92365. + if (dwc_otg_param_initialized(core_if->core_params->lpm_enable)) {
  92366. + DWC_ERROR
  92367. + ("%d invalid for parameter lpm_enable. Check HW configuration.\n",
  92368. + val);
  92369. + }
  92370. + val = 0;
  92371. + retval = -DWC_E_INVALID;
  92372. + }
  92373. +
  92374. + core_if->core_params->lpm_enable = val;
  92375. + return retval;
  92376. +}
  92377. +
  92378. +int32_t dwc_otg_get_param_lpm_enable(dwc_otg_core_if_t * core_if)
  92379. +{
  92380. + return core_if->core_params->lpm_enable;
  92381. +}
  92382. +
  92383. +int dwc_otg_set_param_tx_thr_length(dwc_otg_core_if_t * core_if, int32_t val)
  92384. +{
  92385. + if (DWC_OTG_PARAM_TEST(val, 8, 128)) {
  92386. + DWC_WARN("Wrong valaue for tx_thr_length\n");
  92387. + DWC_WARN("tx_thr_length must be 8 - 128\n");
  92388. + return -DWC_E_INVALID;
  92389. + }
  92390. +
  92391. + core_if->core_params->tx_thr_length = val;
  92392. + return 0;
  92393. +}
  92394. +
  92395. +int32_t dwc_otg_get_param_tx_thr_length(dwc_otg_core_if_t * core_if)
  92396. +{
  92397. + return core_if->core_params->tx_thr_length;
  92398. +}
  92399. +
  92400. +int dwc_otg_set_param_rx_thr_length(dwc_otg_core_if_t * core_if, int32_t val)
  92401. +{
  92402. + if (DWC_OTG_PARAM_TEST(val, 8, 128)) {
  92403. + DWC_WARN("Wrong valaue for rx_thr_length\n");
  92404. + DWC_WARN("rx_thr_length must be 8 - 128\n");
  92405. + return -DWC_E_INVALID;
  92406. + }
  92407. +
  92408. + core_if->core_params->rx_thr_length = val;
  92409. + return 0;
  92410. +}
  92411. +
  92412. +int32_t dwc_otg_get_param_rx_thr_length(dwc_otg_core_if_t * core_if)
  92413. +{
  92414. + return core_if->core_params->rx_thr_length;
  92415. +}
  92416. +
  92417. +int dwc_otg_set_param_dma_burst_size(dwc_otg_core_if_t * core_if, int32_t val)
  92418. +{
  92419. + if (DWC_OTG_PARAM_TEST(val, 1, 1) &&
  92420. + DWC_OTG_PARAM_TEST(val, 4, 4) &&
  92421. + DWC_OTG_PARAM_TEST(val, 8, 8) &&
  92422. + DWC_OTG_PARAM_TEST(val, 16, 16) &&
  92423. + DWC_OTG_PARAM_TEST(val, 32, 32) &&
  92424. + DWC_OTG_PARAM_TEST(val, 64, 64) &&
  92425. + DWC_OTG_PARAM_TEST(val, 128, 128) &&
  92426. + DWC_OTG_PARAM_TEST(val, 256, 256)) {
  92427. + DWC_WARN("`%d' invalid for parameter `dma_burst_size'\n", val);
  92428. + return -DWC_E_INVALID;
  92429. + }
  92430. + core_if->core_params->dma_burst_size = val;
  92431. + return 0;
  92432. +}
  92433. +
  92434. +int32_t dwc_otg_get_param_dma_burst_size(dwc_otg_core_if_t * core_if)
  92435. +{
  92436. + return core_if->core_params->dma_burst_size;
  92437. +}
  92438. +
  92439. +int dwc_otg_set_param_pti_enable(dwc_otg_core_if_t * core_if, int32_t val)
  92440. +{
  92441. + int retval = 0;
  92442. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92443. + DWC_WARN("`%d' invalid for parameter `pti_enable'\n", val);
  92444. + return -DWC_E_INVALID;
  92445. + }
  92446. + if (val && (core_if->snpsid < OTG_CORE_REV_2_72a)) {
  92447. + if (dwc_otg_param_initialized(core_if->core_params->pti_enable)) {
  92448. + DWC_ERROR
  92449. + ("%d invalid for parameter pti_enable. Check HW configuration.\n",
  92450. + val);
  92451. + }
  92452. + retval = -DWC_E_INVALID;
  92453. + val = 0;
  92454. + }
  92455. + core_if->core_params->pti_enable = val;
  92456. + return retval;
  92457. +}
  92458. +
  92459. +int32_t dwc_otg_get_param_pti_enable(dwc_otg_core_if_t * core_if)
  92460. +{
  92461. + return core_if->core_params->pti_enable;
  92462. +}
  92463. +
  92464. +int dwc_otg_set_param_mpi_enable(dwc_otg_core_if_t * core_if, int32_t val)
  92465. +{
  92466. + int retval = 0;
  92467. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92468. + DWC_WARN("`%d' invalid for parameter `mpi_enable'\n", val);
  92469. + return -DWC_E_INVALID;
  92470. + }
  92471. + if (val && (core_if->hwcfg2.b.multi_proc_int == 0)) {
  92472. + if (dwc_otg_param_initialized(core_if->core_params->mpi_enable)) {
  92473. + DWC_ERROR
  92474. + ("%d invalid for parameter mpi_enable. Check HW configuration.\n",
  92475. + val);
  92476. + }
  92477. + retval = -DWC_E_INVALID;
  92478. + val = 0;
  92479. + }
  92480. + core_if->core_params->mpi_enable = val;
  92481. + return retval;
  92482. +}
  92483. +
  92484. +int32_t dwc_otg_get_param_mpi_enable(dwc_otg_core_if_t * core_if)
  92485. +{
  92486. + return core_if->core_params->mpi_enable;
  92487. +}
  92488. +
  92489. +int dwc_otg_set_param_adp_enable(dwc_otg_core_if_t * core_if, int32_t val)
  92490. +{
  92491. + int retval = 0;
  92492. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92493. + DWC_WARN("`%d' invalid for parameter `adp_enable'\n", val);
  92494. + return -DWC_E_INVALID;
  92495. + }
  92496. + if (val && (core_if->hwcfg3.b.adp_supp == 0)) {
  92497. + if (dwc_otg_param_initialized
  92498. + (core_if->core_params->adp_supp_enable)) {
  92499. + DWC_ERROR
  92500. + ("%d invalid for parameter adp_enable. Check HW configuration.\n",
  92501. + val);
  92502. + }
  92503. + retval = -DWC_E_INVALID;
  92504. + val = 0;
  92505. + }
  92506. + core_if->core_params->adp_supp_enable = val;
  92507. + /*Set OTG version 2.0 in case of enabling ADP*/
  92508. + if (val)
  92509. + dwc_otg_set_param_otg_ver(core_if, 1);
  92510. +
  92511. + return retval;
  92512. +}
  92513. +
  92514. +int32_t dwc_otg_get_param_adp_enable(dwc_otg_core_if_t * core_if)
  92515. +{
  92516. + return core_if->core_params->adp_supp_enable;
  92517. +}
  92518. +
  92519. +int dwc_otg_set_param_ic_usb_cap(dwc_otg_core_if_t * core_if, int32_t val)
  92520. +{
  92521. + int retval = 0;
  92522. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92523. + DWC_WARN("`%d' invalid for parameter `ic_usb_cap'\n", val);
  92524. + DWC_WARN("ic_usb_cap must be 0 or 1\n");
  92525. + return -DWC_E_INVALID;
  92526. + }
  92527. +
  92528. + if (val && (core_if->hwcfg2.b.otg_enable_ic_usb == 0)) {
  92529. + if (dwc_otg_param_initialized(core_if->core_params->ic_usb_cap)) {
  92530. + DWC_ERROR
  92531. + ("%d invalid for parameter ic_usb_cap. Check HW configuration.\n",
  92532. + val);
  92533. + }
  92534. + retval = -DWC_E_INVALID;
  92535. + val = 0;
  92536. + }
  92537. + core_if->core_params->ic_usb_cap = val;
  92538. + return retval;
  92539. +}
  92540. +
  92541. +int32_t dwc_otg_get_param_ic_usb_cap(dwc_otg_core_if_t * core_if)
  92542. +{
  92543. + return core_if->core_params->ic_usb_cap;
  92544. +}
  92545. +
  92546. +int dwc_otg_set_param_ahb_thr_ratio(dwc_otg_core_if_t * core_if, int32_t val)
  92547. +{
  92548. + int retval = 0;
  92549. + int valid = 1;
  92550. +
  92551. + if (DWC_OTG_PARAM_TEST(val, 0, 3)) {
  92552. + DWC_WARN("`%d' invalid for parameter `ahb_thr_ratio'\n", val);
  92553. + DWC_WARN("ahb_thr_ratio must be 0 - 3\n");
  92554. + return -DWC_E_INVALID;
  92555. + }
  92556. +
  92557. + if (val
  92558. + && (core_if->snpsid < OTG_CORE_REV_2_81a
  92559. + || !dwc_otg_get_param_thr_ctl(core_if))) {
  92560. + valid = 0;
  92561. + } else if (val
  92562. + && ((dwc_otg_get_param_tx_thr_length(core_if) / (1 << val)) <
  92563. + 4)) {
  92564. + valid = 0;
  92565. + }
  92566. + if (valid == 0) {
  92567. + if (dwc_otg_param_initialized
  92568. + (core_if->core_params->ahb_thr_ratio)) {
  92569. + DWC_ERROR
  92570. + ("%d invalid for parameter ahb_thr_ratio. Check HW configuration.\n",
  92571. + val);
  92572. + }
  92573. + retval = -DWC_E_INVALID;
  92574. + val = 0;
  92575. + }
  92576. +
  92577. + core_if->core_params->ahb_thr_ratio = val;
  92578. + return retval;
  92579. +}
  92580. +
  92581. +int32_t dwc_otg_get_param_ahb_thr_ratio(dwc_otg_core_if_t * core_if)
  92582. +{
  92583. + return core_if->core_params->ahb_thr_ratio;
  92584. +}
  92585. +
  92586. +int dwc_otg_set_param_power_down(dwc_otg_core_if_t * core_if, int32_t val)
  92587. +{
  92588. + int retval = 0;
  92589. + int valid = 1;
  92590. + hwcfg4_data_t hwcfg4 = {.d32 = 0 };
  92591. + hwcfg4.d32 = DWC_READ_REG32(&core_if->core_global_regs->ghwcfg4);
  92592. +
  92593. + if (DWC_OTG_PARAM_TEST(val, 0, 3)) {
  92594. + DWC_WARN("`%d' invalid for parameter `power_down'\n", val);
  92595. + DWC_WARN("power_down must be 0 - 2\n");
  92596. + return -DWC_E_INVALID;
  92597. + }
  92598. +
  92599. + if ((val == 2) && (core_if->snpsid < OTG_CORE_REV_2_91a)) {
  92600. + valid = 0;
  92601. + }
  92602. + if ((val == 3)
  92603. + && ((core_if->snpsid < OTG_CORE_REV_3_00a)
  92604. + || (hwcfg4.b.xhiber == 0))) {
  92605. + valid = 0;
  92606. + }
  92607. + if (valid == 0) {
  92608. + if (dwc_otg_param_initialized(core_if->core_params->power_down)) {
  92609. + DWC_ERROR
  92610. + ("%d invalid for parameter power_down. Check HW configuration.\n",
  92611. + val);
  92612. + }
  92613. + retval = -DWC_E_INVALID;
  92614. + val = 0;
  92615. + }
  92616. + core_if->core_params->power_down = val;
  92617. + return retval;
  92618. +}
  92619. +
  92620. +int32_t dwc_otg_get_param_power_down(dwc_otg_core_if_t * core_if)
  92621. +{
  92622. + return core_if->core_params->power_down;
  92623. +}
  92624. +
  92625. +int dwc_otg_set_param_reload_ctl(dwc_otg_core_if_t * core_if, int32_t val)
  92626. +{
  92627. + int retval = 0;
  92628. + int valid = 1;
  92629. +
  92630. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92631. + DWC_WARN("`%d' invalid for parameter `reload_ctl'\n", val);
  92632. + DWC_WARN("reload_ctl must be 0 or 1\n");
  92633. + return -DWC_E_INVALID;
  92634. + }
  92635. +
  92636. + if ((val == 1) && (core_if->snpsid < OTG_CORE_REV_2_92a)) {
  92637. + valid = 0;
  92638. + }
  92639. + if (valid == 0) {
  92640. + if (dwc_otg_param_initialized(core_if->core_params->reload_ctl)) {
  92641. + DWC_ERROR("%d invalid for parameter reload_ctl."
  92642. + "Check HW configuration.\n", val);
  92643. + }
  92644. + retval = -DWC_E_INVALID;
  92645. + val = 0;
  92646. + }
  92647. + core_if->core_params->reload_ctl = val;
  92648. + return retval;
  92649. +}
  92650. +
  92651. +int32_t dwc_otg_get_param_reload_ctl(dwc_otg_core_if_t * core_if)
  92652. +{
  92653. + return core_if->core_params->reload_ctl;
  92654. +}
  92655. +
  92656. +int dwc_otg_set_param_dev_out_nak(dwc_otg_core_if_t * core_if, int32_t val)
  92657. +{
  92658. + int retval = 0;
  92659. + int valid = 1;
  92660. +
  92661. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92662. + DWC_WARN("`%d' invalid for parameter `dev_out_nak'\n", val);
  92663. + DWC_WARN("dev_out_nak must be 0 or 1\n");
  92664. + return -DWC_E_INVALID;
  92665. + }
  92666. +
  92667. + if ((val == 1) && ((core_if->snpsid < OTG_CORE_REV_2_93a) ||
  92668. + !(core_if->core_params->dma_desc_enable))) {
  92669. + valid = 0;
  92670. + }
  92671. + if (valid == 0) {
  92672. + if (dwc_otg_param_initialized(core_if->core_params->dev_out_nak)) {
  92673. + DWC_ERROR("%d invalid for parameter dev_out_nak."
  92674. + "Check HW configuration.\n", val);
  92675. + }
  92676. + retval = -DWC_E_INVALID;
  92677. + val = 0;
  92678. + }
  92679. + core_if->core_params->dev_out_nak = val;
  92680. + return retval;
  92681. +}
  92682. +
  92683. +int32_t dwc_otg_get_param_dev_out_nak(dwc_otg_core_if_t * core_if)
  92684. +{
  92685. + return core_if->core_params->dev_out_nak;
  92686. +}
  92687. +
  92688. +int dwc_otg_set_param_cont_on_bna(dwc_otg_core_if_t * core_if, int32_t val)
  92689. +{
  92690. + int retval = 0;
  92691. + int valid = 1;
  92692. +
  92693. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92694. + DWC_WARN("`%d' invalid for parameter `cont_on_bna'\n", val);
  92695. + DWC_WARN("cont_on_bna must be 0 or 1\n");
  92696. + return -DWC_E_INVALID;
  92697. + }
  92698. +
  92699. + if ((val == 1) && ((core_if->snpsid < OTG_CORE_REV_2_94a) ||
  92700. + !(core_if->core_params->dma_desc_enable))) {
  92701. + valid = 0;
  92702. + }
  92703. + if (valid == 0) {
  92704. + if (dwc_otg_param_initialized(core_if->core_params->cont_on_bna)) {
  92705. + DWC_ERROR("%d invalid for parameter cont_on_bna."
  92706. + "Check HW configuration.\n", val);
  92707. + }
  92708. + retval = -DWC_E_INVALID;
  92709. + val = 0;
  92710. + }
  92711. + core_if->core_params->cont_on_bna = val;
  92712. + return retval;
  92713. +}
  92714. +
  92715. +int32_t dwc_otg_get_param_cont_on_bna(dwc_otg_core_if_t * core_if)
  92716. +{
  92717. + return core_if->core_params->cont_on_bna;
  92718. +}
  92719. +
  92720. +int dwc_otg_set_param_ahb_single(dwc_otg_core_if_t * core_if, int32_t val)
  92721. +{
  92722. + int retval = 0;
  92723. + int valid = 1;
  92724. +
  92725. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92726. + DWC_WARN("`%d' invalid for parameter `ahb_single'\n", val);
  92727. + DWC_WARN("ahb_single must be 0 or 1\n");
  92728. + return -DWC_E_INVALID;
  92729. + }
  92730. +
  92731. + if ((val == 1) && (core_if->snpsid < OTG_CORE_REV_2_94a)) {
  92732. + valid = 0;
  92733. + }
  92734. + if (valid == 0) {
  92735. + if (dwc_otg_param_initialized(core_if->core_params->ahb_single)) {
  92736. + DWC_ERROR("%d invalid for parameter ahb_single."
  92737. + "Check HW configuration.\n", val);
  92738. + }
  92739. + retval = -DWC_E_INVALID;
  92740. + val = 0;
  92741. + }
  92742. + core_if->core_params->ahb_single = val;
  92743. + return retval;
  92744. +}
  92745. +
  92746. +int32_t dwc_otg_get_param_ahb_single(dwc_otg_core_if_t * core_if)
  92747. +{
  92748. + return core_if->core_params->ahb_single;
  92749. +}
  92750. +
  92751. +int dwc_otg_set_param_otg_ver(dwc_otg_core_if_t * core_if, int32_t val)
  92752. +{
  92753. + int retval = 0;
  92754. +
  92755. + if (DWC_OTG_PARAM_TEST(val, 0, 1)) {
  92756. + DWC_WARN("`%d' invalid for parameter `otg_ver'\n", val);
  92757. + DWC_WARN
  92758. + ("otg_ver must be 0(for OTG 1.3 support) or 1(for OTG 2.0 support)\n");
  92759. + return -DWC_E_INVALID;
  92760. + }
  92761. +
  92762. + core_if->core_params->otg_ver = val;
  92763. + return retval;
  92764. +}
  92765. +
  92766. +int32_t dwc_otg_get_param_otg_ver(dwc_otg_core_if_t * core_if)
  92767. +{
  92768. + return core_if->core_params->otg_ver;
  92769. +}
  92770. +
  92771. +uint32_t dwc_otg_get_hnpstatus(dwc_otg_core_if_t * core_if)
  92772. +{
  92773. + gotgctl_data_t otgctl;
  92774. + otgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  92775. + return otgctl.b.hstnegscs;
  92776. +}
  92777. +
  92778. +uint32_t dwc_otg_get_srpstatus(dwc_otg_core_if_t * core_if)
  92779. +{
  92780. + gotgctl_data_t otgctl;
  92781. + otgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  92782. + return otgctl.b.sesreqscs;
  92783. +}
  92784. +
  92785. +void dwc_otg_set_hnpreq(dwc_otg_core_if_t * core_if, uint32_t val)
  92786. +{
  92787. + if(core_if->otg_ver == 0) {
  92788. + gotgctl_data_t otgctl;
  92789. + otgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  92790. + otgctl.b.hnpreq = val;
  92791. + DWC_WRITE_REG32(&core_if->core_global_regs->gotgctl, otgctl.d32);
  92792. + } else {
  92793. + core_if->otg_sts = val;
  92794. + }
  92795. +}
  92796. +
  92797. +uint32_t dwc_otg_get_gsnpsid(dwc_otg_core_if_t * core_if)
  92798. +{
  92799. + return core_if->snpsid;
  92800. +}
  92801. +
  92802. +uint32_t dwc_otg_get_mode(dwc_otg_core_if_t * core_if)
  92803. +{
  92804. + gintsts_data_t gintsts;
  92805. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  92806. + return gintsts.b.curmode;
  92807. +}
  92808. +
  92809. +uint32_t dwc_otg_get_hnpcapable(dwc_otg_core_if_t * core_if)
  92810. +{
  92811. + gusbcfg_data_t usbcfg;
  92812. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  92813. + return usbcfg.b.hnpcap;
  92814. +}
  92815. +
  92816. +void dwc_otg_set_hnpcapable(dwc_otg_core_if_t * core_if, uint32_t val)
  92817. +{
  92818. + gusbcfg_data_t usbcfg;
  92819. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  92820. + usbcfg.b.hnpcap = val;
  92821. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, usbcfg.d32);
  92822. +}
  92823. +
  92824. +uint32_t dwc_otg_get_srpcapable(dwc_otg_core_if_t * core_if)
  92825. +{
  92826. + gusbcfg_data_t usbcfg;
  92827. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  92828. + return usbcfg.b.srpcap;
  92829. +}
  92830. +
  92831. +void dwc_otg_set_srpcapable(dwc_otg_core_if_t * core_if, uint32_t val)
  92832. +{
  92833. + gusbcfg_data_t usbcfg;
  92834. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  92835. + usbcfg.b.srpcap = val;
  92836. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, usbcfg.d32);
  92837. +}
  92838. +
  92839. +uint32_t dwc_otg_get_devspeed(dwc_otg_core_if_t * core_if)
  92840. +{
  92841. + dcfg_data_t dcfg;
  92842. + /* originally: dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg); */
  92843. +
  92844. + dcfg.d32 = -1; //GRAYG
  92845. + DWC_DEBUGPL(DBG_CILV, "%s - core_if(%p)\n", __func__, core_if);
  92846. + if (NULL == core_if)
  92847. + DWC_ERROR("reg request with NULL core_if\n");
  92848. + DWC_DEBUGPL(DBG_CILV, "%s - core_if(%p)->dev_if(%p)\n", __func__,
  92849. + core_if, core_if->dev_if);
  92850. + if (NULL == core_if->dev_if)
  92851. + DWC_ERROR("reg request with NULL dev_if\n");
  92852. + DWC_DEBUGPL(DBG_CILV, "%s - core_if(%p)->dev_if(%p)->"
  92853. + "dev_global_regs(%p)\n", __func__,
  92854. + core_if, core_if->dev_if,
  92855. + core_if->dev_if->dev_global_regs);
  92856. + if (NULL == core_if->dev_if->dev_global_regs)
  92857. + DWC_ERROR("reg request with NULL dev_global_regs\n");
  92858. + else {
  92859. + DWC_DEBUGPL(DBG_CILV, "%s - &core_if(%p)->dev_if(%p)->"
  92860. + "dev_global_regs(%p)->dcfg = %p\n", __func__,
  92861. + core_if, core_if->dev_if,
  92862. + core_if->dev_if->dev_global_regs,
  92863. + &core_if->dev_if->dev_global_regs->dcfg);
  92864. + dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  92865. + }
  92866. + return dcfg.b.devspd;
  92867. +}
  92868. +
  92869. +void dwc_otg_set_devspeed(dwc_otg_core_if_t * core_if, uint32_t val)
  92870. +{
  92871. + dcfg_data_t dcfg;
  92872. + dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  92873. + dcfg.b.devspd = val;
  92874. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg, dcfg.d32);
  92875. +}
  92876. +
  92877. +uint32_t dwc_otg_get_busconnected(dwc_otg_core_if_t * core_if)
  92878. +{
  92879. + hprt0_data_t hprt0;
  92880. + hprt0.d32 = DWC_READ_REG32(core_if->host_if->hprt0);
  92881. + return hprt0.b.prtconnsts;
  92882. +}
  92883. +
  92884. +uint32_t dwc_otg_get_enumspeed(dwc_otg_core_if_t * core_if)
  92885. +{
  92886. + dsts_data_t dsts;
  92887. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  92888. + return dsts.b.enumspd;
  92889. +}
  92890. +
  92891. +uint32_t dwc_otg_get_prtpower(dwc_otg_core_if_t * core_if)
  92892. +{
  92893. + hprt0_data_t hprt0;
  92894. + hprt0.d32 = DWC_READ_REG32(core_if->host_if->hprt0);
  92895. + return hprt0.b.prtpwr;
  92896. +
  92897. +}
  92898. +
  92899. +uint32_t dwc_otg_get_core_state(dwc_otg_core_if_t * core_if)
  92900. +{
  92901. + return core_if->hibernation_suspend;
  92902. +}
  92903. +
  92904. +void dwc_otg_set_prtpower(dwc_otg_core_if_t * core_if, uint32_t val)
  92905. +{
  92906. + hprt0_data_t hprt0;
  92907. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  92908. + hprt0.b.prtpwr = val;
  92909. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  92910. +}
  92911. +
  92912. +uint32_t dwc_otg_get_prtsuspend(dwc_otg_core_if_t * core_if)
  92913. +{
  92914. + hprt0_data_t hprt0;
  92915. + hprt0.d32 = DWC_READ_REG32(core_if->host_if->hprt0);
  92916. + return hprt0.b.prtsusp;
  92917. +
  92918. +}
  92919. +
  92920. +void dwc_otg_set_prtsuspend(dwc_otg_core_if_t * core_if, uint32_t val)
  92921. +{
  92922. + hprt0_data_t hprt0;
  92923. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  92924. + hprt0.b.prtsusp = val;
  92925. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  92926. +}
  92927. +
  92928. +uint32_t dwc_otg_get_fr_interval(dwc_otg_core_if_t * core_if)
  92929. +{
  92930. + hfir_data_t hfir;
  92931. + hfir.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->hfir);
  92932. + return hfir.b.frint;
  92933. +
  92934. +}
  92935. +
  92936. +void dwc_otg_set_fr_interval(dwc_otg_core_if_t * core_if, uint32_t val)
  92937. +{
  92938. + hfir_data_t hfir;
  92939. + uint32_t fram_int;
  92940. + fram_int = calc_frame_interval(core_if);
  92941. + hfir.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->hfir);
  92942. + if (!core_if->core_params->reload_ctl) {
  92943. + DWC_WARN("\nCannot reload HFIR register.HFIR.HFIRRldCtrl bit is"
  92944. + "not set to 1.\nShould load driver with reload_ctl=1"
  92945. + " module parameter\n");
  92946. + return;
  92947. + }
  92948. + switch (fram_int) {
  92949. + case 3750:
  92950. + if ((val < 3350) || (val > 4150)) {
  92951. + DWC_WARN("HFIR interval for HS core and 30 MHz"
  92952. + "clock freq should be from 3350 to 4150\n");
  92953. + return;
  92954. + }
  92955. + break;
  92956. + case 30000:
  92957. + if ((val < 26820) || (val > 33180)) {
  92958. + DWC_WARN("HFIR interval for FS/LS core and 30 MHz"
  92959. + "clock freq should be from 26820 to 33180\n");
  92960. + return;
  92961. + }
  92962. + break;
  92963. + case 6000:
  92964. + if ((val < 5360) || (val > 6640)) {
  92965. + DWC_WARN("HFIR interval for HS core and 48 MHz"
  92966. + "clock freq should be from 5360 to 6640\n");
  92967. + return;
  92968. + }
  92969. + break;
  92970. + case 48000:
  92971. + if ((val < 42912) || (val > 53088)) {
  92972. + DWC_WARN("HFIR interval for FS/LS core and 48 MHz"
  92973. + "clock freq should be from 42912 to 53088\n");
  92974. + return;
  92975. + }
  92976. + break;
  92977. + case 7500:
  92978. + if ((val < 6700) || (val > 8300)) {
  92979. + DWC_WARN("HFIR interval for HS core and 60 MHz"
  92980. + "clock freq should be from 6700 to 8300\n");
  92981. + return;
  92982. + }
  92983. + break;
  92984. + case 60000:
  92985. + if ((val < 53640) || (val > 65536)) {
  92986. + DWC_WARN("HFIR interval for FS/LS core and 60 MHz"
  92987. + "clock freq should be from 53640 to 65536\n");
  92988. + return;
  92989. + }
  92990. + break;
  92991. + default:
  92992. + DWC_WARN("Unknown frame interval\n");
  92993. + return;
  92994. + break;
  92995. +
  92996. + }
  92997. + hfir.b.frint = val;
  92998. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hfir, hfir.d32);
  92999. +}
  93000. +
  93001. +uint32_t dwc_otg_get_mode_ch_tim(dwc_otg_core_if_t * core_if)
  93002. +{
  93003. + hcfg_data_t hcfg;
  93004. + hcfg.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->hcfg);
  93005. + return hcfg.b.modechtimen;
  93006. +
  93007. +}
  93008. +
  93009. +void dwc_otg_set_mode_ch_tim(dwc_otg_core_if_t * core_if, uint32_t val)
  93010. +{
  93011. + hcfg_data_t hcfg;
  93012. + hcfg.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->hcfg);
  93013. + hcfg.b.modechtimen = val;
  93014. + DWC_WRITE_REG32(&core_if->host_if->host_global_regs->hcfg, hcfg.d32);
  93015. +}
  93016. +
  93017. +void dwc_otg_set_prtresume(dwc_otg_core_if_t * core_if, uint32_t val)
  93018. +{
  93019. + hprt0_data_t hprt0;
  93020. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  93021. + hprt0.b.prtres = val;
  93022. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  93023. +}
  93024. +
  93025. +uint32_t dwc_otg_get_remotewakesig(dwc_otg_core_if_t * core_if)
  93026. +{
  93027. + dctl_data_t dctl;
  93028. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dctl);
  93029. + return dctl.b.rmtwkupsig;
  93030. +}
  93031. +
  93032. +uint32_t dwc_otg_get_lpm_portsleepstatus(dwc_otg_core_if_t * core_if)
  93033. +{
  93034. + glpmcfg_data_t lpmcfg;
  93035. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93036. +
  93037. + DWC_ASSERT(!
  93038. + ((core_if->lx_state == DWC_OTG_L1) ^ lpmcfg.b.prt_sleep_sts),
  93039. + "lx_state = %d, lmpcfg.prt_sleep_sts = %d\n",
  93040. + core_if->lx_state, lpmcfg.b.prt_sleep_sts);
  93041. +
  93042. + return lpmcfg.b.prt_sleep_sts;
  93043. +}
  93044. +
  93045. +uint32_t dwc_otg_get_lpm_remotewakeenabled(dwc_otg_core_if_t * core_if)
  93046. +{
  93047. + glpmcfg_data_t lpmcfg;
  93048. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93049. + return lpmcfg.b.rem_wkup_en;
  93050. +}
  93051. +
  93052. +uint32_t dwc_otg_get_lpmresponse(dwc_otg_core_if_t * core_if)
  93053. +{
  93054. + glpmcfg_data_t lpmcfg;
  93055. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93056. + return lpmcfg.b.appl_resp;
  93057. +}
  93058. +
  93059. +void dwc_otg_set_lpmresponse(dwc_otg_core_if_t * core_if, uint32_t val)
  93060. +{
  93061. + glpmcfg_data_t lpmcfg;
  93062. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93063. + lpmcfg.b.appl_resp = val;
  93064. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  93065. +}
  93066. +
  93067. +uint32_t dwc_otg_get_hsic_connect(dwc_otg_core_if_t * core_if)
  93068. +{
  93069. + glpmcfg_data_t lpmcfg;
  93070. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93071. + return lpmcfg.b.hsic_connect;
  93072. +}
  93073. +
  93074. +void dwc_otg_set_hsic_connect(dwc_otg_core_if_t * core_if, uint32_t val)
  93075. +{
  93076. + glpmcfg_data_t lpmcfg;
  93077. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93078. + lpmcfg.b.hsic_connect = val;
  93079. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  93080. +}
  93081. +
  93082. +uint32_t dwc_otg_get_inv_sel_hsic(dwc_otg_core_if_t * core_if)
  93083. +{
  93084. + glpmcfg_data_t lpmcfg;
  93085. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93086. + return lpmcfg.b.inv_sel_hsic;
  93087. +
  93088. +}
  93089. +
  93090. +void dwc_otg_set_inv_sel_hsic(dwc_otg_core_if_t * core_if, uint32_t val)
  93091. +{
  93092. + glpmcfg_data_t lpmcfg;
  93093. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  93094. + lpmcfg.b.inv_sel_hsic = val;
  93095. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  93096. +}
  93097. +
  93098. +uint32_t dwc_otg_get_gotgctl(dwc_otg_core_if_t * core_if)
  93099. +{
  93100. + return DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  93101. +}
  93102. +
  93103. +void dwc_otg_set_gotgctl(dwc_otg_core_if_t * core_if, uint32_t val)
  93104. +{
  93105. + DWC_WRITE_REG32(&core_if->core_global_regs->gotgctl, val);
  93106. +}
  93107. +
  93108. +uint32_t dwc_otg_get_gusbcfg(dwc_otg_core_if_t * core_if)
  93109. +{
  93110. + return DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  93111. +}
  93112. +
  93113. +void dwc_otg_set_gusbcfg(dwc_otg_core_if_t * core_if, uint32_t val)
  93114. +{
  93115. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, val);
  93116. +}
  93117. +
  93118. +uint32_t dwc_otg_get_grxfsiz(dwc_otg_core_if_t * core_if)
  93119. +{
  93120. + return DWC_READ_REG32(&core_if->core_global_regs->grxfsiz);
  93121. +}
  93122. +
  93123. +void dwc_otg_set_grxfsiz(dwc_otg_core_if_t * core_if, uint32_t val)
  93124. +{
  93125. + DWC_WRITE_REG32(&core_if->core_global_regs->grxfsiz, val);
  93126. +}
  93127. +
  93128. +uint32_t dwc_otg_get_gnptxfsiz(dwc_otg_core_if_t * core_if)
  93129. +{
  93130. + return DWC_READ_REG32(&core_if->core_global_regs->gnptxfsiz);
  93131. +}
  93132. +
  93133. +void dwc_otg_set_gnptxfsiz(dwc_otg_core_if_t * core_if, uint32_t val)
  93134. +{
  93135. + DWC_WRITE_REG32(&core_if->core_global_regs->gnptxfsiz, val);
  93136. +}
  93137. +
  93138. +uint32_t dwc_otg_get_gpvndctl(dwc_otg_core_if_t * core_if)
  93139. +{
  93140. + return DWC_READ_REG32(&core_if->core_global_regs->gpvndctl);
  93141. +}
  93142. +
  93143. +void dwc_otg_set_gpvndctl(dwc_otg_core_if_t * core_if, uint32_t val)
  93144. +{
  93145. + DWC_WRITE_REG32(&core_if->core_global_regs->gpvndctl, val);
  93146. +}
  93147. +
  93148. +uint32_t dwc_otg_get_ggpio(dwc_otg_core_if_t * core_if)
  93149. +{
  93150. + return DWC_READ_REG32(&core_if->core_global_regs->ggpio);
  93151. +}
  93152. +
  93153. +void dwc_otg_set_ggpio(dwc_otg_core_if_t * core_if, uint32_t val)
  93154. +{
  93155. + DWC_WRITE_REG32(&core_if->core_global_regs->ggpio, val);
  93156. +}
  93157. +
  93158. +uint32_t dwc_otg_get_hprt0(dwc_otg_core_if_t * core_if)
  93159. +{
  93160. + return DWC_READ_REG32(core_if->host_if->hprt0);
  93161. +
  93162. +}
  93163. +
  93164. +void dwc_otg_set_hprt0(dwc_otg_core_if_t * core_if, uint32_t val)
  93165. +{
  93166. + DWC_WRITE_REG32(core_if->host_if->hprt0, val);
  93167. +}
  93168. +
  93169. +uint32_t dwc_otg_get_guid(dwc_otg_core_if_t * core_if)
  93170. +{
  93171. + return DWC_READ_REG32(&core_if->core_global_regs->guid);
  93172. +}
  93173. +
  93174. +void dwc_otg_set_guid(dwc_otg_core_if_t * core_if, uint32_t val)
  93175. +{
  93176. + DWC_WRITE_REG32(&core_if->core_global_regs->guid, val);
  93177. +}
  93178. +
  93179. +uint32_t dwc_otg_get_hptxfsiz(dwc_otg_core_if_t * core_if)
  93180. +{
  93181. + return DWC_READ_REG32(&core_if->core_global_regs->hptxfsiz);
  93182. +}
  93183. +
  93184. +uint16_t dwc_otg_get_otg_version(dwc_otg_core_if_t * core_if)
  93185. +{
  93186. + return ((core_if->otg_ver == 1) ? (uint16_t)0x0200 : (uint16_t)0x0103);
  93187. +}
  93188. +
  93189. +/**
  93190. + * Start the SRP timer to detect when the SRP does not complete within
  93191. + * 6 seconds.
  93192. + *
  93193. + * @param core_if the pointer to core_if strucure.
  93194. + */
  93195. +void dwc_otg_pcd_start_srp_timer(dwc_otg_core_if_t * core_if)
  93196. +{
  93197. + core_if->srp_timer_started = 1;
  93198. + DWC_TIMER_SCHEDULE(core_if->srp_timer, 6000 /* 6 secs */ );
  93199. +}
  93200. +
  93201. +void dwc_otg_initiate_srp(dwc_otg_core_if_t * core_if)
  93202. +{
  93203. + uint32_t *addr = (uint32_t *) & (core_if->core_global_regs->gotgctl);
  93204. + gotgctl_data_t mem;
  93205. + gotgctl_data_t val;
  93206. +
  93207. + val.d32 = DWC_READ_REG32(addr);
  93208. + if (val.b.sesreq) {
  93209. + DWC_ERROR("Session Request Already active!\n");
  93210. + return;
  93211. + }
  93212. +
  93213. + DWC_INFO("Session Request Initated\n"); //NOTICE
  93214. + mem.d32 = DWC_READ_REG32(addr);
  93215. + mem.b.sesreq = 1;
  93216. + DWC_WRITE_REG32(addr, mem.d32);
  93217. +
  93218. + /* Start the SRP timer */
  93219. + dwc_otg_pcd_start_srp_timer(core_if);
  93220. + return;
  93221. +}
  93222. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil.h
  93223. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil.h 1970-01-01 01:00:00.000000000 +0100
  93224. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil.h 2015-11-29 09:42:39.919098694 +0100
  93225. @@ -0,0 +1,1464 @@
  93226. +/* ==========================================================================
  93227. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_cil.h $
  93228. + * $Revision: #123 $
  93229. + * $Date: 2012/08/10 $
  93230. + * $Change: 2047372 $
  93231. + *
  93232. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  93233. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  93234. + * otherwise expressly agreed to in writing between Synopsys and you.
  93235. + *
  93236. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  93237. + * any End User Software License Agreement or Agreement for Licensed Product
  93238. + * with Synopsys or any supplement thereto. You are permitted to use and
  93239. + * redistribute this Software in source and binary forms, with or without
  93240. + * modification, provided that redistributions of source code must retain this
  93241. + * notice. You may not view, use, disclose, copy or distribute this file or
  93242. + * any information contained herein except pursuant to this license grant from
  93243. + * Synopsys. If you do not agree with this notice, including the disclaimer
  93244. + * below, then you are not authorized to use the Software.
  93245. + *
  93246. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  93247. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  93248. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  93249. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  93250. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  93251. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  93252. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  93253. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  93254. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  93255. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  93256. + * DAMAGE.
  93257. + * ========================================================================== */
  93258. +
  93259. +#if !defined(__DWC_CIL_H__)
  93260. +#define __DWC_CIL_H__
  93261. +
  93262. +#include "dwc_list.h"
  93263. +#include "dwc_otg_dbg.h"
  93264. +#include "dwc_otg_regs.h"
  93265. +
  93266. +#include "dwc_otg_core_if.h"
  93267. +#include "dwc_otg_adp.h"
  93268. +
  93269. +/**
  93270. + * @file
  93271. + * This file contains the interface to the Core Interface Layer.
  93272. + */
  93273. +
  93274. +#ifdef DWC_UTE_CFI
  93275. +
  93276. +#define MAX_DMA_DESCS_PER_EP 256
  93277. +
  93278. +/**
  93279. + * Enumeration for the data buffer mode
  93280. + */
  93281. +typedef enum _data_buffer_mode {
  93282. + BM_STANDARD = 0, /* data buffer is in normal mode */
  93283. + BM_SG = 1, /* data buffer uses the scatter/gather mode */
  93284. + BM_CONCAT = 2, /* data buffer uses the concatenation mode */
  93285. + BM_CIRCULAR = 3, /* data buffer uses the circular DMA mode */
  93286. + BM_ALIGN = 4 /* data buffer is in buffer alignment mode */
  93287. +} data_buffer_mode_e;
  93288. +#endif //DWC_UTE_CFI
  93289. +
  93290. +/** Macros defined for DWC OTG HW Release version */
  93291. +
  93292. +#define OTG_CORE_REV_2_60a 0x4F54260A
  93293. +#define OTG_CORE_REV_2_71a 0x4F54271A
  93294. +#define OTG_CORE_REV_2_72a 0x4F54272A
  93295. +#define OTG_CORE_REV_2_80a 0x4F54280A
  93296. +#define OTG_CORE_REV_2_81a 0x4F54281A
  93297. +#define OTG_CORE_REV_2_90a 0x4F54290A
  93298. +#define OTG_CORE_REV_2_91a 0x4F54291A
  93299. +#define OTG_CORE_REV_2_92a 0x4F54292A
  93300. +#define OTG_CORE_REV_2_93a 0x4F54293A
  93301. +#define OTG_CORE_REV_2_94a 0x4F54294A
  93302. +#define OTG_CORE_REV_3_00a 0x4F54300A
  93303. +
  93304. +/**
  93305. + * Information for each ISOC packet.
  93306. + */
  93307. +typedef struct iso_pkt_info {
  93308. + uint32_t offset;
  93309. + uint32_t length;
  93310. + int32_t status;
  93311. +} iso_pkt_info_t;
  93312. +
  93313. +/**
  93314. + * The <code>dwc_ep</code> structure represents the state of a single
  93315. + * endpoint when acting in device mode. It contains the data items
  93316. + * needed for an endpoint to be activated and transfer packets.
  93317. + */
  93318. +typedef struct dwc_ep {
  93319. + /** EP number used for register address lookup */
  93320. + uint8_t num;
  93321. + /** EP direction 0 = OUT */
  93322. + unsigned is_in:1;
  93323. + /** EP active. */
  93324. + unsigned active:1;
  93325. +
  93326. + /**
  93327. + * Periodic Tx FIFO # for IN EPs For INTR EP set to 0 to use non-periodic
  93328. + * Tx FIFO. If dedicated Tx FIFOs are enabled Tx FIFO # FOR IN EPs*/
  93329. + unsigned tx_fifo_num:4;
  93330. + /** EP type: 0 - Control, 1 - ISOC, 2 - BULK, 3 - INTR */
  93331. + unsigned type:2;
  93332. +#define DWC_OTG_EP_TYPE_CONTROL 0
  93333. +#define DWC_OTG_EP_TYPE_ISOC 1
  93334. +#define DWC_OTG_EP_TYPE_BULK 2
  93335. +#define DWC_OTG_EP_TYPE_INTR 3
  93336. +
  93337. + /** DATA start PID for INTR and BULK EP */
  93338. + unsigned data_pid_start:1;
  93339. + /** Frame (even/odd) for ISOC EP */
  93340. + unsigned even_odd_frame:1;
  93341. + /** Max Packet bytes */
  93342. + unsigned maxpacket:11;
  93343. +
  93344. + /** Max Transfer size */
  93345. + uint32_t maxxfer;
  93346. +
  93347. + /** @name Transfer state */
  93348. + /** @{ */
  93349. +
  93350. + /**
  93351. + * Pointer to the beginning of the transfer buffer -- do not modify
  93352. + * during transfer.
  93353. + */
  93354. +
  93355. + dwc_dma_t dma_addr;
  93356. +
  93357. + dwc_dma_t dma_desc_addr;
  93358. + dwc_otg_dev_dma_desc_t *desc_addr;
  93359. +
  93360. + uint8_t *start_xfer_buff;
  93361. + /** pointer to the transfer buffer */
  93362. + uint8_t *xfer_buff;
  93363. + /** Number of bytes to transfer */
  93364. + unsigned xfer_len:19;
  93365. + /** Number of bytes transferred. */
  93366. + unsigned xfer_count:19;
  93367. + /** Sent ZLP */
  93368. + unsigned sent_zlp:1;
  93369. + /** Total len for control transfer */
  93370. + unsigned total_len:19;
  93371. +
  93372. + /** stall clear flag */
  93373. + unsigned stall_clear_flag:1;
  93374. +
  93375. + /** SETUP pkt cnt rollover flag for EP0 out*/
  93376. + unsigned stp_rollover;
  93377. +
  93378. +#ifdef DWC_UTE_CFI
  93379. + /* The buffer mode */
  93380. + data_buffer_mode_e buff_mode;
  93381. +
  93382. + /* The chain of DMA descriptors.
  93383. + * MAX_DMA_DESCS_PER_EP will be allocated for each active EP.
  93384. + */
  93385. + dwc_otg_dma_desc_t *descs;
  93386. +
  93387. + /* The DMA address of the descriptors chain start */
  93388. + dma_addr_t descs_dma_addr;
  93389. + /** This variable stores the length of the last enqueued request */
  93390. + uint32_t cfi_req_len;
  93391. +#endif //DWC_UTE_CFI
  93392. +
  93393. +/** Max DMA Descriptor count for any EP */
  93394. +#define MAX_DMA_DESC_CNT 256
  93395. + /** Allocated DMA Desc count */
  93396. + uint32_t desc_cnt;
  93397. +
  93398. + /** bInterval */
  93399. + uint32_t bInterval;
  93400. + /** Next frame num to setup next ISOC transfer */
  93401. + uint32_t frame_num;
  93402. + /** Indicates SOF number overrun in DSTS */
  93403. + uint8_t frm_overrun;
  93404. +
  93405. +#ifdef DWC_UTE_PER_IO
  93406. + /** Next frame num for which will be setup DMA Desc */
  93407. + uint32_t xiso_frame_num;
  93408. + /** bInterval */
  93409. + uint32_t xiso_bInterval;
  93410. + /** Count of currently active transfers - shall be either 0 or 1 */
  93411. + int xiso_active_xfers;
  93412. + int xiso_queued_xfers;
  93413. +#endif
  93414. +#ifdef DWC_EN_ISOC
  93415. + /**
  93416. + * Variables specific for ISOC EPs
  93417. + *
  93418. + */
  93419. + /** DMA addresses of ISOC buffers */
  93420. + dwc_dma_t dma_addr0;
  93421. + dwc_dma_t dma_addr1;
  93422. +
  93423. + dwc_dma_t iso_dma_desc_addr;
  93424. + dwc_otg_dev_dma_desc_t *iso_desc_addr;
  93425. +
  93426. + /** pointer to the transfer buffers */
  93427. + uint8_t *xfer_buff0;
  93428. + uint8_t *xfer_buff1;
  93429. +
  93430. + /** number of ISOC Buffer is processing */
  93431. + uint32_t proc_buf_num;
  93432. + /** Interval of ISOC Buffer processing */
  93433. + uint32_t buf_proc_intrvl;
  93434. + /** Data size for regular frame */
  93435. + uint32_t data_per_frame;
  93436. +
  93437. + /* todo - pattern data support is to be implemented in the future */
  93438. + /** Data size for pattern frame */
  93439. + uint32_t data_pattern_frame;
  93440. + /** Frame number of pattern data */
  93441. + uint32_t sync_frame;
  93442. +
  93443. + /** bInterval */
  93444. + uint32_t bInterval;
  93445. + /** ISO Packet number per frame */
  93446. + uint32_t pkt_per_frm;
  93447. + /** Next frame num for which will be setup DMA Desc */
  93448. + uint32_t next_frame;
  93449. + /** Number of packets per buffer processing */
  93450. + uint32_t pkt_cnt;
  93451. + /** Info for all isoc packets */
  93452. + iso_pkt_info_t *pkt_info;
  93453. + /** current pkt number */
  93454. + uint32_t cur_pkt;
  93455. + /** current pkt number */
  93456. + uint8_t *cur_pkt_addr;
  93457. + /** current pkt number */
  93458. + uint32_t cur_pkt_dma_addr;
  93459. +#endif /* DWC_EN_ISOC */
  93460. +
  93461. +/** @} */
  93462. +} dwc_ep_t;
  93463. +
  93464. +/*
  93465. + * Reasons for halting a host channel.
  93466. + */
  93467. +typedef enum dwc_otg_halt_status {
  93468. + DWC_OTG_HC_XFER_NO_HALT_STATUS,
  93469. + DWC_OTG_HC_XFER_COMPLETE,
  93470. + DWC_OTG_HC_XFER_URB_COMPLETE,
  93471. + DWC_OTG_HC_XFER_ACK,
  93472. + DWC_OTG_HC_XFER_NAK,
  93473. + DWC_OTG_HC_XFER_NYET,
  93474. + DWC_OTG_HC_XFER_STALL,
  93475. + DWC_OTG_HC_XFER_XACT_ERR,
  93476. + DWC_OTG_HC_XFER_FRAME_OVERRUN,
  93477. + DWC_OTG_HC_XFER_BABBLE_ERR,
  93478. + DWC_OTG_HC_XFER_DATA_TOGGLE_ERR,
  93479. + DWC_OTG_HC_XFER_AHB_ERR,
  93480. + DWC_OTG_HC_XFER_PERIODIC_INCOMPLETE,
  93481. + DWC_OTG_HC_XFER_URB_DEQUEUE
  93482. +} dwc_otg_halt_status_e;
  93483. +
  93484. +/**
  93485. + * Host channel descriptor. This structure represents the state of a single
  93486. + * host channel when acting in host mode. It contains the data items needed to
  93487. + * transfer packets to an endpoint via a host channel.
  93488. + */
  93489. +typedef struct dwc_hc {
  93490. + /** Host channel number used for register address lookup */
  93491. + uint8_t hc_num;
  93492. +
  93493. + /** Device to access */
  93494. + unsigned dev_addr:7;
  93495. +
  93496. + /** EP to access */
  93497. + unsigned ep_num:4;
  93498. +
  93499. + /** EP direction. 0: OUT, 1: IN */
  93500. + unsigned ep_is_in:1;
  93501. +
  93502. + /**
  93503. + * EP speed.
  93504. + * One of the following values:
  93505. + * - DWC_OTG_EP_SPEED_LOW
  93506. + * - DWC_OTG_EP_SPEED_FULL
  93507. + * - DWC_OTG_EP_SPEED_HIGH
  93508. + */
  93509. + unsigned speed:2;
  93510. +#define DWC_OTG_EP_SPEED_LOW 0
  93511. +#define DWC_OTG_EP_SPEED_FULL 1
  93512. +#define DWC_OTG_EP_SPEED_HIGH 2
  93513. +
  93514. + /**
  93515. + * Endpoint type.
  93516. + * One of the following values:
  93517. + * - DWC_OTG_EP_TYPE_CONTROL: 0
  93518. + * - DWC_OTG_EP_TYPE_ISOC: 1
  93519. + * - DWC_OTG_EP_TYPE_BULK: 2
  93520. + * - DWC_OTG_EP_TYPE_INTR: 3
  93521. + */
  93522. + unsigned ep_type:2;
  93523. +
  93524. + /** Max packet size in bytes */
  93525. + unsigned max_packet:11;
  93526. +
  93527. + /**
  93528. + * PID for initial transaction.
  93529. + * 0: DATA0,<br>
  93530. + * 1: DATA2,<br>
  93531. + * 2: DATA1,<br>
  93532. + * 3: MDATA (non-Control EP),
  93533. + * SETUP (Control EP)
  93534. + */
  93535. + unsigned data_pid_start:2;
  93536. +#define DWC_OTG_HC_PID_DATA0 0
  93537. +#define DWC_OTG_HC_PID_DATA2 1
  93538. +#define DWC_OTG_HC_PID_DATA1 2
  93539. +#define DWC_OTG_HC_PID_MDATA 3
  93540. +#define DWC_OTG_HC_PID_SETUP 3
  93541. +
  93542. + /** Number of periodic transactions per (micro)frame */
  93543. + unsigned multi_count:2;
  93544. +
  93545. + /** @name Transfer State */
  93546. + /** @{ */
  93547. +
  93548. + /** Pointer to the current transfer buffer position. */
  93549. + uint8_t *xfer_buff;
  93550. + /**
  93551. + * In Buffer DMA mode this buffer will be used
  93552. + * if xfer_buff is not DWORD aligned.
  93553. + */
  93554. + dwc_dma_t align_buff;
  93555. + /** Total number of bytes to transfer. */
  93556. + uint32_t xfer_len;
  93557. + /** Number of bytes transferred so far. */
  93558. + uint32_t xfer_count;
  93559. + /** Packet count at start of transfer.*/
  93560. + uint16_t start_pkt_count;
  93561. +
  93562. + /**
  93563. + * Flag to indicate whether the transfer has been started. Set to 1 if
  93564. + * it has been started, 0 otherwise.
  93565. + */
  93566. + uint8_t xfer_started;
  93567. +
  93568. + /**
  93569. + * Set to 1 to indicate that a PING request should be issued on this
  93570. + * channel. If 0, process normally.
  93571. + */
  93572. + uint8_t do_ping;
  93573. +
  93574. + /**
  93575. + * Set to 1 to indicate that the error count for this transaction is
  93576. + * non-zero. Set to 0 if the error count is 0.
  93577. + */
  93578. + uint8_t error_state;
  93579. +
  93580. + /**
  93581. + * Set to 1 to indicate that this channel should be halted the next
  93582. + * time a request is queued for the channel. This is necessary in
  93583. + * slave mode if no request queue space is available when an attempt
  93584. + * is made to halt the channel.
  93585. + */
  93586. + uint8_t halt_on_queue;
  93587. +
  93588. + /**
  93589. + * Set to 1 if the host channel has been halted, but the core is not
  93590. + * finished flushing queued requests. Otherwise 0.
  93591. + */
  93592. + uint8_t halt_pending;
  93593. +
  93594. + /**
  93595. + * Reason for halting the host channel.
  93596. + */
  93597. + dwc_otg_halt_status_e halt_status;
  93598. +
  93599. + /*
  93600. + * Split settings for the host channel
  93601. + */
  93602. + uint8_t do_split; /**< Enable split for the channel */
  93603. + uint8_t complete_split; /**< Enable complete split */
  93604. + uint8_t hub_addr; /**< Address of high speed hub */
  93605. +
  93606. + uint8_t port_addr; /**< Port of the low/full speed device */
  93607. + /** Split transaction position
  93608. + * One of the following values:
  93609. + * - DWC_HCSPLIT_XACTPOS_MID
  93610. + * - DWC_HCSPLIT_XACTPOS_BEGIN
  93611. + * - DWC_HCSPLIT_XACTPOS_END
  93612. + * - DWC_HCSPLIT_XACTPOS_ALL */
  93613. + uint8_t xact_pos;
  93614. +
  93615. + /** Set when the host channel does a short read. */
  93616. + uint8_t short_read;
  93617. +
  93618. + /**
  93619. + * Number of requests issued for this channel since it was assigned to
  93620. + * the current transfer (not counting PINGs).
  93621. + */
  93622. + uint8_t requests;
  93623. +
  93624. + /**
  93625. + * Queue Head for the transfer being processed by this channel.
  93626. + */
  93627. + struct dwc_otg_qh *qh;
  93628. +
  93629. + /** @} */
  93630. +
  93631. + /** Entry in list of host channels. */
  93632. + DWC_CIRCLEQ_ENTRY(dwc_hc) hc_list_entry;
  93633. +
  93634. + /** @name Descriptor DMA support */
  93635. + /** @{ */
  93636. +
  93637. + /** Number of Transfer Descriptors */
  93638. + uint16_t ntd;
  93639. +
  93640. + /** Descriptor List DMA address */
  93641. + dwc_dma_t desc_list_addr;
  93642. +
  93643. + /** Scheduling micro-frame bitmap. */
  93644. + uint8_t schinfo;
  93645. +
  93646. + /** @} */
  93647. +} dwc_hc_t;
  93648. +
  93649. +/**
  93650. + * The following parameters may be specified when starting the module. These
  93651. + * parameters define how the DWC_otg controller should be configured.
  93652. + */
  93653. +typedef struct dwc_otg_core_params {
  93654. + int32_t opt;
  93655. +
  93656. + /**
  93657. + * Specifies the OTG capabilities. The driver will automatically
  93658. + * detect the value for this parameter if none is specified.
  93659. + * 0 - HNP and SRP capable (default)
  93660. + * 1 - SRP Only capable
  93661. + * 2 - No HNP/SRP capable
  93662. + */
  93663. + int32_t otg_cap;
  93664. +
  93665. + /**
  93666. + * Specifies whether to use slave or DMA mode for accessing the data
  93667. + * FIFOs. The driver will automatically detect the value for this
  93668. + * parameter if none is specified.
  93669. + * 0 - Slave
  93670. + * 1 - DMA (default, if available)
  93671. + */
  93672. + int32_t dma_enable;
  93673. +
  93674. + /**
  93675. + * When DMA mode is enabled specifies whether to use address DMA or DMA
  93676. + * Descriptor mode for accessing the data FIFOs in device mode. The driver
  93677. + * will automatically detect the value for this if none is specified.
  93678. + * 0 - address DMA
  93679. + * 1 - DMA Descriptor(default, if available)
  93680. + */
  93681. + int32_t dma_desc_enable;
  93682. + /** The DMA Burst size (applicable only for External DMA
  93683. + * Mode). 1, 4, 8 16, 32, 64, 128, 256 (default 32)
  93684. + */
  93685. + int32_t dma_burst_size; /* Translate this to GAHBCFG values */
  93686. +
  93687. + /**
  93688. + * Specifies the maximum speed of operation in host and device mode.
  93689. + * The actual speed depends on the speed of the attached device and
  93690. + * the value of phy_type. The actual speed depends on the speed of the
  93691. + * attached device.
  93692. + * 0 - High Speed (default)
  93693. + * 1 - Full Speed
  93694. + */
  93695. + int32_t speed;
  93696. + /** Specifies whether low power mode is supported when attached
  93697. + * to a Full Speed or Low Speed device in host mode.
  93698. + * 0 - Don't support low power mode (default)
  93699. + * 1 - Support low power mode
  93700. + */
  93701. + int32_t host_support_fs_ls_low_power;
  93702. +
  93703. + /** Specifies the PHY clock rate in low power mode when connected to a
  93704. + * Low Speed device in host mode. This parameter is applicable only if
  93705. + * HOST_SUPPORT_FS_LS_LOW_POWER is enabled. If PHY_TYPE is set to FS
  93706. + * then defaults to 6 MHZ otherwise 48 MHZ.
  93707. + *
  93708. + * 0 - 48 MHz
  93709. + * 1 - 6 MHz
  93710. + */
  93711. + int32_t host_ls_low_power_phy_clk;
  93712. +
  93713. + /**
  93714. + * 0 - Use cC FIFO size parameters
  93715. + * 1 - Allow dynamic FIFO sizing (default)
  93716. + */
  93717. + int32_t enable_dynamic_fifo;
  93718. +
  93719. + /** Total number of 4-byte words in the data FIFO memory. This
  93720. + * memory includes the Rx FIFO, non-periodic Tx FIFO, and periodic
  93721. + * Tx FIFOs.
  93722. + * 32 to 32768 (default 8192)
  93723. + * Note: The total FIFO memory depth in the FPGA configuration is 8192.
  93724. + */
  93725. + int32_t data_fifo_size;
  93726. +
  93727. + /** Number of 4-byte words in the Rx FIFO in device mode when dynamic
  93728. + * FIFO sizing is enabled.
  93729. + * 16 to 32768 (default 1064)
  93730. + */
  93731. + int32_t dev_rx_fifo_size;
  93732. +
  93733. + /** Number of 4-byte words in the non-periodic Tx FIFO in device mode
  93734. + * when dynamic FIFO sizing is enabled.
  93735. + * 16 to 32768 (default 1024)
  93736. + */
  93737. + int32_t dev_nperio_tx_fifo_size;
  93738. +
  93739. + /** Number of 4-byte words in each of the periodic Tx FIFOs in device
  93740. + * mode when dynamic FIFO sizing is enabled.
  93741. + * 4 to 768 (default 256)
  93742. + */
  93743. + uint32_t dev_perio_tx_fifo_size[MAX_PERIO_FIFOS];
  93744. +
  93745. + /** Number of 4-byte words in the Rx FIFO in host mode when dynamic
  93746. + * FIFO sizing is enabled.
  93747. + * 16 to 32768 (default 1024)
  93748. + */
  93749. + int32_t host_rx_fifo_size;
  93750. +
  93751. + /** Number of 4-byte words in the non-periodic Tx FIFO in host mode
  93752. + * when Dynamic FIFO sizing is enabled in the core.
  93753. + * 16 to 32768 (default 1024)
  93754. + */
  93755. + int32_t host_nperio_tx_fifo_size;
  93756. +
  93757. + /** Number of 4-byte words in the host periodic Tx FIFO when dynamic
  93758. + * FIFO sizing is enabled.
  93759. + * 16 to 32768 (default 1024)
  93760. + */
  93761. + int32_t host_perio_tx_fifo_size;
  93762. +
  93763. + /** The maximum transfer size supported in bytes.
  93764. + * 2047 to 65,535 (default 65,535)
  93765. + */
  93766. + int32_t max_transfer_size;
  93767. +
  93768. + /** The maximum number of packets in a transfer.
  93769. + * 15 to 511 (default 511)
  93770. + */
  93771. + int32_t max_packet_count;
  93772. +
  93773. + /** The number of host channel registers to use.
  93774. + * 1 to 16 (default 12)
  93775. + * Note: The FPGA configuration supports a maximum of 12 host channels.
  93776. + */
  93777. + int32_t host_channels;
  93778. +
  93779. + /** The number of endpoints in addition to EP0 available for device
  93780. + * mode operations.
  93781. + * 1 to 15 (default 6 IN and OUT)
  93782. + * Note: The FPGA configuration supports a maximum of 6 IN and OUT
  93783. + * endpoints in addition to EP0.
  93784. + */
  93785. + int32_t dev_endpoints;
  93786. +
  93787. + /**
  93788. + * Specifies the type of PHY interface to use. By default, the driver
  93789. + * will automatically detect the phy_type.
  93790. + *
  93791. + * 0 - Full Speed PHY
  93792. + * 1 - UTMI+ (default)
  93793. + * 2 - ULPI
  93794. + */
  93795. + int32_t phy_type;
  93796. +
  93797. + /**
  93798. + * Specifies the UTMI+ Data Width. This parameter is
  93799. + * applicable for a PHY_TYPE of UTMI+ or ULPI. (For a ULPI
  93800. + * PHY_TYPE, this parameter indicates the data width between
  93801. + * the MAC and the ULPI Wrapper.) Also, this parameter is
  93802. + * applicable only if the OTG_HSPHY_WIDTH cC parameter was set
  93803. + * to "8 and 16 bits", meaning that the core has been
  93804. + * configured to work at either data path width.
  93805. + *
  93806. + * 8 or 16 bits (default 16)
  93807. + */
  93808. + int32_t phy_utmi_width;
  93809. +
  93810. + /**
  93811. + * Specifies whether the ULPI operates at double or single
  93812. + * data rate. This parameter is only applicable if PHY_TYPE is
  93813. + * ULPI.
  93814. + *
  93815. + * 0 - single data rate ULPI interface with 8 bit wide data
  93816. + * bus (default)
  93817. + * 1 - double data rate ULPI interface with 4 bit wide data
  93818. + * bus
  93819. + */
  93820. + int32_t phy_ulpi_ddr;
  93821. +
  93822. + /**
  93823. + * Specifies whether to use the internal or external supply to
  93824. + * drive the vbus with a ULPI phy.
  93825. + */
  93826. + int32_t phy_ulpi_ext_vbus;
  93827. +
  93828. + /**
  93829. + * Specifies whether to use the I2Cinterface for full speed PHY. This
  93830. + * parameter is only applicable if PHY_TYPE is FS.
  93831. + * 0 - No (default)
  93832. + * 1 - Yes
  93833. + */
  93834. + int32_t i2c_enable;
  93835. +
  93836. + int32_t ulpi_fs_ls;
  93837. +
  93838. + int32_t ts_dline;
  93839. +
  93840. + /**
  93841. + * Specifies whether dedicated transmit FIFOs are
  93842. + * enabled for non periodic IN endpoints in device mode
  93843. + * 0 - No
  93844. + * 1 - Yes
  93845. + */
  93846. + int32_t en_multiple_tx_fifo;
  93847. +
  93848. + /** Number of 4-byte words in each of the Tx FIFOs in device
  93849. + * mode when dynamic FIFO sizing is enabled.
  93850. + * 4 to 768 (default 256)
  93851. + */
  93852. + uint32_t dev_tx_fifo_size[MAX_TX_FIFOS];
  93853. +
  93854. + /** Thresholding enable flag-
  93855. + * bit 0 - enable non-ISO Tx thresholding
  93856. + * bit 1 - enable ISO Tx thresholding
  93857. + * bit 2 - enable Rx thresholding
  93858. + */
  93859. + uint32_t thr_ctl;
  93860. +
  93861. + /** Thresholding length for Tx
  93862. + * FIFOs in 32 bit DWORDs
  93863. + */
  93864. + uint32_t tx_thr_length;
  93865. +
  93866. + /** Thresholding length for Rx
  93867. + * FIFOs in 32 bit DWORDs
  93868. + */
  93869. + uint32_t rx_thr_length;
  93870. +
  93871. + /**
  93872. + * Specifies whether LPM (Link Power Management) support is enabled
  93873. + */
  93874. + int32_t lpm_enable;
  93875. +
  93876. + /** Per Transfer Interrupt
  93877. + * mode enable flag
  93878. + * 1 - Enabled
  93879. + * 0 - Disabled
  93880. + */
  93881. + int32_t pti_enable;
  93882. +
  93883. + /** Multi Processor Interrupt
  93884. + * mode enable flag
  93885. + * 1 - Enabled
  93886. + * 0 - Disabled
  93887. + */
  93888. + int32_t mpi_enable;
  93889. +
  93890. + /** IS_USB Capability
  93891. + * 1 - Enabled
  93892. + * 0 - Disabled
  93893. + */
  93894. + int32_t ic_usb_cap;
  93895. +
  93896. + /** AHB Threshold Ratio
  93897. + * 2'b00 AHB Threshold = MAC Threshold
  93898. + * 2'b01 AHB Threshold = 1/2 MAC Threshold
  93899. + * 2'b10 AHB Threshold = 1/4 MAC Threshold
  93900. + * 2'b11 AHB Threshold = 1/8 MAC Threshold
  93901. + */
  93902. + int32_t ahb_thr_ratio;
  93903. +
  93904. + /** ADP Support
  93905. + * 1 - Enabled
  93906. + * 0 - Disabled
  93907. + */
  93908. + int32_t adp_supp_enable;
  93909. +
  93910. + /** HFIR Reload Control
  93911. + * 0 - The HFIR cannot be reloaded dynamically.
  93912. + * 1 - Allow dynamic reloading of the HFIR register during runtime.
  93913. + */
  93914. + int32_t reload_ctl;
  93915. +
  93916. + /** DCFG: Enable device Out NAK
  93917. + * 0 - The core does not set NAK after Bulk Out transfer complete.
  93918. + * 1 - The core sets NAK after Bulk OUT transfer complete.
  93919. + */
  93920. + int32_t dev_out_nak;
  93921. +
  93922. + /** DCFG: Enable Continue on BNA
  93923. + * After receiving BNA interrupt the core disables the endpoint,when the
  93924. + * endpoint is re-enabled by the application the core starts processing
  93925. + * 0 - from the DOEPDMA descriptor
  93926. + * 1 - from the descriptor which received the BNA.
  93927. + */
  93928. + int32_t cont_on_bna;
  93929. +
  93930. + /** GAHBCFG: AHB Single Support
  93931. + * This bit when programmed supports SINGLE transfers for remainder
  93932. + * data in a transfer for DMA mode of operation.
  93933. + * 0 - in this case the remainder data will be sent using INCR burst size.
  93934. + * 1 - in this case the remainder data will be sent using SINGLE burst size.
  93935. + */
  93936. + int32_t ahb_single;
  93937. +
  93938. + /** Core Power down mode
  93939. + * 0 - No Power Down is enabled
  93940. + * 1 - Reserved
  93941. + * 2 - Complete Power Down (Hibernation)
  93942. + */
  93943. + int32_t power_down;
  93944. +
  93945. + /** OTG revision supported
  93946. + * 0 - OTG 1.3 revision
  93947. + * 1 - OTG 2.0 revision
  93948. + */
  93949. + int32_t otg_ver;
  93950. +
  93951. +} dwc_otg_core_params_t;
  93952. +
  93953. +#ifdef DEBUG
  93954. +struct dwc_otg_core_if;
  93955. +typedef struct hc_xfer_info {
  93956. + struct dwc_otg_core_if *core_if;
  93957. + dwc_hc_t *hc;
  93958. +} hc_xfer_info_t;
  93959. +#endif
  93960. +
  93961. +typedef struct ep_xfer_info {
  93962. + struct dwc_otg_core_if *core_if;
  93963. + dwc_ep_t *ep;
  93964. + uint8_t state;
  93965. +} ep_xfer_info_t;
  93966. +/*
  93967. + * Device States
  93968. + */
  93969. +typedef enum dwc_otg_lx_state {
  93970. + /** On state */
  93971. + DWC_OTG_L0,
  93972. + /** LPM sleep state*/
  93973. + DWC_OTG_L1,
  93974. + /** USB suspend state*/
  93975. + DWC_OTG_L2,
  93976. + /** Off state*/
  93977. + DWC_OTG_L3
  93978. +} dwc_otg_lx_state_e;
  93979. +
  93980. +struct dwc_otg_global_regs_backup {
  93981. + uint32_t gotgctl_local;
  93982. + uint32_t gintmsk_local;
  93983. + uint32_t gahbcfg_local;
  93984. + uint32_t gusbcfg_local;
  93985. + uint32_t grxfsiz_local;
  93986. + uint32_t gnptxfsiz_local;
  93987. +#ifdef CONFIG_USB_DWC_OTG_LPM
  93988. + uint32_t glpmcfg_local;
  93989. +#endif
  93990. + uint32_t gi2cctl_local;
  93991. + uint32_t hptxfsiz_local;
  93992. + uint32_t pcgcctl_local;
  93993. + uint32_t gdfifocfg_local;
  93994. + uint32_t dtxfsiz_local[MAX_EPS_CHANNELS];
  93995. + uint32_t gpwrdn_local;
  93996. + uint32_t xhib_pcgcctl;
  93997. + uint32_t xhib_gpwrdn;
  93998. +};
  93999. +
  94000. +struct dwc_otg_host_regs_backup {
  94001. + uint32_t hcfg_local;
  94002. + uint32_t haintmsk_local;
  94003. + uint32_t hcintmsk_local[MAX_EPS_CHANNELS];
  94004. + uint32_t hprt0_local;
  94005. + uint32_t hfir_local;
  94006. +};
  94007. +
  94008. +struct dwc_otg_dev_regs_backup {
  94009. + uint32_t dcfg;
  94010. + uint32_t dctl;
  94011. + uint32_t daintmsk;
  94012. + uint32_t diepmsk;
  94013. + uint32_t doepmsk;
  94014. + uint32_t diepctl[MAX_EPS_CHANNELS];
  94015. + uint32_t dieptsiz[MAX_EPS_CHANNELS];
  94016. + uint32_t diepdma[MAX_EPS_CHANNELS];
  94017. +};
  94018. +/**
  94019. + * The <code>dwc_otg_core_if</code> structure contains information needed to manage
  94020. + * the DWC_otg controller acting in either host or device mode. It
  94021. + * represents the programming view of the controller as a whole.
  94022. + */
  94023. +struct dwc_otg_core_if {
  94024. + /** Parameters that define how the core should be configured.*/
  94025. + dwc_otg_core_params_t *core_params;
  94026. +
  94027. + /** Core Global registers starting at offset 000h. */
  94028. + dwc_otg_core_global_regs_t *core_global_regs;
  94029. +
  94030. + /** Device-specific information */
  94031. + dwc_otg_dev_if_t *dev_if;
  94032. + /** Host-specific information */
  94033. + dwc_otg_host_if_t *host_if;
  94034. +
  94035. + /** Value from SNPSID register */
  94036. + uint32_t snpsid;
  94037. +
  94038. + /*
  94039. + * Set to 1 if the core PHY interface bits in USBCFG have been
  94040. + * initialized.
  94041. + */
  94042. + uint8_t phy_init_done;
  94043. +
  94044. + /*
  94045. + * SRP Success flag, set by srp success interrupt in FS I2C mode
  94046. + */
  94047. + uint8_t srp_success;
  94048. + uint8_t srp_timer_started;
  94049. + /** Timer for SRP. If it expires before SRP is successful
  94050. + * clear the SRP. */
  94051. + dwc_timer_t *srp_timer;
  94052. +
  94053. +#ifdef DWC_DEV_SRPCAP
  94054. + /* This timer is needed to power on the hibernated host core if SRP is not
  94055. + * initiated on connected SRP capable device for limited period of time
  94056. + */
  94057. + uint8_t pwron_timer_started;
  94058. + dwc_timer_t *pwron_timer;
  94059. +#endif
  94060. + /* Common configuration information */
  94061. + /** Power and Clock Gating Control Register */
  94062. + volatile uint32_t *pcgcctl;
  94063. +#define DWC_OTG_PCGCCTL_OFFSET 0xE00
  94064. +
  94065. + /** Push/pop addresses for endpoints or host channels.*/
  94066. + uint32_t *data_fifo[MAX_EPS_CHANNELS];
  94067. +#define DWC_OTG_DATA_FIFO_OFFSET 0x1000
  94068. +#define DWC_OTG_DATA_FIFO_SIZE 0x1000
  94069. +
  94070. + /** Total RAM for FIFOs (Bytes) */
  94071. + uint16_t total_fifo_size;
  94072. + /** Size of Rx FIFO (Bytes) */
  94073. + uint16_t rx_fifo_size;
  94074. + /** Size of Non-periodic Tx FIFO (Bytes) */
  94075. + uint16_t nperio_tx_fifo_size;
  94076. +
  94077. + /** 1 if DMA is enabled, 0 otherwise. */
  94078. + uint8_t dma_enable;
  94079. +
  94080. + /** 1 if DMA descriptor is enabled, 0 otherwise. */
  94081. + uint8_t dma_desc_enable;
  94082. +
  94083. + /** 1 if PTI Enhancement mode is enabled, 0 otherwise. */
  94084. + uint8_t pti_enh_enable;
  94085. +
  94086. + /** 1 if MPI Enhancement mode is enabled, 0 otherwise. */
  94087. + uint8_t multiproc_int_enable;
  94088. +
  94089. + /** 1 if dedicated Tx FIFOs are enabled, 0 otherwise. */
  94090. + uint8_t en_multiple_tx_fifo;
  94091. +
  94092. + /** Set to 1 if multiple packets of a high-bandwidth transfer is in
  94093. + * process of being queued */
  94094. + uint8_t queuing_high_bandwidth;
  94095. +
  94096. + /** Hardware Configuration -- stored here for convenience.*/
  94097. + hwcfg1_data_t hwcfg1;
  94098. + hwcfg2_data_t hwcfg2;
  94099. + hwcfg3_data_t hwcfg3;
  94100. + hwcfg4_data_t hwcfg4;
  94101. + fifosize_data_t hptxfsiz;
  94102. +
  94103. + /** Host and Device Configuration -- stored here for convenience.*/
  94104. + hcfg_data_t hcfg;
  94105. + dcfg_data_t dcfg;
  94106. +
  94107. + /** The operational State, during transations
  94108. + * (a_host>>a_peripherial and b_device=>b_host) this may not
  94109. + * match the core but allows the software to determine
  94110. + * transitions.
  94111. + */
  94112. + uint8_t op_state;
  94113. +
  94114. + /**
  94115. + * Set to 1 if the HCD needs to be restarted on a session request
  94116. + * interrupt. This is required if no connector ID status change has
  94117. + * occurred since the HCD was last disconnected.
  94118. + */
  94119. + uint8_t restart_hcd_on_session_req;
  94120. +
  94121. + /** HCD callbacks */
  94122. + /** A-Device is a_host */
  94123. +#define A_HOST (1)
  94124. + /** A-Device is a_suspend */
  94125. +#define A_SUSPEND (2)
  94126. + /** A-Device is a_peripherial */
  94127. +#define A_PERIPHERAL (3)
  94128. + /** B-Device is operating as a Peripheral. */
  94129. +#define B_PERIPHERAL (4)
  94130. + /** B-Device is operating as a Host. */
  94131. +#define B_HOST (5)
  94132. +
  94133. + /** HCD callbacks */
  94134. + struct dwc_otg_cil_callbacks *hcd_cb;
  94135. + /** PCD callbacks */
  94136. + struct dwc_otg_cil_callbacks *pcd_cb;
  94137. +
  94138. + /** Device mode Periodic Tx FIFO Mask */
  94139. + uint32_t p_tx_msk;
  94140. + /** Device mode Periodic Tx FIFO Mask */
  94141. + uint32_t tx_msk;
  94142. +
  94143. + /** Workqueue object used for handling several interrupts */
  94144. + dwc_workq_t *wq_otg;
  94145. +
  94146. + /** Timer object used for handling "Wakeup Detected" Interrupt */
  94147. + dwc_timer_t *wkp_timer;
  94148. + /** This arrays used for debug purposes for DEV OUT NAK enhancement */
  94149. + uint32_t start_doeptsiz_val[MAX_EPS_CHANNELS];
  94150. + ep_xfer_info_t ep_xfer_info[MAX_EPS_CHANNELS];
  94151. + dwc_timer_t *ep_xfer_timer[MAX_EPS_CHANNELS];
  94152. +#ifdef DEBUG
  94153. + uint32_t start_hcchar_val[MAX_EPS_CHANNELS];
  94154. +
  94155. + hc_xfer_info_t hc_xfer_info[MAX_EPS_CHANNELS];
  94156. + dwc_timer_t *hc_xfer_timer[MAX_EPS_CHANNELS];
  94157. +
  94158. + uint32_t hfnum_7_samples;
  94159. + uint64_t hfnum_7_frrem_accum;
  94160. + uint32_t hfnum_0_samples;
  94161. + uint64_t hfnum_0_frrem_accum;
  94162. + uint32_t hfnum_other_samples;
  94163. + uint64_t hfnum_other_frrem_accum;
  94164. +#endif
  94165. +
  94166. +#ifdef DWC_UTE_CFI
  94167. + uint16_t pwron_rxfsiz;
  94168. + uint16_t pwron_gnptxfsiz;
  94169. + uint16_t pwron_txfsiz[15];
  94170. +
  94171. + uint16_t init_rxfsiz;
  94172. + uint16_t init_gnptxfsiz;
  94173. + uint16_t init_txfsiz[15];
  94174. +#endif
  94175. +
  94176. + /** Lx state of device */
  94177. + dwc_otg_lx_state_e lx_state;
  94178. +
  94179. + /** Saved Core Global registers */
  94180. + struct dwc_otg_global_regs_backup *gr_backup;
  94181. + /** Saved Host registers */
  94182. + struct dwc_otg_host_regs_backup *hr_backup;
  94183. + /** Saved Device registers */
  94184. + struct dwc_otg_dev_regs_backup *dr_backup;
  94185. +
  94186. + /** Power Down Enable */
  94187. + uint32_t power_down;
  94188. +
  94189. + /** ADP support Enable */
  94190. + uint32_t adp_enable;
  94191. +
  94192. + /** ADP structure object */
  94193. + dwc_otg_adp_t adp;
  94194. +
  94195. + /** hibernation/suspend flag */
  94196. + int hibernation_suspend;
  94197. +
  94198. + /** Device mode extended hibernation flag */
  94199. + int xhib;
  94200. +
  94201. + /** OTG revision supported */
  94202. + uint32_t otg_ver;
  94203. +
  94204. + /** OTG status flag used for HNP polling */
  94205. + uint8_t otg_sts;
  94206. +
  94207. + /** Pointer to either hcd->lock or pcd->lock */
  94208. + dwc_spinlock_t *lock;
  94209. +
  94210. + /** Start predict NextEP based on Learning Queue if equal 1,
  94211. + * also used as counter of disabled NP IN EP's */
  94212. + uint8_t start_predict;
  94213. +
  94214. + /** NextEp sequence, including EP0: nextep_seq[] = EP if non-periodic and
  94215. + * active, 0xff otherwise */
  94216. + uint8_t nextep_seq[MAX_EPS_CHANNELS];
  94217. +
  94218. + /** Index of fisrt EP in nextep_seq array which should be re-enabled **/
  94219. + uint8_t first_in_nextep_seq;
  94220. +
  94221. + /** Frame number while entering to ISR - needed for ISOCs **/
  94222. + uint32_t frame_num;
  94223. +
  94224. +};
  94225. +
  94226. +#ifdef DEBUG
  94227. +/*
  94228. + * This function is called when transfer is timed out.
  94229. + */
  94230. +extern void hc_xfer_timeout(void *ptr);
  94231. +#endif
  94232. +
  94233. +/*
  94234. + * This function is called when transfer is timed out on endpoint.
  94235. + */
  94236. +extern void ep_xfer_timeout(void *ptr);
  94237. +
  94238. +/*
  94239. + * The following functions are functions for works
  94240. + * using during handling some interrupts
  94241. + */
  94242. +extern void w_conn_id_status_change(void *p);
  94243. +
  94244. +extern void w_wakeup_detected(void *p);
  94245. +
  94246. +/** Saves global register values into system memory. */
  94247. +extern int dwc_otg_save_global_regs(dwc_otg_core_if_t * core_if);
  94248. +/** Saves device register values into system memory. */
  94249. +extern int dwc_otg_save_dev_regs(dwc_otg_core_if_t * core_if);
  94250. +/** Saves host register values into system memory. */
  94251. +extern int dwc_otg_save_host_regs(dwc_otg_core_if_t * core_if);
  94252. +/** Restore global register values. */
  94253. +extern int dwc_otg_restore_global_regs(dwc_otg_core_if_t * core_if);
  94254. +/** Restore host register values. */
  94255. +extern int dwc_otg_restore_host_regs(dwc_otg_core_if_t * core_if, int reset);
  94256. +/** Restore device register values. */
  94257. +extern int dwc_otg_restore_dev_regs(dwc_otg_core_if_t * core_if,
  94258. + int rem_wakeup);
  94259. +extern int restore_lpm_i2c_regs(dwc_otg_core_if_t * core_if);
  94260. +extern int restore_essential_regs(dwc_otg_core_if_t * core_if, int rmode,
  94261. + int is_host);
  94262. +
  94263. +extern int dwc_otg_host_hibernation_restore(dwc_otg_core_if_t * core_if,
  94264. + int restore_mode, int reset);
  94265. +extern int dwc_otg_device_hibernation_restore(dwc_otg_core_if_t * core_if,
  94266. + int rem_wakeup, int reset);
  94267. +
  94268. +/*
  94269. + * The following functions support initialization of the CIL driver component
  94270. + * and the DWC_otg controller.
  94271. + */
  94272. +extern void dwc_otg_core_host_init(dwc_otg_core_if_t * _core_if);
  94273. +extern void dwc_otg_core_dev_init(dwc_otg_core_if_t * _core_if);
  94274. +
  94275. +/** @name Device CIL Functions
  94276. + * The following functions support managing the DWC_otg controller in device
  94277. + * mode.
  94278. + */
  94279. +/**@{*/
  94280. +extern void dwc_otg_wakeup(dwc_otg_core_if_t * _core_if);
  94281. +extern void dwc_otg_read_setup_packet(dwc_otg_core_if_t * _core_if,
  94282. + uint32_t * _dest);
  94283. +extern uint32_t dwc_otg_get_frame_number(dwc_otg_core_if_t * _core_if);
  94284. +extern void dwc_otg_ep0_activate(dwc_otg_core_if_t * _core_if, dwc_ep_t * _ep);
  94285. +extern void dwc_otg_ep_activate(dwc_otg_core_if_t * _core_if, dwc_ep_t * _ep);
  94286. +extern void dwc_otg_ep_deactivate(dwc_otg_core_if_t * _core_if, dwc_ep_t * _ep);
  94287. +extern void dwc_otg_ep_start_transfer(dwc_otg_core_if_t * _core_if,
  94288. + dwc_ep_t * _ep);
  94289. +extern void dwc_otg_ep_start_zl_transfer(dwc_otg_core_if_t * _core_if,
  94290. + dwc_ep_t * _ep);
  94291. +extern void dwc_otg_ep0_start_transfer(dwc_otg_core_if_t * _core_if,
  94292. + dwc_ep_t * _ep);
  94293. +extern void dwc_otg_ep0_continue_transfer(dwc_otg_core_if_t * _core_if,
  94294. + dwc_ep_t * _ep);
  94295. +extern void dwc_otg_ep_write_packet(dwc_otg_core_if_t * _core_if,
  94296. + dwc_ep_t * _ep, int _dma);
  94297. +extern void dwc_otg_ep_set_stall(dwc_otg_core_if_t * _core_if, dwc_ep_t * _ep);
  94298. +extern void dwc_otg_ep_clear_stall(dwc_otg_core_if_t * _core_if,
  94299. + dwc_ep_t * _ep);
  94300. +extern void dwc_otg_enable_device_interrupts(dwc_otg_core_if_t * _core_if);
  94301. +
  94302. +#ifdef DWC_EN_ISOC
  94303. +extern void dwc_otg_iso_ep_start_frm_transfer(dwc_otg_core_if_t * core_if,
  94304. + dwc_ep_t * ep);
  94305. +extern void dwc_otg_iso_ep_start_buf_transfer(dwc_otg_core_if_t * core_if,
  94306. + dwc_ep_t * ep);
  94307. +#endif /* DWC_EN_ISOC */
  94308. +/**@}*/
  94309. +
  94310. +/** @name Host CIL Functions
  94311. + * The following functions support managing the DWC_otg controller in host
  94312. + * mode.
  94313. + */
  94314. +/**@{*/
  94315. +extern void dwc_otg_hc_init(dwc_otg_core_if_t * _core_if, dwc_hc_t * _hc);
  94316. +extern void dwc_otg_hc_halt(dwc_otg_core_if_t * _core_if,
  94317. + dwc_hc_t * _hc, dwc_otg_halt_status_e _halt_status);
  94318. +extern void dwc_otg_hc_cleanup(dwc_otg_core_if_t * _core_if, dwc_hc_t * _hc);
  94319. +extern void dwc_otg_hc_start_transfer(dwc_otg_core_if_t * _core_if,
  94320. + dwc_hc_t * _hc);
  94321. +extern int dwc_otg_hc_continue_transfer(dwc_otg_core_if_t * _core_if,
  94322. + dwc_hc_t * _hc);
  94323. +extern void dwc_otg_hc_do_ping(dwc_otg_core_if_t * _core_if, dwc_hc_t * _hc);
  94324. +extern void dwc_otg_hc_write_packet(dwc_otg_core_if_t * _core_if,
  94325. + dwc_hc_t * _hc);
  94326. +extern void dwc_otg_enable_host_interrupts(dwc_otg_core_if_t * _core_if);
  94327. +extern void dwc_otg_disable_host_interrupts(dwc_otg_core_if_t * _core_if);
  94328. +
  94329. +extern void dwc_otg_hc_start_transfer_ddma(dwc_otg_core_if_t * core_if,
  94330. + dwc_hc_t * hc);
  94331. +
  94332. +extern uint32_t calc_frame_interval(dwc_otg_core_if_t * core_if);
  94333. +
  94334. +/* Macro used to clear one channel interrupt */
  94335. +#define clear_hc_int(_hc_regs_, _intr_) \
  94336. +do { \
  94337. + hcint_data_t hcint_clear = {.d32 = 0}; \
  94338. + hcint_clear.b._intr_ = 1; \
  94339. + DWC_WRITE_REG32(&(_hc_regs_)->hcint, hcint_clear.d32); \
  94340. +} while (0)
  94341. +
  94342. +/*
  94343. + * Macro used to disable one channel interrupt. Channel interrupts are
  94344. + * disabled when the channel is halted or released by the interrupt handler.
  94345. + * There is no need to handle further interrupts of that type until the
  94346. + * channel is re-assigned. In fact, subsequent handling may cause crashes
  94347. + * because the channel structures are cleaned up when the channel is released.
  94348. + */
  94349. +#define disable_hc_int(_hc_regs_, _intr_) \
  94350. +do { \
  94351. + hcintmsk_data_t hcintmsk = {.d32 = 0}; \
  94352. + hcintmsk.b._intr_ = 1; \
  94353. + DWC_MODIFY_REG32(&(_hc_regs_)->hcintmsk, hcintmsk.d32, 0); \
  94354. +} while (0)
  94355. +
  94356. +/**
  94357. + * This function Reads HPRT0 in preparation to modify. It keeps the
  94358. + * WC bits 0 so that if they are read as 1, they won't clear when you
  94359. + * write it back
  94360. + */
  94361. +static inline uint32_t dwc_otg_read_hprt0(dwc_otg_core_if_t * _core_if)
  94362. +{
  94363. + hprt0_data_t hprt0;
  94364. + hprt0.d32 = DWC_READ_REG32(_core_if->host_if->hprt0);
  94365. + hprt0.b.prtena = 0;
  94366. + hprt0.b.prtconndet = 0;
  94367. + hprt0.b.prtenchng = 0;
  94368. + hprt0.b.prtovrcurrchng = 0;
  94369. + return hprt0.d32;
  94370. +}
  94371. +
  94372. +/**@}*/
  94373. +
  94374. +/** @name Common CIL Functions
  94375. + * The following functions support managing the DWC_otg controller in either
  94376. + * device or host mode.
  94377. + */
  94378. +/**@{*/
  94379. +
  94380. +extern void dwc_otg_read_packet(dwc_otg_core_if_t * core_if,
  94381. + uint8_t * dest, uint16_t bytes);
  94382. +
  94383. +extern void dwc_otg_flush_tx_fifo(dwc_otg_core_if_t * _core_if, const int _num);
  94384. +extern void dwc_otg_flush_rx_fifo(dwc_otg_core_if_t * _core_if);
  94385. +extern void dwc_otg_core_reset(dwc_otg_core_if_t * _core_if);
  94386. +
  94387. +/**
  94388. + * This function returns the Core Interrupt register.
  94389. + */
  94390. +static inline uint32_t dwc_otg_read_core_intr(dwc_otg_core_if_t * core_if)
  94391. +{
  94392. + return (DWC_READ_REG32(&core_if->core_global_regs->gintsts) &
  94393. + DWC_READ_REG32(&core_if->core_global_regs->gintmsk));
  94394. +}
  94395. +
  94396. +/**
  94397. + * This function returns the OTG Interrupt register.
  94398. + */
  94399. +static inline uint32_t dwc_otg_read_otg_intr(dwc_otg_core_if_t * core_if)
  94400. +{
  94401. + return (DWC_READ_REG32(&core_if->core_global_regs->gotgint));
  94402. +}
  94403. +
  94404. +/**
  94405. + * This function reads the Device All Endpoints Interrupt register and
  94406. + * returns the IN endpoint interrupt bits.
  94407. + */
  94408. +static inline uint32_t dwc_otg_read_dev_all_in_ep_intr(dwc_otg_core_if_t *
  94409. + core_if)
  94410. +{
  94411. +
  94412. + uint32_t v;
  94413. +
  94414. + if (core_if->multiproc_int_enable) {
  94415. + v = DWC_READ_REG32(&core_if->dev_if->
  94416. + dev_global_regs->deachint) &
  94417. + DWC_READ_REG32(&core_if->
  94418. + dev_if->dev_global_regs->deachintmsk);
  94419. + } else {
  94420. + v = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->daint) &
  94421. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->daintmsk);
  94422. + }
  94423. + return (v & 0xffff);
  94424. +}
  94425. +
  94426. +/**
  94427. + * This function reads the Device All Endpoints Interrupt register and
  94428. + * returns the OUT endpoint interrupt bits.
  94429. + */
  94430. +static inline uint32_t dwc_otg_read_dev_all_out_ep_intr(dwc_otg_core_if_t *
  94431. + core_if)
  94432. +{
  94433. + uint32_t v;
  94434. +
  94435. + if (core_if->multiproc_int_enable) {
  94436. + v = DWC_READ_REG32(&core_if->dev_if->
  94437. + dev_global_regs->deachint) &
  94438. + DWC_READ_REG32(&core_if->
  94439. + dev_if->dev_global_regs->deachintmsk);
  94440. + } else {
  94441. + v = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->daint) &
  94442. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->daintmsk);
  94443. + }
  94444. +
  94445. + return ((v & 0xffff0000) >> 16);
  94446. +}
  94447. +
  94448. +/**
  94449. + * This function returns the Device IN EP Interrupt register
  94450. + */
  94451. +static inline uint32_t dwc_otg_read_dev_in_ep_intr(dwc_otg_core_if_t * core_if,
  94452. + dwc_ep_t * ep)
  94453. +{
  94454. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  94455. + uint32_t v, msk, emp;
  94456. +
  94457. + if (core_if->multiproc_int_enable) {
  94458. + msk =
  94459. + DWC_READ_REG32(&dev_if->
  94460. + dev_global_regs->diepeachintmsk[ep->num]);
  94461. + emp =
  94462. + DWC_READ_REG32(&dev_if->
  94463. + dev_global_regs->dtknqr4_fifoemptymsk);
  94464. + msk |= ((emp >> ep->num) & 0x1) << 7;
  94465. + v = DWC_READ_REG32(&dev_if->in_ep_regs[ep->num]->diepint) & msk;
  94466. + } else {
  94467. + msk = DWC_READ_REG32(&dev_if->dev_global_regs->diepmsk);
  94468. + emp =
  94469. + DWC_READ_REG32(&dev_if->
  94470. + dev_global_regs->dtknqr4_fifoemptymsk);
  94471. + msk |= ((emp >> ep->num) & 0x1) << 7;
  94472. + v = DWC_READ_REG32(&dev_if->in_ep_regs[ep->num]->diepint) & msk;
  94473. + }
  94474. +
  94475. + return v;
  94476. +}
  94477. +
  94478. +/**
  94479. + * This function returns the Device OUT EP Interrupt register
  94480. + */
  94481. +static inline uint32_t dwc_otg_read_dev_out_ep_intr(dwc_otg_core_if_t *
  94482. + _core_if, dwc_ep_t * _ep)
  94483. +{
  94484. + dwc_otg_dev_if_t *dev_if = _core_if->dev_if;
  94485. + uint32_t v;
  94486. + doepmsk_data_t msk = {.d32 = 0 };
  94487. +
  94488. + if (_core_if->multiproc_int_enable) {
  94489. + msk.d32 =
  94490. + DWC_READ_REG32(&dev_if->
  94491. + dev_global_regs->doepeachintmsk[_ep->num]);
  94492. + if (_core_if->pti_enh_enable) {
  94493. + msk.b.pktdrpsts = 1;
  94494. + }
  94495. + v = DWC_READ_REG32(&dev_if->
  94496. + out_ep_regs[_ep->num]->doepint) & msk.d32;
  94497. + } else {
  94498. + msk.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->doepmsk);
  94499. + if (_core_if->pti_enh_enable) {
  94500. + msk.b.pktdrpsts = 1;
  94501. + }
  94502. + v = DWC_READ_REG32(&dev_if->
  94503. + out_ep_regs[_ep->num]->doepint) & msk.d32;
  94504. + }
  94505. + return v;
  94506. +}
  94507. +
  94508. +/**
  94509. + * This function returns the Host All Channel Interrupt register
  94510. + */
  94511. +static inline uint32_t dwc_otg_read_host_all_channels_intr(dwc_otg_core_if_t *
  94512. + _core_if)
  94513. +{
  94514. + return (DWC_READ_REG32(&_core_if->host_if->host_global_regs->haint));
  94515. +}
  94516. +
  94517. +static inline uint32_t dwc_otg_read_host_channel_intr(dwc_otg_core_if_t *
  94518. + _core_if, dwc_hc_t * _hc)
  94519. +{
  94520. + return (DWC_READ_REG32
  94521. + (&_core_if->host_if->hc_regs[_hc->hc_num]->hcint));
  94522. +}
  94523. +
  94524. +/**
  94525. + * This function returns the mode of the operation, host or device.
  94526. + *
  94527. + * @return 0 - Device Mode, 1 - Host Mode
  94528. + */
  94529. +static inline uint32_t dwc_otg_mode(dwc_otg_core_if_t * _core_if)
  94530. +{
  94531. + return (DWC_READ_REG32(&_core_if->core_global_regs->gintsts) & 0x1);
  94532. +}
  94533. +
  94534. +/**@}*/
  94535. +
  94536. +/**
  94537. + * DWC_otg CIL callback structure. This structure allows the HCD and
  94538. + * PCD to register functions used for starting and stopping the PCD
  94539. + * and HCD for role change on for a DRD.
  94540. + */
  94541. +typedef struct dwc_otg_cil_callbacks {
  94542. + /** Start function for role change */
  94543. + int (*start) (void *_p);
  94544. + /** Stop Function for role change */
  94545. + int (*stop) (void *_p);
  94546. + /** Disconnect Function for role change */
  94547. + int (*disconnect) (void *_p);
  94548. + /** Resume/Remote wakeup Function */
  94549. + int (*resume_wakeup) (void *_p);
  94550. + /** Suspend function */
  94551. + int (*suspend) (void *_p);
  94552. + /** Session Start (SRP) */
  94553. + int (*session_start) (void *_p);
  94554. +#ifdef CONFIG_USB_DWC_OTG_LPM
  94555. + /** Sleep (switch to L0 state) */
  94556. + int (*sleep) (void *_p);
  94557. +#endif
  94558. + /** Pointer passed to start() and stop() */
  94559. + void *p;
  94560. +} dwc_otg_cil_callbacks_t;
  94561. +
  94562. +extern void dwc_otg_cil_register_pcd_callbacks(dwc_otg_core_if_t * _core_if,
  94563. + dwc_otg_cil_callbacks_t * _cb,
  94564. + void *_p);
  94565. +extern void dwc_otg_cil_register_hcd_callbacks(dwc_otg_core_if_t * _core_if,
  94566. + dwc_otg_cil_callbacks_t * _cb,
  94567. + void *_p);
  94568. +
  94569. +void dwc_otg_initiate_srp(dwc_otg_core_if_t * core_if);
  94570. +
  94571. +//////////////////////////////////////////////////////////////////////
  94572. +/** Start the HCD. Helper function for using the HCD callbacks.
  94573. + *
  94574. + * @param core_if Programming view of DWC_otg controller.
  94575. + */
  94576. +static inline void cil_hcd_start(dwc_otg_core_if_t * core_if)
  94577. +{
  94578. + if (core_if->hcd_cb && core_if->hcd_cb->start) {
  94579. + core_if->hcd_cb->start(core_if->hcd_cb->p);
  94580. + }
  94581. +}
  94582. +
  94583. +/** Stop the HCD. Helper function for using the HCD callbacks.
  94584. + *
  94585. + * @param core_if Programming view of DWC_otg controller.
  94586. + */
  94587. +static inline void cil_hcd_stop(dwc_otg_core_if_t * core_if)
  94588. +{
  94589. + if (core_if->hcd_cb && core_if->hcd_cb->stop) {
  94590. + core_if->hcd_cb->stop(core_if->hcd_cb->p);
  94591. + }
  94592. +}
  94593. +
  94594. +/** Disconnect the HCD. Helper function for using the HCD callbacks.
  94595. + *
  94596. + * @param core_if Programming view of DWC_otg controller.
  94597. + */
  94598. +static inline void cil_hcd_disconnect(dwc_otg_core_if_t * core_if)
  94599. +{
  94600. + if (core_if->hcd_cb && core_if->hcd_cb->disconnect) {
  94601. + core_if->hcd_cb->disconnect(core_if->hcd_cb->p);
  94602. + }
  94603. +}
  94604. +
  94605. +/** Inform the HCD the a New Session has begun. Helper function for
  94606. + * using the HCD callbacks.
  94607. + *
  94608. + * @param core_if Programming view of DWC_otg controller.
  94609. + */
  94610. +static inline void cil_hcd_session_start(dwc_otg_core_if_t * core_if)
  94611. +{
  94612. + if (core_if->hcd_cb && core_if->hcd_cb->session_start) {
  94613. + core_if->hcd_cb->session_start(core_if->hcd_cb->p);
  94614. + }
  94615. +}
  94616. +
  94617. +#ifdef CONFIG_USB_DWC_OTG_LPM
  94618. +/**
  94619. + * Inform the HCD about LPM sleep.
  94620. + * Helper function for using the HCD callbacks.
  94621. + *
  94622. + * @param core_if Programming view of DWC_otg controller.
  94623. + */
  94624. +static inline void cil_hcd_sleep(dwc_otg_core_if_t * core_if)
  94625. +{
  94626. + if (core_if->hcd_cb && core_if->hcd_cb->sleep) {
  94627. + core_if->hcd_cb->sleep(core_if->hcd_cb->p);
  94628. + }
  94629. +}
  94630. +#endif
  94631. +
  94632. +/** Resume the HCD. Helper function for using the HCD callbacks.
  94633. + *
  94634. + * @param core_if Programming view of DWC_otg controller.
  94635. + */
  94636. +static inline void cil_hcd_resume(dwc_otg_core_if_t * core_if)
  94637. +{
  94638. + if (core_if->hcd_cb && core_if->hcd_cb->resume_wakeup) {
  94639. + core_if->hcd_cb->resume_wakeup(core_if->hcd_cb->p);
  94640. + }
  94641. +}
  94642. +
  94643. +/** Start the PCD. Helper function for using the PCD callbacks.
  94644. + *
  94645. + * @param core_if Programming view of DWC_otg controller.
  94646. + */
  94647. +static inline void cil_pcd_start(dwc_otg_core_if_t * core_if)
  94648. +{
  94649. + if (core_if->pcd_cb && core_if->pcd_cb->start) {
  94650. + core_if->pcd_cb->start(core_if->pcd_cb->p);
  94651. + }
  94652. +}
  94653. +
  94654. +/** Stop the PCD. Helper function for using the PCD callbacks.
  94655. + *
  94656. + * @param core_if Programming view of DWC_otg controller.
  94657. + */
  94658. +static inline void cil_pcd_stop(dwc_otg_core_if_t * core_if)
  94659. +{
  94660. + if (core_if->pcd_cb && core_if->pcd_cb->stop) {
  94661. + core_if->pcd_cb->stop(core_if->pcd_cb->p);
  94662. + }
  94663. +}
  94664. +
  94665. +/** Suspend the PCD. Helper function for using the PCD callbacks.
  94666. + *
  94667. + * @param core_if Programming view of DWC_otg controller.
  94668. + */
  94669. +static inline void cil_pcd_suspend(dwc_otg_core_if_t * core_if)
  94670. +{
  94671. + if (core_if->pcd_cb && core_if->pcd_cb->suspend) {
  94672. + core_if->pcd_cb->suspend(core_if->pcd_cb->p);
  94673. + }
  94674. +}
  94675. +
  94676. +/** Resume the PCD. Helper function for using the PCD callbacks.
  94677. + *
  94678. + * @param core_if Programming view of DWC_otg controller.
  94679. + */
  94680. +static inline void cil_pcd_resume(dwc_otg_core_if_t * core_if)
  94681. +{
  94682. + if (core_if->pcd_cb && core_if->pcd_cb->resume_wakeup) {
  94683. + core_if->pcd_cb->resume_wakeup(core_if->pcd_cb->p);
  94684. + }
  94685. +}
  94686. +
  94687. +//////////////////////////////////////////////////////////////////////
  94688. +
  94689. +#endif
  94690. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil_intr.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil_intr.c
  94691. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_cil_intr.c 1970-01-01 01:00:00.000000000 +0100
  94692. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_cil_intr.c 2015-11-29 09:42:39.919098694 +0100
  94693. @@ -0,0 +1,1594 @@
  94694. +/* ==========================================================================
  94695. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_cil_intr.c $
  94696. + * $Revision: #32 $
  94697. + * $Date: 2012/08/10 $
  94698. + * $Change: 2047372 $
  94699. + *
  94700. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  94701. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  94702. + * otherwise expressly agreed to in writing between Synopsys and you.
  94703. + *
  94704. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  94705. + * any End User Software License Agreement or Agreement for Licensed Product
  94706. + * with Synopsys or any supplement thereto. You are permitted to use and
  94707. + * redistribute this Software in source and binary forms, with or without
  94708. + * modification, provided that redistributions of source code must retain this
  94709. + * notice. You may not view, use, disclose, copy or distribute this file or
  94710. + * any information contained herein except pursuant to this license grant from
  94711. + * Synopsys. If you do not agree with this notice, including the disclaimer
  94712. + * below, then you are not authorized to use the Software.
  94713. + *
  94714. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  94715. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  94716. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  94717. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  94718. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  94719. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  94720. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  94721. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  94722. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  94723. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  94724. + * DAMAGE.
  94725. + * ========================================================================== */
  94726. +
  94727. +/** @file
  94728. + *
  94729. + * The Core Interface Layer provides basic services for accessing and
  94730. + * managing the DWC_otg hardware. These services are used by both the
  94731. + * Host Controller Driver and the Peripheral Controller Driver.
  94732. + *
  94733. + * This file contains the Common Interrupt handlers.
  94734. + */
  94735. +#include "dwc_os.h"
  94736. +#include "dwc_otg_regs.h"
  94737. +#include "dwc_otg_cil.h"
  94738. +#include "dwc_otg_driver.h"
  94739. +#include "dwc_otg_pcd.h"
  94740. +#include "dwc_otg_hcd.h"
  94741. +
  94742. +#ifdef DEBUG
  94743. +inline const char *op_state_str(dwc_otg_core_if_t * core_if)
  94744. +{
  94745. + return (core_if->op_state == A_HOST ? "a_host" :
  94746. + (core_if->op_state == A_SUSPEND ? "a_suspend" :
  94747. + (core_if->op_state == A_PERIPHERAL ? "a_peripheral" :
  94748. + (core_if->op_state == B_PERIPHERAL ? "b_peripheral" :
  94749. + (core_if->op_state == B_HOST ? "b_host" : "unknown")))));
  94750. +}
  94751. +#endif
  94752. +
  94753. +/** This function will log a debug message
  94754. + *
  94755. + * @param core_if Programming view of DWC_otg controller.
  94756. + */
  94757. +int32_t dwc_otg_handle_mode_mismatch_intr(dwc_otg_core_if_t * core_if)
  94758. +{
  94759. + gintsts_data_t gintsts;
  94760. + DWC_WARN("Mode Mismatch Interrupt: currently in %s mode\n",
  94761. + dwc_otg_mode(core_if) ? "Host" : "Device");
  94762. +
  94763. + /* Clear interrupt */
  94764. + gintsts.d32 = 0;
  94765. + gintsts.b.modemismatch = 1;
  94766. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  94767. + return 1;
  94768. +}
  94769. +
  94770. +/**
  94771. + * This function handles the OTG Interrupts. It reads the OTG
  94772. + * Interrupt Register (GOTGINT) to determine what interrupt has
  94773. + * occurred.
  94774. + *
  94775. + * @param core_if Programming view of DWC_otg controller.
  94776. + */
  94777. +int32_t dwc_otg_handle_otg_intr(dwc_otg_core_if_t * core_if)
  94778. +{
  94779. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  94780. + gotgint_data_t gotgint;
  94781. + gotgctl_data_t gotgctl;
  94782. + gintmsk_data_t gintmsk;
  94783. + gpwrdn_data_t gpwrdn;
  94784. +
  94785. + gotgint.d32 = DWC_READ_REG32(&global_regs->gotgint);
  94786. + gotgctl.d32 = DWC_READ_REG32(&global_regs->gotgctl);
  94787. + DWC_DEBUGPL(DBG_CIL, "++OTG Interrupt gotgint=%0x [%s]\n", gotgint.d32,
  94788. + op_state_str(core_if));
  94789. +
  94790. + if (gotgint.b.sesenddet) {
  94791. + DWC_DEBUGPL(DBG_ANY, " ++OTG Interrupt: "
  94792. + "Session End Detected++ (%s)\n",
  94793. + op_state_str(core_if));
  94794. + gotgctl.d32 = DWC_READ_REG32(&global_regs->gotgctl);
  94795. +
  94796. + if (core_if->op_state == B_HOST) {
  94797. + cil_pcd_start(core_if);
  94798. + core_if->op_state = B_PERIPHERAL;
  94799. + } else {
  94800. + /* If not B_HOST and Device HNP still set. HNP
  94801. + * Did not succeed!*/
  94802. + if (gotgctl.b.devhnpen) {
  94803. + DWC_DEBUGPL(DBG_ANY, "Session End Detected\n");
  94804. + __DWC_ERROR("Device Not Connected/Responding!\n");
  94805. + }
  94806. +
  94807. + /* If Session End Detected the B-Cable has
  94808. + * been disconnected. */
  94809. + /* Reset PCD and Gadget driver to a
  94810. + * clean state. */
  94811. + core_if->lx_state = DWC_OTG_L0;
  94812. + DWC_SPINUNLOCK(core_if->lock);
  94813. + cil_pcd_stop(core_if);
  94814. + DWC_SPINLOCK(core_if->lock);
  94815. +
  94816. + if (core_if->adp_enable) {
  94817. + if (core_if->power_down == 2) {
  94818. + gpwrdn.d32 = 0;
  94819. + gpwrdn.b.pwrdnswtch = 1;
  94820. + DWC_MODIFY_REG32(&core_if->
  94821. + core_global_regs->
  94822. + gpwrdn, gpwrdn.d32, 0);
  94823. + }
  94824. +
  94825. + gpwrdn.d32 = 0;
  94826. + gpwrdn.b.pmuintsel = 1;
  94827. + gpwrdn.b.pmuactv = 1;
  94828. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  94829. + gpwrdn, 0, gpwrdn.d32);
  94830. +
  94831. + dwc_otg_adp_sense_start(core_if);
  94832. + }
  94833. + }
  94834. +
  94835. + gotgctl.d32 = 0;
  94836. + gotgctl.b.devhnpen = 1;
  94837. + DWC_MODIFY_REG32(&global_regs->gotgctl, gotgctl.d32, 0);
  94838. + }
  94839. + if (gotgint.b.sesreqsucstschng) {
  94840. + DWC_DEBUGPL(DBG_ANY, " ++OTG Interrupt: "
  94841. + "Session Reqeust Success Status Change++\n");
  94842. + gotgctl.d32 = DWC_READ_REG32(&global_regs->gotgctl);
  94843. + if (gotgctl.b.sesreqscs) {
  94844. +
  94845. + if ((core_if->core_params->phy_type ==
  94846. + DWC_PHY_TYPE_PARAM_FS) && (core_if->core_params->i2c_enable)) {
  94847. + core_if->srp_success = 1;
  94848. + } else {
  94849. + DWC_SPINUNLOCK(core_if->lock);
  94850. + cil_pcd_resume(core_if);
  94851. + DWC_SPINLOCK(core_if->lock);
  94852. + /* Clear Session Request */
  94853. + gotgctl.d32 = 0;
  94854. + gotgctl.b.sesreq = 1;
  94855. + DWC_MODIFY_REG32(&global_regs->gotgctl,
  94856. + gotgctl.d32, 0);
  94857. + }
  94858. + }
  94859. + }
  94860. + if (gotgint.b.hstnegsucstschng) {
  94861. + /* Print statements during the HNP interrupt handling
  94862. + * can cause it to fail.*/
  94863. + gotgctl.d32 = DWC_READ_REG32(&global_regs->gotgctl);
  94864. + /* WA for 3.00a- HW is not setting cur_mode, even sometimes
  94865. + * this does not help*/
  94866. + if (core_if->snpsid >= OTG_CORE_REV_3_00a)
  94867. + dwc_udelay(100);
  94868. + if (gotgctl.b.hstnegscs) {
  94869. + if (dwc_otg_is_host_mode(core_if)) {
  94870. + core_if->op_state = B_HOST;
  94871. + /*
  94872. + * Need to disable SOF interrupt immediately.
  94873. + * When switching from device to host, the PCD
  94874. + * interrupt handler won't handle the
  94875. + * interrupt if host mode is already set. The
  94876. + * HCD interrupt handler won't get called if
  94877. + * the HCD state is HALT. This means that the
  94878. + * interrupt does not get handled and Linux
  94879. + * complains loudly.
  94880. + */
  94881. + gintmsk.d32 = 0;
  94882. + gintmsk.b.sofintr = 1;
  94883. + DWC_MODIFY_REG32(&global_regs->gintmsk,
  94884. + gintmsk.d32, 0);
  94885. + /* Call callback function with spin lock released */
  94886. + DWC_SPINUNLOCK(core_if->lock);
  94887. + cil_pcd_stop(core_if);
  94888. + /*
  94889. + * Initialize the Core for Host mode.
  94890. + */
  94891. + cil_hcd_start(core_if);
  94892. + DWC_SPINLOCK(core_if->lock);
  94893. + core_if->op_state = B_HOST;
  94894. + }
  94895. + } else {
  94896. + gotgctl.d32 = 0;
  94897. + gotgctl.b.hnpreq = 1;
  94898. + gotgctl.b.devhnpen = 1;
  94899. + DWC_MODIFY_REG32(&global_regs->gotgctl, gotgctl.d32, 0);
  94900. + DWC_DEBUGPL(DBG_ANY, "HNP Failed\n");
  94901. + __DWC_ERROR("Device Not Connected/Responding\n");
  94902. + }
  94903. + }
  94904. + if (gotgint.b.hstnegdet) {
  94905. + /* The disconnect interrupt is set at the same time as
  94906. + * Host Negotiation Detected. During the mode
  94907. + * switch all interrupts are cleared so the disconnect
  94908. + * interrupt handler will not get executed.
  94909. + */
  94910. + DWC_DEBUGPL(DBG_ANY, " ++OTG Interrupt: "
  94911. + "Host Negotiation Detected++ (%s)\n",
  94912. + (dwc_otg_is_host_mode(core_if) ? "Host" :
  94913. + "Device"));
  94914. + if (dwc_otg_is_device_mode(core_if)) {
  94915. + DWC_DEBUGPL(DBG_ANY, "a_suspend->a_peripheral (%d)\n",
  94916. + core_if->op_state);
  94917. + DWC_SPINUNLOCK(core_if->lock);
  94918. + cil_hcd_disconnect(core_if);
  94919. + cil_pcd_start(core_if);
  94920. + DWC_SPINLOCK(core_if->lock);
  94921. + core_if->op_state = A_PERIPHERAL;
  94922. + } else {
  94923. + /*
  94924. + * Need to disable SOF interrupt immediately. When
  94925. + * switching from device to host, the PCD interrupt
  94926. + * handler won't handle the interrupt if host mode is
  94927. + * already set. The HCD interrupt handler won't get
  94928. + * called if the HCD state is HALT. This means that
  94929. + * the interrupt does not get handled and Linux
  94930. + * complains loudly.
  94931. + */
  94932. + gintmsk.d32 = 0;
  94933. + gintmsk.b.sofintr = 1;
  94934. + DWC_MODIFY_REG32(&global_regs->gintmsk, gintmsk.d32, 0);
  94935. + DWC_SPINUNLOCK(core_if->lock);
  94936. + cil_pcd_stop(core_if);
  94937. + cil_hcd_start(core_if);
  94938. + DWC_SPINLOCK(core_if->lock);
  94939. + core_if->op_state = A_HOST;
  94940. + }
  94941. + }
  94942. + if (gotgint.b.adevtoutchng) {
  94943. + DWC_DEBUGPL(DBG_ANY, " ++OTG Interrupt: "
  94944. + "A-Device Timeout Change++\n");
  94945. + }
  94946. + if (gotgint.b.debdone) {
  94947. + DWC_DEBUGPL(DBG_ANY, " ++OTG Interrupt: " "Debounce Done++\n");
  94948. + }
  94949. +
  94950. + /* Clear GOTGINT */
  94951. + DWC_WRITE_REG32(&core_if->core_global_regs->gotgint, gotgint.d32);
  94952. +
  94953. + return 1;
  94954. +}
  94955. +
  94956. +void w_conn_id_status_change(void *p)
  94957. +{
  94958. + dwc_otg_core_if_t *core_if = p;
  94959. + uint32_t count = 0;
  94960. + gotgctl_data_t gotgctl = {.d32 = 0 };
  94961. +
  94962. + gotgctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  94963. + DWC_DEBUGPL(DBG_CIL, "gotgctl=%0x\n", gotgctl.d32);
  94964. + DWC_DEBUGPL(DBG_CIL, "gotgctl.b.conidsts=%d\n", gotgctl.b.conidsts);
  94965. +
  94966. + /* B-Device connector (Device Mode) */
  94967. + if (gotgctl.b.conidsts) {
  94968. + /* Wait for switch to device mode. */
  94969. + while (!dwc_otg_is_device_mode(core_if)) {
  94970. + DWC_PRINTF("Waiting for Peripheral Mode, Mode=%s\n",
  94971. + (dwc_otg_is_host_mode(core_if) ? "Host" :
  94972. + "Peripheral"));
  94973. + dwc_mdelay(100);
  94974. + if (++count > 10000)
  94975. + break;
  94976. + }
  94977. + DWC_ASSERT(++count < 10000,
  94978. + "Connection id status change timed out");
  94979. + core_if->op_state = B_PERIPHERAL;
  94980. + dwc_otg_core_init(core_if);
  94981. + dwc_otg_enable_global_interrupts(core_if);
  94982. + cil_pcd_start(core_if);
  94983. + } else {
  94984. + /* A-Device connector (Host Mode) */
  94985. + while (!dwc_otg_is_host_mode(core_if)) {
  94986. + DWC_PRINTF("Waiting for Host Mode, Mode=%s\n",
  94987. + (dwc_otg_is_host_mode(core_if) ? "Host" :
  94988. + "Peripheral"));
  94989. + dwc_mdelay(100);
  94990. + if (++count > 10000)
  94991. + break;
  94992. + }
  94993. + DWC_ASSERT(++count < 10000,
  94994. + "Connection id status change timed out");
  94995. + core_if->op_state = A_HOST;
  94996. + /*
  94997. + * Initialize the Core for Host mode.
  94998. + */
  94999. + dwc_otg_core_init(core_if);
  95000. + dwc_otg_enable_global_interrupts(core_if);
  95001. + cil_hcd_start(core_if);
  95002. + }
  95003. +}
  95004. +
  95005. +/**
  95006. + * This function handles the Connector ID Status Change Interrupt. It
  95007. + * reads the OTG Interrupt Register (GOTCTL) to determine whether this
  95008. + * is a Device to Host Mode transition or a Host Mode to Device
  95009. + * Transition.
  95010. + *
  95011. + * This only occurs when the cable is connected/removed from the PHY
  95012. + * connector.
  95013. + *
  95014. + * @param core_if Programming view of DWC_otg controller.
  95015. + */
  95016. +int32_t dwc_otg_handle_conn_id_status_change_intr(dwc_otg_core_if_t * core_if)
  95017. +{
  95018. +
  95019. + /*
  95020. + * Need to disable SOF interrupt immediately. If switching from device
  95021. + * to host, the PCD interrupt handler won't handle the interrupt if
  95022. + * host mode is already set. The HCD interrupt handler won't get
  95023. + * called if the HCD state is HALT. This means that the interrupt does
  95024. + * not get handled and Linux complains loudly.
  95025. + */
  95026. + gintmsk_data_t gintmsk = {.d32 = 0 };
  95027. + gintsts_data_t gintsts = {.d32 = 0 };
  95028. +
  95029. + gintmsk.b.sofintr = 1;
  95030. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, gintmsk.d32, 0);
  95031. +
  95032. + DWC_DEBUGPL(DBG_CIL,
  95033. + " ++Connector ID Status Change Interrupt++ (%s)\n",
  95034. + (dwc_otg_is_host_mode(core_if) ? "Host" : "Device"));
  95035. +
  95036. + DWC_SPINUNLOCK(core_if->lock);
  95037. +
  95038. + /*
  95039. + * Need to schedule a work, as there are possible DELAY function calls
  95040. + * Release lock before scheduling workq as it holds spinlock during scheduling
  95041. + */
  95042. +
  95043. + DWC_WORKQ_SCHEDULE(core_if->wq_otg, w_conn_id_status_change,
  95044. + core_if, "connection id status change");
  95045. + DWC_SPINLOCK(core_if->lock);
  95046. +
  95047. + /* Set flag and clear interrupt */
  95048. + gintsts.b.conidstschng = 1;
  95049. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  95050. +
  95051. + return 1;
  95052. +}
  95053. +
  95054. +/**
  95055. + * This interrupt indicates that a device is initiating the Session
  95056. + * Request Protocol to request the host to turn on bus power so a new
  95057. + * session can begin. The handler responds by turning on bus power. If
  95058. + * the DWC_otg controller is in low power mode, the handler brings the
  95059. + * controller out of low power mode before turning on bus power.
  95060. + *
  95061. + * @param core_if Programming view of DWC_otg controller.
  95062. + */
  95063. +int32_t dwc_otg_handle_session_req_intr(dwc_otg_core_if_t * core_if)
  95064. +{
  95065. + gintsts_data_t gintsts;
  95066. +
  95067. +#ifndef DWC_HOST_ONLY
  95068. + DWC_DEBUGPL(DBG_ANY, "++Session Request Interrupt++\n");
  95069. +
  95070. + if (dwc_otg_is_device_mode(core_if)) {
  95071. + DWC_PRINTF("SRP: Device mode\n");
  95072. + } else {
  95073. + hprt0_data_t hprt0;
  95074. + DWC_PRINTF("SRP: Host mode\n");
  95075. +
  95076. + /* Turn on the port power bit. */
  95077. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  95078. + hprt0.b.prtpwr = 1;
  95079. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  95080. +
  95081. + /* Start the Connection timer. So a message can be displayed
  95082. + * if connect does not occur within 10 seconds. */
  95083. + cil_hcd_session_start(core_if);
  95084. + }
  95085. +#endif
  95086. +
  95087. + /* Clear interrupt */
  95088. + gintsts.d32 = 0;
  95089. + gintsts.b.sessreqintr = 1;
  95090. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  95091. +
  95092. + return 1;
  95093. +}
  95094. +
  95095. +void w_wakeup_detected(void *p)
  95096. +{
  95097. + dwc_otg_core_if_t *core_if = (dwc_otg_core_if_t *) p;
  95098. + /*
  95099. + * Clear the Resume after 70ms. (Need 20 ms minimum. Use 70 ms
  95100. + * so that OPT tests pass with all PHYs).
  95101. + */
  95102. + hprt0_data_t hprt0 = {.d32 = 0 };
  95103. +#if 0
  95104. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  95105. + /* Restart the Phy Clock */
  95106. + pcgcctl.b.stoppclk = 1;
  95107. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  95108. + dwc_udelay(10);
  95109. +#endif //0
  95110. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  95111. + DWC_DEBUGPL(DBG_ANY, "Resume: HPRT0=%0x\n", hprt0.d32);
  95112. +// dwc_mdelay(70);
  95113. + hprt0.b.prtres = 0; /* Resume */
  95114. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  95115. + DWC_DEBUGPL(DBG_ANY, "Clear Resume: HPRT0=%0x\n",
  95116. + DWC_READ_REG32(core_if->host_if->hprt0));
  95117. +
  95118. + cil_hcd_resume(core_if);
  95119. +
  95120. + /** Change to L0 state*/
  95121. + core_if->lx_state = DWC_OTG_L0;
  95122. +}
  95123. +
  95124. +/**
  95125. + * This interrupt indicates that the DWC_otg controller has detected a
  95126. + * resume or remote wakeup sequence. If the DWC_otg controller is in
  95127. + * low power mode, the handler must brings the controller out of low
  95128. + * power mode. The controller automatically begins resume
  95129. + * signaling. The handler schedules a time to stop resume signaling.
  95130. + */
  95131. +int32_t dwc_otg_handle_wakeup_detected_intr(dwc_otg_core_if_t * core_if)
  95132. +{
  95133. + gintsts_data_t gintsts;
  95134. +
  95135. + DWC_DEBUGPL(DBG_ANY,
  95136. + "++Resume and Remote Wakeup Detected Interrupt++\n");
  95137. +
  95138. + DWC_PRINTF("%s lxstate = %d\n", __func__, core_if->lx_state);
  95139. +
  95140. + if (dwc_otg_is_device_mode(core_if)) {
  95141. + dctl_data_t dctl = {.d32 = 0 };
  95142. + DWC_DEBUGPL(DBG_PCD, "DSTS=0x%0x\n",
  95143. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->
  95144. + dsts));
  95145. + if (core_if->lx_state == DWC_OTG_L2) {
  95146. +#ifdef PARTIAL_POWER_DOWN
  95147. + if (core_if->hwcfg4.b.power_optimiz) {
  95148. + pcgcctl_data_t power = {.d32 = 0 };
  95149. +
  95150. + power.d32 = DWC_READ_REG32(core_if->pcgcctl);
  95151. + DWC_DEBUGPL(DBG_CIL, "PCGCCTL=%0x\n",
  95152. + power.d32);
  95153. +
  95154. + power.b.stoppclk = 0;
  95155. + DWC_WRITE_REG32(core_if->pcgcctl, power.d32);
  95156. +
  95157. + power.b.pwrclmp = 0;
  95158. + DWC_WRITE_REG32(core_if->pcgcctl, power.d32);
  95159. +
  95160. + power.b.rstpdwnmodule = 0;
  95161. + DWC_WRITE_REG32(core_if->pcgcctl, power.d32);
  95162. + }
  95163. +#endif
  95164. + /* Clear the Remote Wakeup Signaling */
  95165. + dctl.b.rmtwkupsig = 1;
  95166. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  95167. + dctl, dctl.d32, 0);
  95168. +
  95169. + DWC_SPINUNLOCK(core_if->lock);
  95170. + if (core_if->pcd_cb && core_if->pcd_cb->resume_wakeup) {
  95171. + core_if->pcd_cb->resume_wakeup(core_if->pcd_cb->p);
  95172. + }
  95173. + DWC_SPINLOCK(core_if->lock);
  95174. + } else {
  95175. + glpmcfg_data_t lpmcfg;
  95176. + lpmcfg.d32 =
  95177. + DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  95178. + lpmcfg.b.hird_thres &= (~(1 << 4));
  95179. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg,
  95180. + lpmcfg.d32);
  95181. + }
  95182. + /** Change to L0 state*/
  95183. + core_if->lx_state = DWC_OTG_L0;
  95184. + } else {
  95185. + if (core_if->lx_state != DWC_OTG_L1) {
  95186. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  95187. +
  95188. + /* Restart the Phy Clock */
  95189. + pcgcctl.b.stoppclk = 1;
  95190. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  95191. + DWC_TIMER_SCHEDULE(core_if->wkp_timer, 71);
  95192. + } else {
  95193. + /** Change to L0 state*/
  95194. + core_if->lx_state = DWC_OTG_L0;
  95195. + }
  95196. + }
  95197. +
  95198. + /* Clear interrupt */
  95199. + gintsts.d32 = 0;
  95200. + gintsts.b.wkupintr = 1;
  95201. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  95202. +
  95203. + return 1;
  95204. +}
  95205. +
  95206. +/**
  95207. + * This interrupt indicates that the Wakeup Logic has detected a
  95208. + * Device disconnect.
  95209. + */
  95210. +static int32_t dwc_otg_handle_pwrdn_disconnect_intr(dwc_otg_core_if_t *core_if)
  95211. +{
  95212. + gpwrdn_data_t gpwrdn = { .d32 = 0 };
  95213. + gpwrdn_data_t gpwrdn_temp = { .d32 = 0 };
  95214. + gpwrdn_temp.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95215. +
  95216. + DWC_PRINTF("%s called\n", __FUNCTION__);
  95217. +
  95218. + if (!core_if->hibernation_suspend) {
  95219. + DWC_PRINTF("Already exited from Hibernation\n");
  95220. + return 1;
  95221. + }
  95222. +
  95223. + /* Switch on the voltage to the core */
  95224. + gpwrdn.b.pwrdnswtch = 1;
  95225. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95226. + dwc_udelay(10);
  95227. +
  95228. + /* Reset the core */
  95229. + gpwrdn.d32 = 0;
  95230. + gpwrdn.b.pwrdnrstn = 1;
  95231. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95232. + dwc_udelay(10);
  95233. +
  95234. + /* Disable power clamps*/
  95235. + gpwrdn.d32 = 0;
  95236. + gpwrdn.b.pwrdnclmp = 1;
  95237. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95238. +
  95239. + /* Remove reset the core signal */
  95240. + gpwrdn.d32 = 0;
  95241. + gpwrdn.b.pwrdnrstn = 1;
  95242. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  95243. + dwc_udelay(10);
  95244. +
  95245. + /* Disable PMU interrupt */
  95246. + gpwrdn.d32 = 0;
  95247. + gpwrdn.b.pmuintsel = 1;
  95248. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95249. +
  95250. + core_if->hibernation_suspend = 0;
  95251. +
  95252. + /* Disable PMU */
  95253. + gpwrdn.d32 = 0;
  95254. + gpwrdn.b.pmuactv = 1;
  95255. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95256. + dwc_udelay(10);
  95257. +
  95258. + if (gpwrdn_temp.b.idsts) {
  95259. + core_if->op_state = B_PERIPHERAL;
  95260. + dwc_otg_core_init(core_if);
  95261. + dwc_otg_enable_global_interrupts(core_if);
  95262. + cil_pcd_start(core_if);
  95263. + } else {
  95264. + core_if->op_state = A_HOST;
  95265. + dwc_otg_core_init(core_if);
  95266. + dwc_otg_enable_global_interrupts(core_if);
  95267. + cil_hcd_start(core_if);
  95268. + }
  95269. +
  95270. + return 1;
  95271. +}
  95272. +
  95273. +/**
  95274. + * This interrupt indicates that the Wakeup Logic has detected a
  95275. + * remote wakeup sequence.
  95276. + */
  95277. +static int32_t dwc_otg_handle_pwrdn_wakeup_detected_intr(dwc_otg_core_if_t * core_if)
  95278. +{
  95279. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95280. + DWC_DEBUGPL(DBG_ANY,
  95281. + "++Powerdown Remote Wakeup Detected Interrupt++\n");
  95282. +
  95283. + if (!core_if->hibernation_suspend) {
  95284. + DWC_PRINTF("Already exited from Hibernation\n");
  95285. + return 1;
  95286. + }
  95287. +
  95288. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95289. + if (gpwrdn.b.idsts) { // Device Mode
  95290. + if ((core_if->power_down == 2)
  95291. + && (core_if->hibernation_suspend == 1)) {
  95292. + dwc_otg_device_hibernation_restore(core_if, 0, 0);
  95293. + }
  95294. + } else {
  95295. + if ((core_if->power_down == 2)
  95296. + && (core_if->hibernation_suspend == 1)) {
  95297. + dwc_otg_host_hibernation_restore(core_if, 1, 0);
  95298. + }
  95299. + }
  95300. + return 1;
  95301. +}
  95302. +
  95303. +static int32_t dwc_otg_handle_pwrdn_idsts_change(dwc_otg_device_t *otg_dev)
  95304. +{
  95305. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95306. + gpwrdn_data_t gpwrdn_temp = {.d32 = 0 };
  95307. + dwc_otg_core_if_t *core_if = otg_dev->core_if;
  95308. +
  95309. + DWC_DEBUGPL(DBG_ANY, "%s called\n", __FUNCTION__);
  95310. + gpwrdn_temp.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95311. + if (core_if->power_down == 2) {
  95312. + if (!core_if->hibernation_suspend) {
  95313. + DWC_PRINTF("Already exited from Hibernation\n");
  95314. + return 1;
  95315. + }
  95316. + DWC_DEBUGPL(DBG_ANY, "Exit from hibernation on ID sts change\n");
  95317. + /* Switch on the voltage to the core */
  95318. + gpwrdn.b.pwrdnswtch = 1;
  95319. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95320. + dwc_udelay(10);
  95321. +
  95322. + /* Reset the core */
  95323. + gpwrdn.d32 = 0;
  95324. + gpwrdn.b.pwrdnrstn = 1;
  95325. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95326. + dwc_udelay(10);
  95327. +
  95328. + /* Disable power clamps */
  95329. + gpwrdn.d32 = 0;
  95330. + gpwrdn.b.pwrdnclmp = 1;
  95331. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95332. +
  95333. + /* Remove reset the core signal */
  95334. + gpwrdn.d32 = 0;
  95335. + gpwrdn.b.pwrdnrstn = 1;
  95336. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  95337. + dwc_udelay(10);
  95338. +
  95339. + /* Disable PMU interrupt */
  95340. + gpwrdn.d32 = 0;
  95341. + gpwrdn.b.pmuintsel = 1;
  95342. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95343. +
  95344. + /*Indicates that we are exiting from hibernation */
  95345. + core_if->hibernation_suspend = 0;
  95346. +
  95347. + /* Disable PMU */
  95348. + gpwrdn.d32 = 0;
  95349. + gpwrdn.b.pmuactv = 1;
  95350. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95351. + dwc_udelay(10);
  95352. +
  95353. + gpwrdn.d32 = core_if->gr_backup->gpwrdn_local;
  95354. + if (gpwrdn.b.dis_vbus == 1) {
  95355. + gpwrdn.d32 = 0;
  95356. + gpwrdn.b.dis_vbus = 1;
  95357. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95358. + }
  95359. +
  95360. + if (gpwrdn_temp.b.idsts) {
  95361. + core_if->op_state = B_PERIPHERAL;
  95362. + dwc_otg_core_init(core_if);
  95363. + dwc_otg_enable_global_interrupts(core_if);
  95364. + cil_pcd_start(core_if);
  95365. + } else {
  95366. + core_if->op_state = A_HOST;
  95367. + dwc_otg_core_init(core_if);
  95368. + dwc_otg_enable_global_interrupts(core_if);
  95369. + cil_hcd_start(core_if);
  95370. + }
  95371. + }
  95372. +
  95373. + if (core_if->adp_enable) {
  95374. + uint8_t is_host = 0;
  95375. + DWC_SPINUNLOCK(core_if->lock);
  95376. + /* Change the core_if's lock to hcd/pcd lock depend on mode? */
  95377. +#ifndef DWC_HOST_ONLY
  95378. + if (gpwrdn_temp.b.idsts)
  95379. + core_if->lock = otg_dev->pcd->lock;
  95380. +#endif
  95381. +#ifndef DWC_DEVICE_ONLY
  95382. + if (!gpwrdn_temp.b.idsts) {
  95383. + core_if->lock = otg_dev->hcd->lock;
  95384. + is_host = 1;
  95385. + }
  95386. +#endif
  95387. + DWC_PRINTF("RESTART ADP\n");
  95388. + if (core_if->adp.probe_enabled)
  95389. + dwc_otg_adp_probe_stop(core_if);
  95390. + if (core_if->adp.sense_enabled)
  95391. + dwc_otg_adp_sense_stop(core_if);
  95392. + if (core_if->adp.sense_timer_started)
  95393. + DWC_TIMER_CANCEL(core_if->adp.sense_timer);
  95394. + if (core_if->adp.vbuson_timer_started)
  95395. + DWC_TIMER_CANCEL(core_if->adp.vbuson_timer);
  95396. + core_if->adp.probe_timer_values[0] = -1;
  95397. + core_if->adp.probe_timer_values[1] = -1;
  95398. + core_if->adp.sense_timer_started = 0;
  95399. + core_if->adp.vbuson_timer_started = 0;
  95400. + core_if->adp.probe_counter = 0;
  95401. + core_if->adp.gpwrdn = 0;
  95402. +
  95403. + /* Disable PMU and restart ADP */
  95404. + gpwrdn_temp.d32 = 0;
  95405. + gpwrdn_temp.b.pmuactv = 1;
  95406. + gpwrdn_temp.b.pmuintsel = 1;
  95407. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95408. + DWC_PRINTF("Check point 1\n");
  95409. + dwc_mdelay(110);
  95410. + dwc_otg_adp_start(core_if, is_host);
  95411. + DWC_SPINLOCK(core_if->lock);
  95412. + }
  95413. +
  95414. +
  95415. + return 1;
  95416. +}
  95417. +
  95418. +static int32_t dwc_otg_handle_pwrdn_session_change(dwc_otg_core_if_t * core_if)
  95419. +{
  95420. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95421. + int32_t otg_cap_param = core_if->core_params->otg_cap;
  95422. + DWC_DEBUGPL(DBG_ANY, "%s called\n", __FUNCTION__);
  95423. +
  95424. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95425. + if (core_if->power_down == 2) {
  95426. + if (!core_if->hibernation_suspend) {
  95427. + DWC_PRINTF("Already exited from Hibernation\n");
  95428. + return 1;
  95429. + }
  95430. +
  95431. + if ((otg_cap_param != DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE ||
  95432. + otg_cap_param != DWC_OTG_CAP_PARAM_SRP_ONLY_CAPABLE) &&
  95433. + gpwrdn.b.bsessvld == 0) {
  95434. + /* Save gpwrdn register for further usage if stschng interrupt */
  95435. + core_if->gr_backup->gpwrdn_local =
  95436. + DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95437. + /*Exit from ISR and wait for stschng interrupt with bsessvld = 1 */
  95438. + return 1;
  95439. + }
  95440. +
  95441. + /* Switch on the voltage to the core */
  95442. + gpwrdn.d32 = 0;
  95443. + gpwrdn.b.pwrdnswtch = 1;
  95444. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95445. + dwc_udelay(10);
  95446. +
  95447. + /* Reset the core */
  95448. + gpwrdn.d32 = 0;
  95449. + gpwrdn.b.pwrdnrstn = 1;
  95450. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95451. + dwc_udelay(10);
  95452. +
  95453. + /* Disable power clamps */
  95454. + gpwrdn.d32 = 0;
  95455. + gpwrdn.b.pwrdnclmp = 1;
  95456. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95457. +
  95458. + /* Remove reset the core signal */
  95459. + gpwrdn.d32 = 0;
  95460. + gpwrdn.b.pwrdnrstn = 1;
  95461. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  95462. + dwc_udelay(10);
  95463. +
  95464. + /* Disable PMU interrupt */
  95465. + gpwrdn.d32 = 0;
  95466. + gpwrdn.b.pmuintsel = 1;
  95467. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95468. + dwc_udelay(10);
  95469. +
  95470. + /*Indicates that we are exiting from hibernation */
  95471. + core_if->hibernation_suspend = 0;
  95472. +
  95473. + /* Disable PMU */
  95474. + gpwrdn.d32 = 0;
  95475. + gpwrdn.b.pmuactv = 1;
  95476. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95477. + dwc_udelay(10);
  95478. +
  95479. + core_if->op_state = B_PERIPHERAL;
  95480. + dwc_otg_core_init(core_if);
  95481. + dwc_otg_enable_global_interrupts(core_if);
  95482. + cil_pcd_start(core_if);
  95483. +
  95484. + if (otg_cap_param == DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE ||
  95485. + otg_cap_param == DWC_OTG_CAP_PARAM_SRP_ONLY_CAPABLE) {
  95486. + /*
  95487. + * Initiate SRP after initial ADP probe.
  95488. + */
  95489. + dwc_otg_initiate_srp(core_if);
  95490. + }
  95491. + }
  95492. +
  95493. + return 1;
  95494. +}
  95495. +/**
  95496. + * This interrupt indicates that the Wakeup Logic has detected a
  95497. + * status change either on IDDIG or BSessVld.
  95498. + */
  95499. +static uint32_t dwc_otg_handle_pwrdn_stschng_intr(dwc_otg_device_t *otg_dev)
  95500. +{
  95501. + int retval;
  95502. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95503. + gpwrdn_data_t gpwrdn_temp = {.d32 = 0 };
  95504. + dwc_otg_core_if_t *core_if = otg_dev->core_if;
  95505. +
  95506. + DWC_PRINTF("%s called\n", __FUNCTION__);
  95507. +
  95508. + if (core_if->power_down == 2) {
  95509. + if (core_if->hibernation_suspend <= 0) {
  95510. + DWC_PRINTF("Already exited from Hibernation\n");
  95511. + return 1;
  95512. + } else
  95513. + gpwrdn_temp.d32 = core_if->gr_backup->gpwrdn_local;
  95514. +
  95515. + } else {
  95516. + gpwrdn_temp.d32 = core_if->adp.gpwrdn;
  95517. + }
  95518. +
  95519. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95520. +
  95521. + if (gpwrdn.b.idsts ^ gpwrdn_temp.b.idsts) {
  95522. + retval = dwc_otg_handle_pwrdn_idsts_change(otg_dev);
  95523. + } else if (gpwrdn.b.bsessvld ^ gpwrdn_temp.b.bsessvld) {
  95524. + retval = dwc_otg_handle_pwrdn_session_change(core_if);
  95525. + }
  95526. +
  95527. + return retval;
  95528. +}
  95529. +
  95530. +/**
  95531. + * This interrupt indicates that the Wakeup Logic has detected a
  95532. + * SRP.
  95533. + */
  95534. +static int32_t dwc_otg_handle_pwrdn_srp_intr(dwc_otg_core_if_t * core_if)
  95535. +{
  95536. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95537. +
  95538. + DWC_PRINTF("%s called\n", __FUNCTION__);
  95539. +
  95540. + if (!core_if->hibernation_suspend) {
  95541. + DWC_PRINTF("Already exited from Hibernation\n");
  95542. + return 1;
  95543. + }
  95544. +#ifdef DWC_DEV_SRPCAP
  95545. + if (core_if->pwron_timer_started) {
  95546. + core_if->pwron_timer_started = 0;
  95547. + DWC_TIMER_CANCEL(core_if->pwron_timer);
  95548. + }
  95549. +#endif
  95550. +
  95551. + /* Switch on the voltage to the core */
  95552. + gpwrdn.b.pwrdnswtch = 1;
  95553. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95554. + dwc_udelay(10);
  95555. +
  95556. + /* Reset the core */
  95557. + gpwrdn.d32 = 0;
  95558. + gpwrdn.b.pwrdnrstn = 1;
  95559. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95560. + dwc_udelay(10);
  95561. +
  95562. + /* Disable power clamps */
  95563. + gpwrdn.d32 = 0;
  95564. + gpwrdn.b.pwrdnclmp = 1;
  95565. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95566. +
  95567. + /* Remove reset the core signal */
  95568. + gpwrdn.d32 = 0;
  95569. + gpwrdn.b.pwrdnrstn = 1;
  95570. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  95571. + dwc_udelay(10);
  95572. +
  95573. + /* Disable PMU interrupt */
  95574. + gpwrdn.d32 = 0;
  95575. + gpwrdn.b.pmuintsel = 1;
  95576. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95577. +
  95578. + /* Indicates that we are exiting from hibernation */
  95579. + core_if->hibernation_suspend = 0;
  95580. +
  95581. + /* Disable PMU */
  95582. + gpwrdn.d32 = 0;
  95583. + gpwrdn.b.pmuactv = 1;
  95584. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95585. + dwc_udelay(10);
  95586. +
  95587. + /* Programm Disable VBUS to 0 */
  95588. + gpwrdn.d32 = 0;
  95589. + gpwrdn.b.dis_vbus = 1;
  95590. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  95591. +
  95592. + /*Initialize the core as Host */
  95593. + core_if->op_state = A_HOST;
  95594. + dwc_otg_core_init(core_if);
  95595. + dwc_otg_enable_global_interrupts(core_if);
  95596. + cil_hcd_start(core_if);
  95597. +
  95598. + return 1;
  95599. +}
  95600. +
  95601. +/** This interrupt indicates that restore command after Hibernation
  95602. + * was completed by the core. */
  95603. +int32_t dwc_otg_handle_restore_done_intr(dwc_otg_core_if_t * core_if)
  95604. +{
  95605. + pcgcctl_data_t pcgcctl;
  95606. + DWC_DEBUGPL(DBG_ANY, "++Restore Done Interrupt++\n");
  95607. +
  95608. + //TODO De-assert restore signal. 8.a
  95609. + pcgcctl.d32 = DWC_READ_REG32(core_if->pcgcctl);
  95610. + if (pcgcctl.b.restoremode == 1) {
  95611. + gintmsk_data_t gintmsk = {.d32 = 0 };
  95612. + /*
  95613. + * If restore mode is Remote Wakeup,
  95614. + * unmask Remote Wakeup interrupt.
  95615. + */
  95616. + gintmsk.b.wkupintr = 1;
  95617. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk,
  95618. + 0, gintmsk.d32);
  95619. + }
  95620. +
  95621. + return 1;
  95622. +}
  95623. +
  95624. +/**
  95625. + * This interrupt indicates that a device has been disconnected from
  95626. + * the root port.
  95627. + */
  95628. +int32_t dwc_otg_handle_disconnect_intr(dwc_otg_core_if_t * core_if)
  95629. +{
  95630. + gintsts_data_t gintsts;
  95631. +
  95632. + DWC_DEBUGPL(DBG_ANY, "++Disconnect Detected Interrupt++ (%s) %s\n",
  95633. + (dwc_otg_is_host_mode(core_if) ? "Host" : "Device"),
  95634. + op_state_str(core_if));
  95635. +
  95636. +/** @todo Consolidate this if statement. */
  95637. +#ifndef DWC_HOST_ONLY
  95638. + if (core_if->op_state == B_HOST) {
  95639. + /* If in device mode Disconnect and stop the HCD, then
  95640. + * start the PCD. */
  95641. + DWC_SPINUNLOCK(core_if->lock);
  95642. + cil_hcd_disconnect(core_if);
  95643. + cil_pcd_start(core_if);
  95644. + DWC_SPINLOCK(core_if->lock);
  95645. + core_if->op_state = B_PERIPHERAL;
  95646. + } else if (dwc_otg_is_device_mode(core_if)) {
  95647. + gotgctl_data_t gotgctl = {.d32 = 0 };
  95648. + gotgctl.d32 =
  95649. + DWC_READ_REG32(&core_if->core_global_regs->gotgctl);
  95650. + if (gotgctl.b.hstsethnpen == 1) {
  95651. + /* Do nothing, if HNP in process the OTG
  95652. + * interrupt "Host Negotiation Detected"
  95653. + * interrupt will do the mode switch.
  95654. + */
  95655. + } else if (gotgctl.b.devhnpen == 0) {
  95656. + /* If in device mode Disconnect and stop the HCD, then
  95657. + * start the PCD. */
  95658. + DWC_SPINUNLOCK(core_if->lock);
  95659. + cil_hcd_disconnect(core_if);
  95660. + cil_pcd_start(core_if);
  95661. + DWC_SPINLOCK(core_if->lock);
  95662. + core_if->op_state = B_PERIPHERAL;
  95663. + } else {
  95664. + DWC_DEBUGPL(DBG_ANY, "!a_peripheral && !devhnpen\n");
  95665. + }
  95666. + } else {
  95667. + if (core_if->op_state == A_HOST) {
  95668. + /* A-Cable still connected but device disconnected. */
  95669. + cil_hcd_disconnect(core_if);
  95670. + if (core_if->adp_enable) {
  95671. + gpwrdn_data_t gpwrdn = { .d32 = 0 };
  95672. + cil_hcd_stop(core_if);
  95673. + /* Enable Power Down Logic */
  95674. + gpwrdn.b.pmuintsel = 1;
  95675. + gpwrdn.b.pmuactv = 1;
  95676. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  95677. + gpwrdn, 0, gpwrdn.d32);
  95678. + dwc_otg_adp_probe_start(core_if);
  95679. +
  95680. + /* Power off the core */
  95681. + if (core_if->power_down == 2) {
  95682. + gpwrdn.d32 = 0;
  95683. + gpwrdn.b.pwrdnswtch = 1;
  95684. + DWC_MODIFY_REG32
  95685. + (&core_if->core_global_regs->gpwrdn,
  95686. + gpwrdn.d32, 0);
  95687. + }
  95688. + }
  95689. + }
  95690. + }
  95691. +#endif
  95692. + /* Change to L3(OFF) state */
  95693. + core_if->lx_state = DWC_OTG_L3;
  95694. +
  95695. + gintsts.d32 = 0;
  95696. + gintsts.b.disconnect = 1;
  95697. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  95698. + return 1;
  95699. +}
  95700. +
  95701. +/**
  95702. + * This interrupt indicates that SUSPEND state has been detected on
  95703. + * the USB.
  95704. + *
  95705. + * For HNP the USB Suspend interrupt signals the change from
  95706. + * "a_peripheral" to "a_host".
  95707. + *
  95708. + * When power management is enabled the core will be put in low power
  95709. + * mode.
  95710. + */
  95711. +int32_t dwc_otg_handle_usb_suspend_intr(dwc_otg_core_if_t * core_if)
  95712. +{
  95713. + dsts_data_t dsts;
  95714. + gintsts_data_t gintsts;
  95715. + dcfg_data_t dcfg;
  95716. +
  95717. + DWC_DEBUGPL(DBG_ANY, "USB SUSPEND\n");
  95718. +
  95719. + if (dwc_otg_is_device_mode(core_if)) {
  95720. + /* Check the Device status register to determine if the Suspend
  95721. + * state is active. */
  95722. + dsts.d32 =
  95723. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  95724. + DWC_DEBUGPL(DBG_PCD, "DSTS=0x%0x\n", dsts.d32);
  95725. + DWC_DEBUGPL(DBG_PCD, "DSTS.Suspend Status=%d "
  95726. + "HWCFG4.power Optimize=%d\n",
  95727. + dsts.b.suspsts, core_if->hwcfg4.b.power_optimiz);
  95728. +
  95729. +#ifdef PARTIAL_POWER_DOWN
  95730. +/** @todo Add a module parameter for power management. */
  95731. +
  95732. + if (dsts.b.suspsts && core_if->hwcfg4.b.power_optimiz) {
  95733. + pcgcctl_data_t power = {.d32 = 0 };
  95734. + DWC_DEBUGPL(DBG_CIL, "suspend\n");
  95735. +
  95736. + power.b.pwrclmp = 1;
  95737. + DWC_WRITE_REG32(core_if->pcgcctl, power.d32);
  95738. +
  95739. + power.b.rstpdwnmodule = 1;
  95740. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, power.d32);
  95741. +
  95742. + power.b.stoppclk = 1;
  95743. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, power.d32);
  95744. +
  95745. + } else {
  95746. + DWC_DEBUGPL(DBG_ANY, "disconnect?\n");
  95747. + }
  95748. +#endif
  95749. + /* PCD callback for suspend. Release the lock inside of callback function */
  95750. + cil_pcd_suspend(core_if);
  95751. + if (core_if->power_down == 2)
  95752. + {
  95753. + dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  95754. + DWC_DEBUGPL(DBG_ANY,"lx_state = %08x\n",core_if->lx_state);
  95755. + DWC_DEBUGPL(DBG_ANY," device address = %08d\n",dcfg.b.devaddr);
  95756. +
  95757. + if (core_if->lx_state != DWC_OTG_L3 && dcfg.b.devaddr) {
  95758. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  95759. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95760. + gusbcfg_data_t gusbcfg = {.d32 = 0 };
  95761. +
  95762. + /* Change to L2(suspend) state */
  95763. + core_if->lx_state = DWC_OTG_L2;
  95764. +
  95765. + /* Clear interrupt in gintsts */
  95766. + gintsts.d32 = 0;
  95767. + gintsts.b.usbsuspend = 1;
  95768. + DWC_WRITE_REG32(&core_if->core_global_regs->
  95769. + gintsts, gintsts.d32);
  95770. + DWC_PRINTF("Start of hibernation completed\n");
  95771. + dwc_otg_save_global_regs(core_if);
  95772. + dwc_otg_save_dev_regs(core_if);
  95773. +
  95774. + gusbcfg.d32 =
  95775. + DWC_READ_REG32(&core_if->core_global_regs->
  95776. + gusbcfg);
  95777. + if (gusbcfg.b.ulpi_utmi_sel == 1) {
  95778. + /* ULPI interface */
  95779. + /* Suspend the Phy Clock */
  95780. + pcgcctl.d32 = 0;
  95781. + pcgcctl.b.stoppclk = 1;
  95782. + DWC_MODIFY_REG32(core_if->pcgcctl, 0,
  95783. + pcgcctl.d32);
  95784. + dwc_udelay(10);
  95785. + gpwrdn.b.pmuactv = 1;
  95786. + DWC_MODIFY_REG32(&core_if->
  95787. + core_global_regs->
  95788. + gpwrdn, 0, gpwrdn.d32);
  95789. + } else {
  95790. + /* UTMI+ Interface */
  95791. + gpwrdn.b.pmuactv = 1;
  95792. + DWC_MODIFY_REG32(&core_if->
  95793. + core_global_regs->
  95794. + gpwrdn, 0, gpwrdn.d32);
  95795. + dwc_udelay(10);
  95796. + pcgcctl.b.stoppclk = 1;
  95797. + DWC_MODIFY_REG32(core_if->pcgcctl, 0,
  95798. + pcgcctl.d32);
  95799. + dwc_udelay(10);
  95800. + }
  95801. +
  95802. + /* Set flag to indicate that we are in hibernation */
  95803. + core_if->hibernation_suspend = 1;
  95804. + /* Enable interrupts from wake up logic */
  95805. + gpwrdn.d32 = 0;
  95806. + gpwrdn.b.pmuintsel = 1;
  95807. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  95808. + gpwrdn, 0, gpwrdn.d32);
  95809. + dwc_udelay(10);
  95810. +
  95811. + /* Unmask device mode interrupts in GPWRDN */
  95812. + gpwrdn.d32 = 0;
  95813. + gpwrdn.b.rst_det_msk = 1;
  95814. + gpwrdn.b.lnstchng_msk = 1;
  95815. + gpwrdn.b.sts_chngint_msk = 1;
  95816. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  95817. + gpwrdn, 0, gpwrdn.d32);
  95818. + dwc_udelay(10);
  95819. +
  95820. + /* Enable Power Down Clamp */
  95821. + gpwrdn.d32 = 0;
  95822. + gpwrdn.b.pwrdnclmp = 1;
  95823. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  95824. + gpwrdn, 0, gpwrdn.d32);
  95825. + dwc_udelay(10);
  95826. +
  95827. + /* Switch off VDD */
  95828. + gpwrdn.d32 = 0;
  95829. + gpwrdn.b.pwrdnswtch = 1;
  95830. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  95831. + gpwrdn, 0, gpwrdn.d32);
  95832. +
  95833. + /* Save gpwrdn register for further usage if stschng interrupt */
  95834. + core_if->gr_backup->gpwrdn_local =
  95835. + DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95836. + DWC_PRINTF("Hibernation completed\n");
  95837. +
  95838. + return 1;
  95839. + }
  95840. + } else if (core_if->power_down == 3) {
  95841. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  95842. + dcfg.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dcfg);
  95843. + DWC_DEBUGPL(DBG_ANY, "lx_state = %08x\n",core_if->lx_state);
  95844. + DWC_DEBUGPL(DBG_ANY, " device address = %08d\n",dcfg.b.devaddr);
  95845. +
  95846. + if (core_if->lx_state != DWC_OTG_L3 && dcfg.b.devaddr) {
  95847. + DWC_DEBUGPL(DBG_ANY, "Start entering to extended hibernation\n");
  95848. + core_if->xhib = 1;
  95849. +
  95850. + /* Clear interrupt in gintsts */
  95851. + gintsts.d32 = 0;
  95852. + gintsts.b.usbsuspend = 1;
  95853. + DWC_WRITE_REG32(&core_if->core_global_regs->
  95854. + gintsts, gintsts.d32);
  95855. +
  95856. + dwc_otg_save_global_regs(core_if);
  95857. + dwc_otg_save_dev_regs(core_if);
  95858. +
  95859. + /* Wait for 10 PHY clocks */
  95860. + dwc_udelay(10);
  95861. +
  95862. + /* Program GPIO register while entering to xHib */
  95863. + DWC_WRITE_REG32(&core_if->core_global_regs->ggpio, 0x1);
  95864. +
  95865. + pcgcctl.b.enbl_extnd_hiber = 1;
  95866. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  95867. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  95868. +
  95869. + pcgcctl.d32 = 0;
  95870. + pcgcctl.b.extnd_hiber_pwrclmp = 1;
  95871. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  95872. +
  95873. + pcgcctl.d32 = 0;
  95874. + pcgcctl.b.extnd_hiber_switch = 1;
  95875. + core_if->gr_backup->xhib_gpwrdn = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  95876. + core_if->gr_backup->xhib_pcgcctl = DWC_READ_REG32(core_if->pcgcctl) | pcgcctl.d32;
  95877. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  95878. +
  95879. + DWC_DEBUGPL(DBG_ANY, "Finished entering to extended hibernation\n");
  95880. +
  95881. + return 1;
  95882. + }
  95883. + }
  95884. + } else {
  95885. + if (core_if->op_state == A_PERIPHERAL) {
  95886. + DWC_DEBUGPL(DBG_ANY, "a_peripheral->a_host\n");
  95887. + /* Clear the a_peripheral flag, back to a_host. */
  95888. + DWC_SPINUNLOCK(core_if->lock);
  95889. + cil_pcd_stop(core_if);
  95890. + cil_hcd_start(core_if);
  95891. + DWC_SPINLOCK(core_if->lock);
  95892. + core_if->op_state = A_HOST;
  95893. + }
  95894. + }
  95895. +
  95896. + /* Change to L2(suspend) state */
  95897. + core_if->lx_state = DWC_OTG_L2;
  95898. +
  95899. + /* Clear interrupt */
  95900. + gintsts.d32 = 0;
  95901. + gintsts.b.usbsuspend = 1;
  95902. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  95903. +
  95904. + return 1;
  95905. +}
  95906. +
  95907. +static int32_t dwc_otg_handle_xhib_exit_intr(dwc_otg_core_if_t * core_if)
  95908. +{
  95909. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  95910. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  95911. + gahbcfg_data_t gahbcfg = {.d32 = 0 };
  95912. +
  95913. + dwc_udelay(10);
  95914. +
  95915. + /* Program GPIO register while entering to xHib */
  95916. + DWC_WRITE_REG32(&core_if->core_global_regs->ggpio, 0x0);
  95917. +
  95918. + pcgcctl.d32 = core_if->gr_backup->xhib_pcgcctl;
  95919. + pcgcctl.b.extnd_hiber_pwrclmp = 0;
  95920. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  95921. + dwc_udelay(10);
  95922. +
  95923. + gpwrdn.d32 = core_if->gr_backup->xhib_gpwrdn;
  95924. + gpwrdn.b.restore = 1;
  95925. + DWC_WRITE_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32);
  95926. + dwc_udelay(10);
  95927. +
  95928. + restore_lpm_i2c_regs(core_if);
  95929. +
  95930. + pcgcctl.d32 = core_if->gr_backup->pcgcctl_local & (0x3FFFF << 14);
  95931. + pcgcctl.b.max_xcvrselect = 1;
  95932. + pcgcctl.b.ess_reg_restored = 0;
  95933. + pcgcctl.b.extnd_hiber_switch = 0;
  95934. + pcgcctl.b.extnd_hiber_pwrclmp = 0;
  95935. + pcgcctl.b.enbl_extnd_hiber = 1;
  95936. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  95937. +
  95938. + gahbcfg.d32 = core_if->gr_backup->gahbcfg_local;
  95939. + gahbcfg.b.glblintrmsk = 1;
  95940. + DWC_WRITE_REG32(&core_if->core_global_regs->gahbcfg, gahbcfg.d32);
  95941. +
  95942. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, 0xFFFFFFFF);
  95943. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, 0x1 << 16);
  95944. +
  95945. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg,
  95946. + core_if->gr_backup->gusbcfg_local);
  95947. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg,
  95948. + core_if->dr_backup->dcfg);
  95949. +
  95950. + pcgcctl.d32 = 0;
  95951. + pcgcctl.d32 = core_if->gr_backup->pcgcctl_local & (0x3FFFF << 14);
  95952. + pcgcctl.b.max_xcvrselect = 1;
  95953. + pcgcctl.d32 |= 0x608;
  95954. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  95955. + dwc_udelay(10);
  95956. +
  95957. + pcgcctl.d32 = 0;
  95958. + pcgcctl.d32 = core_if->gr_backup->pcgcctl_local & (0x3FFFF << 14);
  95959. + pcgcctl.b.max_xcvrselect = 1;
  95960. + pcgcctl.b.ess_reg_restored = 1;
  95961. + pcgcctl.b.enbl_extnd_hiber = 1;
  95962. + pcgcctl.b.rstpdwnmodule = 1;
  95963. + pcgcctl.b.restoremode = 1;
  95964. + DWC_WRITE_REG32(core_if->pcgcctl, pcgcctl.d32);
  95965. +
  95966. + DWC_DEBUGPL(DBG_ANY, "%s called\n", __FUNCTION__);
  95967. +
  95968. + return 1;
  95969. +}
  95970. +
  95971. +#ifdef CONFIG_USB_DWC_OTG_LPM
  95972. +/**
  95973. + * This function hadles LPM transaction received interrupt.
  95974. + */
  95975. +static int32_t dwc_otg_handle_lpm_intr(dwc_otg_core_if_t * core_if)
  95976. +{
  95977. + glpmcfg_data_t lpmcfg;
  95978. + gintsts_data_t gintsts;
  95979. +
  95980. + if (!core_if->core_params->lpm_enable) {
  95981. + DWC_PRINTF("Unexpected LPM interrupt\n");
  95982. + }
  95983. +
  95984. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  95985. + DWC_PRINTF("LPM config register = 0x%08x\n", lpmcfg.d32);
  95986. +
  95987. + if (dwc_otg_is_host_mode(core_if)) {
  95988. + cil_hcd_sleep(core_if);
  95989. + } else {
  95990. + lpmcfg.b.hird_thres |= (1 << 4);
  95991. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg,
  95992. + lpmcfg.d32);
  95993. + }
  95994. +
  95995. + /* Examine prt_sleep_sts after TL1TokenTetry period max (10 us) */
  95996. + dwc_udelay(10);
  95997. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  95998. + if (lpmcfg.b.prt_sleep_sts) {
  95999. + /* Save the current state */
  96000. + core_if->lx_state = DWC_OTG_L1;
  96001. + }
  96002. +
  96003. + /* Clear interrupt */
  96004. + gintsts.d32 = 0;
  96005. + gintsts.b.lpmtranrcvd = 1;
  96006. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  96007. + return 1;
  96008. +}
  96009. +#endif /* CONFIG_USB_DWC_OTG_LPM */
  96010. +
  96011. +/**
  96012. + * This function returns the Core Interrupt register.
  96013. + */
  96014. +static inline uint32_t dwc_otg_read_common_intr(dwc_otg_core_if_t * core_if, gintmsk_data_t *reenable_gintmsk, dwc_otg_hcd_t *hcd)
  96015. +{
  96016. + gahbcfg_data_t gahbcfg = {.d32 = 0 };
  96017. + gintsts_data_t gintsts;
  96018. + gintmsk_data_t gintmsk;
  96019. + gintmsk_data_t gintmsk_common = {.d32 = 0 };
  96020. + gintmsk_common.b.wkupintr = 1;
  96021. + gintmsk_common.b.sessreqintr = 1;
  96022. + gintmsk_common.b.conidstschng = 1;
  96023. + gintmsk_common.b.otgintr = 1;
  96024. + gintmsk_common.b.modemismatch = 1;
  96025. + gintmsk_common.b.disconnect = 1;
  96026. + gintmsk_common.b.usbsuspend = 1;
  96027. +#ifdef CONFIG_USB_DWC_OTG_LPM
  96028. + gintmsk_common.b.lpmtranrcvd = 1;
  96029. +#endif
  96030. + gintmsk_common.b.restoredone = 1;
  96031. + if(dwc_otg_is_device_mode(core_if))
  96032. + {
  96033. + /** @todo: The port interrupt occurs while in device
  96034. + * mode. Added code to CIL to clear the interrupt for now!
  96035. + */
  96036. + gintmsk_common.b.portintr = 1;
  96037. + }
  96038. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  96039. + gintmsk.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  96040. + if(fiq_enable) {
  96041. + local_fiq_disable();
  96042. + /* Pull in the interrupts that the FIQ has masked */
  96043. + gintmsk.d32 |= ~(hcd->fiq_state->gintmsk_saved.d32);
  96044. + gintmsk.d32 |= gintmsk_common.d32;
  96045. + /* for the upstairs function to reenable - have to read it here in case FIQ triggers again */
  96046. + reenable_gintmsk->d32 = gintmsk.d32;
  96047. + local_fiq_enable();
  96048. + }
  96049. +
  96050. + gahbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gahbcfg);
  96051. +
  96052. +#ifdef DEBUG
  96053. + /* if any common interrupts set */
  96054. + if (gintsts.d32 & gintmsk_common.d32) {
  96055. + DWC_DEBUGPL(DBG_ANY, "common_intr: gintsts=%08x gintmsk=%08x\n",
  96056. + gintsts.d32, gintmsk.d32);
  96057. + }
  96058. +#endif
  96059. + if (!fiq_enable){
  96060. + if (gahbcfg.b.glblintrmsk)
  96061. + return ((gintsts.d32 & gintmsk.d32) & gintmsk_common.d32);
  96062. + else
  96063. + return 0;
  96064. + } else {
  96065. + /* Our IRQ kicker is no longer the USB hardware, it's the MPHI interface.
  96066. + * Can't trust the global interrupt mask bit in this case.
  96067. + */
  96068. + return ((gintsts.d32 & gintmsk.d32) & gintmsk_common.d32);
  96069. + }
  96070. +
  96071. +}
  96072. +
  96073. +/* MACRO for clearing interupt bits in GPWRDN register */
  96074. +#define CLEAR_GPWRDN_INTR(__core_if,__intr) \
  96075. +do { \
  96076. + gpwrdn_data_t gpwrdn = {.d32=0}; \
  96077. + gpwrdn.b.__intr = 1; \
  96078. + DWC_MODIFY_REG32(&__core_if->core_global_regs->gpwrdn, \
  96079. + 0, gpwrdn.d32); \
  96080. +} while (0)
  96081. +
  96082. +/**
  96083. + * Common interrupt handler.
  96084. + *
  96085. + * The common interrupts are those that occur in both Host and Device mode.
  96086. + * This handler handles the following interrupts:
  96087. + * - Mode Mismatch Interrupt
  96088. + * - Disconnect Interrupt
  96089. + * - OTG Interrupt
  96090. + * - Connector ID Status Change Interrupt
  96091. + * - Session Request Interrupt.
  96092. + * - Resume / Remote Wakeup Detected Interrupt.
  96093. + * - LPM Transaction Received Interrupt
  96094. + * - ADP Transaction Received Interrupt
  96095. + *
  96096. + */
  96097. +int32_t dwc_otg_handle_common_intr(void *dev)
  96098. +{
  96099. + int retval = 0;
  96100. + gintsts_data_t gintsts;
  96101. + gintmsk_data_t gintmsk_reenable = { .d32 = 0 };
  96102. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  96103. + dwc_otg_device_t *otg_dev = dev;
  96104. + dwc_otg_core_if_t *core_if = otg_dev->core_if;
  96105. + gpwrdn.d32 = DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  96106. + if (dwc_otg_is_device_mode(core_if))
  96107. + core_if->frame_num = dwc_otg_get_frame_number(core_if);
  96108. +
  96109. + if (core_if->lock)
  96110. + DWC_SPINLOCK(core_if->lock);
  96111. +
  96112. + if (core_if->power_down == 3 && core_if->xhib == 1) {
  96113. + DWC_DEBUGPL(DBG_ANY, "Exiting from xHIB state\n");
  96114. + retval |= dwc_otg_handle_xhib_exit_intr(core_if);
  96115. + core_if->xhib = 2;
  96116. + if (core_if->lock)
  96117. + DWC_SPINUNLOCK(core_if->lock);
  96118. +
  96119. + return retval;
  96120. + }
  96121. +
  96122. + if (core_if->hibernation_suspend <= 0) {
  96123. + /* read_common will have to poke the FIQ's saved mask. We must then clear this mask at the end
  96124. + * of this handler - god only knows why it's done like this
  96125. + */
  96126. + gintsts.d32 = dwc_otg_read_common_intr(core_if, &gintmsk_reenable, otg_dev->hcd);
  96127. +
  96128. + if (gintsts.b.modemismatch) {
  96129. + retval |= dwc_otg_handle_mode_mismatch_intr(core_if);
  96130. + }
  96131. + if (gintsts.b.otgintr) {
  96132. + retval |= dwc_otg_handle_otg_intr(core_if);
  96133. + }
  96134. + if (gintsts.b.conidstschng) {
  96135. + retval |=
  96136. + dwc_otg_handle_conn_id_status_change_intr(core_if);
  96137. + }
  96138. + if (gintsts.b.disconnect) {
  96139. + retval |= dwc_otg_handle_disconnect_intr(core_if);
  96140. + }
  96141. + if (gintsts.b.sessreqintr) {
  96142. + retval |= dwc_otg_handle_session_req_intr(core_if);
  96143. + }
  96144. + if (gintsts.b.wkupintr) {
  96145. + retval |= dwc_otg_handle_wakeup_detected_intr(core_if);
  96146. + }
  96147. + if (gintsts.b.usbsuspend) {
  96148. + retval |= dwc_otg_handle_usb_suspend_intr(core_if);
  96149. + }
  96150. +#ifdef CONFIG_USB_DWC_OTG_LPM
  96151. + if (gintsts.b.lpmtranrcvd) {
  96152. + retval |= dwc_otg_handle_lpm_intr(core_if);
  96153. + }
  96154. +#endif
  96155. + if (gintsts.b.restoredone) {
  96156. + gintsts.d32 = 0;
  96157. + if (core_if->power_down == 2)
  96158. + core_if->hibernation_suspend = -1;
  96159. + else if (core_if->power_down == 3 && core_if->xhib == 2) {
  96160. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  96161. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  96162. + dctl_data_t dctl = {.d32 = 0 };
  96163. +
  96164. + DWC_WRITE_REG32(&core_if->core_global_regs->
  96165. + gintsts, 0xFFFFFFFF);
  96166. +
  96167. + DWC_DEBUGPL(DBG_ANY,
  96168. + "RESTORE DONE generated\n");
  96169. +
  96170. + gpwrdn.b.restore = 1;
  96171. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  96172. + dwc_udelay(10);
  96173. +
  96174. + pcgcctl.b.rstpdwnmodule = 1;
  96175. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  96176. +
  96177. + DWC_WRITE_REG32(&core_if->core_global_regs->gusbcfg, core_if->gr_backup->gusbcfg_local);
  96178. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dcfg, core_if->dr_backup->dcfg);
  96179. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl, core_if->dr_backup->dctl);
  96180. + dwc_udelay(50);
  96181. +
  96182. + dctl.b.pwronprgdone = 1;
  96183. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  96184. + dwc_udelay(10);
  96185. +
  96186. + dwc_otg_restore_global_regs(core_if);
  96187. + dwc_otg_restore_dev_regs(core_if, 0);
  96188. +
  96189. + dctl.d32 = 0;
  96190. + dctl.b.pwronprgdone = 1;
  96191. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32, 0);
  96192. + dwc_udelay(10);
  96193. +
  96194. + pcgcctl.d32 = 0;
  96195. + pcgcctl.b.enbl_extnd_hiber = 1;
  96196. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  96197. +
  96198. + /* The core will be in ON STATE */
  96199. + core_if->lx_state = DWC_OTG_L0;
  96200. + core_if->xhib = 0;
  96201. +
  96202. + DWC_SPINUNLOCK(core_if->lock);
  96203. + if (core_if->pcd_cb && core_if->pcd_cb->resume_wakeup) {
  96204. + core_if->pcd_cb->resume_wakeup(core_if->pcd_cb->p);
  96205. + }
  96206. + DWC_SPINLOCK(core_if->lock);
  96207. +
  96208. + }
  96209. +
  96210. + gintsts.b.restoredone = 1;
  96211. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts,gintsts.d32);
  96212. + DWC_PRINTF(" --Restore done interrupt received-- \n");
  96213. + retval |= 1;
  96214. + }
  96215. + if (gintsts.b.portintr && dwc_otg_is_device_mode(core_if)) {
  96216. + /* The port interrupt occurs while in device mode with HPRT0
  96217. + * Port Enable/Disable.
  96218. + */
  96219. + gintsts.d32 = 0;
  96220. + gintsts.b.portintr = 1;
  96221. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts,gintsts.d32);
  96222. + retval |= 1;
  96223. + gintmsk_reenable.b.portintr = 1;
  96224. +
  96225. + }
  96226. + /* Did we actually handle anything? if so, unmask the interrupt */
  96227. +// fiq_print(FIQDBG_INT, otg_dev->hcd->fiq_state, "CILOUT %1d", retval);
  96228. +// fiq_print(FIQDBG_INT, otg_dev->hcd->fiq_state, "%08x", gintsts.d32);
  96229. +// fiq_print(FIQDBG_INT, otg_dev->hcd->fiq_state, "%08x", gintmsk_reenable.d32);
  96230. + if (retval && fiq_enable) {
  96231. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, gintmsk_reenable.d32);
  96232. + }
  96233. +
  96234. + } else {
  96235. + DWC_DEBUGPL(DBG_ANY, "gpwrdn=%08x\n", gpwrdn.d32);
  96236. +
  96237. + if (gpwrdn.b.disconn_det && gpwrdn.b.disconn_det_msk) {
  96238. + CLEAR_GPWRDN_INTR(core_if, disconn_det);
  96239. + if (gpwrdn.b.linestate == 0) {
  96240. + dwc_otg_handle_pwrdn_disconnect_intr(core_if);
  96241. + } else {
  96242. + DWC_PRINTF("Disconnect detected while linestate is not 0\n");
  96243. + }
  96244. +
  96245. + retval |= 1;
  96246. + }
  96247. + if (gpwrdn.b.lnstschng && gpwrdn.b.lnstchng_msk) {
  96248. + CLEAR_GPWRDN_INTR(core_if, lnstschng);
  96249. + /* remote wakeup from hibernation */
  96250. + if (gpwrdn.b.linestate == 2 || gpwrdn.b.linestate == 1) {
  96251. + dwc_otg_handle_pwrdn_wakeup_detected_intr(core_if);
  96252. + } else {
  96253. + DWC_PRINTF("gpwrdn.linestate = %d\n", gpwrdn.b.linestate);
  96254. + }
  96255. + retval |= 1;
  96256. + }
  96257. + if (gpwrdn.b.rst_det && gpwrdn.b.rst_det_msk) {
  96258. + CLEAR_GPWRDN_INTR(core_if, rst_det);
  96259. + if (gpwrdn.b.linestate == 0) {
  96260. + DWC_PRINTF("Reset detected\n");
  96261. + retval |= dwc_otg_device_hibernation_restore(core_if, 0, 1);
  96262. + }
  96263. + }
  96264. + if (gpwrdn.b.srp_det && gpwrdn.b.srp_det_msk) {
  96265. + CLEAR_GPWRDN_INTR(core_if, srp_det);
  96266. + dwc_otg_handle_pwrdn_srp_intr(core_if);
  96267. + retval |= 1;
  96268. + }
  96269. + }
  96270. + /* Handle ADP interrupt here */
  96271. + if (gpwrdn.b.adp_int) {
  96272. + DWC_PRINTF("ADP interrupt\n");
  96273. + CLEAR_GPWRDN_INTR(core_if, adp_int);
  96274. + dwc_otg_adp_handle_intr(core_if);
  96275. + retval |= 1;
  96276. + }
  96277. + if (gpwrdn.b.sts_chngint && gpwrdn.b.sts_chngint_msk) {
  96278. + DWC_PRINTF("STS CHNG interrupt asserted\n");
  96279. + CLEAR_GPWRDN_INTR(core_if, sts_chngint);
  96280. + dwc_otg_handle_pwrdn_stschng_intr(otg_dev);
  96281. +
  96282. + retval |= 1;
  96283. + }
  96284. + if (core_if->lock)
  96285. + DWC_SPINUNLOCK(core_if->lock);
  96286. + return retval;
  96287. +}
  96288. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_core_if.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_core_if.h
  96289. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_core_if.h 1970-01-01 01:00:00.000000000 +0100
  96290. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_core_if.h 2015-11-29 09:42:39.919098694 +0100
  96291. @@ -0,0 +1,705 @@
  96292. +/* ==========================================================================
  96293. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_core_if.h $
  96294. + * $Revision: #13 $
  96295. + * $Date: 2012/08/10 $
  96296. + * $Change: 2047372 $
  96297. + *
  96298. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  96299. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  96300. + * otherwise expressly agreed to in writing between Synopsys and you.
  96301. + *
  96302. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  96303. + * any End User Software License Agreement or Agreement for Licensed Product
  96304. + * with Synopsys or any supplement thereto. You are permitted to use and
  96305. + * redistribute this Software in source and binary forms, with or without
  96306. + * modification, provided that redistributions of source code must retain this
  96307. + * notice. You may not view, use, disclose, copy or distribute this file or
  96308. + * any information contained herein except pursuant to this license grant from
  96309. + * Synopsys. If you do not agree with this notice, including the disclaimer
  96310. + * below, then you are not authorized to use the Software.
  96311. + *
  96312. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  96313. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  96314. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  96315. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  96316. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  96317. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  96318. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  96319. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  96320. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  96321. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  96322. + * DAMAGE.
  96323. + * ========================================================================== */
  96324. +#if !defined(__DWC_CORE_IF_H__)
  96325. +#define __DWC_CORE_IF_H__
  96326. +
  96327. +#include "dwc_os.h"
  96328. +
  96329. +/** @file
  96330. + * This file defines DWC_OTG Core API
  96331. + */
  96332. +
  96333. +struct dwc_otg_core_if;
  96334. +typedef struct dwc_otg_core_if dwc_otg_core_if_t;
  96335. +
  96336. +/** Maximum number of Periodic FIFOs */
  96337. +#define MAX_PERIO_FIFOS 15
  96338. +/** Maximum number of Periodic FIFOs */
  96339. +#define MAX_TX_FIFOS 15
  96340. +
  96341. +/** Maximum number of Endpoints/HostChannels */
  96342. +#define MAX_EPS_CHANNELS 16
  96343. +
  96344. +extern dwc_otg_core_if_t *dwc_otg_cil_init(const uint32_t * _reg_base_addr);
  96345. +extern void dwc_otg_core_init(dwc_otg_core_if_t * _core_if);
  96346. +extern void dwc_otg_cil_remove(dwc_otg_core_if_t * _core_if);
  96347. +
  96348. +extern void dwc_otg_enable_global_interrupts(dwc_otg_core_if_t * _core_if);
  96349. +extern void dwc_otg_disable_global_interrupts(dwc_otg_core_if_t * _core_if);
  96350. +
  96351. +extern uint8_t dwc_otg_is_device_mode(dwc_otg_core_if_t * _core_if);
  96352. +extern uint8_t dwc_otg_is_host_mode(dwc_otg_core_if_t * _core_if);
  96353. +
  96354. +extern uint8_t dwc_otg_is_dma_enable(dwc_otg_core_if_t * core_if);
  96355. +
  96356. +/** This function should be called on every hardware interrupt. */
  96357. +extern int32_t dwc_otg_handle_common_intr(void *otg_dev);
  96358. +
  96359. +/** @name OTG Core Parameters */
  96360. +/** @{ */
  96361. +
  96362. +/**
  96363. + * Specifies the OTG capabilities. The driver will automatically
  96364. + * detect the value for this parameter if none is specified.
  96365. + * 0 - HNP and SRP capable (default)
  96366. + * 1 - SRP Only capable
  96367. + * 2 - No HNP/SRP capable
  96368. + */
  96369. +extern int dwc_otg_set_param_otg_cap(dwc_otg_core_if_t * core_if, int32_t val);
  96370. +extern int32_t dwc_otg_get_param_otg_cap(dwc_otg_core_if_t * core_if);
  96371. +#define DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE 0
  96372. +#define DWC_OTG_CAP_PARAM_SRP_ONLY_CAPABLE 1
  96373. +#define DWC_OTG_CAP_PARAM_NO_HNP_SRP_CAPABLE 2
  96374. +#define dwc_param_otg_cap_default DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE
  96375. +
  96376. +extern int dwc_otg_set_param_opt(dwc_otg_core_if_t * core_if, int32_t val);
  96377. +extern int32_t dwc_otg_get_param_opt(dwc_otg_core_if_t * core_if);
  96378. +#define dwc_param_opt_default 1
  96379. +
  96380. +/**
  96381. + * Specifies whether to use slave or DMA mode for accessing the data
  96382. + * FIFOs. The driver will automatically detect the value for this
  96383. + * parameter if none is specified.
  96384. + * 0 - Slave
  96385. + * 1 - DMA (default, if available)
  96386. + */
  96387. +extern int dwc_otg_set_param_dma_enable(dwc_otg_core_if_t * core_if,
  96388. + int32_t val);
  96389. +extern int32_t dwc_otg_get_param_dma_enable(dwc_otg_core_if_t * core_if);
  96390. +#define dwc_param_dma_enable_default 1
  96391. +
  96392. +/**
  96393. + * When DMA mode is enabled specifies whether to use
  96394. + * address DMA or DMA Descritor mode for accessing the data
  96395. + * FIFOs in device mode. The driver will automatically detect
  96396. + * the value for this parameter if none is specified.
  96397. + * 0 - address DMA
  96398. + * 1 - DMA Descriptor(default, if available)
  96399. + */
  96400. +extern int dwc_otg_set_param_dma_desc_enable(dwc_otg_core_if_t * core_if,
  96401. + int32_t val);
  96402. +extern int32_t dwc_otg_get_param_dma_desc_enable(dwc_otg_core_if_t * core_if);
  96403. +//#define dwc_param_dma_desc_enable_default 1
  96404. +#define dwc_param_dma_desc_enable_default 0 // Broadcom BCM2708
  96405. +
  96406. +/** The DMA Burst size (applicable only for External DMA
  96407. + * Mode). 1, 4, 8 16, 32, 64, 128, 256 (default 32)
  96408. + */
  96409. +extern int dwc_otg_set_param_dma_burst_size(dwc_otg_core_if_t * core_if,
  96410. + int32_t val);
  96411. +extern int32_t dwc_otg_get_param_dma_burst_size(dwc_otg_core_if_t * core_if);
  96412. +#define dwc_param_dma_burst_size_default 32
  96413. +
  96414. +/**
  96415. + * Specifies the maximum speed of operation in host and device mode.
  96416. + * The actual speed depends on the speed of the attached device and
  96417. + * the value of phy_type. The actual speed depends on the speed of the
  96418. + * attached device.
  96419. + * 0 - High Speed (default)
  96420. + * 1 - Full Speed
  96421. + */
  96422. +extern int dwc_otg_set_param_speed(dwc_otg_core_if_t * core_if, int32_t val);
  96423. +extern int32_t dwc_otg_get_param_speed(dwc_otg_core_if_t * core_if);
  96424. +#define dwc_param_speed_default 0
  96425. +#define DWC_SPEED_PARAM_HIGH 0
  96426. +#define DWC_SPEED_PARAM_FULL 1
  96427. +
  96428. +/** Specifies whether low power mode is supported when attached
  96429. + * to a Full Speed or Low Speed device in host mode.
  96430. + * 0 - Don't support low power mode (default)
  96431. + * 1 - Support low power mode
  96432. + */
  96433. +extern int dwc_otg_set_param_host_support_fs_ls_low_power(dwc_otg_core_if_t *
  96434. + core_if, int32_t val);
  96435. +extern int32_t dwc_otg_get_param_host_support_fs_ls_low_power(dwc_otg_core_if_t
  96436. + * core_if);
  96437. +#define dwc_param_host_support_fs_ls_low_power_default 0
  96438. +
  96439. +/** Specifies the PHY clock rate in low power mode when connected to a
  96440. + * Low Speed device in host mode. This parameter is applicable only if
  96441. + * HOST_SUPPORT_FS_LS_LOW_POWER is enabled. If PHY_TYPE is set to FS
  96442. + * then defaults to 6 MHZ otherwise 48 MHZ.
  96443. + *
  96444. + * 0 - 48 MHz
  96445. + * 1 - 6 MHz
  96446. + */
  96447. +extern int dwc_otg_set_param_host_ls_low_power_phy_clk(dwc_otg_core_if_t *
  96448. + core_if, int32_t val);
  96449. +extern int32_t dwc_otg_get_param_host_ls_low_power_phy_clk(dwc_otg_core_if_t *
  96450. + core_if);
  96451. +#define dwc_param_host_ls_low_power_phy_clk_default 0
  96452. +#define DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_48MHZ 0
  96453. +#define DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_6MHZ 1
  96454. +
  96455. +/**
  96456. + * 0 - Use cC FIFO size parameters
  96457. + * 1 - Allow dynamic FIFO sizing (default)
  96458. + */
  96459. +extern int dwc_otg_set_param_enable_dynamic_fifo(dwc_otg_core_if_t * core_if,
  96460. + int32_t val);
  96461. +extern int32_t dwc_otg_get_param_enable_dynamic_fifo(dwc_otg_core_if_t *
  96462. + core_if);
  96463. +#define dwc_param_enable_dynamic_fifo_default 1
  96464. +
  96465. +/** Total number of 4-byte words in the data FIFO memory. This
  96466. + * memory includes the Rx FIFO, non-periodic Tx FIFO, and periodic
  96467. + * Tx FIFOs.
  96468. + * 32 to 32768 (default 8192)
  96469. + * Note: The total FIFO memory depth in the FPGA configuration is 8192.
  96470. + */
  96471. +extern int dwc_otg_set_param_data_fifo_size(dwc_otg_core_if_t * core_if,
  96472. + int32_t val);
  96473. +extern int32_t dwc_otg_get_param_data_fifo_size(dwc_otg_core_if_t * core_if);
  96474. +//#define dwc_param_data_fifo_size_default 8192
  96475. +#define dwc_param_data_fifo_size_default 0xFF0 // Broadcom BCM2708
  96476. +
  96477. +/** Number of 4-byte words in the Rx FIFO in device mode when dynamic
  96478. + * FIFO sizing is enabled.
  96479. + * 16 to 32768 (default 1064)
  96480. + */
  96481. +extern int dwc_otg_set_param_dev_rx_fifo_size(dwc_otg_core_if_t * core_if,
  96482. + int32_t val);
  96483. +extern int32_t dwc_otg_get_param_dev_rx_fifo_size(dwc_otg_core_if_t * core_if);
  96484. +#define dwc_param_dev_rx_fifo_size_default 1064
  96485. +
  96486. +/** Number of 4-byte words in the non-periodic Tx FIFO in device mode
  96487. + * when dynamic FIFO sizing is enabled.
  96488. + * 16 to 32768 (default 1024)
  96489. + */
  96490. +extern int dwc_otg_set_param_dev_nperio_tx_fifo_size(dwc_otg_core_if_t *
  96491. + core_if, int32_t val);
  96492. +extern int32_t dwc_otg_get_param_dev_nperio_tx_fifo_size(dwc_otg_core_if_t *
  96493. + core_if);
  96494. +#define dwc_param_dev_nperio_tx_fifo_size_default 1024
  96495. +
  96496. +/** Number of 4-byte words in each of the periodic Tx FIFOs in device
  96497. + * mode when dynamic FIFO sizing is enabled.
  96498. + * 4 to 768 (default 256)
  96499. + */
  96500. +extern int dwc_otg_set_param_dev_perio_tx_fifo_size(dwc_otg_core_if_t * core_if,
  96501. + int32_t val, int fifo_num);
  96502. +extern int32_t dwc_otg_get_param_dev_perio_tx_fifo_size(dwc_otg_core_if_t *
  96503. + core_if, int fifo_num);
  96504. +#define dwc_param_dev_perio_tx_fifo_size_default 256
  96505. +
  96506. +/** Number of 4-byte words in the Rx FIFO in host mode when dynamic
  96507. + * FIFO sizing is enabled.
  96508. + * 16 to 32768 (default 1024)
  96509. + */
  96510. +extern int dwc_otg_set_param_host_rx_fifo_size(dwc_otg_core_if_t * core_if,
  96511. + int32_t val);
  96512. +extern int32_t dwc_otg_get_param_host_rx_fifo_size(dwc_otg_core_if_t * core_if);
  96513. +//#define dwc_param_host_rx_fifo_size_default 1024
  96514. +#define dwc_param_host_rx_fifo_size_default 774 // Broadcom BCM2708
  96515. +
  96516. +/** Number of 4-byte words in the non-periodic Tx FIFO in host mode
  96517. + * when Dynamic FIFO sizing is enabled in the core.
  96518. + * 16 to 32768 (default 1024)
  96519. + */
  96520. +extern int dwc_otg_set_param_host_nperio_tx_fifo_size(dwc_otg_core_if_t *
  96521. + core_if, int32_t val);
  96522. +extern int32_t dwc_otg_get_param_host_nperio_tx_fifo_size(dwc_otg_core_if_t *
  96523. + core_if);
  96524. +//#define dwc_param_host_nperio_tx_fifo_size_default 1024
  96525. +#define dwc_param_host_nperio_tx_fifo_size_default 0x100 // Broadcom BCM2708
  96526. +
  96527. +/** Number of 4-byte words in the host periodic Tx FIFO when dynamic
  96528. + * FIFO sizing is enabled.
  96529. + * 16 to 32768 (default 1024)
  96530. + */
  96531. +extern int dwc_otg_set_param_host_perio_tx_fifo_size(dwc_otg_core_if_t *
  96532. + core_if, int32_t val);
  96533. +extern int32_t dwc_otg_get_param_host_perio_tx_fifo_size(dwc_otg_core_if_t *
  96534. + core_if);
  96535. +//#define dwc_param_host_perio_tx_fifo_size_default 1024
  96536. +#define dwc_param_host_perio_tx_fifo_size_default 0x200 // Broadcom BCM2708
  96537. +
  96538. +/** The maximum transfer size supported in bytes.
  96539. + * 2047 to 65,535 (default 65,535)
  96540. + */
  96541. +extern int dwc_otg_set_param_max_transfer_size(dwc_otg_core_if_t * core_if,
  96542. + int32_t val);
  96543. +extern int32_t dwc_otg_get_param_max_transfer_size(dwc_otg_core_if_t * core_if);
  96544. +#define dwc_param_max_transfer_size_default 65535
  96545. +
  96546. +/** The maximum number of packets in a transfer.
  96547. + * 15 to 511 (default 511)
  96548. + */
  96549. +extern int dwc_otg_set_param_max_packet_count(dwc_otg_core_if_t * core_if,
  96550. + int32_t val);
  96551. +extern int32_t dwc_otg_get_param_max_packet_count(dwc_otg_core_if_t * core_if);
  96552. +#define dwc_param_max_packet_count_default 511
  96553. +
  96554. +/** The number of host channel registers to use.
  96555. + * 1 to 16 (default 12)
  96556. + * Note: The FPGA configuration supports a maximum of 12 host channels.
  96557. + */
  96558. +extern int dwc_otg_set_param_host_channels(dwc_otg_core_if_t * core_if,
  96559. + int32_t val);
  96560. +extern int32_t dwc_otg_get_param_host_channels(dwc_otg_core_if_t * core_if);
  96561. +//#define dwc_param_host_channels_default 12
  96562. +#define dwc_param_host_channels_default 8 // Broadcom BCM2708
  96563. +
  96564. +/** The number of endpoints in addition to EP0 available for device
  96565. + * mode operations.
  96566. + * 1 to 15 (default 6 IN and OUT)
  96567. + * Note: The FPGA configuration supports a maximum of 6 IN and OUT
  96568. + * endpoints in addition to EP0.
  96569. + */
  96570. +extern int dwc_otg_set_param_dev_endpoints(dwc_otg_core_if_t * core_if,
  96571. + int32_t val);
  96572. +extern int32_t dwc_otg_get_param_dev_endpoints(dwc_otg_core_if_t * core_if);
  96573. +#define dwc_param_dev_endpoints_default 6
  96574. +
  96575. +/**
  96576. + * Specifies the type of PHY interface to use. By default, the driver
  96577. + * will automatically detect the phy_type.
  96578. + *
  96579. + * 0 - Full Speed PHY
  96580. + * 1 - UTMI+ (default)
  96581. + * 2 - ULPI
  96582. + */
  96583. +extern int dwc_otg_set_param_phy_type(dwc_otg_core_if_t * core_if, int32_t val);
  96584. +extern int32_t dwc_otg_get_param_phy_type(dwc_otg_core_if_t * core_if);
  96585. +#define DWC_PHY_TYPE_PARAM_FS 0
  96586. +#define DWC_PHY_TYPE_PARAM_UTMI 1
  96587. +#define DWC_PHY_TYPE_PARAM_ULPI 2
  96588. +#define dwc_param_phy_type_default DWC_PHY_TYPE_PARAM_UTMI
  96589. +
  96590. +/**
  96591. + * Specifies the UTMI+ Data Width. This parameter is
  96592. + * applicable for a PHY_TYPE of UTMI+ or ULPI. (For a ULPI
  96593. + * PHY_TYPE, this parameter indicates the data width between
  96594. + * the MAC and the ULPI Wrapper.) Also, this parameter is
  96595. + * applicable only if the OTG_HSPHY_WIDTH cC parameter was set
  96596. + * to "8 and 16 bits", meaning that the core has been
  96597. + * configured to work at either data path width.
  96598. + *
  96599. + * 8 or 16 bits (default 16)
  96600. + */
  96601. +extern int dwc_otg_set_param_phy_utmi_width(dwc_otg_core_if_t * core_if,
  96602. + int32_t val);
  96603. +extern int32_t dwc_otg_get_param_phy_utmi_width(dwc_otg_core_if_t * core_if);
  96604. +//#define dwc_param_phy_utmi_width_default 16
  96605. +#define dwc_param_phy_utmi_width_default 8 // Broadcom BCM2708
  96606. +
  96607. +/**
  96608. + * Specifies whether the ULPI operates at double or single
  96609. + * data rate. This parameter is only applicable if PHY_TYPE is
  96610. + * ULPI.
  96611. + *
  96612. + * 0 - single data rate ULPI interface with 8 bit wide data
  96613. + * bus (default)
  96614. + * 1 - double data rate ULPI interface with 4 bit wide data
  96615. + * bus
  96616. + */
  96617. +extern int dwc_otg_set_param_phy_ulpi_ddr(dwc_otg_core_if_t * core_if,
  96618. + int32_t val);
  96619. +extern int32_t dwc_otg_get_param_phy_ulpi_ddr(dwc_otg_core_if_t * core_if);
  96620. +#define dwc_param_phy_ulpi_ddr_default 0
  96621. +
  96622. +/**
  96623. + * Specifies whether to use the internal or external supply to
  96624. + * drive the vbus with a ULPI phy.
  96625. + */
  96626. +extern int dwc_otg_set_param_phy_ulpi_ext_vbus(dwc_otg_core_if_t * core_if,
  96627. + int32_t val);
  96628. +extern int32_t dwc_otg_get_param_phy_ulpi_ext_vbus(dwc_otg_core_if_t * core_if);
  96629. +#define DWC_PHY_ULPI_INTERNAL_VBUS 0
  96630. +#define DWC_PHY_ULPI_EXTERNAL_VBUS 1
  96631. +#define dwc_param_phy_ulpi_ext_vbus_default DWC_PHY_ULPI_INTERNAL_VBUS
  96632. +
  96633. +/**
  96634. + * Specifies whether to use the I2Cinterface for full speed PHY. This
  96635. + * parameter is only applicable if PHY_TYPE is FS.
  96636. + * 0 - No (default)
  96637. + * 1 - Yes
  96638. + */
  96639. +extern int dwc_otg_set_param_i2c_enable(dwc_otg_core_if_t * core_if,
  96640. + int32_t val);
  96641. +extern int32_t dwc_otg_get_param_i2c_enable(dwc_otg_core_if_t * core_if);
  96642. +#define dwc_param_i2c_enable_default 0
  96643. +
  96644. +extern int dwc_otg_set_param_ulpi_fs_ls(dwc_otg_core_if_t * core_if,
  96645. + int32_t val);
  96646. +extern int32_t dwc_otg_get_param_ulpi_fs_ls(dwc_otg_core_if_t * core_if);
  96647. +#define dwc_param_ulpi_fs_ls_default 0
  96648. +
  96649. +extern int dwc_otg_set_param_ts_dline(dwc_otg_core_if_t * core_if, int32_t val);
  96650. +extern int32_t dwc_otg_get_param_ts_dline(dwc_otg_core_if_t * core_if);
  96651. +#define dwc_param_ts_dline_default 0
  96652. +
  96653. +/**
  96654. + * Specifies whether dedicated transmit FIFOs are
  96655. + * enabled for non periodic IN endpoints in device mode
  96656. + * 0 - No
  96657. + * 1 - Yes
  96658. + */
  96659. +extern int dwc_otg_set_param_en_multiple_tx_fifo(dwc_otg_core_if_t * core_if,
  96660. + int32_t val);
  96661. +extern int32_t dwc_otg_get_param_en_multiple_tx_fifo(dwc_otg_core_if_t *
  96662. + core_if);
  96663. +#define dwc_param_en_multiple_tx_fifo_default 1
  96664. +
  96665. +/** Number of 4-byte words in each of the Tx FIFOs in device
  96666. + * mode when dynamic FIFO sizing is enabled.
  96667. + * 4 to 768 (default 256)
  96668. + */
  96669. +extern int dwc_otg_set_param_dev_tx_fifo_size(dwc_otg_core_if_t * core_if,
  96670. + int fifo_num, int32_t val);
  96671. +extern int32_t dwc_otg_get_param_dev_tx_fifo_size(dwc_otg_core_if_t * core_if,
  96672. + int fifo_num);
  96673. +#define dwc_param_dev_tx_fifo_size_default 768
  96674. +
  96675. +/** Thresholding enable flag-
  96676. + * bit 0 - enable non-ISO Tx thresholding
  96677. + * bit 1 - enable ISO Tx thresholding
  96678. + * bit 2 - enable Rx thresholding
  96679. + */
  96680. +extern int dwc_otg_set_param_thr_ctl(dwc_otg_core_if_t * core_if, int32_t val);
  96681. +extern int32_t dwc_otg_get_thr_ctl(dwc_otg_core_if_t * core_if, int fifo_num);
  96682. +#define dwc_param_thr_ctl_default 0
  96683. +
  96684. +/** Thresholding length for Tx
  96685. + * FIFOs in 32 bit DWORDs
  96686. + */
  96687. +extern int dwc_otg_set_param_tx_thr_length(dwc_otg_core_if_t * core_if,
  96688. + int32_t val);
  96689. +extern int32_t dwc_otg_get_tx_thr_length(dwc_otg_core_if_t * core_if);
  96690. +#define dwc_param_tx_thr_length_default 64
  96691. +
  96692. +/** Thresholding length for Rx
  96693. + * FIFOs in 32 bit DWORDs
  96694. + */
  96695. +extern int dwc_otg_set_param_rx_thr_length(dwc_otg_core_if_t * core_if,
  96696. + int32_t val);
  96697. +extern int32_t dwc_otg_get_rx_thr_length(dwc_otg_core_if_t * core_if);
  96698. +#define dwc_param_rx_thr_length_default 64
  96699. +
  96700. +/**
  96701. + * Specifies whether LPM (Link Power Management) support is enabled
  96702. + */
  96703. +extern int dwc_otg_set_param_lpm_enable(dwc_otg_core_if_t * core_if,
  96704. + int32_t val);
  96705. +extern int32_t dwc_otg_get_param_lpm_enable(dwc_otg_core_if_t * core_if);
  96706. +#define dwc_param_lpm_enable_default 1
  96707. +
  96708. +/**
  96709. + * Specifies whether PTI enhancement is enabled
  96710. + */
  96711. +extern int dwc_otg_set_param_pti_enable(dwc_otg_core_if_t * core_if,
  96712. + int32_t val);
  96713. +extern int32_t dwc_otg_get_param_pti_enable(dwc_otg_core_if_t * core_if);
  96714. +#define dwc_param_pti_enable_default 0
  96715. +
  96716. +/**
  96717. + * Specifies whether MPI enhancement is enabled
  96718. + */
  96719. +extern int dwc_otg_set_param_mpi_enable(dwc_otg_core_if_t * core_if,
  96720. + int32_t val);
  96721. +extern int32_t dwc_otg_get_param_mpi_enable(dwc_otg_core_if_t * core_if);
  96722. +#define dwc_param_mpi_enable_default 0
  96723. +
  96724. +/**
  96725. + * Specifies whether ADP capability is enabled
  96726. + */
  96727. +extern int dwc_otg_set_param_adp_enable(dwc_otg_core_if_t * core_if,
  96728. + int32_t val);
  96729. +extern int32_t dwc_otg_get_param_adp_enable(dwc_otg_core_if_t * core_if);
  96730. +#define dwc_param_adp_enable_default 0
  96731. +
  96732. +/**
  96733. + * Specifies whether IC_USB capability is enabled
  96734. + */
  96735. +
  96736. +extern int dwc_otg_set_param_ic_usb_cap(dwc_otg_core_if_t * core_if,
  96737. + int32_t val);
  96738. +extern int32_t dwc_otg_get_param_ic_usb_cap(dwc_otg_core_if_t * core_if);
  96739. +#define dwc_param_ic_usb_cap_default 0
  96740. +
  96741. +extern int dwc_otg_set_param_ahb_thr_ratio(dwc_otg_core_if_t * core_if,
  96742. + int32_t val);
  96743. +extern int32_t dwc_otg_get_param_ahb_thr_ratio(dwc_otg_core_if_t * core_if);
  96744. +#define dwc_param_ahb_thr_ratio_default 0
  96745. +
  96746. +extern int dwc_otg_set_param_power_down(dwc_otg_core_if_t * core_if,
  96747. + int32_t val);
  96748. +extern int32_t dwc_otg_get_param_power_down(dwc_otg_core_if_t * core_if);
  96749. +#define dwc_param_power_down_default 0
  96750. +
  96751. +extern int dwc_otg_set_param_reload_ctl(dwc_otg_core_if_t * core_if,
  96752. + int32_t val);
  96753. +extern int32_t dwc_otg_get_param_reload_ctl(dwc_otg_core_if_t * core_if);
  96754. +#define dwc_param_reload_ctl_default 0
  96755. +
  96756. +extern int dwc_otg_set_param_dev_out_nak(dwc_otg_core_if_t * core_if,
  96757. + int32_t val);
  96758. +extern int32_t dwc_otg_get_param_dev_out_nak(dwc_otg_core_if_t * core_if);
  96759. +#define dwc_param_dev_out_nak_default 0
  96760. +
  96761. +extern int dwc_otg_set_param_cont_on_bna(dwc_otg_core_if_t * core_if,
  96762. + int32_t val);
  96763. +extern int32_t dwc_otg_get_param_cont_on_bna(dwc_otg_core_if_t * core_if);
  96764. +#define dwc_param_cont_on_bna_default 0
  96765. +
  96766. +extern int dwc_otg_set_param_ahb_single(dwc_otg_core_if_t * core_if,
  96767. + int32_t val);
  96768. +extern int32_t dwc_otg_get_param_ahb_single(dwc_otg_core_if_t * core_if);
  96769. +#define dwc_param_ahb_single_default 0
  96770. +
  96771. +extern int dwc_otg_set_param_otg_ver(dwc_otg_core_if_t * core_if, int32_t val);
  96772. +extern int32_t dwc_otg_get_param_otg_ver(dwc_otg_core_if_t * core_if);
  96773. +#define dwc_param_otg_ver_default 0
  96774. +
  96775. +/** @} */
  96776. +
  96777. +/** @name Access to registers and bit-fields */
  96778. +
  96779. +/**
  96780. + * Dump core registers and SPRAM
  96781. + */
  96782. +extern void dwc_otg_dump_dev_registers(dwc_otg_core_if_t * _core_if);
  96783. +extern void dwc_otg_dump_spram(dwc_otg_core_if_t * _core_if);
  96784. +extern void dwc_otg_dump_host_registers(dwc_otg_core_if_t * _core_if);
  96785. +extern void dwc_otg_dump_global_registers(dwc_otg_core_if_t * _core_if);
  96786. +
  96787. +/**
  96788. + * Get host negotiation status.
  96789. + */
  96790. +extern uint32_t dwc_otg_get_hnpstatus(dwc_otg_core_if_t * core_if);
  96791. +
  96792. +/**
  96793. + * Get srp status
  96794. + */
  96795. +extern uint32_t dwc_otg_get_srpstatus(dwc_otg_core_if_t * core_if);
  96796. +
  96797. +/**
  96798. + * Set hnpreq bit in the GOTGCTL register.
  96799. + */
  96800. +extern void dwc_otg_set_hnpreq(dwc_otg_core_if_t * core_if, uint32_t val);
  96801. +
  96802. +/**
  96803. + * Get Content of SNPSID register.
  96804. + */
  96805. +extern uint32_t dwc_otg_get_gsnpsid(dwc_otg_core_if_t * core_if);
  96806. +
  96807. +/**
  96808. + * Get current mode.
  96809. + * Returns 0 if in device mode, and 1 if in host mode.
  96810. + */
  96811. +extern uint32_t dwc_otg_get_mode(dwc_otg_core_if_t * core_if);
  96812. +
  96813. +/**
  96814. + * Get value of hnpcapable field in the GUSBCFG register
  96815. + */
  96816. +extern uint32_t dwc_otg_get_hnpcapable(dwc_otg_core_if_t * core_if);
  96817. +/**
  96818. + * Set value of hnpcapable field in the GUSBCFG register
  96819. + */
  96820. +extern void dwc_otg_set_hnpcapable(dwc_otg_core_if_t * core_if, uint32_t val);
  96821. +
  96822. +/**
  96823. + * Get value of srpcapable field in the GUSBCFG register
  96824. + */
  96825. +extern uint32_t dwc_otg_get_srpcapable(dwc_otg_core_if_t * core_if);
  96826. +/**
  96827. + * Set value of srpcapable field in the GUSBCFG register
  96828. + */
  96829. +extern void dwc_otg_set_srpcapable(dwc_otg_core_if_t * core_if, uint32_t val);
  96830. +
  96831. +/**
  96832. + * Get value of devspeed field in the DCFG register
  96833. + */
  96834. +extern uint32_t dwc_otg_get_devspeed(dwc_otg_core_if_t * core_if);
  96835. +/**
  96836. + * Set value of devspeed field in the DCFG register
  96837. + */
  96838. +extern void dwc_otg_set_devspeed(dwc_otg_core_if_t * core_if, uint32_t val);
  96839. +
  96840. +/**
  96841. + * Get the value of busconnected field from the HPRT0 register
  96842. + */
  96843. +extern uint32_t dwc_otg_get_busconnected(dwc_otg_core_if_t * core_if);
  96844. +
  96845. +/**
  96846. + * Gets the device enumeration Speed.
  96847. + */
  96848. +extern uint32_t dwc_otg_get_enumspeed(dwc_otg_core_if_t * core_if);
  96849. +
  96850. +/**
  96851. + * Get value of prtpwr field from the HPRT0 register
  96852. + */
  96853. +extern uint32_t dwc_otg_get_prtpower(dwc_otg_core_if_t * core_if);
  96854. +
  96855. +/**
  96856. + * Get value of flag indicating core state - hibernated or not
  96857. + */
  96858. +extern uint32_t dwc_otg_get_core_state(dwc_otg_core_if_t * core_if);
  96859. +
  96860. +/**
  96861. + * Set value of prtpwr field from the HPRT0 register
  96862. + */
  96863. +extern void dwc_otg_set_prtpower(dwc_otg_core_if_t * core_if, uint32_t val);
  96864. +
  96865. +/**
  96866. + * Get value of prtsusp field from the HPRT0 regsiter
  96867. + */
  96868. +extern uint32_t dwc_otg_get_prtsuspend(dwc_otg_core_if_t * core_if);
  96869. +/**
  96870. + * Set value of prtpwr field from the HPRT0 register
  96871. + */
  96872. +extern void dwc_otg_set_prtsuspend(dwc_otg_core_if_t * core_if, uint32_t val);
  96873. +
  96874. +/**
  96875. + * Get value of ModeChTimEn field from the HCFG regsiter
  96876. + */
  96877. +extern uint32_t dwc_otg_get_mode_ch_tim(dwc_otg_core_if_t * core_if);
  96878. +/**
  96879. + * Set value of ModeChTimEn field from the HCFG regsiter
  96880. + */
  96881. +extern void dwc_otg_set_mode_ch_tim(dwc_otg_core_if_t * core_if, uint32_t val);
  96882. +
  96883. +/**
  96884. + * Get value of Fram Interval field from the HFIR regsiter
  96885. + */
  96886. +extern uint32_t dwc_otg_get_fr_interval(dwc_otg_core_if_t * core_if);
  96887. +/**
  96888. + * Set value of Frame Interval field from the HFIR regsiter
  96889. + */
  96890. +extern void dwc_otg_set_fr_interval(dwc_otg_core_if_t * core_if, uint32_t val);
  96891. +
  96892. +/**
  96893. + * Set value of prtres field from the HPRT0 register
  96894. + *FIXME Remove?
  96895. + */
  96896. +extern void dwc_otg_set_prtresume(dwc_otg_core_if_t * core_if, uint32_t val);
  96897. +
  96898. +/**
  96899. + * Get value of rmtwkupsig bit in DCTL register
  96900. + */
  96901. +extern uint32_t dwc_otg_get_remotewakesig(dwc_otg_core_if_t * core_if);
  96902. +
  96903. +/**
  96904. + * Get value of prt_sleep_sts field from the GLPMCFG register
  96905. + */
  96906. +extern uint32_t dwc_otg_get_lpm_portsleepstatus(dwc_otg_core_if_t * core_if);
  96907. +
  96908. +/**
  96909. + * Get value of rem_wkup_en field from the GLPMCFG register
  96910. + */
  96911. +extern uint32_t dwc_otg_get_lpm_remotewakeenabled(dwc_otg_core_if_t * core_if);
  96912. +
  96913. +/**
  96914. + * Get value of appl_resp field from the GLPMCFG register
  96915. + */
  96916. +extern uint32_t dwc_otg_get_lpmresponse(dwc_otg_core_if_t * core_if);
  96917. +/**
  96918. + * Set value of appl_resp field from the GLPMCFG register
  96919. + */
  96920. +extern void dwc_otg_set_lpmresponse(dwc_otg_core_if_t * core_if, uint32_t val);
  96921. +
  96922. +/**
  96923. + * Get value of hsic_connect field from the GLPMCFG register
  96924. + */
  96925. +extern uint32_t dwc_otg_get_hsic_connect(dwc_otg_core_if_t * core_if);
  96926. +/**
  96927. + * Set value of hsic_connect field from the GLPMCFG register
  96928. + */
  96929. +extern void dwc_otg_set_hsic_connect(dwc_otg_core_if_t * core_if, uint32_t val);
  96930. +
  96931. +/**
  96932. + * Get value of inv_sel_hsic field from the GLPMCFG register.
  96933. + */
  96934. +extern uint32_t dwc_otg_get_inv_sel_hsic(dwc_otg_core_if_t * core_if);
  96935. +/**
  96936. + * Set value of inv_sel_hsic field from the GLPMFG register.
  96937. + */
  96938. +extern void dwc_otg_set_inv_sel_hsic(dwc_otg_core_if_t * core_if, uint32_t val);
  96939. +
  96940. +/*
  96941. + * Some functions for accessing registers
  96942. + */
  96943. +
  96944. +/**
  96945. + * GOTGCTL register
  96946. + */
  96947. +extern uint32_t dwc_otg_get_gotgctl(dwc_otg_core_if_t * core_if);
  96948. +extern void dwc_otg_set_gotgctl(dwc_otg_core_if_t * core_if, uint32_t val);
  96949. +
  96950. +/**
  96951. + * GUSBCFG register
  96952. + */
  96953. +extern uint32_t dwc_otg_get_gusbcfg(dwc_otg_core_if_t * core_if);
  96954. +extern void dwc_otg_set_gusbcfg(dwc_otg_core_if_t * core_if, uint32_t val);
  96955. +
  96956. +/**
  96957. + * GRXFSIZ register
  96958. + */
  96959. +extern uint32_t dwc_otg_get_grxfsiz(dwc_otg_core_if_t * core_if);
  96960. +extern void dwc_otg_set_grxfsiz(dwc_otg_core_if_t * core_if, uint32_t val);
  96961. +
  96962. +/**
  96963. + * GNPTXFSIZ register
  96964. + */
  96965. +extern uint32_t dwc_otg_get_gnptxfsiz(dwc_otg_core_if_t * core_if);
  96966. +extern void dwc_otg_set_gnptxfsiz(dwc_otg_core_if_t * core_if, uint32_t val);
  96967. +
  96968. +extern uint32_t dwc_otg_get_gpvndctl(dwc_otg_core_if_t * core_if);
  96969. +extern void dwc_otg_set_gpvndctl(dwc_otg_core_if_t * core_if, uint32_t val);
  96970. +
  96971. +/**
  96972. + * GGPIO register
  96973. + */
  96974. +extern uint32_t dwc_otg_get_ggpio(dwc_otg_core_if_t * core_if);
  96975. +extern void dwc_otg_set_ggpio(dwc_otg_core_if_t * core_if, uint32_t val);
  96976. +
  96977. +/**
  96978. + * GUID register
  96979. + */
  96980. +extern uint32_t dwc_otg_get_guid(dwc_otg_core_if_t * core_if);
  96981. +extern void dwc_otg_set_guid(dwc_otg_core_if_t * core_if, uint32_t val);
  96982. +
  96983. +/**
  96984. + * HPRT0 register
  96985. + */
  96986. +extern uint32_t dwc_otg_get_hprt0(dwc_otg_core_if_t * core_if);
  96987. +extern void dwc_otg_set_hprt0(dwc_otg_core_if_t * core_if, uint32_t val);
  96988. +
  96989. +/**
  96990. + * GHPTXFSIZE
  96991. + */
  96992. +extern uint32_t dwc_otg_get_hptxfsiz(dwc_otg_core_if_t * core_if);
  96993. +
  96994. +/** @} */
  96995. +
  96996. +#endif /* __DWC_CORE_IF_H__ */
  96997. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_dbg.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_dbg.h
  96998. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_dbg.h 1970-01-01 01:00:00.000000000 +0100
  96999. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_dbg.h 2015-11-29 09:42:39.919098694 +0100
  97000. @@ -0,0 +1,117 @@
  97001. +/* ==========================================================================
  97002. + *
  97003. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  97004. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  97005. + * otherwise expressly agreed to in writing between Synopsys and you.
  97006. + *
  97007. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  97008. + * any End User Software License Agreement or Agreement for Licensed Product
  97009. + * with Synopsys or any supplement thereto. You are permitted to use and
  97010. + * redistribute this Software in source and binary forms, with or without
  97011. + * modification, provided that redistributions of source code must retain this
  97012. + * notice. You may not view, use, disclose, copy or distribute this file or
  97013. + * any information contained herein except pursuant to this license grant from
  97014. + * Synopsys. If you do not agree with this notice, including the disclaimer
  97015. + * below, then you are not authorized to use the Software.
  97016. + *
  97017. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  97018. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  97019. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  97020. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  97021. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  97022. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  97023. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  97024. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  97025. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  97026. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  97027. + * DAMAGE.
  97028. + * ========================================================================== */
  97029. +
  97030. +#ifndef __DWC_OTG_DBG_H__
  97031. +#define __DWC_OTG_DBG_H__
  97032. +
  97033. +/** @file
  97034. + * This file defines debug levels.
  97035. + * Debugging support vanishes in non-debug builds.
  97036. + */
  97037. +
  97038. +/**
  97039. + * The Debug Level bit-mask variable.
  97040. + */
  97041. +extern uint32_t g_dbg_lvl;
  97042. +/**
  97043. + * Set the Debug Level variable.
  97044. + */
  97045. +static inline uint32_t SET_DEBUG_LEVEL(const uint32_t new)
  97046. +{
  97047. + uint32_t old = g_dbg_lvl;
  97048. + g_dbg_lvl = new;
  97049. + return old;
  97050. +}
  97051. +
  97052. +#define DBG_USER (0x1)
  97053. +/** When debug level has the DBG_CIL bit set, display CIL Debug messages. */
  97054. +#define DBG_CIL (0x2)
  97055. +/** When debug level has the DBG_CILV bit set, display CIL Verbose debug
  97056. + * messages */
  97057. +#define DBG_CILV (0x20)
  97058. +/** When debug level has the DBG_PCD bit set, display PCD (Device) debug
  97059. + * messages */
  97060. +#define DBG_PCD (0x4)
  97061. +/** When debug level has the DBG_PCDV set, display PCD (Device) Verbose debug
  97062. + * messages */
  97063. +#define DBG_PCDV (0x40)
  97064. +/** When debug level has the DBG_HCD bit set, display Host debug messages */
  97065. +#define DBG_HCD (0x8)
  97066. +/** When debug level has the DBG_HCDV bit set, display Verbose Host debug
  97067. + * messages */
  97068. +#define DBG_HCDV (0x80)
  97069. +/** When debug level has the DBG_HCD_URB bit set, display enqueued URBs in host
  97070. + * mode. */
  97071. +#define DBG_HCD_URB (0x800)
  97072. +/** When debug level has the DBG_HCDI bit set, display host interrupt
  97073. + * messages. */
  97074. +#define DBG_HCDI (0x1000)
  97075. +
  97076. +/** When debug level has any bit set, display debug messages */
  97077. +#define DBG_ANY (0xFF)
  97078. +
  97079. +/** All debug messages off */
  97080. +#define DBG_OFF 0
  97081. +
  97082. +/** Prefix string for DWC_DEBUG print macros. */
  97083. +#define USB_DWC "DWC_otg: "
  97084. +
  97085. +/**
  97086. + * Print a debug message when the Global debug level variable contains
  97087. + * the bit defined in <code>lvl</code>.
  97088. + *
  97089. + * @param[in] lvl - Debug level, use one of the DBG_ constants above.
  97090. + * @param[in] x - like printf
  97091. + *
  97092. + * Example:<p>
  97093. + * <code>
  97094. + * DWC_DEBUGPL( DBG_ANY, "%s(%p)\n", __func__, _reg_base_addr);
  97095. + * </code>
  97096. + * <br>
  97097. + * results in:<br>
  97098. + * <code>
  97099. + * usb-DWC_otg: dwc_otg_cil_init(ca867000)
  97100. + * </code>
  97101. + */
  97102. +#ifdef DEBUG
  97103. +
  97104. +# define DWC_DEBUGPL(lvl, x...) do{ if ((lvl)&g_dbg_lvl)__DWC_DEBUG(USB_DWC x ); }while(0)
  97105. +# define DWC_DEBUGP(x...) DWC_DEBUGPL(DBG_ANY, x )
  97106. +
  97107. +# define CHK_DEBUG_LEVEL(level) ((level) & g_dbg_lvl)
  97108. +
  97109. +#else
  97110. +
  97111. +# define DWC_DEBUGPL(lvl, x...) do{}while(0)
  97112. +# define DWC_DEBUGP(x...)
  97113. +
  97114. +# define CHK_DEBUG_LEVEL(level) (0)
  97115. +
  97116. +#endif /*DEBUG*/
  97117. +#endif
  97118. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_driver.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_driver.c
  97119. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_driver.c 1970-01-01 01:00:00.000000000 +0100
  97120. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_driver.c 2015-11-29 09:42:39.919098694 +0100
  97121. @@ -0,0 +1,1757 @@
  97122. +/* ==========================================================================
  97123. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_driver.c $
  97124. + * $Revision: #92 $
  97125. + * $Date: 2012/08/10 $
  97126. + * $Change: 2047372 $
  97127. + *
  97128. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  97129. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  97130. + * otherwise expressly agreed to in writing between Synopsys and you.
  97131. + *
  97132. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  97133. + * any End User Software License Agreement or Agreement for Licensed Product
  97134. + * with Synopsys or any supplement thereto. You are permitted to use and
  97135. + * redistribute this Software in source and binary forms, with or without
  97136. + * modification, provided that redistributions of source code must retain this
  97137. + * notice. You may not view, use, disclose, copy or distribute this file or
  97138. + * any information contained herein except pursuant to this license grant from
  97139. + * Synopsys. If you do not agree with this notice, including the disclaimer
  97140. + * below, then you are not authorized to use the Software.
  97141. + *
  97142. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  97143. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  97144. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  97145. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  97146. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  97147. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  97148. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  97149. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  97150. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  97151. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  97152. + * DAMAGE.
  97153. + * ========================================================================== */
  97154. +
  97155. +/** @file
  97156. + * The dwc_otg_driver module provides the initialization and cleanup entry
  97157. + * points for the DWC_otg driver. This module will be dynamically installed
  97158. + * after Linux is booted using the insmod command. When the module is
  97159. + * installed, the dwc_otg_driver_init function is called. When the module is
  97160. + * removed (using rmmod), the dwc_otg_driver_cleanup function is called.
  97161. + *
  97162. + * This module also defines a data structure for the dwc_otg_driver, which is
  97163. + * used in conjunction with the standard ARM lm_device structure. These
  97164. + * structures allow the OTG driver to comply with the standard Linux driver
  97165. + * model in which devices and drivers are registered with a bus driver. This
  97166. + * has the benefit that Linux can expose attributes of the driver and device
  97167. + * in its special sysfs file system. Users can then read or write files in
  97168. + * this file system to perform diagnostics on the driver components or the
  97169. + * device.
  97170. + */
  97171. +
  97172. +#include "dwc_otg_os_dep.h"
  97173. +#include "dwc_os.h"
  97174. +#include "dwc_otg_dbg.h"
  97175. +#include "dwc_otg_driver.h"
  97176. +#include "dwc_otg_attr.h"
  97177. +#include "dwc_otg_core_if.h"
  97178. +#include "dwc_otg_pcd_if.h"
  97179. +#include "dwc_otg_hcd_if.h"
  97180. +#include "dwc_otg_fiq_fsm.h"
  97181. +
  97182. +#define DWC_DRIVER_VERSION "3.00a 10-AUG-2012"
  97183. +#define DWC_DRIVER_DESC "HS OTG USB Controller driver"
  97184. +
  97185. +bool microframe_schedule=true;
  97186. +
  97187. +static const char dwc_driver_name[] = "dwc_otg";
  97188. +
  97189. +
  97190. +extern int pcd_init(
  97191. +#ifdef LM_INTERFACE
  97192. + struct lm_device *_dev
  97193. +#elif defined(PCI_INTERFACE)
  97194. + struct pci_dev *_dev
  97195. +#elif defined(PLATFORM_INTERFACE)
  97196. + struct platform_device *dev
  97197. +#endif
  97198. + );
  97199. +extern int hcd_init(
  97200. +#ifdef LM_INTERFACE
  97201. + struct lm_device *_dev
  97202. +#elif defined(PCI_INTERFACE)
  97203. + struct pci_dev *_dev
  97204. +#elif defined(PLATFORM_INTERFACE)
  97205. + struct platform_device *dev
  97206. +#endif
  97207. + );
  97208. +
  97209. +extern int pcd_remove(
  97210. +#ifdef LM_INTERFACE
  97211. + struct lm_device *_dev
  97212. +#elif defined(PCI_INTERFACE)
  97213. + struct pci_dev *_dev
  97214. +#elif defined(PLATFORM_INTERFACE)
  97215. + struct platform_device *_dev
  97216. +#endif
  97217. + );
  97218. +
  97219. +extern void hcd_remove(
  97220. +#ifdef LM_INTERFACE
  97221. + struct lm_device *_dev
  97222. +#elif defined(PCI_INTERFACE)
  97223. + struct pci_dev *_dev
  97224. +#elif defined(PLATFORM_INTERFACE)
  97225. + struct platform_device *_dev
  97226. +#endif
  97227. + );
  97228. +
  97229. +extern void dwc_otg_adp_start(dwc_otg_core_if_t * core_if, uint8_t is_host);
  97230. +
  97231. +/*-------------------------------------------------------------------------*/
  97232. +/* Encapsulate the module parameter settings */
  97233. +
  97234. +struct dwc_otg_driver_module_params {
  97235. + int32_t opt;
  97236. + int32_t otg_cap;
  97237. + int32_t dma_enable;
  97238. + int32_t dma_desc_enable;
  97239. + int32_t dma_burst_size;
  97240. + int32_t speed;
  97241. + int32_t host_support_fs_ls_low_power;
  97242. + int32_t host_ls_low_power_phy_clk;
  97243. + int32_t enable_dynamic_fifo;
  97244. + int32_t data_fifo_size;
  97245. + int32_t dev_rx_fifo_size;
  97246. + int32_t dev_nperio_tx_fifo_size;
  97247. + uint32_t dev_perio_tx_fifo_size[MAX_PERIO_FIFOS];
  97248. + int32_t host_rx_fifo_size;
  97249. + int32_t host_nperio_tx_fifo_size;
  97250. + int32_t host_perio_tx_fifo_size;
  97251. + int32_t max_transfer_size;
  97252. + int32_t max_packet_count;
  97253. + int32_t host_channels;
  97254. + int32_t dev_endpoints;
  97255. + int32_t phy_type;
  97256. + int32_t phy_utmi_width;
  97257. + int32_t phy_ulpi_ddr;
  97258. + int32_t phy_ulpi_ext_vbus;
  97259. + int32_t i2c_enable;
  97260. + int32_t ulpi_fs_ls;
  97261. + int32_t ts_dline;
  97262. + int32_t en_multiple_tx_fifo;
  97263. + uint32_t dev_tx_fifo_size[MAX_TX_FIFOS];
  97264. + uint32_t thr_ctl;
  97265. + uint32_t tx_thr_length;
  97266. + uint32_t rx_thr_length;
  97267. + int32_t pti_enable;
  97268. + int32_t mpi_enable;
  97269. + int32_t lpm_enable;
  97270. + int32_t ic_usb_cap;
  97271. + int32_t ahb_thr_ratio;
  97272. + int32_t power_down;
  97273. + int32_t reload_ctl;
  97274. + int32_t dev_out_nak;
  97275. + int32_t cont_on_bna;
  97276. + int32_t ahb_single;
  97277. + int32_t otg_ver;
  97278. + int32_t adp_enable;
  97279. +};
  97280. +
  97281. +static struct dwc_otg_driver_module_params dwc_otg_module_params = {
  97282. + .opt = -1,
  97283. + .otg_cap = -1,
  97284. + .dma_enable = -1,
  97285. + .dma_desc_enable = -1,
  97286. + .dma_burst_size = -1,
  97287. + .speed = -1,
  97288. + .host_support_fs_ls_low_power = -1,
  97289. + .host_ls_low_power_phy_clk = -1,
  97290. + .enable_dynamic_fifo = -1,
  97291. + .data_fifo_size = -1,
  97292. + .dev_rx_fifo_size = -1,
  97293. + .dev_nperio_tx_fifo_size = -1,
  97294. + .dev_perio_tx_fifo_size = {
  97295. + /* dev_perio_tx_fifo_size_1 */
  97296. + -1,
  97297. + -1,
  97298. + -1,
  97299. + -1,
  97300. + -1,
  97301. + -1,
  97302. + -1,
  97303. + -1,
  97304. + -1,
  97305. + -1,
  97306. + -1,
  97307. + -1,
  97308. + -1,
  97309. + -1,
  97310. + -1
  97311. + /* 15 */
  97312. + },
  97313. + .host_rx_fifo_size = -1,
  97314. + .host_nperio_tx_fifo_size = -1,
  97315. + .host_perio_tx_fifo_size = -1,
  97316. + .max_transfer_size = -1,
  97317. + .max_packet_count = -1,
  97318. + .host_channels = -1,
  97319. + .dev_endpoints = -1,
  97320. + .phy_type = -1,
  97321. + .phy_utmi_width = -1,
  97322. + .phy_ulpi_ddr = -1,
  97323. + .phy_ulpi_ext_vbus = -1,
  97324. + .i2c_enable = -1,
  97325. + .ulpi_fs_ls = -1,
  97326. + .ts_dline = -1,
  97327. + .en_multiple_tx_fifo = -1,
  97328. + .dev_tx_fifo_size = {
  97329. + /* dev_tx_fifo_size */
  97330. + -1,
  97331. + -1,
  97332. + -1,
  97333. + -1,
  97334. + -1,
  97335. + -1,
  97336. + -1,
  97337. + -1,
  97338. + -1,
  97339. + -1,
  97340. + -1,
  97341. + -1,
  97342. + -1,
  97343. + -1,
  97344. + -1
  97345. + /* 15 */
  97346. + },
  97347. + .thr_ctl = -1,
  97348. + .tx_thr_length = -1,
  97349. + .rx_thr_length = -1,
  97350. + .pti_enable = -1,
  97351. + .mpi_enable = -1,
  97352. + .lpm_enable = 0,
  97353. + .ic_usb_cap = -1,
  97354. + .ahb_thr_ratio = -1,
  97355. + .power_down = -1,
  97356. + .reload_ctl = -1,
  97357. + .dev_out_nak = -1,
  97358. + .cont_on_bna = -1,
  97359. + .ahb_single = -1,
  97360. + .otg_ver = -1,
  97361. + .adp_enable = -1,
  97362. +};
  97363. +
  97364. +//Global variable to switch the fiq fix on or off
  97365. +bool fiq_enable = 1;
  97366. +// Global variable to enable the split transaction fix
  97367. +bool fiq_fsm_enable = true;
  97368. +//Bulk split-transaction NAK holdoff in microframes
  97369. +uint16_t nak_holdoff = 8;
  97370. +
  97371. +unsigned short fiq_fsm_mask = 0x07;
  97372. +
  97373. +/**
  97374. + * This function shows the Driver Version.
  97375. + */
  97376. +static ssize_t version_show(struct device_driver *dev, char *buf)
  97377. +{
  97378. + return snprintf(buf, sizeof(DWC_DRIVER_VERSION) + 2, "%s\n",
  97379. + DWC_DRIVER_VERSION);
  97380. +}
  97381. +
  97382. +static DRIVER_ATTR(version, S_IRUGO, version_show, NULL);
  97383. +
  97384. +/**
  97385. + * Global Debug Level Mask.
  97386. + */
  97387. +uint32_t g_dbg_lvl = 0; /* OFF */
  97388. +
  97389. +/**
  97390. + * This function shows the driver Debug Level.
  97391. + */
  97392. +static ssize_t dbg_level_show(struct device_driver *drv, char *buf)
  97393. +{
  97394. + return sprintf(buf, "0x%0x\n", g_dbg_lvl);
  97395. +}
  97396. +
  97397. +/**
  97398. + * This function stores the driver Debug Level.
  97399. + */
  97400. +static ssize_t dbg_level_store(struct device_driver *drv, const char *buf,
  97401. + size_t count)
  97402. +{
  97403. + g_dbg_lvl = simple_strtoul(buf, NULL, 16);
  97404. + return count;
  97405. +}
  97406. +
  97407. +static DRIVER_ATTR(debuglevel, S_IRUGO | S_IWUSR, dbg_level_show,
  97408. + dbg_level_store);
  97409. +
  97410. +/**
  97411. + * This function is called during module intialization
  97412. + * to pass module parameters to the DWC_OTG CORE.
  97413. + */
  97414. +static int set_parameters(dwc_otg_core_if_t * core_if)
  97415. +{
  97416. + int retval = 0;
  97417. + int i;
  97418. +
  97419. + if (dwc_otg_module_params.otg_cap != -1) {
  97420. + retval +=
  97421. + dwc_otg_set_param_otg_cap(core_if,
  97422. + dwc_otg_module_params.otg_cap);
  97423. + }
  97424. + if (dwc_otg_module_params.dma_enable != -1) {
  97425. + retval +=
  97426. + dwc_otg_set_param_dma_enable(core_if,
  97427. + dwc_otg_module_params.
  97428. + dma_enable);
  97429. + }
  97430. + if (dwc_otg_module_params.dma_desc_enable != -1) {
  97431. + retval +=
  97432. + dwc_otg_set_param_dma_desc_enable(core_if,
  97433. + dwc_otg_module_params.
  97434. + dma_desc_enable);
  97435. + }
  97436. + if (dwc_otg_module_params.opt != -1) {
  97437. + retval +=
  97438. + dwc_otg_set_param_opt(core_if, dwc_otg_module_params.opt);
  97439. + }
  97440. + if (dwc_otg_module_params.dma_burst_size != -1) {
  97441. + retval +=
  97442. + dwc_otg_set_param_dma_burst_size(core_if,
  97443. + dwc_otg_module_params.
  97444. + dma_burst_size);
  97445. + }
  97446. + if (dwc_otg_module_params.host_support_fs_ls_low_power != -1) {
  97447. + retval +=
  97448. + dwc_otg_set_param_host_support_fs_ls_low_power(core_if,
  97449. + dwc_otg_module_params.
  97450. + host_support_fs_ls_low_power);
  97451. + }
  97452. + if (dwc_otg_module_params.enable_dynamic_fifo != -1) {
  97453. + retval +=
  97454. + dwc_otg_set_param_enable_dynamic_fifo(core_if,
  97455. + dwc_otg_module_params.
  97456. + enable_dynamic_fifo);
  97457. + }
  97458. + if (dwc_otg_module_params.data_fifo_size != -1) {
  97459. + retval +=
  97460. + dwc_otg_set_param_data_fifo_size(core_if,
  97461. + dwc_otg_module_params.
  97462. + data_fifo_size);
  97463. + }
  97464. + if (dwc_otg_module_params.dev_rx_fifo_size != -1) {
  97465. + retval +=
  97466. + dwc_otg_set_param_dev_rx_fifo_size(core_if,
  97467. + dwc_otg_module_params.
  97468. + dev_rx_fifo_size);
  97469. + }
  97470. + if (dwc_otg_module_params.dev_nperio_tx_fifo_size != -1) {
  97471. + retval +=
  97472. + dwc_otg_set_param_dev_nperio_tx_fifo_size(core_if,
  97473. + dwc_otg_module_params.
  97474. + dev_nperio_tx_fifo_size);
  97475. + }
  97476. + if (dwc_otg_module_params.host_rx_fifo_size != -1) {
  97477. + retval +=
  97478. + dwc_otg_set_param_host_rx_fifo_size(core_if,
  97479. + dwc_otg_module_params.host_rx_fifo_size);
  97480. + }
  97481. + if (dwc_otg_module_params.host_nperio_tx_fifo_size != -1) {
  97482. + retval +=
  97483. + dwc_otg_set_param_host_nperio_tx_fifo_size(core_if,
  97484. + dwc_otg_module_params.
  97485. + host_nperio_tx_fifo_size);
  97486. + }
  97487. + if (dwc_otg_module_params.host_perio_tx_fifo_size != -1) {
  97488. + retval +=
  97489. + dwc_otg_set_param_host_perio_tx_fifo_size(core_if,
  97490. + dwc_otg_module_params.
  97491. + host_perio_tx_fifo_size);
  97492. + }
  97493. + if (dwc_otg_module_params.max_transfer_size != -1) {
  97494. + retval +=
  97495. + dwc_otg_set_param_max_transfer_size(core_if,
  97496. + dwc_otg_module_params.
  97497. + max_transfer_size);
  97498. + }
  97499. + if (dwc_otg_module_params.max_packet_count != -1) {
  97500. + retval +=
  97501. + dwc_otg_set_param_max_packet_count(core_if,
  97502. + dwc_otg_module_params.
  97503. + max_packet_count);
  97504. + }
  97505. + if (dwc_otg_module_params.host_channels != -1) {
  97506. + retval +=
  97507. + dwc_otg_set_param_host_channels(core_if,
  97508. + dwc_otg_module_params.
  97509. + host_channels);
  97510. + }
  97511. + if (dwc_otg_module_params.dev_endpoints != -1) {
  97512. + retval +=
  97513. + dwc_otg_set_param_dev_endpoints(core_if,
  97514. + dwc_otg_module_params.
  97515. + dev_endpoints);
  97516. + }
  97517. + if (dwc_otg_module_params.phy_type != -1) {
  97518. + retval +=
  97519. + dwc_otg_set_param_phy_type(core_if,
  97520. + dwc_otg_module_params.phy_type);
  97521. + }
  97522. + if (dwc_otg_module_params.speed != -1) {
  97523. + retval +=
  97524. + dwc_otg_set_param_speed(core_if,
  97525. + dwc_otg_module_params.speed);
  97526. + }
  97527. + if (dwc_otg_module_params.host_ls_low_power_phy_clk != -1) {
  97528. + retval +=
  97529. + dwc_otg_set_param_host_ls_low_power_phy_clk(core_if,
  97530. + dwc_otg_module_params.
  97531. + host_ls_low_power_phy_clk);
  97532. + }
  97533. + if (dwc_otg_module_params.phy_ulpi_ddr != -1) {
  97534. + retval +=
  97535. + dwc_otg_set_param_phy_ulpi_ddr(core_if,
  97536. + dwc_otg_module_params.
  97537. + phy_ulpi_ddr);
  97538. + }
  97539. + if (dwc_otg_module_params.phy_ulpi_ext_vbus != -1) {
  97540. + retval +=
  97541. + dwc_otg_set_param_phy_ulpi_ext_vbus(core_if,
  97542. + dwc_otg_module_params.
  97543. + phy_ulpi_ext_vbus);
  97544. + }
  97545. + if (dwc_otg_module_params.phy_utmi_width != -1) {
  97546. + retval +=
  97547. + dwc_otg_set_param_phy_utmi_width(core_if,
  97548. + dwc_otg_module_params.
  97549. + phy_utmi_width);
  97550. + }
  97551. + if (dwc_otg_module_params.ulpi_fs_ls != -1) {
  97552. + retval +=
  97553. + dwc_otg_set_param_ulpi_fs_ls(core_if,
  97554. + dwc_otg_module_params.ulpi_fs_ls);
  97555. + }
  97556. + if (dwc_otg_module_params.ts_dline != -1) {
  97557. + retval +=
  97558. + dwc_otg_set_param_ts_dline(core_if,
  97559. + dwc_otg_module_params.ts_dline);
  97560. + }
  97561. + if (dwc_otg_module_params.i2c_enable != -1) {
  97562. + retval +=
  97563. + dwc_otg_set_param_i2c_enable(core_if,
  97564. + dwc_otg_module_params.
  97565. + i2c_enable);
  97566. + }
  97567. + if (dwc_otg_module_params.en_multiple_tx_fifo != -1) {
  97568. + retval +=
  97569. + dwc_otg_set_param_en_multiple_tx_fifo(core_if,
  97570. + dwc_otg_module_params.
  97571. + en_multiple_tx_fifo);
  97572. + }
  97573. + for (i = 0; i < 15; i++) {
  97574. + if (dwc_otg_module_params.dev_perio_tx_fifo_size[i] != -1) {
  97575. + retval +=
  97576. + dwc_otg_set_param_dev_perio_tx_fifo_size(core_if,
  97577. + dwc_otg_module_params.
  97578. + dev_perio_tx_fifo_size
  97579. + [i], i);
  97580. + }
  97581. + }
  97582. +
  97583. + for (i = 0; i < 15; i++) {
  97584. + if (dwc_otg_module_params.dev_tx_fifo_size[i] != -1) {
  97585. + retval += dwc_otg_set_param_dev_tx_fifo_size(core_if,
  97586. + dwc_otg_module_params.
  97587. + dev_tx_fifo_size
  97588. + [i], i);
  97589. + }
  97590. + }
  97591. + if (dwc_otg_module_params.thr_ctl != -1) {
  97592. + retval +=
  97593. + dwc_otg_set_param_thr_ctl(core_if,
  97594. + dwc_otg_module_params.thr_ctl);
  97595. + }
  97596. + if (dwc_otg_module_params.mpi_enable != -1) {
  97597. + retval +=
  97598. + dwc_otg_set_param_mpi_enable(core_if,
  97599. + dwc_otg_module_params.
  97600. + mpi_enable);
  97601. + }
  97602. + if (dwc_otg_module_params.pti_enable != -1) {
  97603. + retval +=
  97604. + dwc_otg_set_param_pti_enable(core_if,
  97605. + dwc_otg_module_params.
  97606. + pti_enable);
  97607. + }
  97608. + if (dwc_otg_module_params.lpm_enable != -1) {
  97609. + retval +=
  97610. + dwc_otg_set_param_lpm_enable(core_if,
  97611. + dwc_otg_module_params.
  97612. + lpm_enable);
  97613. + }
  97614. + if (dwc_otg_module_params.ic_usb_cap != -1) {
  97615. + retval +=
  97616. + dwc_otg_set_param_ic_usb_cap(core_if,
  97617. + dwc_otg_module_params.
  97618. + ic_usb_cap);
  97619. + }
  97620. + if (dwc_otg_module_params.tx_thr_length != -1) {
  97621. + retval +=
  97622. + dwc_otg_set_param_tx_thr_length(core_if,
  97623. + dwc_otg_module_params.tx_thr_length);
  97624. + }
  97625. + if (dwc_otg_module_params.rx_thr_length != -1) {
  97626. + retval +=
  97627. + dwc_otg_set_param_rx_thr_length(core_if,
  97628. + dwc_otg_module_params.
  97629. + rx_thr_length);
  97630. + }
  97631. + if (dwc_otg_module_params.ahb_thr_ratio != -1) {
  97632. + retval +=
  97633. + dwc_otg_set_param_ahb_thr_ratio(core_if,
  97634. + dwc_otg_module_params.ahb_thr_ratio);
  97635. + }
  97636. + if (dwc_otg_module_params.power_down != -1) {
  97637. + retval +=
  97638. + dwc_otg_set_param_power_down(core_if,
  97639. + dwc_otg_module_params.power_down);
  97640. + }
  97641. + if (dwc_otg_module_params.reload_ctl != -1) {
  97642. + retval +=
  97643. + dwc_otg_set_param_reload_ctl(core_if,
  97644. + dwc_otg_module_params.reload_ctl);
  97645. + }
  97646. +
  97647. + if (dwc_otg_module_params.dev_out_nak != -1) {
  97648. + retval +=
  97649. + dwc_otg_set_param_dev_out_nak(core_if,
  97650. + dwc_otg_module_params.dev_out_nak);
  97651. + }
  97652. +
  97653. + if (dwc_otg_module_params.cont_on_bna != -1) {
  97654. + retval +=
  97655. + dwc_otg_set_param_cont_on_bna(core_if,
  97656. + dwc_otg_module_params.cont_on_bna);
  97657. + }
  97658. +
  97659. + if (dwc_otg_module_params.ahb_single != -1) {
  97660. + retval +=
  97661. + dwc_otg_set_param_ahb_single(core_if,
  97662. + dwc_otg_module_params.ahb_single);
  97663. + }
  97664. +
  97665. + if (dwc_otg_module_params.otg_ver != -1) {
  97666. + retval +=
  97667. + dwc_otg_set_param_otg_ver(core_if,
  97668. + dwc_otg_module_params.otg_ver);
  97669. + }
  97670. + if (dwc_otg_module_params.adp_enable != -1) {
  97671. + retval +=
  97672. + dwc_otg_set_param_adp_enable(core_if,
  97673. + dwc_otg_module_params.
  97674. + adp_enable);
  97675. + }
  97676. + return retval;
  97677. +}
  97678. +
  97679. +/**
  97680. + * This function is the top level interrupt handler for the Common
  97681. + * (Device and host modes) interrupts.
  97682. + */
  97683. +static irqreturn_t dwc_otg_common_irq(int irq, void *dev)
  97684. +{
  97685. + int32_t retval = IRQ_NONE;
  97686. +
  97687. + retval = dwc_otg_handle_common_intr(dev);
  97688. + if (retval != 0) {
  97689. + S3C2410X_CLEAR_EINTPEND();
  97690. + }
  97691. + return IRQ_RETVAL(retval);
  97692. +}
  97693. +
  97694. +/**
  97695. + * This function is called when a lm_device is unregistered with the
  97696. + * dwc_otg_driver. This happens, for example, when the rmmod command is
  97697. + * executed. The device may or may not be electrically present. If it is
  97698. + * present, the driver stops device processing. Any resources used on behalf
  97699. + * of this device are freed.
  97700. + *
  97701. + * @param _dev
  97702. + */
  97703. +#ifdef LM_INTERFACE
  97704. +#define REM_RETVAL(n)
  97705. +static void dwc_otg_driver_remove( struct lm_device *_dev )
  97706. +{ dwc_otg_device_t *otg_dev = lm_get_drvdata(_dev);
  97707. +#elif defined(PCI_INTERFACE)
  97708. +#define REM_RETVAL(n)
  97709. +static void dwc_otg_driver_remove( struct pci_dev *_dev )
  97710. +{ dwc_otg_device_t *otg_dev = pci_get_drvdata(_dev);
  97711. +#elif defined(PLATFORM_INTERFACE)
  97712. +#define REM_RETVAL(n) n
  97713. +static int dwc_otg_driver_remove( struct platform_device *_dev )
  97714. +{ dwc_otg_device_t *otg_dev = platform_get_drvdata(_dev);
  97715. +#endif
  97716. +
  97717. + DWC_DEBUGPL(DBG_ANY, "%s(%p) otg_dev %p\n", __func__, _dev, otg_dev);
  97718. +
  97719. + if (!otg_dev) {
  97720. + /* Memory allocation for the dwc_otg_device failed. */
  97721. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev NULL!\n", __func__);
  97722. + return REM_RETVAL(-ENOMEM);
  97723. + }
  97724. +#ifndef DWC_DEVICE_ONLY
  97725. + if (otg_dev->hcd) {
  97726. + hcd_remove(_dev);
  97727. + } else {
  97728. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev->hcd NULL!\n", __func__);
  97729. + return REM_RETVAL(-EINVAL);
  97730. + }
  97731. +#endif
  97732. +
  97733. +#ifndef DWC_HOST_ONLY
  97734. + if (otg_dev->pcd) {
  97735. + pcd_remove(_dev);
  97736. + } else {
  97737. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev->pcd NULL!\n", __func__);
  97738. + return REM_RETVAL(-EINVAL);
  97739. + }
  97740. +#endif
  97741. + /*
  97742. + * Free the IRQ
  97743. + */
  97744. + if (otg_dev->common_irq_installed) {
  97745. +#ifdef PLATFORM_INTERFACE
  97746. + free_irq(platform_get_irq(_dev, 0), otg_dev);
  97747. +#else
  97748. + free_irq(_dev->irq, otg_dev);
  97749. +#endif
  97750. + } else {
  97751. + DWC_DEBUGPL(DBG_ANY, "%s: There is no installed irq!\n", __func__);
  97752. + return REM_RETVAL(-ENXIO);
  97753. + }
  97754. +
  97755. + if (otg_dev->core_if) {
  97756. + dwc_otg_cil_remove(otg_dev->core_if);
  97757. + } else {
  97758. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev->core_if NULL!\n", __func__);
  97759. + return REM_RETVAL(-ENXIO);
  97760. + }
  97761. +
  97762. + /*
  97763. + * Remove the device attributes
  97764. + */
  97765. + dwc_otg_attr_remove(_dev);
  97766. +
  97767. + /*
  97768. + * Return the memory.
  97769. + */
  97770. + if (otg_dev->os_dep.base) {
  97771. + iounmap(otg_dev->os_dep.base);
  97772. + }
  97773. + DWC_FREE(otg_dev);
  97774. +
  97775. + /*
  97776. + * Clear the drvdata pointer.
  97777. + */
  97778. +#ifdef LM_INTERFACE
  97779. + lm_set_drvdata(_dev, 0);
  97780. +#elif defined(PCI_INTERFACE)
  97781. + release_mem_region(otg_dev->os_dep.rsrc_start,
  97782. + otg_dev->os_dep.rsrc_len);
  97783. + pci_set_drvdata(_dev, 0);
  97784. +#elif defined(PLATFORM_INTERFACE)
  97785. + platform_set_drvdata(_dev, 0);
  97786. +#endif
  97787. + return REM_RETVAL(0);
  97788. +}
  97789. +
  97790. +/**
  97791. + * This function is called when an lm_device is bound to a
  97792. + * dwc_otg_driver. It creates the driver components required to
  97793. + * control the device (CIL, HCD, and PCD) and it initializes the
  97794. + * device. The driver components are stored in a dwc_otg_device
  97795. + * structure. A reference to the dwc_otg_device is saved in the
  97796. + * lm_device. This allows the driver to access the dwc_otg_device
  97797. + * structure on subsequent calls to driver methods for this device.
  97798. + *
  97799. + * @param _dev Bus device
  97800. + */
  97801. +static int dwc_otg_driver_probe(
  97802. +#ifdef LM_INTERFACE
  97803. + struct lm_device *_dev
  97804. +#elif defined(PCI_INTERFACE)
  97805. + struct pci_dev *_dev,
  97806. + const struct pci_device_id *id
  97807. +#elif defined(PLATFORM_INTERFACE)
  97808. + struct platform_device *_dev
  97809. +#endif
  97810. + )
  97811. +{
  97812. + int retval = 0;
  97813. + dwc_otg_device_t *dwc_otg_device;
  97814. + int devirq;
  97815. +
  97816. + dev_dbg(&_dev->dev, "dwc_otg_driver_probe(%p)\n", _dev);
  97817. +#ifdef LM_INTERFACE
  97818. + dev_dbg(&_dev->dev, "start=0x%08x\n", (unsigned)_dev->resource.start);
  97819. +#elif defined(PCI_INTERFACE)
  97820. + if (!id) {
  97821. + DWC_ERROR("Invalid pci_device_id %p", id);
  97822. + return -EINVAL;
  97823. + }
  97824. +
  97825. + if (!_dev || (pci_enable_device(_dev) < 0)) {
  97826. + DWC_ERROR("Invalid pci_device %p", _dev);
  97827. + return -ENODEV;
  97828. + }
  97829. + dev_dbg(&_dev->dev, "start=0x%08x\n", (unsigned)pci_resource_start(_dev,0));
  97830. + /* other stuff needed as well? */
  97831. +
  97832. +#elif defined(PLATFORM_INTERFACE)
  97833. + dev_dbg(&_dev->dev, "start=0x%08x (len 0x%x)\n",
  97834. + (unsigned)_dev->resource->start,
  97835. + (unsigned)(_dev->resource->end - _dev->resource->start));
  97836. +#endif
  97837. +
  97838. + dwc_otg_device = DWC_ALLOC(sizeof(dwc_otg_device_t));
  97839. +
  97840. + if (!dwc_otg_device) {
  97841. + dev_err(&_dev->dev, "kmalloc of dwc_otg_device failed\n");
  97842. + return -ENOMEM;
  97843. + }
  97844. +
  97845. + memset(dwc_otg_device, 0, sizeof(*dwc_otg_device));
  97846. + dwc_otg_device->os_dep.reg_offset = 0xFFFFFFFF;
  97847. + dwc_otg_device->os_dep.platformdev = _dev;
  97848. +
  97849. + /*
  97850. + * Map the DWC_otg Core memory into virtual address space.
  97851. + */
  97852. +#ifdef LM_INTERFACE
  97853. + dwc_otg_device->os_dep.base = ioremap(_dev->resource.start, SZ_256K);
  97854. +
  97855. + if (!dwc_otg_device->os_dep.base) {
  97856. + dev_err(&_dev->dev, "ioremap() failed\n");
  97857. + DWC_FREE(dwc_otg_device);
  97858. + return -ENOMEM;
  97859. + }
  97860. + dev_dbg(&_dev->dev, "base=0x%08x\n",
  97861. + (unsigned)dwc_otg_device->os_dep.base);
  97862. +#elif defined(PCI_INTERFACE)
  97863. + _dev->current_state = PCI_D0;
  97864. + _dev->dev.power.power_state = PMSG_ON;
  97865. +
  97866. + if (!_dev->irq) {
  97867. + DWC_ERROR("Found HC with no IRQ. Check BIOS/PCI %s setup!",
  97868. + pci_name(_dev));
  97869. + iounmap(dwc_otg_device->os_dep.base);
  97870. + DWC_FREE(dwc_otg_device);
  97871. + return -ENODEV;
  97872. + }
  97873. +
  97874. + dwc_otg_device->os_dep.rsrc_start = pci_resource_start(_dev, 0);
  97875. + dwc_otg_device->os_dep.rsrc_len = pci_resource_len(_dev, 0);
  97876. + DWC_DEBUGPL(DBG_ANY, "PCI resource: start=%08x, len=%08x\n",
  97877. + (unsigned)dwc_otg_device->os_dep.rsrc_start,
  97878. + (unsigned)dwc_otg_device->os_dep.rsrc_len);
  97879. + if (!request_mem_region
  97880. + (dwc_otg_device->os_dep.rsrc_start, dwc_otg_device->os_dep.rsrc_len,
  97881. + "dwc_otg")) {
  97882. + dev_dbg(&_dev->dev, "error requesting memory\n");
  97883. + iounmap(dwc_otg_device->os_dep.base);
  97884. + DWC_FREE(dwc_otg_device);
  97885. + return -EFAULT;
  97886. + }
  97887. +
  97888. + dwc_otg_device->os_dep.base =
  97889. + ioremap_nocache(dwc_otg_device->os_dep.rsrc_start,
  97890. + dwc_otg_device->os_dep.rsrc_len);
  97891. + if (dwc_otg_device->os_dep.base == NULL) {
  97892. + dev_dbg(&_dev->dev, "error mapping memory\n");
  97893. + release_mem_region(dwc_otg_device->os_dep.rsrc_start,
  97894. + dwc_otg_device->os_dep.rsrc_len);
  97895. + iounmap(dwc_otg_device->os_dep.base);
  97896. + DWC_FREE(dwc_otg_device);
  97897. + return -EFAULT;
  97898. + }
  97899. + dev_dbg(&_dev->dev, "base=0x%p (before adjust) \n",
  97900. + dwc_otg_device->os_dep.base);
  97901. + dwc_otg_device->os_dep.base = (char *)dwc_otg_device->os_dep.base;
  97902. + dev_dbg(&_dev->dev, "base=0x%p (after adjust) \n",
  97903. + dwc_otg_device->os_dep.base);
  97904. + dev_dbg(&_dev->dev, "%s: mapped PA 0x%x to VA 0x%p\n", __func__,
  97905. + (unsigned)dwc_otg_device->os_dep.rsrc_start,
  97906. + dwc_otg_device->os_dep.base);
  97907. +
  97908. + pci_set_master(_dev);
  97909. + pci_set_drvdata(_dev, dwc_otg_device);
  97910. +#elif defined(PLATFORM_INTERFACE)
  97911. + DWC_DEBUGPL(DBG_ANY,"Platform resource: start=%08x, len=%08x\n",
  97912. + _dev->resource->start,
  97913. + _dev->resource->end - _dev->resource->start + 1);
  97914. +#if 1
  97915. + if (!request_mem_region(_dev->resource[0].start,
  97916. + _dev->resource[0].end - _dev->resource[0].start + 1,
  97917. + "dwc_otg")) {
  97918. + dev_dbg(&_dev->dev, "error reserving mapped memory\n");
  97919. + retval = -EFAULT;
  97920. + goto fail;
  97921. + }
  97922. +
  97923. + dwc_otg_device->os_dep.base = ioremap_nocache(_dev->resource[0].start,
  97924. + _dev->resource[0].end -
  97925. + _dev->resource[0].start+1);
  97926. + if (fiq_enable)
  97927. + {
  97928. + if (!request_mem_region(_dev->resource[1].start,
  97929. + _dev->resource[1].end - _dev->resource[1].start + 1,
  97930. + "dwc_otg")) {
  97931. + dev_dbg(&_dev->dev, "error reserving mapped memory\n");
  97932. + retval = -EFAULT;
  97933. + goto fail;
  97934. + }
  97935. +
  97936. + dwc_otg_device->os_dep.mphi_base = ioremap_nocache(_dev->resource[1].start,
  97937. + _dev->resource[1].end -
  97938. + _dev->resource[1].start + 1);
  97939. + }
  97940. +
  97941. +#else
  97942. + {
  97943. + struct map_desc desc = {
  97944. + .virtual = IO_ADDRESS((unsigned)_dev->resource->start),
  97945. + .pfn = __phys_to_pfn((unsigned)_dev->resource->start),
  97946. + .length = SZ_128K,
  97947. + .type = MT_DEVICE
  97948. + };
  97949. + iotable_init(&desc, 1);
  97950. + dwc_otg_device->os_dep.base = (void *)desc.virtual;
  97951. + }
  97952. +#endif
  97953. + if (!dwc_otg_device->os_dep.base) {
  97954. + dev_err(&_dev->dev, "ioremap() failed\n");
  97955. + retval = -ENOMEM;
  97956. + goto fail;
  97957. + }
  97958. + dev_dbg(&_dev->dev, "base=0x%08x\n",
  97959. + (unsigned)dwc_otg_device->os_dep.base);
  97960. +#endif
  97961. +
  97962. + /*
  97963. + * Initialize driver data to point to the global DWC_otg
  97964. + * Device structure.
  97965. + */
  97966. +#ifdef LM_INTERFACE
  97967. + lm_set_drvdata(_dev, dwc_otg_device);
  97968. +#elif defined(PLATFORM_INTERFACE)
  97969. + platform_set_drvdata(_dev, dwc_otg_device);
  97970. +#endif
  97971. + dev_dbg(&_dev->dev, "dwc_otg_device=0x%p\n", dwc_otg_device);
  97972. +
  97973. + dwc_otg_device->core_if = dwc_otg_cil_init(dwc_otg_device->os_dep.base);
  97974. + DWC_DEBUGPL(DBG_HCDV, "probe of device %p given core_if %p\n",
  97975. + dwc_otg_device, dwc_otg_device->core_if);//GRAYG
  97976. +
  97977. + if (!dwc_otg_device->core_if) {
  97978. + dev_err(&_dev->dev, "CIL initialization failed!\n");
  97979. + retval = -ENOMEM;
  97980. + goto fail;
  97981. + }
  97982. +
  97983. + dev_dbg(&_dev->dev, "Calling get_gsnpsid\n");
  97984. + /*
  97985. + * Attempt to ensure this device is really a DWC_otg Controller.
  97986. + * Read and verify the SNPSID register contents. The value should be
  97987. + * 0x45F42XXX or 0x45F42XXX, which corresponds to either "OT2" or "OTG3",
  97988. + * as in "OTG version 2.XX" or "OTG version 3.XX".
  97989. + */
  97990. +
  97991. + if (((dwc_otg_get_gsnpsid(dwc_otg_device->core_if) & 0xFFFFF000) != 0x4F542000) &&
  97992. + ((dwc_otg_get_gsnpsid(dwc_otg_device->core_if) & 0xFFFFF000) != 0x4F543000)) {
  97993. + dev_err(&_dev->dev, "Bad value for SNPSID: 0x%08x\n",
  97994. + dwc_otg_get_gsnpsid(dwc_otg_device->core_if));
  97995. + retval = -EINVAL;
  97996. + goto fail;
  97997. + }
  97998. +
  97999. + /*
  98000. + * Validate parameter values.
  98001. + */
  98002. + dev_dbg(&_dev->dev, "Calling set_parameters\n");
  98003. + if (set_parameters(dwc_otg_device->core_if)) {
  98004. + retval = -EINVAL;
  98005. + goto fail;
  98006. + }
  98007. +
  98008. + /*
  98009. + * Create Device Attributes in sysfs
  98010. + */
  98011. + dev_dbg(&_dev->dev, "Calling attr_create\n");
  98012. + dwc_otg_attr_create(_dev);
  98013. +
  98014. + /*
  98015. + * Disable the global interrupt until all the interrupt
  98016. + * handlers are installed.
  98017. + */
  98018. + dev_dbg(&_dev->dev, "Calling disable_global_interrupts\n");
  98019. + dwc_otg_disable_global_interrupts(dwc_otg_device->core_if);
  98020. +
  98021. + /*
  98022. + * Install the interrupt handler for the common interrupts before
  98023. + * enabling common interrupts in core_init below.
  98024. + */
  98025. +
  98026. +#if defined(PLATFORM_INTERFACE)
  98027. + devirq = platform_get_irq(_dev, fiq_enable ? 0 : 1);
  98028. +#else
  98029. + devirq = _dev->irq;
  98030. +#endif
  98031. + DWC_DEBUGPL(DBG_CIL, "registering (common) handler for irq%d\n",
  98032. + devirq);
  98033. + dev_dbg(&_dev->dev, "Calling request_irq(%d)\n", devirq);
  98034. + retval = request_irq(devirq, dwc_otg_common_irq,
  98035. + IRQF_SHARED,
  98036. + "dwc_otg", dwc_otg_device);
  98037. + if (retval) {
  98038. + DWC_ERROR("request of irq%d failed\n", devirq);
  98039. + retval = -EBUSY;
  98040. + goto fail;
  98041. + } else {
  98042. + dwc_otg_device->common_irq_installed = 1;
  98043. + }
  98044. +
  98045. +#ifndef IRQF_TRIGGER_LOW
  98046. +#if defined(LM_INTERFACE) || defined(PLATFORM_INTERFACE)
  98047. + dev_dbg(&_dev->dev, "Calling set_irq_type\n");
  98048. + set_irq_type(devirq,
  98049. +#if (LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30))
  98050. + IRQT_LOW
  98051. +#else
  98052. + IRQ_TYPE_LEVEL_LOW
  98053. +#endif
  98054. + );
  98055. +#endif
  98056. +#endif /*IRQF_TRIGGER_LOW*/
  98057. +
  98058. + /*
  98059. + * Initialize the DWC_otg core.
  98060. + */
  98061. + dev_dbg(&_dev->dev, "Calling dwc_otg_core_init\n");
  98062. + dwc_otg_core_init(dwc_otg_device->core_if);
  98063. +
  98064. +#ifndef DWC_HOST_ONLY
  98065. + /*
  98066. + * Initialize the PCD
  98067. + */
  98068. + dev_dbg(&_dev->dev, "Calling pcd_init\n");
  98069. + retval = pcd_init(_dev);
  98070. + if (retval != 0) {
  98071. + DWC_ERROR("pcd_init failed\n");
  98072. + dwc_otg_device->pcd = NULL;
  98073. + goto fail;
  98074. + }
  98075. +#endif
  98076. +#ifndef DWC_DEVICE_ONLY
  98077. + /*
  98078. + * Initialize the HCD
  98079. + */
  98080. + dev_dbg(&_dev->dev, "Calling hcd_init\n");
  98081. + retval = hcd_init(_dev);
  98082. + if (retval != 0) {
  98083. + DWC_ERROR("hcd_init failed\n");
  98084. + dwc_otg_device->hcd = NULL;
  98085. + goto fail;
  98086. + }
  98087. +#endif
  98088. + /* Recover from drvdata having been overwritten by hcd_init() */
  98089. +#ifdef LM_INTERFACE
  98090. + lm_set_drvdata(_dev, dwc_otg_device);
  98091. +#elif defined(PLATFORM_INTERFACE)
  98092. + platform_set_drvdata(_dev, dwc_otg_device);
  98093. +#elif defined(PCI_INTERFACE)
  98094. + pci_set_drvdata(_dev, dwc_otg_device);
  98095. + dwc_otg_device->os_dep.pcidev = _dev;
  98096. +#endif
  98097. +
  98098. + /*
  98099. + * Enable the global interrupt after all the interrupt
  98100. + * handlers are installed if there is no ADP support else
  98101. + * perform initial actions required for Internal ADP logic.
  98102. + */
  98103. + if (!dwc_otg_get_param_adp_enable(dwc_otg_device->core_if)) {
  98104. + dev_dbg(&_dev->dev, "Calling enable_global_interrupts\n");
  98105. + dwc_otg_enable_global_interrupts(dwc_otg_device->core_if);
  98106. + dev_dbg(&_dev->dev, "Done\n");
  98107. + } else
  98108. + dwc_otg_adp_start(dwc_otg_device->core_if,
  98109. + dwc_otg_is_host_mode(dwc_otg_device->core_if));
  98110. +
  98111. + return 0;
  98112. +
  98113. +fail:
  98114. + dwc_otg_driver_remove(_dev);
  98115. + return retval;
  98116. +}
  98117. +
  98118. +/**
  98119. + * This structure defines the methods to be called by a bus driver
  98120. + * during the lifecycle of a device on that bus. Both drivers and
  98121. + * devices are registered with a bus driver. The bus driver matches
  98122. + * devices to drivers based on information in the device and driver
  98123. + * structures.
  98124. + *
  98125. + * The probe function is called when the bus driver matches a device
  98126. + * to this driver. The remove function is called when a device is
  98127. + * unregistered with the bus driver.
  98128. + */
  98129. +#ifdef LM_INTERFACE
  98130. +static struct lm_driver dwc_otg_driver = {
  98131. + .drv = {.name = (char *)dwc_driver_name,},
  98132. + .probe = dwc_otg_driver_probe,
  98133. + .remove = dwc_otg_driver_remove,
  98134. + // 'suspend' and 'resume' absent
  98135. +};
  98136. +#elif defined(PCI_INTERFACE)
  98137. +static const struct pci_device_id pci_ids[] = { {
  98138. + PCI_DEVICE(0x16c3, 0xabcd),
  98139. + .driver_data =
  98140. + (unsigned long)0xdeadbeef,
  98141. + }, { /* end: all zeroes */ }
  98142. +};
  98143. +
  98144. +MODULE_DEVICE_TABLE(pci, pci_ids);
  98145. +
  98146. +/* pci driver glue; this is a "new style" PCI driver module */
  98147. +static struct pci_driver dwc_otg_driver = {
  98148. + .name = "dwc_otg",
  98149. + .id_table = pci_ids,
  98150. +
  98151. + .probe = dwc_otg_driver_probe,
  98152. + .remove = dwc_otg_driver_remove,
  98153. +
  98154. + .driver = {
  98155. + .name = (char *)dwc_driver_name,
  98156. + },
  98157. +};
  98158. +#elif defined(PLATFORM_INTERFACE)
  98159. +static struct platform_device_id platform_ids[] = {
  98160. + {
  98161. + .name = "bcm2708_usb",
  98162. + .driver_data = (kernel_ulong_t) 0xdeadbeef,
  98163. + },
  98164. + { /* end: all zeroes */ }
  98165. +};
  98166. +MODULE_DEVICE_TABLE(platform, platform_ids);
  98167. +
  98168. +static const struct of_device_id dwc_otg_of_match_table[] = {
  98169. + { .compatible = "brcm,bcm2708-usb", },
  98170. + {},
  98171. +};
  98172. +MODULE_DEVICE_TABLE(of, dwc_otg_of_match_table);
  98173. +
  98174. +static struct platform_driver dwc_otg_driver = {
  98175. + .driver = {
  98176. + .name = (char *)dwc_driver_name,
  98177. + .of_match_table = dwc_otg_of_match_table,
  98178. + },
  98179. + .id_table = platform_ids,
  98180. +
  98181. + .probe = dwc_otg_driver_probe,
  98182. + .remove = dwc_otg_driver_remove,
  98183. + // no 'shutdown', 'suspend', 'resume', 'suspend_late' or 'resume_early'
  98184. +};
  98185. +#endif
  98186. +
  98187. +/**
  98188. + * This function is called when the dwc_otg_driver is installed with the
  98189. + * insmod command. It registers the dwc_otg_driver structure with the
  98190. + * appropriate bus driver. This will cause the dwc_otg_driver_probe function
  98191. + * to be called. In addition, the bus driver will automatically expose
  98192. + * attributes defined for the device and driver in the special sysfs file
  98193. + * system.
  98194. + *
  98195. + * @return
  98196. + */
  98197. +static int __init dwc_otg_driver_init(void)
  98198. +{
  98199. + int retval = 0;
  98200. + int error;
  98201. + struct device_driver *drv;
  98202. +
  98203. + if(fiq_fsm_enable && !fiq_enable) {
  98204. + printk(KERN_WARNING "dwc_otg: fiq_fsm_enable was set without fiq_enable! Correcting.\n");
  98205. + fiq_enable = 1;
  98206. + }
  98207. +
  98208. + printk(KERN_INFO "%s: version %s (%s bus)\n", dwc_driver_name,
  98209. + DWC_DRIVER_VERSION,
  98210. +#ifdef LM_INTERFACE
  98211. + "logicmodule");
  98212. + retval = lm_driver_register(&dwc_otg_driver);
  98213. + drv = &dwc_otg_driver.drv;
  98214. +#elif defined(PCI_INTERFACE)
  98215. + "pci");
  98216. + retval = pci_register_driver(&dwc_otg_driver);
  98217. + drv = &dwc_otg_driver.driver;
  98218. +#elif defined(PLATFORM_INTERFACE)
  98219. + "platform");
  98220. + retval = platform_driver_register(&dwc_otg_driver);
  98221. + drv = &dwc_otg_driver.driver;
  98222. +#endif
  98223. + if (retval < 0) {
  98224. + printk(KERN_ERR "%s retval=%d\n", __func__, retval);
  98225. + return retval;
  98226. + }
  98227. + printk(KERN_DEBUG "dwc_otg: FIQ %s\n", fiq_enable ? "enabled":"disabled");
  98228. + printk(KERN_DEBUG "dwc_otg: NAK holdoff %s\n", nak_holdoff ? "enabled":"disabled");
  98229. + printk(KERN_DEBUG "dwc_otg: FIQ split-transaction FSM %s\n", fiq_fsm_enable ? "enabled":"disabled");
  98230. +
  98231. + error = driver_create_file(drv, &driver_attr_version);
  98232. +#ifdef DEBUG
  98233. + error = driver_create_file(drv, &driver_attr_debuglevel);
  98234. +#endif
  98235. + return retval;
  98236. +}
  98237. +
  98238. +module_init(dwc_otg_driver_init);
  98239. +
  98240. +/**
  98241. + * This function is called when the driver is removed from the kernel
  98242. + * with the rmmod command. The driver unregisters itself with its bus
  98243. + * driver.
  98244. + *
  98245. + */
  98246. +static void __exit dwc_otg_driver_cleanup(void)
  98247. +{
  98248. + printk(KERN_DEBUG "dwc_otg_driver_cleanup()\n");
  98249. +
  98250. +#ifdef LM_INTERFACE
  98251. + driver_remove_file(&dwc_otg_driver.drv, &driver_attr_debuglevel);
  98252. + driver_remove_file(&dwc_otg_driver.drv, &driver_attr_version);
  98253. + lm_driver_unregister(&dwc_otg_driver);
  98254. +#elif defined(PCI_INTERFACE)
  98255. + driver_remove_file(&dwc_otg_driver.driver, &driver_attr_debuglevel);
  98256. + driver_remove_file(&dwc_otg_driver.driver, &driver_attr_version);
  98257. + pci_unregister_driver(&dwc_otg_driver);
  98258. +#elif defined(PLATFORM_INTERFACE)
  98259. + driver_remove_file(&dwc_otg_driver.driver, &driver_attr_debuglevel);
  98260. + driver_remove_file(&dwc_otg_driver.driver, &driver_attr_version);
  98261. + platform_driver_unregister(&dwc_otg_driver);
  98262. +#endif
  98263. +
  98264. + printk(KERN_INFO "%s module removed\n", dwc_driver_name);
  98265. +}
  98266. +
  98267. +module_exit(dwc_otg_driver_cleanup);
  98268. +
  98269. +MODULE_DESCRIPTION(DWC_DRIVER_DESC);
  98270. +MODULE_AUTHOR("Synopsys Inc.");
  98271. +MODULE_LICENSE("GPL");
  98272. +
  98273. +module_param_named(otg_cap, dwc_otg_module_params.otg_cap, int, 0444);
  98274. +MODULE_PARM_DESC(otg_cap, "OTG Capabilities 0=HNP&SRP 1=SRP Only 2=None");
  98275. +module_param_named(opt, dwc_otg_module_params.opt, int, 0444);
  98276. +MODULE_PARM_DESC(opt, "OPT Mode");
  98277. +module_param_named(dma_enable, dwc_otg_module_params.dma_enable, int, 0444);
  98278. +MODULE_PARM_DESC(dma_enable, "DMA Mode 0=Slave 1=DMA enabled");
  98279. +
  98280. +module_param_named(dma_desc_enable, dwc_otg_module_params.dma_desc_enable, int,
  98281. + 0444);
  98282. +MODULE_PARM_DESC(dma_desc_enable,
  98283. + "DMA Desc Mode 0=Address DMA 1=DMA Descriptor enabled");
  98284. +
  98285. +module_param_named(dma_burst_size, dwc_otg_module_params.dma_burst_size, int,
  98286. + 0444);
  98287. +MODULE_PARM_DESC(dma_burst_size,
  98288. + "DMA Burst Size 1, 4, 8, 16, 32, 64, 128, 256");
  98289. +module_param_named(speed, dwc_otg_module_params.speed, int, 0444);
  98290. +MODULE_PARM_DESC(speed, "Speed 0=High Speed 1=Full Speed");
  98291. +module_param_named(host_support_fs_ls_low_power,
  98292. + dwc_otg_module_params.host_support_fs_ls_low_power, int,
  98293. + 0444);
  98294. +MODULE_PARM_DESC(host_support_fs_ls_low_power,
  98295. + "Support Low Power w/FS or LS 0=Support 1=Don't Support");
  98296. +module_param_named(host_ls_low_power_phy_clk,
  98297. + dwc_otg_module_params.host_ls_low_power_phy_clk, int, 0444);
  98298. +MODULE_PARM_DESC(host_ls_low_power_phy_clk,
  98299. + "Low Speed Low Power Clock 0=48Mhz 1=6Mhz");
  98300. +module_param_named(enable_dynamic_fifo,
  98301. + dwc_otg_module_params.enable_dynamic_fifo, int, 0444);
  98302. +MODULE_PARM_DESC(enable_dynamic_fifo, "0=cC Setting 1=Allow Dynamic Sizing");
  98303. +module_param_named(data_fifo_size, dwc_otg_module_params.data_fifo_size, int,
  98304. + 0444);
  98305. +MODULE_PARM_DESC(data_fifo_size,
  98306. + "Total number of words in the data FIFO memory 32-32768");
  98307. +module_param_named(dev_rx_fifo_size, dwc_otg_module_params.dev_rx_fifo_size,
  98308. + int, 0444);
  98309. +MODULE_PARM_DESC(dev_rx_fifo_size, "Number of words in the Rx FIFO 16-32768");
  98310. +module_param_named(dev_nperio_tx_fifo_size,
  98311. + dwc_otg_module_params.dev_nperio_tx_fifo_size, int, 0444);
  98312. +MODULE_PARM_DESC(dev_nperio_tx_fifo_size,
  98313. + "Number of words in the non-periodic Tx FIFO 16-32768");
  98314. +module_param_named(dev_perio_tx_fifo_size_1,
  98315. + dwc_otg_module_params.dev_perio_tx_fifo_size[0], int, 0444);
  98316. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_1,
  98317. + "Number of words in the periodic Tx FIFO 4-768");
  98318. +module_param_named(dev_perio_tx_fifo_size_2,
  98319. + dwc_otg_module_params.dev_perio_tx_fifo_size[1], int, 0444);
  98320. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_2,
  98321. + "Number of words in the periodic Tx FIFO 4-768");
  98322. +module_param_named(dev_perio_tx_fifo_size_3,
  98323. + dwc_otg_module_params.dev_perio_tx_fifo_size[2], int, 0444);
  98324. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_3,
  98325. + "Number of words in the periodic Tx FIFO 4-768");
  98326. +module_param_named(dev_perio_tx_fifo_size_4,
  98327. + dwc_otg_module_params.dev_perio_tx_fifo_size[3], int, 0444);
  98328. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_4,
  98329. + "Number of words in the periodic Tx FIFO 4-768");
  98330. +module_param_named(dev_perio_tx_fifo_size_5,
  98331. + dwc_otg_module_params.dev_perio_tx_fifo_size[4], int, 0444);
  98332. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_5,
  98333. + "Number of words in the periodic Tx FIFO 4-768");
  98334. +module_param_named(dev_perio_tx_fifo_size_6,
  98335. + dwc_otg_module_params.dev_perio_tx_fifo_size[5], int, 0444);
  98336. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_6,
  98337. + "Number of words in the periodic Tx FIFO 4-768");
  98338. +module_param_named(dev_perio_tx_fifo_size_7,
  98339. + dwc_otg_module_params.dev_perio_tx_fifo_size[6], int, 0444);
  98340. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_7,
  98341. + "Number of words in the periodic Tx FIFO 4-768");
  98342. +module_param_named(dev_perio_tx_fifo_size_8,
  98343. + dwc_otg_module_params.dev_perio_tx_fifo_size[7], int, 0444);
  98344. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_8,
  98345. + "Number of words in the periodic Tx FIFO 4-768");
  98346. +module_param_named(dev_perio_tx_fifo_size_9,
  98347. + dwc_otg_module_params.dev_perio_tx_fifo_size[8], int, 0444);
  98348. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_9,
  98349. + "Number of words in the periodic Tx FIFO 4-768");
  98350. +module_param_named(dev_perio_tx_fifo_size_10,
  98351. + dwc_otg_module_params.dev_perio_tx_fifo_size[9], int, 0444);
  98352. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_10,
  98353. + "Number of words in the periodic Tx FIFO 4-768");
  98354. +module_param_named(dev_perio_tx_fifo_size_11,
  98355. + dwc_otg_module_params.dev_perio_tx_fifo_size[10], int, 0444);
  98356. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_11,
  98357. + "Number of words in the periodic Tx FIFO 4-768");
  98358. +module_param_named(dev_perio_tx_fifo_size_12,
  98359. + dwc_otg_module_params.dev_perio_tx_fifo_size[11], int, 0444);
  98360. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_12,
  98361. + "Number of words in the periodic Tx FIFO 4-768");
  98362. +module_param_named(dev_perio_tx_fifo_size_13,
  98363. + dwc_otg_module_params.dev_perio_tx_fifo_size[12], int, 0444);
  98364. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_13,
  98365. + "Number of words in the periodic Tx FIFO 4-768");
  98366. +module_param_named(dev_perio_tx_fifo_size_14,
  98367. + dwc_otg_module_params.dev_perio_tx_fifo_size[13], int, 0444);
  98368. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_14,
  98369. + "Number of words in the periodic Tx FIFO 4-768");
  98370. +module_param_named(dev_perio_tx_fifo_size_15,
  98371. + dwc_otg_module_params.dev_perio_tx_fifo_size[14], int, 0444);
  98372. +MODULE_PARM_DESC(dev_perio_tx_fifo_size_15,
  98373. + "Number of words in the periodic Tx FIFO 4-768");
  98374. +module_param_named(host_rx_fifo_size, dwc_otg_module_params.host_rx_fifo_size,
  98375. + int, 0444);
  98376. +MODULE_PARM_DESC(host_rx_fifo_size, "Number of words in the Rx FIFO 16-32768");
  98377. +module_param_named(host_nperio_tx_fifo_size,
  98378. + dwc_otg_module_params.host_nperio_tx_fifo_size, int, 0444);
  98379. +MODULE_PARM_DESC(host_nperio_tx_fifo_size,
  98380. + "Number of words in the non-periodic Tx FIFO 16-32768");
  98381. +module_param_named(host_perio_tx_fifo_size,
  98382. + dwc_otg_module_params.host_perio_tx_fifo_size, int, 0444);
  98383. +MODULE_PARM_DESC(host_perio_tx_fifo_size,
  98384. + "Number of words in the host periodic Tx FIFO 16-32768");
  98385. +module_param_named(max_transfer_size, dwc_otg_module_params.max_transfer_size,
  98386. + int, 0444);
  98387. +/** @todo Set the max to 512K, modify checks */
  98388. +MODULE_PARM_DESC(max_transfer_size,
  98389. + "The maximum transfer size supported in bytes 2047-65535");
  98390. +module_param_named(max_packet_count, dwc_otg_module_params.max_packet_count,
  98391. + int, 0444);
  98392. +MODULE_PARM_DESC(max_packet_count,
  98393. + "The maximum number of packets in a transfer 15-511");
  98394. +module_param_named(host_channels, dwc_otg_module_params.host_channels, int,
  98395. + 0444);
  98396. +MODULE_PARM_DESC(host_channels,
  98397. + "The number of host channel registers to use 1-16");
  98398. +module_param_named(dev_endpoints, dwc_otg_module_params.dev_endpoints, int,
  98399. + 0444);
  98400. +MODULE_PARM_DESC(dev_endpoints,
  98401. + "The number of endpoints in addition to EP0 available for device mode 1-15");
  98402. +module_param_named(phy_type, dwc_otg_module_params.phy_type, int, 0444);
  98403. +MODULE_PARM_DESC(phy_type, "0=Reserved 1=UTMI+ 2=ULPI");
  98404. +module_param_named(phy_utmi_width, dwc_otg_module_params.phy_utmi_width, int,
  98405. + 0444);
  98406. +MODULE_PARM_DESC(phy_utmi_width, "Specifies the UTMI+ Data Width 8 or 16 bits");
  98407. +module_param_named(phy_ulpi_ddr, dwc_otg_module_params.phy_ulpi_ddr, int, 0444);
  98408. +MODULE_PARM_DESC(phy_ulpi_ddr,
  98409. + "ULPI at double or single data rate 0=Single 1=Double");
  98410. +module_param_named(phy_ulpi_ext_vbus, dwc_otg_module_params.phy_ulpi_ext_vbus,
  98411. + int, 0444);
  98412. +MODULE_PARM_DESC(phy_ulpi_ext_vbus,
  98413. + "ULPI PHY using internal or external vbus 0=Internal");
  98414. +module_param_named(i2c_enable, dwc_otg_module_params.i2c_enable, int, 0444);
  98415. +MODULE_PARM_DESC(i2c_enable, "FS PHY Interface");
  98416. +module_param_named(ulpi_fs_ls, dwc_otg_module_params.ulpi_fs_ls, int, 0444);
  98417. +MODULE_PARM_DESC(ulpi_fs_ls, "ULPI PHY FS/LS mode only");
  98418. +module_param_named(ts_dline, dwc_otg_module_params.ts_dline, int, 0444);
  98419. +MODULE_PARM_DESC(ts_dline, "Term select Dline pulsing for all PHYs");
  98420. +module_param_named(debug, g_dbg_lvl, int, 0444);
  98421. +MODULE_PARM_DESC(debug, "");
  98422. +
  98423. +module_param_named(en_multiple_tx_fifo,
  98424. + dwc_otg_module_params.en_multiple_tx_fifo, int, 0444);
  98425. +MODULE_PARM_DESC(en_multiple_tx_fifo,
  98426. + "Dedicated Non Periodic Tx FIFOs 0=disabled 1=enabled");
  98427. +module_param_named(dev_tx_fifo_size_1,
  98428. + dwc_otg_module_params.dev_tx_fifo_size[0], int, 0444);
  98429. +MODULE_PARM_DESC(dev_tx_fifo_size_1, "Number of words in the Tx FIFO 4-768");
  98430. +module_param_named(dev_tx_fifo_size_2,
  98431. + dwc_otg_module_params.dev_tx_fifo_size[1], int, 0444);
  98432. +MODULE_PARM_DESC(dev_tx_fifo_size_2, "Number of words in the Tx FIFO 4-768");
  98433. +module_param_named(dev_tx_fifo_size_3,
  98434. + dwc_otg_module_params.dev_tx_fifo_size[2], int, 0444);
  98435. +MODULE_PARM_DESC(dev_tx_fifo_size_3, "Number of words in the Tx FIFO 4-768");
  98436. +module_param_named(dev_tx_fifo_size_4,
  98437. + dwc_otg_module_params.dev_tx_fifo_size[3], int, 0444);
  98438. +MODULE_PARM_DESC(dev_tx_fifo_size_4, "Number of words in the Tx FIFO 4-768");
  98439. +module_param_named(dev_tx_fifo_size_5,
  98440. + dwc_otg_module_params.dev_tx_fifo_size[4], int, 0444);
  98441. +MODULE_PARM_DESC(dev_tx_fifo_size_5, "Number of words in the Tx FIFO 4-768");
  98442. +module_param_named(dev_tx_fifo_size_6,
  98443. + dwc_otg_module_params.dev_tx_fifo_size[5], int, 0444);
  98444. +MODULE_PARM_DESC(dev_tx_fifo_size_6, "Number of words in the Tx FIFO 4-768");
  98445. +module_param_named(dev_tx_fifo_size_7,
  98446. + dwc_otg_module_params.dev_tx_fifo_size[6], int, 0444);
  98447. +MODULE_PARM_DESC(dev_tx_fifo_size_7, "Number of words in the Tx FIFO 4-768");
  98448. +module_param_named(dev_tx_fifo_size_8,
  98449. + dwc_otg_module_params.dev_tx_fifo_size[7], int, 0444);
  98450. +MODULE_PARM_DESC(dev_tx_fifo_size_8, "Number of words in the Tx FIFO 4-768");
  98451. +module_param_named(dev_tx_fifo_size_9,
  98452. + dwc_otg_module_params.dev_tx_fifo_size[8], int, 0444);
  98453. +MODULE_PARM_DESC(dev_tx_fifo_size_9, "Number of words in the Tx FIFO 4-768");
  98454. +module_param_named(dev_tx_fifo_size_10,
  98455. + dwc_otg_module_params.dev_tx_fifo_size[9], int, 0444);
  98456. +MODULE_PARM_DESC(dev_tx_fifo_size_10, "Number of words in the Tx FIFO 4-768");
  98457. +module_param_named(dev_tx_fifo_size_11,
  98458. + dwc_otg_module_params.dev_tx_fifo_size[10], int, 0444);
  98459. +MODULE_PARM_DESC(dev_tx_fifo_size_11, "Number of words in the Tx FIFO 4-768");
  98460. +module_param_named(dev_tx_fifo_size_12,
  98461. + dwc_otg_module_params.dev_tx_fifo_size[11], int, 0444);
  98462. +MODULE_PARM_DESC(dev_tx_fifo_size_12, "Number of words in the Tx FIFO 4-768");
  98463. +module_param_named(dev_tx_fifo_size_13,
  98464. + dwc_otg_module_params.dev_tx_fifo_size[12], int, 0444);
  98465. +MODULE_PARM_DESC(dev_tx_fifo_size_13, "Number of words in the Tx FIFO 4-768");
  98466. +module_param_named(dev_tx_fifo_size_14,
  98467. + dwc_otg_module_params.dev_tx_fifo_size[13], int, 0444);
  98468. +MODULE_PARM_DESC(dev_tx_fifo_size_14, "Number of words in the Tx FIFO 4-768");
  98469. +module_param_named(dev_tx_fifo_size_15,
  98470. + dwc_otg_module_params.dev_tx_fifo_size[14], int, 0444);
  98471. +MODULE_PARM_DESC(dev_tx_fifo_size_15, "Number of words in the Tx FIFO 4-768");
  98472. +
  98473. +module_param_named(thr_ctl, dwc_otg_module_params.thr_ctl, int, 0444);
  98474. +MODULE_PARM_DESC(thr_ctl,
  98475. + "Thresholding enable flag bit 0 - non ISO Tx thr., 1 - ISO Tx thr., 2 - Rx thr.- bit 0=disabled 1=enabled");
  98476. +module_param_named(tx_thr_length, dwc_otg_module_params.tx_thr_length, int,
  98477. + 0444);
  98478. +MODULE_PARM_DESC(tx_thr_length, "Tx Threshold length in 32 bit DWORDs");
  98479. +module_param_named(rx_thr_length, dwc_otg_module_params.rx_thr_length, int,
  98480. + 0444);
  98481. +MODULE_PARM_DESC(rx_thr_length, "Rx Threshold length in 32 bit DWORDs");
  98482. +
  98483. +module_param_named(pti_enable, dwc_otg_module_params.pti_enable, int, 0444);
  98484. +module_param_named(mpi_enable, dwc_otg_module_params.mpi_enable, int, 0444);
  98485. +module_param_named(lpm_enable, dwc_otg_module_params.lpm_enable, int, 0444);
  98486. +MODULE_PARM_DESC(lpm_enable, "LPM Enable 0=LPM Disabled 1=LPM Enabled");
  98487. +module_param_named(ic_usb_cap, dwc_otg_module_params.ic_usb_cap, int, 0444);
  98488. +MODULE_PARM_DESC(ic_usb_cap,
  98489. + "IC_USB Capability 0=IC_USB Disabled 1=IC_USB Enabled");
  98490. +module_param_named(ahb_thr_ratio, dwc_otg_module_params.ahb_thr_ratio, int,
  98491. + 0444);
  98492. +MODULE_PARM_DESC(ahb_thr_ratio, "AHB Threshold Ratio");
  98493. +module_param_named(power_down, dwc_otg_module_params.power_down, int, 0444);
  98494. +MODULE_PARM_DESC(power_down, "Power Down Mode");
  98495. +module_param_named(reload_ctl, dwc_otg_module_params.reload_ctl, int, 0444);
  98496. +MODULE_PARM_DESC(reload_ctl, "HFIR Reload Control");
  98497. +module_param_named(dev_out_nak, dwc_otg_module_params.dev_out_nak, int, 0444);
  98498. +MODULE_PARM_DESC(dev_out_nak, "Enable Device OUT NAK");
  98499. +module_param_named(cont_on_bna, dwc_otg_module_params.cont_on_bna, int, 0444);
  98500. +MODULE_PARM_DESC(cont_on_bna, "Enable Enable Continue on BNA");
  98501. +module_param_named(ahb_single, dwc_otg_module_params.ahb_single, int, 0444);
  98502. +MODULE_PARM_DESC(ahb_single, "Enable AHB Single Support");
  98503. +module_param_named(adp_enable, dwc_otg_module_params.adp_enable, int, 0444);
  98504. +MODULE_PARM_DESC(adp_enable, "ADP Enable 0=ADP Disabled 1=ADP Enabled");
  98505. +module_param_named(otg_ver, dwc_otg_module_params.otg_ver, int, 0444);
  98506. +MODULE_PARM_DESC(otg_ver, "OTG revision supported 0=OTG 1.3 1=OTG 2.0");
  98507. +module_param(microframe_schedule, bool, 0444);
  98508. +MODULE_PARM_DESC(microframe_schedule, "Enable the microframe scheduler");
  98509. +
  98510. +module_param(fiq_enable, bool, 0444);
  98511. +MODULE_PARM_DESC(fiq_enable, "Enable the FIQ");
  98512. +module_param(nak_holdoff, ushort, 0644);
  98513. +MODULE_PARM_DESC(nak_holdoff, "Throttle duration for bulk split-transaction endpoints on a NAK. Default 8");
  98514. +module_param(fiq_fsm_enable, bool, 0444);
  98515. +MODULE_PARM_DESC(fiq_fsm_enable, "Enable the FIQ to perform split transactions as defined by fiq_fsm_mask");
  98516. +module_param(fiq_fsm_mask, ushort, 0444);
  98517. +MODULE_PARM_DESC(fiq_fsm_mask, "Bitmask of transactions to perform in the FIQ.\n"
  98518. + "Bit 0 : Non-periodic split transactions\n"
  98519. + "Bit 1 : Periodic split transactions\n"
  98520. + "Bit 2 : High-speed multi-transfer isochronous\n"
  98521. + "All other bits should be set 0.");
  98522. +
  98523. +
  98524. +/** @page "Module Parameters"
  98525. + *
  98526. + * The following parameters may be specified when starting the module.
  98527. + * These parameters define how the DWC_otg controller should be
  98528. + * configured. Parameter values are passed to the CIL initialization
  98529. + * function dwc_otg_cil_init
  98530. + *
  98531. + * Example: <code>modprobe dwc_otg speed=1 otg_cap=1</code>
  98532. + *
  98533. +
  98534. + <table>
  98535. + <tr><td>Parameter Name</td><td>Meaning</td></tr>
  98536. +
  98537. + <tr>
  98538. + <td>otg_cap</td>
  98539. + <td>Specifies the OTG capabilities. The driver will automatically detect the
  98540. + value for this parameter if none is specified.
  98541. + - 0: HNP and SRP capable (default, if available)
  98542. + - 1: SRP Only capable
  98543. + - 2: No HNP/SRP capable
  98544. + </td></tr>
  98545. +
  98546. + <tr>
  98547. + <td>dma_enable</td>
  98548. + <td>Specifies whether to use slave or DMA mode for accessing the data FIFOs.
  98549. + The driver will automatically detect the value for this parameter if none is
  98550. + specified.
  98551. + - 0: Slave
  98552. + - 1: DMA (default, if available)
  98553. + </td></tr>
  98554. +
  98555. + <tr>
  98556. + <td>dma_burst_size</td>
  98557. + <td>The DMA Burst size (applicable only for External DMA Mode).
  98558. + - Values: 1, 4, 8 16, 32, 64, 128, 256 (default 32)
  98559. + </td></tr>
  98560. +
  98561. + <tr>
  98562. + <td>speed</td>
  98563. + <td>Specifies the maximum speed of operation in host and device mode. The
  98564. + actual speed depends on the speed of the attached device and the value of
  98565. + phy_type.
  98566. + - 0: High Speed (default)
  98567. + - 1: Full Speed
  98568. + </td></tr>
  98569. +
  98570. + <tr>
  98571. + <td>host_support_fs_ls_low_power</td>
  98572. + <td>Specifies whether low power mode is supported when attached to a Full
  98573. + Speed or Low Speed device in host mode.
  98574. + - 0: Don't support low power mode (default)
  98575. + - 1: Support low power mode
  98576. + </td></tr>
  98577. +
  98578. + <tr>
  98579. + <td>host_ls_low_power_phy_clk</td>
  98580. + <td>Specifies the PHY clock rate in low power mode when connected to a Low
  98581. + Speed device in host mode. This parameter is applicable only if
  98582. + HOST_SUPPORT_FS_LS_LOW_POWER is enabled.
  98583. + - 0: 48 MHz (default)
  98584. + - 1: 6 MHz
  98585. + </td></tr>
  98586. +
  98587. + <tr>
  98588. + <td>enable_dynamic_fifo</td>
  98589. + <td> Specifies whether FIFOs may be resized by the driver software.
  98590. + - 0: Use cC FIFO size parameters
  98591. + - 1: Allow dynamic FIFO sizing (default)
  98592. + </td></tr>
  98593. +
  98594. + <tr>
  98595. + <td>data_fifo_size</td>
  98596. + <td>Total number of 4-byte words in the data FIFO memory. This memory
  98597. + includes the Rx FIFO, non-periodic Tx FIFO, and periodic Tx FIFOs.
  98598. + - Values: 32 to 32768 (default 8192)
  98599. +
  98600. + Note: The total FIFO memory depth in the FPGA configuration is 8192.
  98601. + </td></tr>
  98602. +
  98603. + <tr>
  98604. + <td>dev_rx_fifo_size</td>
  98605. + <td>Number of 4-byte words in the Rx FIFO in device mode when dynamic
  98606. + FIFO sizing is enabled.
  98607. + - Values: 16 to 32768 (default 1064)
  98608. + </td></tr>
  98609. +
  98610. + <tr>
  98611. + <td>dev_nperio_tx_fifo_size</td>
  98612. + <td>Number of 4-byte words in the non-periodic Tx FIFO in device mode when
  98613. + dynamic FIFO sizing is enabled.
  98614. + - Values: 16 to 32768 (default 1024)
  98615. + </td></tr>
  98616. +
  98617. + <tr>
  98618. + <td>dev_perio_tx_fifo_size_n (n = 1 to 15)</td>
  98619. + <td>Number of 4-byte words in each of the periodic Tx FIFOs in device mode
  98620. + when dynamic FIFO sizing is enabled.
  98621. + - Values: 4 to 768 (default 256)
  98622. + </td></tr>
  98623. +
  98624. + <tr>
  98625. + <td>host_rx_fifo_size</td>
  98626. + <td>Number of 4-byte words in the Rx FIFO in host mode when dynamic FIFO
  98627. + sizing is enabled.
  98628. + - Values: 16 to 32768 (default 1024)
  98629. + </td></tr>
  98630. +
  98631. + <tr>
  98632. + <td>host_nperio_tx_fifo_size</td>
  98633. + <td>Number of 4-byte words in the non-periodic Tx FIFO in host mode when
  98634. + dynamic FIFO sizing is enabled in the core.
  98635. + - Values: 16 to 32768 (default 1024)
  98636. + </td></tr>
  98637. +
  98638. + <tr>
  98639. + <td>host_perio_tx_fifo_size</td>
  98640. + <td>Number of 4-byte words in the host periodic Tx FIFO when dynamic FIFO
  98641. + sizing is enabled.
  98642. + - Values: 16 to 32768 (default 1024)
  98643. + </td></tr>
  98644. +
  98645. + <tr>
  98646. + <td>max_transfer_size</td>
  98647. + <td>The maximum transfer size supported in bytes.
  98648. + - Values: 2047 to 65,535 (default 65,535)
  98649. + </td></tr>
  98650. +
  98651. + <tr>
  98652. + <td>max_packet_count</td>
  98653. + <td>The maximum number of packets in a transfer.
  98654. + - Values: 15 to 511 (default 511)
  98655. + </td></tr>
  98656. +
  98657. + <tr>
  98658. + <td>host_channels</td>
  98659. + <td>The number of host channel registers to use.
  98660. + - Values: 1 to 16 (default 12)
  98661. +
  98662. + Note: The FPGA configuration supports a maximum of 12 host channels.
  98663. + </td></tr>
  98664. +
  98665. + <tr>
  98666. + <td>dev_endpoints</td>
  98667. + <td>The number of endpoints in addition to EP0 available for device mode
  98668. + operations.
  98669. + - Values: 1 to 15 (default 6 IN and OUT)
  98670. +
  98671. + Note: The FPGA configuration supports a maximum of 6 IN and OUT endpoints in
  98672. + addition to EP0.
  98673. + </td></tr>
  98674. +
  98675. + <tr>
  98676. + <td>phy_type</td>
  98677. + <td>Specifies the type of PHY interface to use. By default, the driver will
  98678. + automatically detect the phy_type.
  98679. + - 0: Full Speed
  98680. + - 1: UTMI+ (default, if available)
  98681. + - 2: ULPI
  98682. + </td></tr>
  98683. +
  98684. + <tr>
  98685. + <td>phy_utmi_width</td>
  98686. + <td>Specifies the UTMI+ Data Width. This parameter is applicable for a
  98687. + phy_type of UTMI+. Also, this parameter is applicable only if the
  98688. + OTG_HSPHY_WIDTH cC parameter was set to "8 and 16 bits", meaning that the
  98689. + core has been configured to work at either data path width.
  98690. + - Values: 8 or 16 bits (default 16)
  98691. + </td></tr>
  98692. +
  98693. + <tr>
  98694. + <td>phy_ulpi_ddr</td>
  98695. + <td>Specifies whether the ULPI operates at double or single data rate. This
  98696. + parameter is only applicable if phy_type is ULPI.
  98697. + - 0: single data rate ULPI interface with 8 bit wide data bus (default)
  98698. + - 1: double data rate ULPI interface with 4 bit wide data bus
  98699. + </td></tr>
  98700. +
  98701. + <tr>
  98702. + <td>i2c_enable</td>
  98703. + <td>Specifies whether to use the I2C interface for full speed PHY. This
  98704. + parameter is only applicable if PHY_TYPE is FS.
  98705. + - 0: Disabled (default)
  98706. + - 1: Enabled
  98707. + </td></tr>
  98708. +
  98709. + <tr>
  98710. + <td>ulpi_fs_ls</td>
  98711. + <td>Specifies whether to use ULPI FS/LS mode only.
  98712. + - 0: Disabled (default)
  98713. + - 1: Enabled
  98714. + </td></tr>
  98715. +
  98716. + <tr>
  98717. + <td>ts_dline</td>
  98718. + <td>Specifies whether term select D-Line pulsing for all PHYs is enabled.
  98719. + - 0: Disabled (default)
  98720. + - 1: Enabled
  98721. + </td></tr>
  98722. +
  98723. + <tr>
  98724. + <td>en_multiple_tx_fifo</td>
  98725. + <td>Specifies whether dedicatedto tx fifos are enabled for non periodic IN EPs.
  98726. + The driver will automatically detect the value for this parameter if none is
  98727. + specified.
  98728. + - 0: Disabled
  98729. + - 1: Enabled (default, if available)
  98730. + </td></tr>
  98731. +
  98732. + <tr>
  98733. + <td>dev_tx_fifo_size_n (n = 1 to 15)</td>
  98734. + <td>Number of 4-byte words in each of the Tx FIFOs in device mode
  98735. + when dynamic FIFO sizing is enabled.
  98736. + - Values: 4 to 768 (default 256)
  98737. + </td></tr>
  98738. +
  98739. + <tr>
  98740. + <td>tx_thr_length</td>
  98741. + <td>Transmit Threshold length in 32 bit double words
  98742. + - Values: 8 to 128 (default 64)
  98743. + </td></tr>
  98744. +
  98745. + <tr>
  98746. + <td>rx_thr_length</td>
  98747. + <td>Receive Threshold length in 32 bit double words
  98748. + - Values: 8 to 128 (default 64)
  98749. + </td></tr>
  98750. +
  98751. +<tr>
  98752. + <td>thr_ctl</td>
  98753. + <td>Specifies whether to enable Thresholding for Device mode. Bits 0, 1, 2 of
  98754. + this parmater specifies if thresholding is enabled for non-Iso Tx, Iso Tx and
  98755. + Rx transfers accordingly.
  98756. + The driver will automatically detect the value for this parameter if none is
  98757. + specified.
  98758. + - Values: 0 to 7 (default 0)
  98759. + Bit values indicate:
  98760. + - 0: Thresholding disabled
  98761. + - 1: Thresholding enabled
  98762. + </td></tr>
  98763. +
  98764. +<tr>
  98765. + <td>dma_desc_enable</td>
  98766. + <td>Specifies whether to enable Descriptor DMA mode.
  98767. + The driver will automatically detect the value for this parameter if none is
  98768. + specified.
  98769. + - 0: Descriptor DMA disabled
  98770. + - 1: Descriptor DMA (default, if available)
  98771. + </td></tr>
  98772. +
  98773. +<tr>
  98774. + <td>mpi_enable</td>
  98775. + <td>Specifies whether to enable MPI enhancement mode.
  98776. + The driver will automatically detect the value for this parameter if none is
  98777. + specified.
  98778. + - 0: MPI disabled (default)
  98779. + - 1: MPI enable
  98780. + </td></tr>
  98781. +
  98782. +<tr>
  98783. + <td>pti_enable</td>
  98784. + <td>Specifies whether to enable PTI enhancement support.
  98785. + The driver will automatically detect the value for this parameter if none is
  98786. + specified.
  98787. + - 0: PTI disabled (default)
  98788. + - 1: PTI enable
  98789. + </td></tr>
  98790. +
  98791. +<tr>
  98792. + <td>lpm_enable</td>
  98793. + <td>Specifies whether to enable LPM support.
  98794. + The driver will automatically detect the value for this parameter if none is
  98795. + specified.
  98796. + - 0: LPM disabled
  98797. + - 1: LPM enable (default, if available)
  98798. + </td></tr>
  98799. +
  98800. +<tr>
  98801. + <td>ic_usb_cap</td>
  98802. + <td>Specifies whether to enable IC_USB capability.
  98803. + The driver will automatically detect the value for this parameter if none is
  98804. + specified.
  98805. + - 0: IC_USB disabled (default, if available)
  98806. + - 1: IC_USB enable
  98807. + </td></tr>
  98808. +
  98809. +<tr>
  98810. + <td>ahb_thr_ratio</td>
  98811. + <td>Specifies AHB Threshold ratio.
  98812. + - Values: 0 to 3 (default 0)
  98813. + </td></tr>
  98814. +
  98815. +<tr>
  98816. + <td>power_down</td>
  98817. + <td>Specifies Power Down(Hibernation) Mode.
  98818. + The driver will automatically detect the value for this parameter if none is
  98819. + specified.
  98820. + - 0: Power Down disabled (default)
  98821. + - 2: Power Down enabled
  98822. + </td></tr>
  98823. +
  98824. + <tr>
  98825. + <td>reload_ctl</td>
  98826. + <td>Specifies whether dynamic reloading of the HFIR register is allowed during
  98827. + run time. The driver will automatically detect the value for this parameter if
  98828. + none is specified. In case the HFIR value is reloaded when HFIR.RldCtrl == 1'b0
  98829. + the core might misbehave.
  98830. + - 0: Reload Control disabled (default)
  98831. + - 1: Reload Control enabled
  98832. + </td></tr>
  98833. +
  98834. + <tr>
  98835. + <td>dev_out_nak</td>
  98836. + <td>Specifies whether Device OUT NAK enhancement enabled or no.
  98837. + The driver will automatically detect the value for this parameter if
  98838. + none is specified. This parameter is valid only when OTG_EN_DESC_DMA == 1b1.
  98839. + - 0: The core does not set NAK after Bulk OUT transfer complete (default)
  98840. + - 1: The core sets NAK after Bulk OUT transfer complete
  98841. + </td></tr>
  98842. +
  98843. + <tr>
  98844. + <td>cont_on_bna</td>
  98845. + <td>Specifies whether Enable Continue on BNA enabled or no.
  98846. + After receiving BNA interrupt the core disables the endpoint,when the
  98847. + endpoint is re-enabled by the application the
  98848. + - 0: Core starts processing from the DOEPDMA descriptor (default)
  98849. + - 1: Core starts processing from the descriptor which received the BNA.
  98850. + This parameter is valid only when OTG_EN_DESC_DMA == 1b1.
  98851. + </td></tr>
  98852. +
  98853. + <tr>
  98854. + <td>ahb_single</td>
  98855. + <td>This bit when programmed supports SINGLE transfers for remainder data
  98856. + in a transfer for DMA mode of operation.
  98857. + - 0: The remainder data will be sent using INCR burst size (default)
  98858. + - 1: The remainder data will be sent using SINGLE burst size.
  98859. + </td></tr>
  98860. +
  98861. +<tr>
  98862. + <td>adp_enable</td>
  98863. + <td>Specifies whether ADP feature is enabled.
  98864. + The driver will automatically detect the value for this parameter if none is
  98865. + specified.
  98866. + - 0: ADP feature disabled (default)
  98867. + - 1: ADP feature enabled
  98868. + </td></tr>
  98869. +
  98870. + <tr>
  98871. + <td>otg_ver</td>
  98872. + <td>Specifies whether OTG is performing as USB OTG Revision 2.0 or Revision 1.3
  98873. + USB OTG device.
  98874. + - 0: OTG 2.0 support disabled (default)
  98875. + - 1: OTG 2.0 support enabled
  98876. + </td></tr>
  98877. +
  98878. +*/
  98879. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_driver.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_driver.h
  98880. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_driver.h 1970-01-01 01:00:00.000000000 +0100
  98881. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_driver.h 2015-11-29 09:42:39.919098694 +0100
  98882. @@ -0,0 +1,86 @@
  98883. +/* ==========================================================================
  98884. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_driver.h $
  98885. + * $Revision: #19 $
  98886. + * $Date: 2010/11/15 $
  98887. + * $Change: 1627671 $
  98888. + *
  98889. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  98890. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  98891. + * otherwise expressly agreed to in writing between Synopsys and you.
  98892. + *
  98893. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  98894. + * any End User Software License Agreement or Agreement for Licensed Product
  98895. + * with Synopsys or any supplement thereto. You are permitted to use and
  98896. + * redistribute this Software in source and binary forms, with or without
  98897. + * modification, provided that redistributions of source code must retain this
  98898. + * notice. You may not view, use, disclose, copy or distribute this file or
  98899. + * any information contained herein except pursuant to this license grant from
  98900. + * Synopsys. If you do not agree with this notice, including the disclaimer
  98901. + * below, then you are not authorized to use the Software.
  98902. + *
  98903. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  98904. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  98905. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  98906. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  98907. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  98908. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  98909. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  98910. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  98911. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  98912. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  98913. + * DAMAGE.
  98914. + * ========================================================================== */
  98915. +
  98916. +#ifndef __DWC_OTG_DRIVER_H__
  98917. +#define __DWC_OTG_DRIVER_H__
  98918. +
  98919. +/** @file
  98920. + * This file contains the interface to the Linux driver.
  98921. + */
  98922. +#include "dwc_otg_os_dep.h"
  98923. +#include "dwc_otg_core_if.h"
  98924. +
  98925. +/* Type declarations */
  98926. +struct dwc_otg_pcd;
  98927. +struct dwc_otg_hcd;
  98928. +
  98929. +/**
  98930. + * This structure is a wrapper that encapsulates the driver components used to
  98931. + * manage a single DWC_otg controller.
  98932. + */
  98933. +typedef struct dwc_otg_device {
  98934. + /** Structure containing OS-dependent stuff. KEEP THIS STRUCT AT THE
  98935. + * VERY BEGINNING OF THE DEVICE STRUCT. OSes such as FreeBSD and NetBSD
  98936. + * require this. */
  98937. + struct os_dependent os_dep;
  98938. +
  98939. + /** Pointer to the core interface structure. */
  98940. + dwc_otg_core_if_t *core_if;
  98941. +
  98942. + /** Pointer to the PCD structure. */
  98943. + struct dwc_otg_pcd *pcd;
  98944. +
  98945. + /** Pointer to the HCD structure. */
  98946. + struct dwc_otg_hcd *hcd;
  98947. +
  98948. + /** Flag to indicate whether the common IRQ handler is installed. */
  98949. + uint8_t common_irq_installed;
  98950. +
  98951. +} dwc_otg_device_t;
  98952. +
  98953. +/*We must clear S3C24XX_EINTPEND external interrupt register
  98954. + * because after clearing in this register trigerred IRQ from
  98955. + * H/W core in kernel interrupt can be occured again before OTG
  98956. + * handlers clear all IRQ sources of Core registers because of
  98957. + * timing latencies and Low Level IRQ Type.
  98958. + */
  98959. +#ifdef CONFIG_MACH_IPMATE
  98960. +#define S3C2410X_CLEAR_EINTPEND() \
  98961. +do { \
  98962. + __raw_writel(1UL << 11,S3C24XX_EINTPEND); \
  98963. +} while (0)
  98964. +#else
  98965. +#define S3C2410X_CLEAR_EINTPEND() do { } while (0)
  98966. +#endif
  98967. +
  98968. +#endif
  98969. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.c
  98970. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.c 1970-01-01 01:00:00.000000000 +0100
  98971. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.c 2015-11-29 09:42:39.919098694 +0100
  98972. @@ -0,0 +1,1355 @@
  98973. +/*
  98974. + * dwc_otg_fiq_fsm.c - The finite state machine FIQ
  98975. + *
  98976. + * Copyright (c) 2013 Raspberry Pi Foundation
  98977. + *
  98978. + * Author: Jonathan Bell <jonathan@raspberrypi.org>
  98979. + * All rights reserved.
  98980. + *
  98981. + * Redistribution and use in source and binary forms, with or without
  98982. + * modification, are permitted provided that the following conditions are met:
  98983. + * * Redistributions of source code must retain the above copyright
  98984. + * notice, this list of conditions and the following disclaimer.
  98985. + * * Redistributions in binary form must reproduce the above copyright
  98986. + * notice, this list of conditions and the following disclaimer in the
  98987. + * documentation and/or other materials provided with the distribution.
  98988. + * * Neither the name of Raspberry Pi nor the
  98989. + * names of its contributors may be used to endorse or promote products
  98990. + * derived from this software without specific prior written permission.
  98991. + *
  98992. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  98993. + * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  98994. + * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  98995. + * DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY
  98996. + * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  98997. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  98998. + * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  98999. + * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  99000. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  99001. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  99002. + *
  99003. + * This FIQ implements functionality that performs split transactions on
  99004. + * the dwc_otg hardware without any outside intervention. A split transaction
  99005. + * is "queued" by nominating a specific host channel to perform the entirety
  99006. + * of a split transaction. This FIQ will then perform the microframe-precise
  99007. + * scheduling required in each phase of the transaction until completion.
  99008. + *
  99009. + * The FIQ functionality is glued into the Synopsys driver via the entry point
  99010. + * in the FSM enqueue function, and at the exit point in handling a HC interrupt
  99011. + * for a FSM-enabled channel.
  99012. + *
  99013. + * NB: Large parts of this implementation have architecture-specific code.
  99014. + * For porting this functionality to other ARM machines, the minimum is required:
  99015. + * - An interrupt controller allowing the top-level dwc USB interrupt to be routed
  99016. + * to the FIQ
  99017. + * - A method of forcing a software generated interrupt from FIQ mode that then
  99018. + * triggers an IRQ entry (with the dwc USB handler called by this IRQ number)
  99019. + * - Guaranteed interrupt routing such that both the FIQ and SGI occur on the same
  99020. + * processor core - there is no locking between the FIQ and IRQ (aside from
  99021. + * local_fiq_disable)
  99022. + *
  99023. + */
  99024. +
  99025. +#include "dwc_otg_fiq_fsm.h"
  99026. +
  99027. +
  99028. +char buffer[1000*16];
  99029. +int wptr;
  99030. +void notrace _fiq_print(enum fiq_debug_level dbg_lvl, volatile struct fiq_state *state, char *fmt, ...)
  99031. +{
  99032. + enum fiq_debug_level dbg_lvl_req = FIQDBG_ERR;
  99033. + va_list args;
  99034. + char text[17];
  99035. + hfnum_data_t hfnum = { .d32 = FIQ_READ(state->dwc_regs_base + 0x408) };
  99036. +
  99037. + if((dbg_lvl & dbg_lvl_req) || dbg_lvl == FIQDBG_ERR)
  99038. + {
  99039. + snprintf(text, 9, " %4d:%1u ", hfnum.b.frnum/8, hfnum.b.frnum & 7);
  99040. + va_start(args, fmt);
  99041. + vsnprintf(text+8, 9, fmt, args);
  99042. + va_end(args);
  99043. +
  99044. + memcpy(buffer + wptr, text, 16);
  99045. + wptr = (wptr + 16) % sizeof(buffer);
  99046. + }
  99047. +}
  99048. +
  99049. +/**
  99050. + * fiq_fsm_spin_lock() - ARMv6+ bare bones spinlock
  99051. + * Must be called with local interrupts and FIQ disabled.
  99052. + */
  99053. +#if defined(CONFIG_ARCH_BCM2709) && defined(CONFIG_SMP)
  99054. +inline void fiq_fsm_spin_lock(fiq_lock_t *lock)
  99055. +{
  99056. + unsigned long tmp;
  99057. + uint32_t newval;
  99058. + fiq_lock_t lockval;
  99059. + smp_mb__before_spinlock();
  99060. + /* Nested locking, yay. If we are on the same CPU as the fiq, then the disable
  99061. + * will be sufficient. If we are on a different CPU, then the lock protects us. */
  99062. + prefetchw(&lock->slock);
  99063. + asm volatile (
  99064. + "1: ldrex %0, [%3]\n"
  99065. + " add %1, %0, %4\n"
  99066. + " strex %2, %1, [%3]\n"
  99067. + " teq %2, #0\n"
  99068. + " bne 1b"
  99069. + : "=&r" (lockval), "=&r" (newval), "=&r" (tmp)
  99070. + : "r" (&lock->slock), "I" (1 << 16)
  99071. + : "cc");
  99072. +
  99073. + while (lockval.tickets.next != lockval.tickets.owner) {
  99074. + wfe();
  99075. + lockval.tickets.owner = ACCESS_ONCE(lock->tickets.owner);
  99076. + }
  99077. + smp_mb();
  99078. +}
  99079. +#else
  99080. +inline void fiq_fsm_spin_lock(fiq_lock_t *lock) { }
  99081. +#endif
  99082. +
  99083. +/**
  99084. + * fiq_fsm_spin_unlock() - ARMv6+ bare bones spinunlock
  99085. + */
  99086. +#if defined(CONFIG_ARCH_BCM2709) && defined(CONFIG_SMP)
  99087. +inline void fiq_fsm_spin_unlock(fiq_lock_t *lock)
  99088. +{
  99089. + smp_mb();
  99090. + lock->tickets.owner++;
  99091. + dsb_sev();
  99092. +}
  99093. +#else
  99094. +inline void fiq_fsm_spin_unlock(fiq_lock_t *lock) { }
  99095. +#endif
  99096. +
  99097. +/**
  99098. + * fiq_fsm_restart_channel() - Poke channel enable bit for a split transaction
  99099. + * @channel: channel to re-enable
  99100. + */
  99101. +static void fiq_fsm_restart_channel(struct fiq_state *st, int n, int force)
  99102. +{
  99103. + hcchar_data_t hcchar = { .d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR) };
  99104. +
  99105. + hcchar.b.chen = 0;
  99106. + if (st->channel[n].hcchar_copy.b.eptype & 0x1) {
  99107. + hfnum_data_t hfnum = { .d32 = FIQ_READ(st->dwc_regs_base + HFNUM) };
  99108. + /* Hardware bug workaround: update the ssplit index */
  99109. + if (st->channel[n].hcsplt_copy.b.spltena)
  99110. + st->channel[n].expected_uframe = (hfnum.b.frnum + 1) & 0x3FFF;
  99111. +
  99112. + hcchar.b.oddfrm = (hfnum.b.frnum & 0x1) ? 0 : 1;
  99113. + }
  99114. +
  99115. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR, hcchar.d32);
  99116. + hcchar.d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR);
  99117. + hcchar.b.chen = 1;
  99118. +
  99119. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR, hcchar.d32);
  99120. + fiq_print(FIQDBG_INT, st, "HCGO %01d %01d", n, force);
  99121. +}
  99122. +
  99123. +/**
  99124. + * fiq_fsm_setup_csplit() - Prepare a host channel for a CSplit transaction stage
  99125. + * @st: Pointer to the channel's state
  99126. + * @n : channel number
  99127. + *
  99128. + * Change host channel registers to perform a complete-split transaction. Being mindful of the
  99129. + * endpoint direction, set control regs up correctly.
  99130. + */
  99131. +static void notrace fiq_fsm_setup_csplit(struct fiq_state *st, int n)
  99132. +{
  99133. + hcsplt_data_t hcsplt = { .d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCSPLT) };
  99134. + hctsiz_data_t hctsiz = { .d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ) };
  99135. +
  99136. + hcsplt.b.compsplt = 1;
  99137. + if (st->channel[n].hcchar_copy.b.epdir == 1) {
  99138. + // If IN, the CSPLIT result contains the data or a hub handshake. hctsiz = maxpacket.
  99139. + hctsiz.b.xfersize = st->channel[n].hctsiz_copy.b.xfersize;
  99140. + } else {
  99141. + // If OUT, the CSPLIT result contains handshake only.
  99142. + hctsiz.b.xfersize = 0;
  99143. + }
  99144. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCSPLT, hcsplt.d32);
  99145. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ, hctsiz.d32);
  99146. + mb();
  99147. +}
  99148. +
  99149. +static inline int notrace fiq_get_xfer_len(struct fiq_state *st, int n)
  99150. +{
  99151. + /* The xfersize register is a bit wonky. For IN transfers, it decrements by the packet size. */
  99152. + hctsiz_data_t hctsiz = { .d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ) };
  99153. +
  99154. + if (st->channel[n].hcchar_copy.b.epdir == 0) {
  99155. + return st->channel[n].hctsiz_copy.b.xfersize;
  99156. + } else {
  99157. + return st->channel[n].hctsiz_copy.b.xfersize - hctsiz.b.xfersize;
  99158. + }
  99159. +
  99160. +}
  99161. +
  99162. +
  99163. +/**
  99164. + * fiq_increment_dma_buf() - update DMA address for bounce buffers after a CSPLIT
  99165. + *
  99166. + * Of use only for IN periodic transfers.
  99167. + */
  99168. +static int notrace fiq_increment_dma_buf(struct fiq_state *st, int num_channels, int n)
  99169. +{
  99170. + hcdma_data_t hcdma;
  99171. + int i = st->channel[n].dma_info.index;
  99172. + int len;
  99173. + struct fiq_dma_blob *blob = (struct fiq_dma_blob *) st->dma_base;
  99174. +
  99175. + len = fiq_get_xfer_len(st, n);
  99176. + fiq_print(FIQDBG_INT, st, "LEN: %03d", len);
  99177. + st->channel[n].dma_info.slot_len[i] = len;
  99178. + i++;
  99179. + if (i > 6)
  99180. + BUG();
  99181. +
  99182. + hcdma.d32 = (dma_addr_t) &blob->channel[n].index[i].buf[0];
  99183. + FIQ_WRITE(st->dwc_regs_base + HC_DMA + (HC_OFFSET * n), hcdma.d32);
  99184. + st->channel[n].dma_info.index = i;
  99185. + return 0;
  99186. +}
  99187. +
  99188. +/**
  99189. + * fiq_reload_hctsiz() - for IN transactions, reset HCTSIZ
  99190. + */
  99191. +static void notrace fiq_fsm_reload_hctsiz(struct fiq_state *st, int n)
  99192. +{
  99193. + hctsiz_data_t hctsiz = { .d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ) };
  99194. + hctsiz.b.xfersize = st->channel[n].hctsiz_copy.b.xfersize;
  99195. + hctsiz.b.pktcnt = 1;
  99196. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ, hctsiz.d32);
  99197. +}
  99198. +
  99199. +/**
  99200. + * fiq_iso_out_advance() - update DMA address and split position bits
  99201. + * for isochronous OUT transactions.
  99202. + *
  99203. + * Returns 1 if this is the last packet queued, 0 otherwise. Split-ALL and
  99204. + * Split-BEGIN states are not handled - this is done when the transaction was queued.
  99205. + *
  99206. + * This function must only be called from the FIQ_ISO_OUT_ACTIVE state.
  99207. + */
  99208. +static int notrace fiq_iso_out_advance(struct fiq_state *st, int num_channels, int n)
  99209. +{
  99210. + hcsplt_data_t hcsplt;
  99211. + hctsiz_data_t hctsiz;
  99212. + hcdma_data_t hcdma;
  99213. + struct fiq_dma_blob *blob = (struct fiq_dma_blob *) st->dma_base;
  99214. + int last = 0;
  99215. + int i = st->channel[n].dma_info.index;
  99216. +
  99217. + fiq_print(FIQDBG_INT, st, "ADV %01d %01d ", n, i);
  99218. + i++;
  99219. + if (i == 4)
  99220. + last = 1;
  99221. + if (st->channel[n].dma_info.slot_len[i+1] == 255)
  99222. + last = 1;
  99223. +
  99224. + /* New DMA address - address of bounce buffer referred to in index */
  99225. + hcdma.d32 = (uint32_t) &blob->channel[n].index[i].buf[0];
  99226. + //hcdma.d32 = FIQ_READ(st->dwc_regs_base + HC_DMA + (HC_OFFSET * n));
  99227. + //hcdma.d32 += st->channel[n].dma_info.slot_len[i];
  99228. + fiq_print(FIQDBG_INT, st, "LAST: %01d ", last);
  99229. + fiq_print(FIQDBG_INT, st, "LEN: %03d", st->channel[n].dma_info.slot_len[i]);
  99230. + hcsplt.d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCSPLT);
  99231. + hctsiz.d32 = FIQ_READ(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ);
  99232. + hcsplt.b.xactpos = (last) ? ISOC_XACTPOS_END : ISOC_XACTPOS_MID;
  99233. + /* Set up new packet length */
  99234. + hctsiz.b.pktcnt = 1;
  99235. + hctsiz.b.xfersize = st->channel[n].dma_info.slot_len[i];
  99236. + fiq_print(FIQDBG_INT, st, "%08x", hctsiz.d32);
  99237. +
  99238. + st->channel[n].dma_info.index++;
  99239. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCSPLT, hcsplt.d32);
  99240. + FIQ_WRITE(st->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ, hctsiz.d32);
  99241. + FIQ_WRITE(st->dwc_regs_base + HC_DMA + (HC_OFFSET * n), hcdma.d32);
  99242. + return last;
  99243. +}
  99244. +
  99245. +/**
  99246. + * fiq_fsm_tt_next_isoc() - queue next pending isochronous out start-split on a TT
  99247. + *
  99248. + * Despite the limitations of the DWC core, we can force a microframe pipeline of
  99249. + * isochronous OUT start-split transactions while waiting for a corresponding other-type
  99250. + * of endpoint to finish its CSPLITs. TTs have big periodic buffers therefore it
  99251. + * is very unlikely that filling the start-split FIFO will cause data loss.
  99252. + * This allows much better interleaving of transactions in an order-independent way-
  99253. + * there is no requirement to prioritise isochronous, just a state-space search has
  99254. + * to be performed on each periodic start-split complete interrupt.
  99255. + */
  99256. +static int notrace fiq_fsm_tt_next_isoc(struct fiq_state *st, int num_channels, int n)
  99257. +{
  99258. + int hub_addr = st->channel[n].hub_addr;
  99259. + int port_addr = st->channel[n].port_addr;
  99260. + int i, poked = 0;
  99261. + for (i = 0; i < num_channels; i++) {
  99262. + if (i == n || st->channel[i].fsm == FIQ_PASSTHROUGH)
  99263. + continue;
  99264. + if (st->channel[i].hub_addr == hub_addr &&
  99265. + st->channel[i].port_addr == port_addr) {
  99266. + switch (st->channel[i].fsm) {
  99267. + case FIQ_PER_ISO_OUT_PENDING:
  99268. + if (st->channel[i].nrpackets == 1) {
  99269. + st->channel[i].fsm = FIQ_PER_ISO_OUT_LAST;
  99270. + } else {
  99271. + st->channel[i].fsm = FIQ_PER_ISO_OUT_ACTIVE;
  99272. + }
  99273. + fiq_fsm_restart_channel(st, i, 0);
  99274. + poked = 1;
  99275. + break;
  99276. +
  99277. + default:
  99278. + break;
  99279. + }
  99280. + }
  99281. + if (poked)
  99282. + break;
  99283. + }
  99284. + return poked;
  99285. +}
  99286. +
  99287. +/**
  99288. + * fiq_fsm_tt_in_use() - search for host channels using this TT
  99289. + * @n: Channel to use as reference
  99290. + *
  99291. + */
  99292. +int notrace noinline fiq_fsm_tt_in_use(struct fiq_state *st, int num_channels, int n)
  99293. +{
  99294. + int hub_addr = st->channel[n].hub_addr;
  99295. + int port_addr = st->channel[n].port_addr;
  99296. + int i, in_use = 0;
  99297. + for (i = 0; i < num_channels; i++) {
  99298. + if (i == n || st->channel[i].fsm == FIQ_PASSTHROUGH)
  99299. + continue;
  99300. + switch (st->channel[i].fsm) {
  99301. + /* TT is reserved for channels that are in the middle of a periodic
  99302. + * split transaction.
  99303. + */
  99304. + case FIQ_PER_SSPLIT_STARTED:
  99305. + case FIQ_PER_CSPLIT_WAIT:
  99306. + case FIQ_PER_CSPLIT_NYET1:
  99307. + //case FIQ_PER_CSPLIT_POLL:
  99308. + case FIQ_PER_ISO_OUT_ACTIVE:
  99309. + case FIQ_PER_ISO_OUT_LAST:
  99310. + if (st->channel[i].hub_addr == hub_addr &&
  99311. + st->channel[i].port_addr == port_addr) {
  99312. + in_use = 1;
  99313. + }
  99314. + break;
  99315. + default:
  99316. + break;
  99317. + }
  99318. + if (in_use)
  99319. + break;
  99320. + }
  99321. + return in_use;
  99322. +}
  99323. +
  99324. +/**
  99325. + * fiq_fsm_more_csplits() - determine whether additional CSPLITs need
  99326. + * to be issued for this IN transaction.
  99327. + *
  99328. + * We cannot tell the inbound PID of a data packet due to hardware limitations.
  99329. + * we need to make an educated guess as to whether we need to queue another CSPLIT
  99330. + * or not. A no-brainer is when we have received enough data to fill the endpoint
  99331. + * size, but for endpoints that give variable-length data then we have to resort
  99332. + * to heuristics.
  99333. + *
  99334. + * We also return whether this is the last CSPLIT to be queued, again based on
  99335. + * heuristics. This is to allow a 1-uframe overlap of periodic split transactions.
  99336. + * Note: requires at least 1 CSPLIT to have been performed prior to being called.
  99337. + */
  99338. +
  99339. +/*
  99340. + * We need some way of guaranteeing if a returned periodic packet of size X
  99341. + * has a DATA0 PID.
  99342. + * The heuristic value of 144 bytes assumes that the received data has maximal
  99343. + * bit-stuffing and the clock frequency of the transmitting device is at the lowest
  99344. + * permissible limit. If the transfer length results in a final packet size
  99345. + * 144 < p <= 188, then an erroneous CSPLIT will be issued.
  99346. + * Also used to ensure that an endpoint will nominally only return a single
  99347. + * complete-split worth of data.
  99348. + */
  99349. +#define DATA0_PID_HEURISTIC 144
  99350. +
  99351. +static int notrace noinline fiq_fsm_more_csplits(struct fiq_state *state, int n, int *probably_last)
  99352. +{
  99353. +
  99354. + int i;
  99355. + int total_len = 0;
  99356. + int more_needed = 1;
  99357. + struct fiq_channel_state *st = &state->channel[n];
  99358. +
  99359. + for (i = 0; i < st->dma_info.index; i++) {
  99360. + total_len += st->dma_info.slot_len[i];
  99361. + }
  99362. +
  99363. + *probably_last = 0;
  99364. +
  99365. + if (st->hcchar_copy.b.eptype == 0x3) {
  99366. + /*
  99367. + * An interrupt endpoint will take max 2 CSPLITs. if we are receiving data
  99368. + * then this is definitely the last CSPLIT.
  99369. + */
  99370. + *probably_last = 1;
  99371. + } else {
  99372. + /* Isoc IN. This is a bit risky if we are the first transaction:
  99373. + * we may have been held off slightly. */
  99374. + if (i > 1 && st->dma_info.slot_len[st->dma_info.index-1] <= DATA0_PID_HEURISTIC) {
  99375. + more_needed = 0;
  99376. + }
  99377. + /* If in the next uframe we will receive enough data to fill the endpoint,
  99378. + * then only issue 1 more csplit.
  99379. + */
  99380. + if (st->hctsiz_copy.b.xfersize - total_len <= DATA0_PID_HEURISTIC)
  99381. + *probably_last = 1;
  99382. + }
  99383. +
  99384. + if (total_len >= st->hctsiz_copy.b.xfersize ||
  99385. + i == 6 || total_len == 0)
  99386. + /* Note: due to bit stuffing it is possible to have > 6 CSPLITs for
  99387. + * a single endpoint. Accepting more would completely break our scheduling mechanism though
  99388. + * - in these extreme cases we will pass through a truncated packet.
  99389. + */
  99390. + more_needed = 0;
  99391. +
  99392. + return more_needed;
  99393. +}
  99394. +
  99395. +/**
  99396. + * fiq_fsm_too_late() - Test transaction for lateness
  99397. + *
  99398. + * If a SSPLIT for a large IN transaction is issued too late in a frame,
  99399. + * the hub will disable the port to the device and respond with ERR handshakes.
  99400. + * The hub status endpoint will not reflect this change.
  99401. + * Returns 1 if we will issue a SSPLIT that will result in a device babble.
  99402. + */
  99403. +int notrace fiq_fsm_too_late(struct fiq_state *st, int n)
  99404. +{
  99405. + int uframe;
  99406. + hfnum_data_t hfnum = { .d32 = FIQ_READ(st->dwc_regs_base + HFNUM) };
  99407. + uframe = hfnum.b.frnum & 0x7;
  99408. + if ((uframe < 6) && (st->channel[n].nrpackets + 1 + uframe > 7)) {
  99409. + return 1;
  99410. + } else {
  99411. + return 0;
  99412. + }
  99413. +}
  99414. +
  99415. +
  99416. +/**
  99417. + * fiq_fsm_start_next_periodic() - A half-arsed attempt at a microframe pipeline
  99418. + *
  99419. + * Search pending transactions in the start-split pending state and queue them.
  99420. + * Don't queue packets in uframe .5 (comes out in .6) (USB2.0 11.18.4).
  99421. + * Note: we specifically don't do isochronous OUT transactions first because better
  99422. + * use of the TT's start-split fifo can be achieved by pipelining an IN before an OUT.
  99423. + */
  99424. +static void notrace noinline fiq_fsm_start_next_periodic(struct fiq_state *st, int num_channels)
  99425. +{
  99426. + int n;
  99427. + hfnum_data_t hfnum = { .d32 = FIQ_READ(st->dwc_regs_base + HFNUM) };
  99428. + if ((hfnum.b.frnum & 0x7) == 5)
  99429. + return;
  99430. + for (n = 0; n < num_channels; n++) {
  99431. + if (st->channel[n].fsm == FIQ_PER_SSPLIT_QUEUED) {
  99432. + /* Check to see if any other transactions are using this TT */
  99433. + if(!fiq_fsm_tt_in_use(st, num_channels, n)) {
  99434. + if (!fiq_fsm_too_late(st, n)) {
  99435. + st->channel[n].fsm = FIQ_PER_SSPLIT_STARTED;
  99436. + fiq_print(FIQDBG_INT, st, "NEXTPER ");
  99437. + fiq_fsm_restart_channel(st, n, 0);
  99438. + } else {
  99439. + st->channel[n].fsm = FIQ_PER_SPLIT_TIMEOUT;
  99440. + }
  99441. + break;
  99442. + }
  99443. + }
  99444. + }
  99445. + for (n = 0; n < num_channels; n++) {
  99446. + if (st->channel[n].fsm == FIQ_PER_ISO_OUT_PENDING) {
  99447. + if (!fiq_fsm_tt_in_use(st, num_channels, n)) {
  99448. + fiq_print(FIQDBG_INT, st, "NEXTISO ");
  99449. + st->channel[n].fsm = FIQ_PER_ISO_OUT_ACTIVE;
  99450. + fiq_fsm_restart_channel(st, n, 0);
  99451. + break;
  99452. + }
  99453. + }
  99454. + }
  99455. +}
  99456. +
  99457. +/**
  99458. + * fiq_fsm_update_hs_isoc() - update isochronous frame and transfer data
  99459. + * @state: Pointer to fiq_state
  99460. + * @n: Channel transaction is active on
  99461. + * @hcint: Copy of host channel interrupt register
  99462. + *
  99463. + * Returns 0 if there are no more transactions for this HC to do, 1
  99464. + * otherwise.
  99465. + */
  99466. +static int notrace noinline fiq_fsm_update_hs_isoc(struct fiq_state *state, int n, hcint_data_t hcint)
  99467. +{
  99468. + struct fiq_channel_state *st = &state->channel[n];
  99469. + int xfer_len = 0, nrpackets = 0;
  99470. + hcdma_data_t hcdma;
  99471. + fiq_print(FIQDBG_INT, state, "HSISO %02d", n);
  99472. +
  99473. + xfer_len = fiq_get_xfer_len(state, n);
  99474. + st->hs_isoc_info.iso_desc[st->hs_isoc_info.index].actual_length = xfer_len;
  99475. +
  99476. + st->hs_isoc_info.iso_desc[st->hs_isoc_info.index].status = hcint.d32;
  99477. +
  99478. + st->hs_isoc_info.index++;
  99479. + if (st->hs_isoc_info.index == st->hs_isoc_info.nrframes) {
  99480. + return 0;
  99481. + }
  99482. +
  99483. + /* grab the next DMA address offset from the array */
  99484. + hcdma.d32 = st->hcdma_copy.d32 + st->hs_isoc_info.iso_desc[st->hs_isoc_info.index].offset;
  99485. + FIQ_WRITE(state->dwc_regs_base + HC_DMA + (HC_OFFSET * n), hcdma.d32);
  99486. +
  99487. + /* We need to set multi_count. This is a bit tricky - has to be set per-transaction as
  99488. + * the core needs to be told to send the correct number. Caution: for IN transfers,
  99489. + * this is always set to the maximum size of the endpoint. */
  99490. + xfer_len = st->hs_isoc_info.iso_desc[st->hs_isoc_info.index].length;
  99491. + /* Integer divide in a FIQ: fun. FIXME: make this not suck */
  99492. + nrpackets = (xfer_len + st->hcchar_copy.b.mps - 1) / st->hcchar_copy.b.mps;
  99493. + if (nrpackets == 0)
  99494. + nrpackets = 1;
  99495. + st->hcchar_copy.b.multicnt = nrpackets;
  99496. + st->hctsiz_copy.b.pktcnt = nrpackets;
  99497. +
  99498. + /* Initial PID also needs to be set */
  99499. + if (st->hcchar_copy.b.epdir == 0) {
  99500. + st->hctsiz_copy.b.xfersize = xfer_len;
  99501. + switch (st->hcchar_copy.b.multicnt) {
  99502. + case 1:
  99503. + st->hctsiz_copy.b.pid = DWC_PID_DATA0;
  99504. + break;
  99505. + case 2:
  99506. + case 3:
  99507. + st->hctsiz_copy.b.pid = DWC_PID_MDATA;
  99508. + break;
  99509. + }
  99510. +
  99511. + } else {
  99512. + switch (st->hcchar_copy.b.multicnt) {
  99513. + st->hctsiz_copy.b.xfersize = nrpackets * st->hcchar_copy.b.mps;
  99514. + case 1:
  99515. + st->hctsiz_copy.b.pid = DWC_PID_DATA0;
  99516. + break;
  99517. + case 2:
  99518. + st->hctsiz_copy.b.pid = DWC_PID_DATA1;
  99519. + break;
  99520. + case 3:
  99521. + st->hctsiz_copy.b.pid = DWC_PID_DATA2;
  99522. + break;
  99523. + }
  99524. + }
  99525. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCTSIZ, st->hctsiz_copy.d32);
  99526. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR, st->hcchar_copy.d32);
  99527. + /* Channel is enabled on hcint handler exit */
  99528. + fiq_print(FIQDBG_INT, state, "HSISOOUT");
  99529. + return 1;
  99530. +}
  99531. +
  99532. +
  99533. +/**
  99534. + * fiq_fsm_do_sof() - FSM start-of-frame interrupt handler
  99535. + * @state: Pointer to the state struct passed from banked FIQ mode registers.
  99536. + * @num_channels: set according to the DWC hardware configuration
  99537. + *
  99538. + * The SOF handler in FSM mode has two functions
  99539. + * 1. Hold off SOF from causing schedule advancement in IRQ context if there's
  99540. + * nothing to do
  99541. + * 2. Advance certain FSM states that require either a microframe delay, or a microframe
  99542. + * of holdoff.
  99543. + *
  99544. + * The second part is architecture-specific to mach-bcm2835 -
  99545. + * a sane interrupt controller would have a mask register for ARM interrupt sources
  99546. + * to be promoted to the nFIQ line, but it doesn't. Instead a single interrupt
  99547. + * number (USB) can be enabled. This means that certain parts of the USB specification
  99548. + * that require "wait a little while, then issue another packet" cannot be fulfilled with
  99549. + * the timing granularity required to achieve optimal throughout. The workaround is to use
  99550. + * the SOF "timer" (125uS) to perform this task.
  99551. + */
  99552. +static int notrace noinline fiq_fsm_do_sof(struct fiq_state *state, int num_channels)
  99553. +{
  99554. + hfnum_data_t hfnum = { .d32 = FIQ_READ(state->dwc_regs_base + HFNUM) };
  99555. + int n;
  99556. + int kick_irq = 0;
  99557. +
  99558. + if ((hfnum.b.frnum & 0x7) == 1) {
  99559. + /* We cannot issue csplits for transactions in the last frame past (n+1).1
  99560. + * Check to see if there are any transactions that are stale.
  99561. + * Boot them out.
  99562. + */
  99563. + for (n = 0; n < num_channels; n++) {
  99564. + switch (state->channel[n].fsm) {
  99565. + case FIQ_PER_CSPLIT_WAIT:
  99566. + case FIQ_PER_CSPLIT_NYET1:
  99567. + case FIQ_PER_CSPLIT_POLL:
  99568. + case FIQ_PER_CSPLIT_LAST:
  99569. + /* Check if we are no longer in the same full-speed frame. */
  99570. + if (((state->channel[n].expected_uframe & 0x3FFF) & ~0x7) <
  99571. + (hfnum.b.frnum & ~0x7))
  99572. + state->channel[n].fsm = FIQ_PER_SPLIT_TIMEOUT;
  99573. + break;
  99574. + default:
  99575. + break;
  99576. + }
  99577. + }
  99578. + }
  99579. +
  99580. + for (n = 0; n < num_channels; n++) {
  99581. + switch (state->channel[n].fsm) {
  99582. +
  99583. + case FIQ_NP_SSPLIT_RETRY:
  99584. + case FIQ_NP_IN_CSPLIT_RETRY:
  99585. + case FIQ_NP_OUT_CSPLIT_RETRY:
  99586. + fiq_fsm_restart_channel(state, n, 0);
  99587. + break;
  99588. +
  99589. + case FIQ_HS_ISOC_SLEEPING:
  99590. + /* Is it time to wake this channel yet? */
  99591. + if (--state->channel[n].uframe_sleeps == 0) {
  99592. + state->channel[n].fsm = FIQ_HS_ISOC_TURBO;
  99593. + fiq_fsm_restart_channel(state, n, 0);
  99594. + }
  99595. + break;
  99596. +
  99597. + case FIQ_PER_SSPLIT_QUEUED:
  99598. + if ((hfnum.b.frnum & 0x7) == 5)
  99599. + break;
  99600. + if(!fiq_fsm_tt_in_use(state, num_channels, n)) {
  99601. + if (!fiq_fsm_too_late(state, n)) {
  99602. + fiq_print(FIQDBG_INT, state, "SOF GO %01d", n);
  99603. + fiq_fsm_restart_channel(state, n, 0);
  99604. + state->channel[n].fsm = FIQ_PER_SSPLIT_STARTED;
  99605. + } else {
  99606. + /* Transaction cannot be started without risking a device babble error */
  99607. + state->channel[n].fsm = FIQ_PER_SPLIT_TIMEOUT;
  99608. + state->haintmsk_saved.b2.chint &= ~(1 << n);
  99609. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINTMSK, 0);
  99610. + kick_irq |= 1;
  99611. + }
  99612. + }
  99613. + break;
  99614. +
  99615. + case FIQ_PER_ISO_OUT_PENDING:
  99616. + /* Ordinarily, this should be poked after the SSPLIT
  99617. + * complete interrupt for a competing transfer on the same
  99618. + * TT. Doesn't happen for aborted transactions though.
  99619. + */
  99620. + if ((hfnum.b.frnum & 0x7) >= 5)
  99621. + break;
  99622. + if (!fiq_fsm_tt_in_use(state, num_channels, n)) {
  99623. + /* Hardware bug. SOF can sometimes occur after the channel halt interrupt
  99624. + * that caused this.
  99625. + */
  99626. + fiq_fsm_restart_channel(state, n, 0);
  99627. + fiq_print(FIQDBG_INT, state, "SOF ISOC");
  99628. + if (state->channel[n].nrpackets == 1) {
  99629. + state->channel[n].fsm = FIQ_PER_ISO_OUT_LAST;
  99630. + } else {
  99631. + state->channel[n].fsm = FIQ_PER_ISO_OUT_ACTIVE;
  99632. + }
  99633. + }
  99634. + break;
  99635. +
  99636. + case FIQ_PER_CSPLIT_WAIT:
  99637. + /* we are guaranteed to be in this state if and only if the SSPLIT interrupt
  99638. + * occurred when the bus transaction occurred. The SOF interrupt reversal bug
  99639. + * will utterly bugger this up though.
  99640. + */
  99641. + if (hfnum.b.frnum != state->channel[n].expected_uframe) {
  99642. + fiq_print(FIQDBG_INT, state, "SOFCS %d ", n);
  99643. + state->channel[n].fsm = FIQ_PER_CSPLIT_POLL;
  99644. + fiq_fsm_restart_channel(state, n, 0);
  99645. + fiq_fsm_start_next_periodic(state, num_channels);
  99646. +
  99647. + }
  99648. + break;
  99649. +
  99650. + case FIQ_PER_SPLIT_TIMEOUT:
  99651. + case FIQ_DEQUEUE_ISSUED:
  99652. + /* Ugly: we have to force a HCD interrupt.
  99653. + * Poke the mask for the channel in question.
  99654. + * We will take a fake SOF because of this, but
  99655. + * that's OK.
  99656. + */
  99657. + state->haintmsk_saved.b2.chint &= ~(1 << n);
  99658. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINTMSK, 0);
  99659. + kick_irq |= 1;
  99660. + break;
  99661. +
  99662. + default:
  99663. + break;
  99664. + }
  99665. + }
  99666. +
  99667. + if (state->kick_np_queues ||
  99668. + dwc_frame_num_le(state->next_sched_frame, hfnum.b.frnum))
  99669. + kick_irq |= 1;
  99670. +
  99671. + return !kick_irq;
  99672. +}
  99673. +
  99674. +
  99675. +/**
  99676. + * fiq_fsm_do_hcintr() - FSM host channel interrupt handler
  99677. + * @state: Pointer to the FIQ state struct
  99678. + * @num_channels: Number of channels as per hardware config
  99679. + * @n: channel for which HAINT(i) was raised
  99680. + *
  99681. + * An important property is that only the CHHLT interrupt is unmasked. Unfortunately, AHBerr is as well.
  99682. + */
  99683. +static int notrace noinline fiq_fsm_do_hcintr(struct fiq_state *state, int num_channels, int n)
  99684. +{
  99685. + hcint_data_t hcint;
  99686. + hcintmsk_data_t hcintmsk;
  99687. + hcint_data_t hcint_probe;
  99688. + hcchar_data_t hcchar;
  99689. + int handled = 0;
  99690. + int restart = 0;
  99691. + int last_csplit = 0;
  99692. + int start_next_periodic = 0;
  99693. + struct fiq_channel_state *st = &state->channel[n];
  99694. + hfnum_data_t hfnum;
  99695. +
  99696. + hcint.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINT);
  99697. + hcintmsk.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINTMSK);
  99698. + hcint_probe.d32 = hcint.d32 & hcintmsk.d32;
  99699. +
  99700. + if (st->fsm != FIQ_PASSTHROUGH) {
  99701. + fiq_print(FIQDBG_INT, state, "HC%01d ST%02d", n, st->fsm);
  99702. + fiq_print(FIQDBG_INT, state, "%08x", hcint.d32);
  99703. + }
  99704. +
  99705. + switch (st->fsm) {
  99706. +
  99707. + case FIQ_PASSTHROUGH:
  99708. + case FIQ_DEQUEUE_ISSUED:
  99709. + /* doesn't belong to us, kick it upstairs */
  99710. + break;
  99711. +
  99712. + case FIQ_PASSTHROUGH_ERRORSTATE:
  99713. + /* We are here to emulate the error recovery mechanism of the dwc HCD.
  99714. + * Several interrupts are unmasked if a previous transaction failed - it's
  99715. + * death for the FIQ to attempt to handle them as the channel isn't halted.
  99716. + * Emulate what the HCD does in this situation: mask and continue.
  99717. + * The FSM has no other state setup so this has to be handled out-of-band.
  99718. + */
  99719. + fiq_print(FIQDBG_ERR, state, "ERRST %02d", n);
  99720. + if (hcint_probe.b.nak || hcint_probe.b.ack || hcint_probe.b.datatglerr) {
  99721. + fiq_print(FIQDBG_ERR, state, "RESET %02d", n);
  99722. + /* In some random cases we can get a NAK interrupt coincident with a Xacterr
  99723. + * interrupt, after the device has disappeared.
  99724. + */
  99725. + if (!hcint.b.xacterr)
  99726. + st->nr_errors = 0;
  99727. + hcintmsk.b.nak = 0;
  99728. + hcintmsk.b.ack = 0;
  99729. + hcintmsk.b.datatglerr = 0;
  99730. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINTMSK, hcintmsk.d32);
  99731. + return 1;
  99732. + }
  99733. + if (hcint_probe.b.chhltd) {
  99734. + fiq_print(FIQDBG_ERR, state, "CHHLT %02d", n);
  99735. + fiq_print(FIQDBG_ERR, state, "%08x", hcint.d32);
  99736. + return 0;
  99737. + }
  99738. + break;
  99739. +
  99740. + /* Non-periodic state groups */
  99741. + case FIQ_NP_SSPLIT_STARTED:
  99742. + case FIQ_NP_SSPLIT_RETRY:
  99743. + /* Got a HCINT for a NP SSPLIT. Expected ACK / NAK / fail */
  99744. + if (hcint.b.ack) {
  99745. + /* SSPLIT complete. For OUT, the data has been sent. For IN, the LS transaction
  99746. + * will start shortly. SOF needs to kick the transaction to prevent a NYET flood.
  99747. + */
  99748. + if(st->hcchar_copy.b.epdir == 1)
  99749. + st->fsm = FIQ_NP_IN_CSPLIT_RETRY;
  99750. + else
  99751. + st->fsm = FIQ_NP_OUT_CSPLIT_RETRY;
  99752. + st->nr_errors = 0;
  99753. + handled = 1;
  99754. + fiq_fsm_setup_csplit(state, n);
  99755. + } else if (hcint.b.nak) {
  99756. + // No buffer space in TT. Retry on a uframe boundary.
  99757. + st->fsm = FIQ_NP_SSPLIT_RETRY;
  99758. + handled = 1;
  99759. + } else if (hcint.b.xacterr) {
  99760. + // The only other one we care about is xacterr. This implies HS bus error - retry.
  99761. + st->nr_errors++;
  99762. + st->fsm = FIQ_NP_SSPLIT_RETRY;
  99763. + if (st->nr_errors >= 3) {
  99764. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99765. + } else {
  99766. + handled = 1;
  99767. + restart = 1;
  99768. + }
  99769. + } else {
  99770. + st->fsm = FIQ_NP_SPLIT_LS_ABORTED;
  99771. + handled = 0;
  99772. + restart = 0;
  99773. + }
  99774. + break;
  99775. +
  99776. + case FIQ_NP_IN_CSPLIT_RETRY:
  99777. + /* Received a CSPLIT done interrupt.
  99778. + * Expected Data/NAK/STALL/NYET for IN.
  99779. + */
  99780. + if (hcint.b.xfercomp) {
  99781. + /* For IN, data is present. */
  99782. + st->fsm = FIQ_NP_SPLIT_DONE;
  99783. + } else if (hcint.b.nak) {
  99784. + /* no endpoint data. Punt it upstairs */
  99785. + st->fsm = FIQ_NP_SPLIT_DONE;
  99786. + } else if (hcint.b.nyet) {
  99787. + /* CSPLIT NYET - retry on a uframe boundary. */
  99788. + handled = 1;
  99789. + st->nr_errors = 0;
  99790. + } else if (hcint.b.datatglerr) {
  99791. + /* data toggle errors do not set the xfercomp bit. */
  99792. + st->fsm = FIQ_NP_SPLIT_LS_ABORTED;
  99793. + } else if (hcint.b.xacterr) {
  99794. + /* HS error. Retry immediate */
  99795. + st->fsm = FIQ_NP_IN_CSPLIT_RETRY;
  99796. + st->nr_errors++;
  99797. + if (st->nr_errors >= 3) {
  99798. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99799. + } else {
  99800. + handled = 1;
  99801. + restart = 1;
  99802. + }
  99803. + } else if (hcint.b.stall || hcint.b.bblerr) {
  99804. + /* A STALL implies either a LS bus error or a genuine STALL. */
  99805. + st->fsm = FIQ_NP_SPLIT_LS_ABORTED;
  99806. + } else {
  99807. + /* Hardware bug. It's possible in some cases to
  99808. + * get a channel halt with nothing else set when
  99809. + * the response was a NYET. Treat as local 3-strikes retry.
  99810. + */
  99811. + hcint_data_t hcint_test = hcint;
  99812. + hcint_test.b.chhltd = 0;
  99813. + if (!hcint_test.d32) {
  99814. + st->nr_errors++;
  99815. + if (st->nr_errors >= 3) {
  99816. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99817. + } else {
  99818. + handled = 1;
  99819. + }
  99820. + } else {
  99821. + /* Bail out if something unexpected happened */
  99822. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99823. + }
  99824. + }
  99825. + break;
  99826. +
  99827. + case FIQ_NP_OUT_CSPLIT_RETRY:
  99828. + /* Received a CSPLIT done interrupt.
  99829. + * Expected ACK/NAK/STALL/NYET/XFERCOMP for OUT.*/
  99830. + if (hcint.b.xfercomp) {
  99831. + st->fsm = FIQ_NP_SPLIT_DONE;
  99832. + } else if (hcint.b.nak) {
  99833. + // The HCD will implement the holdoff on frame boundaries.
  99834. + st->fsm = FIQ_NP_SPLIT_DONE;
  99835. + } else if (hcint.b.nyet) {
  99836. + // Hub still processing.
  99837. + st->fsm = FIQ_NP_OUT_CSPLIT_RETRY;
  99838. + handled = 1;
  99839. + st->nr_errors = 0;
  99840. + //restart = 1;
  99841. + } else if (hcint.b.xacterr) {
  99842. + /* HS error. retry immediate */
  99843. + st->fsm = FIQ_NP_OUT_CSPLIT_RETRY;
  99844. + st->nr_errors++;
  99845. + if (st->nr_errors >= 3) {
  99846. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99847. + } else {
  99848. + handled = 1;
  99849. + restart = 1;
  99850. + }
  99851. + } else if (hcint.b.stall) {
  99852. + /* LS bus error or genuine stall */
  99853. + st->fsm = FIQ_NP_SPLIT_LS_ABORTED;
  99854. + } else {
  99855. + /*
  99856. + * Hardware bug. It's possible in some cases to get a
  99857. + * channel halt with nothing else set when the response was a NYET.
  99858. + * Treat as local 3-strikes retry.
  99859. + */
  99860. + hcint_data_t hcint_test = hcint;
  99861. + hcint_test.b.chhltd = 0;
  99862. + if (!hcint_test.d32) {
  99863. + st->nr_errors++;
  99864. + if (st->nr_errors >= 3) {
  99865. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99866. + } else {
  99867. + handled = 1;
  99868. + }
  99869. + } else {
  99870. + // Something unexpected happened. AHBerror or babble perhaps. Let the IRQ deal with it.
  99871. + st->fsm = FIQ_NP_SPLIT_HS_ABORTED;
  99872. + }
  99873. + }
  99874. + break;
  99875. +
  99876. + /* Periodic split states (except isoc out) */
  99877. + case FIQ_PER_SSPLIT_STARTED:
  99878. + /* Expect an ACK or failure for SSPLIT */
  99879. + if (hcint.b.ack) {
  99880. + /*
  99881. + * SSPLIT transfer complete interrupt - the generation of this interrupt is fraught with bugs.
  99882. + * For a packet queued in microframe n-3 to appear in n-2, if the channel is enabled near the EOF1
  99883. + * point for microframe n-3, the packet will not appear on the bus until microframe n.
  99884. + * Additionally, the generation of the actual interrupt is dodgy. For a packet appearing on the bus
  99885. + * in microframe n, sometimes the interrupt is generated immediately. Sometimes, it appears in n+1
  99886. + * coincident with SOF for n+1.
  99887. + * SOF is also buggy. It can sometimes be raised AFTER the first bus transaction has taken place.
  99888. + * These appear to be caused by timing/clock crossing bugs within the core itself.
  99889. + * State machine workaround.
  99890. + */
  99891. + hfnum.d32 = FIQ_READ(state->dwc_regs_base + HFNUM);
  99892. + hcchar.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR);
  99893. + fiq_fsm_setup_csplit(state, n);
  99894. + /* Poke the oddfrm bit. If we are equivalent, we received the interrupt at the correct
  99895. + * time. If not, then we're in the next SOF.
  99896. + */
  99897. + if ((hfnum.b.frnum & 0x1) == hcchar.b.oddfrm) {
  99898. + fiq_print(FIQDBG_INT, state, "CSWAIT %01d", n);
  99899. + st->expected_uframe = hfnum.b.frnum;
  99900. + st->fsm = FIQ_PER_CSPLIT_WAIT;
  99901. + } else {
  99902. + fiq_print(FIQDBG_INT, state, "CSPOL %01d", n);
  99903. + /* For isochronous IN endpoints,
  99904. + * we need to hold off if we are expecting a lot of data */
  99905. + if (st->hcchar_copy.b.mps < DATA0_PID_HEURISTIC) {
  99906. + start_next_periodic = 1;
  99907. + }
  99908. + /* Danger will robinson: we are in a broken state. If our first interrupt after
  99909. + * this is a NYET, it will be delayed by 1 uframe and result in an unrecoverable
  99910. + * lag. Unmask the NYET interrupt.
  99911. + */
  99912. + st->expected_uframe = (hfnum.b.frnum + 1) & 0x3FFF;
  99913. + st->fsm = FIQ_PER_CSPLIT_BROKEN_NYET1;
  99914. + restart = 1;
  99915. + }
  99916. + handled = 1;
  99917. + } else if (hcint.b.xacterr) {
  99918. + /* 3-strikes retry is enabled, we have hit our max nr_errors */
  99919. + st->fsm = FIQ_PER_SPLIT_HS_ABORTED;
  99920. + start_next_periodic = 1;
  99921. + } else {
  99922. + st->fsm = FIQ_PER_SPLIT_HS_ABORTED;
  99923. + start_next_periodic = 1;
  99924. + }
  99925. + /* We can now queue the next isochronous OUT transaction, if one is pending. */
  99926. + if(fiq_fsm_tt_next_isoc(state, num_channels, n)) {
  99927. + fiq_print(FIQDBG_INT, state, "NEXTISO ");
  99928. + }
  99929. + break;
  99930. +
  99931. + case FIQ_PER_CSPLIT_NYET1:
  99932. + /* First CSPLIT attempt was a NYET. If we get a subsequent NYET,
  99933. + * we are too late and the TT has dropped its CSPLIT fifo.
  99934. + */
  99935. + hfnum.d32 = FIQ_READ(state->dwc_regs_base + HFNUM);
  99936. + hcchar.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR);
  99937. + start_next_periodic = 1;
  99938. + if (hcint.b.nak) {
  99939. + st->fsm = FIQ_PER_SPLIT_DONE;
  99940. + } else if (hcint.b.xfercomp) {
  99941. + fiq_increment_dma_buf(state, num_channels, n);
  99942. + st->fsm = FIQ_PER_CSPLIT_POLL;
  99943. + st->nr_errors = 0;
  99944. + if (fiq_fsm_more_csplits(state, n, &last_csplit)) {
  99945. + handled = 1;
  99946. + restart = 1;
  99947. + if (!last_csplit)
  99948. + start_next_periodic = 0;
  99949. + } else {
  99950. + st->fsm = FIQ_PER_SPLIT_DONE;
  99951. + }
  99952. + } else if (hcint.b.nyet) {
  99953. + /* Doh. Data lost. */
  99954. + st->fsm = FIQ_PER_SPLIT_NYET_ABORTED;
  99955. + } else if (hcint.b.xacterr || hcint.b.stall || hcint.b.bblerr) {
  99956. + st->fsm = FIQ_PER_SPLIT_LS_ABORTED;
  99957. + } else {
  99958. + st->fsm = FIQ_PER_SPLIT_HS_ABORTED;
  99959. + }
  99960. + break;
  99961. +
  99962. + case FIQ_PER_CSPLIT_BROKEN_NYET1:
  99963. + /*
  99964. + * we got here because our host channel is in the delayed-interrupt
  99965. + * state and we cannot take a NYET interrupt any later than when it
  99966. + * occurred. Disable then re-enable the channel if this happens to force
  99967. + * CSPLITs to occur at the right time.
  99968. + */
  99969. + hfnum.d32 = FIQ_READ(state->dwc_regs_base + HFNUM);
  99970. + hcchar.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR);
  99971. + fiq_print(FIQDBG_INT, state, "BROK: %01d ", n);
  99972. + if (hcint.b.nak) {
  99973. + st->fsm = FIQ_PER_SPLIT_DONE;
  99974. + start_next_periodic = 1;
  99975. + } else if (hcint.b.xfercomp) {
  99976. + fiq_increment_dma_buf(state, num_channels, n);
  99977. + if (fiq_fsm_more_csplits(state, n, &last_csplit)) {
  99978. + st->fsm = FIQ_PER_CSPLIT_POLL;
  99979. + handled = 1;
  99980. + restart = 1;
  99981. + start_next_periodic = 1;
  99982. + /* Reload HCTSIZ for the next transfer */
  99983. + fiq_fsm_reload_hctsiz(state, n);
  99984. + if (!last_csplit)
  99985. + start_next_periodic = 0;
  99986. + } else {
  99987. + st->fsm = FIQ_PER_SPLIT_DONE;
  99988. + }
  99989. + } else if (hcint.b.nyet) {
  99990. + st->fsm = FIQ_PER_SPLIT_NYET_ABORTED;
  99991. + start_next_periodic = 1;
  99992. + } else if (hcint.b.xacterr || hcint.b.stall || hcint.b.bblerr) {
  99993. + /* Local 3-strikes retry is handled by the core. This is a ERR response.*/
  99994. + st->fsm = FIQ_PER_SPLIT_LS_ABORTED;
  99995. + } else {
  99996. + st->fsm = FIQ_PER_SPLIT_HS_ABORTED;
  99997. + }
  99998. + break;
  99999. +
  100000. + case FIQ_PER_CSPLIT_POLL:
  100001. + hfnum.d32 = FIQ_READ(state->dwc_regs_base + HFNUM);
  100002. + hcchar.d32 = FIQ_READ(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCCHAR);
  100003. + start_next_periodic = 1;
  100004. + if (hcint.b.nak) {
  100005. + st->fsm = FIQ_PER_SPLIT_DONE;
  100006. + } else if (hcint.b.xfercomp) {
  100007. + fiq_increment_dma_buf(state, num_channels, n);
  100008. + if (fiq_fsm_more_csplits(state, n, &last_csplit)) {
  100009. + handled = 1;
  100010. + restart = 1;
  100011. + /* Reload HCTSIZ for the next transfer */
  100012. + fiq_fsm_reload_hctsiz(state, n);
  100013. + if (!last_csplit)
  100014. + start_next_periodic = 0;
  100015. + } else {
  100016. + st->fsm = FIQ_PER_SPLIT_DONE;
  100017. + }
  100018. + } else if (hcint.b.nyet) {
  100019. + /* Are we a NYET after the first data packet? */
  100020. + if (st->nrpackets == 0) {
  100021. + st->fsm = FIQ_PER_CSPLIT_NYET1;
  100022. + handled = 1;
  100023. + restart = 1;
  100024. + } else {
  100025. + /* We got a NYET when polling CSPLITs. Can happen
  100026. + * if our heuristic fails, or if someone disables us
  100027. + * for any significant length of time.
  100028. + */
  100029. + if (st->nr_errors >= 3) {
  100030. + st->fsm = FIQ_PER_SPLIT_NYET_ABORTED;
  100031. + } else {
  100032. + st->fsm = FIQ_PER_SPLIT_DONE;
  100033. + }
  100034. + }
  100035. + } else if (hcint.b.xacterr || hcint.b.stall || hcint.b.bblerr) {
  100036. + /* For xacterr, Local 3-strikes retry is handled by the core. This is a ERR response.*/
  100037. + st->fsm = FIQ_PER_SPLIT_LS_ABORTED;
  100038. + } else {
  100039. + st->fsm = FIQ_PER_SPLIT_HS_ABORTED;
  100040. + }
  100041. + break;
  100042. +
  100043. + case FIQ_HS_ISOC_TURBO:
  100044. + if (fiq_fsm_update_hs_isoc(state, n, hcint)) {
  100045. + /* more transactions to come */
  100046. + handled = 1;
  100047. + fiq_print(FIQDBG_INT, state, "HSISO M ");
  100048. + /* For strided transfers, put ourselves to sleep */
  100049. + if (st->hs_isoc_info.stride > 1) {
  100050. + st->uframe_sleeps = st->hs_isoc_info.stride - 1;
  100051. + st->fsm = FIQ_HS_ISOC_SLEEPING;
  100052. + } else {
  100053. + restart = 1;
  100054. + }
  100055. + } else {
  100056. + st->fsm = FIQ_HS_ISOC_DONE;
  100057. + fiq_print(FIQDBG_INT, state, "HSISO F ");
  100058. + }
  100059. + break;
  100060. +
  100061. + case FIQ_HS_ISOC_ABORTED:
  100062. + /* This abort is called by the driver rewriting the state mid-transaction
  100063. + * which allows the dequeue mechanism to work more effectively.
  100064. + */
  100065. + break;
  100066. +
  100067. + case FIQ_PER_ISO_OUT_ACTIVE:
  100068. + if (hcint.b.ack) {
  100069. + if(fiq_iso_out_advance(state, num_channels, n)) {
  100070. + /* last OUT transfer */
  100071. + st->fsm = FIQ_PER_ISO_OUT_LAST;
  100072. + /*
  100073. + * Assuming the periodic FIFO in the dwc core
  100074. + * actually does its job properly, we can queue
  100075. + * the next ssplit now and in theory, the wire
  100076. + * transactions will be in-order.
  100077. + */
  100078. + // No it doesn't. It appears to process requests in host channel order.
  100079. + //start_next_periodic = 1;
  100080. + }
  100081. + handled = 1;
  100082. + restart = 1;
  100083. + } else {
  100084. + /*
  100085. + * Isochronous transactions carry on regardless. Log the error
  100086. + * and continue.
  100087. + */
  100088. + //explode += 1;
  100089. + st->nr_errors++;
  100090. + if(fiq_iso_out_advance(state, num_channels, n)) {
  100091. + st->fsm = FIQ_PER_ISO_OUT_LAST;
  100092. + //start_next_periodic = 1;
  100093. + }
  100094. + handled = 1;
  100095. + restart = 1;
  100096. + }
  100097. + break;
  100098. +
  100099. + case FIQ_PER_ISO_OUT_LAST:
  100100. + if (hcint.b.ack) {
  100101. + /* All done here */
  100102. + st->fsm = FIQ_PER_ISO_OUT_DONE;
  100103. + } else {
  100104. + st->fsm = FIQ_PER_ISO_OUT_DONE;
  100105. + st->nr_errors++;
  100106. + }
  100107. + start_next_periodic = 1;
  100108. + break;
  100109. +
  100110. + case FIQ_PER_SPLIT_TIMEOUT:
  100111. + /* SOF kicked us because we overran. */
  100112. + start_next_periodic = 1;
  100113. + break;
  100114. +
  100115. + default:
  100116. + break;
  100117. + }
  100118. +
  100119. + if (handled) {
  100120. + FIQ_WRITE(state->dwc_regs_base + HC_START + (HC_OFFSET * n) + HCINT, hcint.d32);
  100121. + } else {
  100122. + /* Copy the regs into the state so the IRQ knows what to do */
  100123. + st->hcint_copy.d32 = hcint.d32;
  100124. + }
  100125. +
  100126. + if (restart) {
  100127. + /* Restart always implies handled. */
  100128. + if (restart == 2) {
  100129. + /* For complete-split INs, the show must go on.
  100130. + * Force a channel restart */
  100131. + fiq_fsm_restart_channel(state, n, 1);
  100132. + } else {
  100133. + fiq_fsm_restart_channel(state, n, 0);
  100134. + }
  100135. + }
  100136. + if (start_next_periodic) {
  100137. + fiq_fsm_start_next_periodic(state, num_channels);
  100138. + }
  100139. + if (st->fsm != FIQ_PASSTHROUGH)
  100140. + fiq_print(FIQDBG_INT, state, "FSMOUT%02d", st->fsm);
  100141. +
  100142. + return handled;
  100143. +}
  100144. +
  100145. +
  100146. +/**
  100147. + * dwc_otg_fiq_fsm() - Flying State Machine (monster) FIQ
  100148. + * @state: pointer to state struct passed from the banked FIQ mode registers.
  100149. + * @num_channels: set according to the DWC hardware configuration
  100150. + * @dma: pointer to DMA bounce buffers for split transaction slots
  100151. + *
  100152. + * The FSM FIQ performs the low-level tasks that normally would be performed by the microcode
  100153. + * inside an EHCI or similar host controller regarding split transactions. The DWC core
  100154. + * interrupts each and every time a split transaction packet is received or sent successfully.
  100155. + * This results in either an interrupt storm when everything is working "properly", or
  100156. + * the interrupt latency of the system in general breaks time-sensitive periodic split
  100157. + * transactions. Pushing the low-level, but relatively easy state machine work into the FIQ
  100158. + * solves these problems.
  100159. + *
  100160. + * Return: void
  100161. + */
  100162. +void notrace dwc_otg_fiq_fsm(struct fiq_state *state, int num_channels)
  100163. +{
  100164. + gintsts_data_t gintsts, gintsts_handled;
  100165. + gintmsk_data_t gintmsk;
  100166. + //hfnum_data_t hfnum;
  100167. + haint_data_t haint, haint_handled;
  100168. + haintmsk_data_t haintmsk;
  100169. + int kick_irq = 0;
  100170. +
  100171. + gintsts_handled.d32 = 0;
  100172. + haint_handled.d32 = 0;
  100173. +
  100174. + fiq_fsm_spin_lock(&state->lock);
  100175. + gintsts.d32 = FIQ_READ(state->dwc_regs_base + GINTSTS);
  100176. + gintmsk.d32 = FIQ_READ(state->dwc_regs_base + GINTMSK);
  100177. + gintsts.d32 &= gintmsk.d32;
  100178. +
  100179. + if (gintsts.b.sofintr) {
  100180. + /* For FSM mode, SOF is required to keep the state machine advance for
  100181. + * certain stages of the periodic pipeline. It's death to mask this
  100182. + * interrupt in that case.
  100183. + */
  100184. +
  100185. + if (!fiq_fsm_do_sof(state, num_channels)) {
  100186. + /* Kick IRQ once. Queue advancement means that all pending transactions
  100187. + * will get serviced when the IRQ finally executes.
  100188. + */
  100189. + if (state->gintmsk_saved.b.sofintr == 1)
  100190. + kick_irq |= 1;
  100191. + state->gintmsk_saved.b.sofintr = 0;
  100192. + }
  100193. + gintsts_handled.b.sofintr = 1;
  100194. + }
  100195. +
  100196. + if (gintsts.b.hcintr) {
  100197. + int i;
  100198. + haint.d32 = FIQ_READ(state->dwc_regs_base + HAINT);
  100199. + haintmsk.d32 = FIQ_READ(state->dwc_regs_base + HAINTMSK);
  100200. + haint.d32 &= haintmsk.d32;
  100201. + haint_handled.d32 = 0;
  100202. + for (i=0; i<num_channels; i++) {
  100203. + if (haint.b2.chint & (1 << i)) {
  100204. + if(!fiq_fsm_do_hcintr(state, num_channels, i)) {
  100205. + /* HCINT was not handled in FIQ
  100206. + * HAINT is level-sensitive, leading to level-sensitive ginststs.b.hcint bit.
  100207. + * Mask HAINT(i) but keep top-level hcint unmasked.
  100208. + */
  100209. + state->haintmsk_saved.b2.chint &= ~(1 << i);
  100210. + } else {
  100211. + /* do_hcintr cleaned up after itself, but clear haint */
  100212. + haint_handled.b2.chint |= (1 << i);
  100213. + }
  100214. + }
  100215. + }
  100216. +
  100217. + if (haint_handled.b2.chint) {
  100218. + FIQ_WRITE(state->dwc_regs_base + HAINT, haint_handled.d32);
  100219. + }
  100220. +
  100221. + if (haintmsk.d32 != (haintmsk.d32 & state->haintmsk_saved.d32)) {
  100222. + /*
  100223. + * This is necessary to avoid multiple retriggers of the MPHI in the case
  100224. + * where interrupts are held off and HCINTs start to pile up.
  100225. + * Only wake up the IRQ if a new interrupt came in, was not handled and was
  100226. + * masked.
  100227. + */
  100228. + haintmsk.d32 &= state->haintmsk_saved.d32;
  100229. + FIQ_WRITE(state->dwc_regs_base + HAINTMSK, haintmsk.d32);
  100230. + kick_irq |= 1;
  100231. + }
  100232. + /* Top-Level interrupt - always handled because it's level-sensitive */
  100233. + gintsts_handled.b.hcintr = 1;
  100234. + }
  100235. +
  100236. +
  100237. + /* Clear the bits in the saved register that were not handled but were triggered. */
  100238. + state->gintmsk_saved.d32 &= ~(gintsts.d32 & ~gintsts_handled.d32);
  100239. +
  100240. + /* FIQ didn't handle something - mask has changed - write new mask */
  100241. + if (gintmsk.d32 != (gintmsk.d32 & state->gintmsk_saved.d32)) {
  100242. + gintmsk.d32 &= state->gintmsk_saved.d32;
  100243. + gintmsk.b.sofintr = 1;
  100244. + FIQ_WRITE(state->dwc_regs_base + GINTMSK, gintmsk.d32);
  100245. +// fiq_print(FIQDBG_INT, state, "KICKGINT");
  100246. +// fiq_print(FIQDBG_INT, state, "%08x", gintmsk.d32);
  100247. +// fiq_print(FIQDBG_INT, state, "%08x", state->gintmsk_saved.d32);
  100248. + kick_irq |= 1;
  100249. + }
  100250. +
  100251. + if (gintsts_handled.d32) {
  100252. + /* Only applies to edge-sensitive bits in GINTSTS */
  100253. + FIQ_WRITE(state->dwc_regs_base + GINTSTS, gintsts_handled.d32);
  100254. + }
  100255. +
  100256. + /* We got an interrupt, didn't handle it. */
  100257. + if (kick_irq) {
  100258. + state->mphi_int_count++;
  100259. + FIQ_WRITE(state->mphi_regs.outdda, (int) state->dummy_send);
  100260. + FIQ_WRITE(state->mphi_regs.outddb, (1<<29));
  100261. +
  100262. + }
  100263. + state->fiq_done++;
  100264. + mb();
  100265. + fiq_fsm_spin_unlock(&state->lock);
  100266. +}
  100267. +
  100268. +
  100269. +/**
  100270. + * dwc_otg_fiq_nop() - FIQ "lite"
  100271. + * @state: pointer to state struct passed from the banked FIQ mode registers.
  100272. + *
  100273. + * The "nop" handler does not intervene on any interrupts other than SOF.
  100274. + * It is limited in scope to deciding at each SOF if the IRQ SOF handler (which deals
  100275. + * with non-periodic/periodic queues) needs to be kicked.
  100276. + *
  100277. + * This is done to hold off the SOF interrupt, which occurs at a rate of 8000 per second.
  100278. + *
  100279. + * Return: void
  100280. + */
  100281. +void notrace dwc_otg_fiq_nop(struct fiq_state *state)
  100282. +{
  100283. + gintsts_data_t gintsts, gintsts_handled;
  100284. + gintmsk_data_t gintmsk;
  100285. + hfnum_data_t hfnum;
  100286. +
  100287. + fiq_fsm_spin_lock(&state->lock);
  100288. + hfnum.d32 = FIQ_READ(state->dwc_regs_base + HFNUM);
  100289. + gintsts.d32 = FIQ_READ(state->dwc_regs_base + GINTSTS);
  100290. + gintmsk.d32 = FIQ_READ(state->dwc_regs_base + GINTMSK);
  100291. + gintsts.d32 &= gintmsk.d32;
  100292. + gintsts_handled.d32 = 0;
  100293. +
  100294. + if (gintsts.b.sofintr) {
  100295. + if (!state->kick_np_queues &&
  100296. + dwc_frame_num_gt(state->next_sched_frame, hfnum.b.frnum)) {
  100297. + /* SOF handled, no work to do, just ACK interrupt */
  100298. + gintsts_handled.b.sofintr = 1;
  100299. + } else {
  100300. + /* Kick IRQ */
  100301. + state->gintmsk_saved.b.sofintr = 0;
  100302. + }
  100303. + }
  100304. +
  100305. + /* Reset handled interrupts */
  100306. + if(gintsts_handled.d32) {
  100307. + FIQ_WRITE(state->dwc_regs_base + GINTSTS, gintsts_handled.d32);
  100308. + }
  100309. +
  100310. + /* Clear the bits in the saved register that were not handled but were triggered. */
  100311. + state->gintmsk_saved.d32 &= ~(gintsts.d32 & ~gintsts_handled.d32);
  100312. +
  100313. + /* We got an interrupt, didn't handle it and want to mask it */
  100314. + if (~(state->gintmsk_saved.d32)) {
  100315. + state->mphi_int_count++;
  100316. + gintmsk.d32 &= state->gintmsk_saved.d32;
  100317. + FIQ_WRITE(state->dwc_regs_base + GINTMSK, gintmsk.d32);
  100318. + /* Force a clear before another dummy send */
  100319. + FIQ_WRITE(state->mphi_regs.intstat, (1<<29));
  100320. + FIQ_WRITE(state->mphi_regs.outdda, (int) state->dummy_send);
  100321. + FIQ_WRITE(state->mphi_regs.outddb, (1<<29));
  100322. +
  100323. + }
  100324. + state->fiq_done++;
  100325. + mb();
  100326. + fiq_fsm_spin_unlock(&state->lock);
  100327. +}
  100328. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.h
  100329. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.h 1970-01-01 01:00:00.000000000 +0100
  100330. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_fsm.h 2015-11-29 09:42:39.919098694 +0100
  100331. @@ -0,0 +1,370 @@
  100332. +/*
  100333. + * dwc_otg_fiq_fsm.h - Finite state machine FIQ header definitions
  100334. + *
  100335. + * Copyright (c) 2013 Raspberry Pi Foundation
  100336. + *
  100337. + * Author: Jonathan Bell <jonathan@raspberrypi.org>
  100338. + * All rights reserved.
  100339. + *
  100340. + * Redistribution and use in source and binary forms, with or without
  100341. + * modification, are permitted provided that the following conditions are met:
  100342. + * * Redistributions of source code must retain the above copyright
  100343. + * notice, this list of conditions and the following disclaimer.
  100344. + * * Redistributions in binary form must reproduce the above copyright
  100345. + * notice, this list of conditions and the following disclaimer in the
  100346. + * documentation and/or other materials provided with the distribution.
  100347. + * * Neither the name of Raspberry Pi nor the
  100348. + * names of its contributors may be used to endorse or promote products
  100349. + * derived from this software without specific prior written permission.
  100350. + *
  100351. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  100352. + * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  100353. + * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  100354. + * DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY
  100355. + * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  100356. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  100357. + * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  100358. + * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  100359. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  100360. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  100361. + *
  100362. + * This FIQ implements functionality that performs split transactions on
  100363. + * the dwc_otg hardware without any outside intervention. A split transaction
  100364. + * is "queued" by nominating a specific host channel to perform the entirety
  100365. + * of a split transaction. This FIQ will then perform the microframe-precise
  100366. + * scheduling required in each phase of the transaction until completion.
  100367. + *
  100368. + * The FIQ functionality has been surgically implanted into the Synopsys
  100369. + * vendor-provided driver.
  100370. + *
  100371. + */
  100372. +
  100373. +#ifndef DWC_OTG_FIQ_FSM_H_
  100374. +#define DWC_OTG_FIQ_FSM_H_
  100375. +
  100376. +#include "dwc_otg_regs.h"
  100377. +#include "dwc_otg_cil.h"
  100378. +#include "dwc_otg_hcd.h"
  100379. +#include <linux/kernel.h>
  100380. +#include <linux/irqflags.h>
  100381. +#include <linux/string.h>
  100382. +#include <asm/barrier.h>
  100383. +
  100384. +#if 0
  100385. +#define FLAME_ON(x) \
  100386. +do { \
  100387. + int gpioreg; \
  100388. + \
  100389. + gpioreg = readl(__io_address(0x20200000+0x8)); \
  100390. + gpioreg &= ~(7 << (x-20)*3); \
  100391. + gpioreg |= 0x1 << (x-20)*3; \
  100392. + writel(gpioreg, __io_address(0x20200000+0x8)); \
  100393. + \
  100394. + writel(1<<x, __io_address(0x20200000+(0x1C))); \
  100395. +} while (0)
  100396. +
  100397. +#define FLAME_OFF(x) \
  100398. +do { \
  100399. + writel(1<<x, __io_address(0x20200000+(0x28))); \
  100400. +} while (0)
  100401. +#else
  100402. +#define FLAME_ON(x) do { } while (0)
  100403. +#define FLAME_OFF(X) do { } while (0)
  100404. +#endif
  100405. +
  100406. +/* This is a quick-and-dirty arch-specific register read/write. We know that
  100407. + * writes to a peripheral on BCM2835 will always arrive in-order, also that
  100408. + * reads and writes are executed in-order therefore the need for memory barriers
  100409. + * is obviated if we're only talking to USB.
  100410. + */
  100411. +#define FIQ_WRITE(_addr_,_data_) (*(volatile unsigned int *) (_addr_) = (_data_))
  100412. +#define FIQ_READ(_addr_) (*(volatile unsigned int *) (_addr_))
  100413. +
  100414. +/* FIQ-ified register definitions. Offsets are from dwc_regs_base. */
  100415. +#define GINTSTS 0x014
  100416. +#define GINTMSK 0x018
  100417. +/* Debug register. Poll the top of the received packets FIFO. */
  100418. +#define GRXSTSR 0x01C
  100419. +#define HFNUM 0x408
  100420. +#define HAINT 0x414
  100421. +#define HAINTMSK 0x418
  100422. +#define HPRT0 0x440
  100423. +
  100424. +/* HC_regs start from an offset of 0x500 */
  100425. +#define HC_START 0x500
  100426. +#define HC_OFFSET 0x020
  100427. +
  100428. +#define HC_DMA 0x514
  100429. +
  100430. +#define HCCHAR 0x00
  100431. +#define HCSPLT 0x04
  100432. +#define HCINT 0x08
  100433. +#define HCINTMSK 0x0C
  100434. +#define HCTSIZ 0x10
  100435. +
  100436. +#define ISOC_XACTPOS_ALL 0b11
  100437. +#define ISOC_XACTPOS_BEGIN 0b10
  100438. +#define ISOC_XACTPOS_MID 0b00
  100439. +#define ISOC_XACTPOS_END 0b01
  100440. +
  100441. +#define DWC_PID_DATA2 0b01
  100442. +#define DWC_PID_MDATA 0b11
  100443. +#define DWC_PID_DATA1 0b10
  100444. +#define DWC_PID_DATA0 0b00
  100445. +
  100446. +typedef struct {
  100447. + volatile void* base;
  100448. + volatile void* ctrl;
  100449. + volatile void* outdda;
  100450. + volatile void* outddb;
  100451. + volatile void* intstat;
  100452. +} mphi_regs_t;
  100453. +
  100454. +enum fiq_debug_level {
  100455. + FIQDBG_SCHED = (1 << 0),
  100456. + FIQDBG_INT = (1 << 1),
  100457. + FIQDBG_ERR = (1 << 2),
  100458. + FIQDBG_PORTHUB = (1 << 3),
  100459. +};
  100460. +
  100461. +typedef struct {
  100462. + union {
  100463. + uint32_t slock;
  100464. + struct _tickets {
  100465. + uint16_t owner;
  100466. + uint16_t next;
  100467. + } tickets;
  100468. + };
  100469. +} fiq_lock_t;
  100470. +
  100471. +struct fiq_state;
  100472. +
  100473. +extern void _fiq_print (enum fiq_debug_level dbg_lvl, volatile struct fiq_state *state, char *fmt, ...);
  100474. +#if 0
  100475. +#define fiq_print _fiq_print
  100476. +#else
  100477. +#define fiq_print(x, y, ...)
  100478. +#endif
  100479. +
  100480. +extern bool fiq_enable, fiq_fsm_enable;
  100481. +extern ushort nak_holdoff;
  100482. +
  100483. +/**
  100484. + * enum fiq_fsm_state - The FIQ FSM states.
  100485. + *
  100486. + * This is the "core" of the FIQ FSM. Broadly, the FSM states follow the
  100487. + * USB2.0 specification for host responses to various transaction states.
  100488. + * There are modifications to this host state machine because of a variety of
  100489. + * quirks and limitations in the dwc_otg hardware.
  100490. + *
  100491. + * The fsm state is also used to communicate back to the driver on completion of
  100492. + * a split transaction. The end states are used in conjunction with the interrupts
  100493. + * raised by the final transaction.
  100494. + */
  100495. +enum fiq_fsm_state {
  100496. + /* FIQ isn't enabled for this host channel */
  100497. + FIQ_PASSTHROUGH = 0,
  100498. + /* For the first interrupt received for this channel,
  100499. + * the FIQ has to ack any interrupts indicating success. */
  100500. + FIQ_PASSTHROUGH_ERRORSTATE = 31,
  100501. + /* Nonperiodic state groups */
  100502. + FIQ_NP_SSPLIT_STARTED = 1,
  100503. + FIQ_NP_SSPLIT_RETRY = 2,
  100504. + FIQ_NP_OUT_CSPLIT_RETRY = 3,
  100505. + FIQ_NP_IN_CSPLIT_RETRY = 4,
  100506. + FIQ_NP_SPLIT_DONE = 5,
  100507. + FIQ_NP_SPLIT_LS_ABORTED = 6,
  100508. + /* This differentiates a HS transaction error from a LS one
  100509. + * (handling the hub state is different) */
  100510. + FIQ_NP_SPLIT_HS_ABORTED = 7,
  100511. +
  100512. + /* Periodic state groups */
  100513. + /* Periodic transactions are either started directly by the IRQ handler
  100514. + * or deferred if the TT is already in use.
  100515. + */
  100516. + FIQ_PER_SSPLIT_QUEUED = 8,
  100517. + FIQ_PER_SSPLIT_STARTED = 9,
  100518. + FIQ_PER_SSPLIT_LAST = 10,
  100519. +
  100520. +
  100521. + FIQ_PER_ISO_OUT_PENDING = 11,
  100522. + FIQ_PER_ISO_OUT_ACTIVE = 12,
  100523. + FIQ_PER_ISO_OUT_LAST = 13,
  100524. + FIQ_PER_ISO_OUT_DONE = 27,
  100525. +
  100526. + FIQ_PER_CSPLIT_WAIT = 14,
  100527. + FIQ_PER_CSPLIT_NYET1 = 15,
  100528. + FIQ_PER_CSPLIT_BROKEN_NYET1 = 28,
  100529. + FIQ_PER_CSPLIT_NYET_FAFF = 29,
  100530. + /* For multiple CSPLITs (large isoc IN, or delayed interrupt) */
  100531. + FIQ_PER_CSPLIT_POLL = 16,
  100532. + /* The last CSPLIT for a transaction has been issued, differentiates
  100533. + * for the state machine to queue the next packet.
  100534. + */
  100535. + FIQ_PER_CSPLIT_LAST = 17,
  100536. +
  100537. + FIQ_PER_SPLIT_DONE = 18,
  100538. + FIQ_PER_SPLIT_LS_ABORTED = 19,
  100539. + FIQ_PER_SPLIT_HS_ABORTED = 20,
  100540. + FIQ_PER_SPLIT_NYET_ABORTED = 21,
  100541. + /* Frame rollover has occurred without the transaction finishing. */
  100542. + FIQ_PER_SPLIT_TIMEOUT = 22,
  100543. +
  100544. + /* FIQ-accelerated HS Isochronous state groups */
  100545. + FIQ_HS_ISOC_TURBO = 23,
  100546. + /* For interval > 1, SOF wakes up the isochronous FSM */
  100547. + FIQ_HS_ISOC_SLEEPING = 24,
  100548. + FIQ_HS_ISOC_DONE = 25,
  100549. + FIQ_HS_ISOC_ABORTED = 26,
  100550. + FIQ_DEQUEUE_ISSUED = 30,
  100551. + FIQ_TEST = 32,
  100552. +};
  100553. +
  100554. +struct fiq_stack {
  100555. + int magic1;
  100556. + uint8_t stack[2048];
  100557. + int magic2;
  100558. +};
  100559. +
  100560. +
  100561. +/**
  100562. + * struct fiq_dma_info - DMA bounce buffer utilisation information (per-channel)
  100563. + * @index: Number of slots reported used for IN transactions / number of slots
  100564. + * transmitted for an OUT transaction
  100565. + * @slot_len[6]: Number of actual transfer bytes in each slot (255 if unused)
  100566. + *
  100567. + * Split transaction transfers can have variable length depending on other bus
  100568. + * traffic. The OTG core DMA engine requires 4-byte aligned addresses therefore
  100569. + * each transaction needs a guaranteed aligned address. A maximum of 6 split transfers
  100570. + * can happen per-frame.
  100571. + */
  100572. +struct fiq_dma_info {
  100573. + u8 index;
  100574. + u8 slot_len[6];
  100575. +};
  100576. +
  100577. +struct __attribute__((packed)) fiq_split_dma_slot {
  100578. + u8 buf[188];
  100579. +};
  100580. +
  100581. +struct fiq_dma_channel {
  100582. + struct __attribute__((packed)) fiq_split_dma_slot index[6];
  100583. +};
  100584. +
  100585. +struct fiq_dma_blob {
  100586. + struct __attribute__((packed)) fiq_dma_channel channel[0];
  100587. +};
  100588. +
  100589. +/**
  100590. + * struct fiq_hs_isoc_info - USB2.0 isochronous data
  100591. + * @iso_frame: Pointer to the array of OTG URB iso_frame_descs.
  100592. + * @nrframes: Total length of iso_frame_desc array
  100593. + * @index: Current index (FIQ-maintained)
  100594. + * @stride: Interval in uframes between HS isoc transactions
  100595. + */
  100596. +struct fiq_hs_isoc_info {
  100597. + struct dwc_otg_hcd_iso_packet_desc *iso_desc;
  100598. + unsigned int nrframes;
  100599. + unsigned int index;
  100600. + unsigned int stride;
  100601. +};
  100602. +
  100603. +/**
  100604. + * struct fiq_channel_state - FIQ state machine storage
  100605. + * @fsm: Current state of the channel as understood by the FIQ
  100606. + * @nr_errors: Number of transaction errors on this split-transaction
  100607. + * @hub_addr: SSPLIT/CSPLIT destination hub
  100608. + * @port_addr: SSPLIT/CSPLIT destination port - always 1 if single TT hub
  100609. + * @nrpackets: For isoc OUT, the number of split-OUT packets to transmit. For
  100610. + * split-IN, number of CSPLIT data packets that were received.
  100611. + * @hcchar_copy:
  100612. + * @hcsplt_copy:
  100613. + * @hcintmsk_copy:
  100614. + * @hctsiz_copy: Copies of the host channel registers.
  100615. + * For use as scratch, or for returning state.
  100616. + *
  100617. + * The fiq_channel_state is state storage between interrupts for a host channel. The
  100618. + * FSM state is stored here. Members of this structure must only be set up by the
  100619. + * driver prior to enabling the FIQ for this host channel, and not touched until the FIQ
  100620. + * has updated the state to either a COMPLETE state group or ABORT state group.
  100621. + */
  100622. +
  100623. +struct fiq_channel_state {
  100624. + enum fiq_fsm_state fsm;
  100625. + unsigned int nr_errors;
  100626. + unsigned int hub_addr;
  100627. + unsigned int port_addr;
  100628. + /* Hardware bug workaround: sometimes channel halt interrupts are
  100629. + * delayed until the next SOF. Keep track of when we expected to get interrupted. */
  100630. + unsigned int expected_uframe;
  100631. + /* number of uframes remaining (for interval > 1 HS isoc transfers) before next transfer */
  100632. + unsigned int uframe_sleeps;
  100633. + /* in/out for communicating number of dma buffers used, or number of ISOC to do */
  100634. + unsigned int nrpackets;
  100635. + struct fiq_dma_info dma_info;
  100636. + struct fiq_hs_isoc_info hs_isoc_info;
  100637. + /* Copies of HC registers - in/out communication from/to IRQ handler
  100638. + * and for ease of channel setup. A bit of mungeing is performed - for
  100639. + * example the hctsiz.b.maxp is _always_ the max packet size of the endpoint.
  100640. + */
  100641. + hcchar_data_t hcchar_copy;
  100642. + hcsplt_data_t hcsplt_copy;
  100643. + hcint_data_t hcint_copy;
  100644. + hcintmsk_data_t hcintmsk_copy;
  100645. + hctsiz_data_t hctsiz_copy;
  100646. + hcdma_data_t hcdma_copy;
  100647. +};
  100648. +
  100649. +/**
  100650. + * struct fiq_state - top-level FIQ state machine storage
  100651. + * @mphi_regs: virtual address of the MPHI peripheral register file
  100652. + * @dwc_regs_base: virtual address of the base of the DWC core register file
  100653. + * @dma_base: physical address for the base of the DMA bounce buffers
  100654. + * @dummy_send: Scratch area for sending a fake message to the MPHI peripheral
  100655. + * @gintmsk_saved: Top-level mask of interrupts that the FIQ has not handled.
  100656. + * Used for determining which interrupts fired to set off the IRQ handler.
  100657. + * @haintmsk_saved: Mask of interrupts from host channels that the FIQ did not handle internally.
  100658. + * @np_count: Non-periodic transactions in the active queue
  100659. + * @np_sent: Count of non-periodic transactions that have completed
  100660. + * @next_sched_frame: For periodic transactions handled by the driver's SOF-driven queuing mechanism,
  100661. + * this is the next frame on which a SOF interrupt is required. Used to hold off
  100662. + * passing SOF through to the driver until necessary.
  100663. + * @channel[n]: Per-channel FIQ state. Allocated during init depending on the number of host
  100664. + * channels configured into the core logic.
  100665. + *
  100666. + * This is passed as the first argument to the dwc_otg_fiq_fsm top-level FIQ handler from the asm stub.
  100667. + * It contains top-level state information.
  100668. + */
  100669. +struct fiq_state {
  100670. + fiq_lock_t lock;
  100671. + mphi_regs_t mphi_regs;
  100672. + void *dwc_regs_base;
  100673. + dma_addr_t dma_base;
  100674. + struct fiq_dma_blob *fiq_dmab;
  100675. + void *dummy_send;
  100676. + gintmsk_data_t gintmsk_saved;
  100677. + haintmsk_data_t haintmsk_saved;
  100678. + int mphi_int_count;
  100679. + unsigned int fiq_done;
  100680. + unsigned int kick_np_queues;
  100681. + unsigned int next_sched_frame;
  100682. +#ifdef FIQ_DEBUG
  100683. + char * buffer;
  100684. + unsigned int bufsiz;
  100685. +#endif
  100686. + struct fiq_channel_state channel[0];
  100687. +};
  100688. +
  100689. +extern void fiq_fsm_spin_lock(fiq_lock_t *lock);
  100690. +
  100691. +extern void fiq_fsm_spin_unlock(fiq_lock_t *lock);
  100692. +
  100693. +extern int fiq_fsm_too_late(struct fiq_state *st, int n);
  100694. +
  100695. +extern int fiq_fsm_tt_in_use(struct fiq_state *st, int num_channels, int n);
  100696. +
  100697. +extern void dwc_otg_fiq_fsm(struct fiq_state *state, int num_channels);
  100698. +
  100699. +extern void dwc_otg_fiq_nop(struct fiq_state *state);
  100700. +
  100701. +#endif /* DWC_OTG_FIQ_FSM_H_ */
  100702. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_stub.S linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_stub.S
  100703. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_fiq_stub.S 1970-01-01 01:00:00.000000000 +0100
  100704. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_fiq_stub.S 2015-11-29 09:42:39.919098694 +0100
  100705. @@ -0,0 +1,80 @@
  100706. +/*
  100707. + * dwc_otg_fiq_fsm.S - assembly stub for the FSM FIQ
  100708. + *
  100709. + * Copyright (c) 2013 Raspberry Pi Foundation
  100710. + *
  100711. + * Author: Jonathan Bell <jonathan@raspberrypi.org>
  100712. + * All rights reserved.
  100713. + *
  100714. + * Redistribution and use in source and binary forms, with or without
  100715. + * modification, are permitted provided that the following conditions are met:
  100716. + * * Redistributions of source code must retain the above copyright
  100717. + * notice, this list of conditions and the following disclaimer.
  100718. + * * Redistributions in binary form must reproduce the above copyright
  100719. + * notice, this list of conditions and the following disclaimer in the
  100720. + * documentation and/or other materials provided with the distribution.
  100721. + * * Neither the name of Raspberry Pi nor the
  100722. + * names of its contributors may be used to endorse or promote products
  100723. + * derived from this software without specific prior written permission.
  100724. + *
  100725. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND
  100726. + * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  100727. + * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  100728. + * DISCLAIMED. IN NO EVENT SHALL <COPYRIGHT HOLDER> BE LIABLE FOR ANY
  100729. + * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  100730. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  100731. + * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  100732. + * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  100733. + * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  100734. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  100735. + */
  100736. +
  100737. +
  100738. +#include <asm/assembler.h>
  100739. +#include <linux/linkage.h>
  100740. +
  100741. +
  100742. +.text
  100743. +
  100744. +.global _dwc_otg_fiq_stub_end;
  100745. +
  100746. +/**
  100747. + * _dwc_otg_fiq_stub() - entry copied to the FIQ vector page to allow
  100748. + * a C-style function call with arguments from the FIQ banked registers.
  100749. + * r0 = &hcd->fiq_state
  100750. + * r1 = &hcd->num_channels
  100751. + * r2 = &hcd->dma_buffers
  100752. + * Tramples: r0, r1, r2, r4, fp, ip
  100753. + */
  100754. +
  100755. +ENTRY(_dwc_otg_fiq_stub)
  100756. + /* Stash unbanked regs - SP will have been set up for us */
  100757. + mov ip, sp;
  100758. + stmdb sp!, {r0-r12, lr};
  100759. +#ifdef FIQ_DEBUG
  100760. + // Cycle profiling - read cycle counter at start
  100761. + mrc p15, 0, r5, c15, c12, 1;
  100762. +#endif
  100763. + /* r11 = fp, don't trample it */
  100764. + mov r4, fp;
  100765. + /* set EABI frame size */
  100766. + sub fp, ip, #512;
  100767. +
  100768. + /* for fiq NOP mode - just need state */
  100769. + mov r0, r8;
  100770. + /* r9 = num_channels */
  100771. + mov r1, r9;
  100772. + /* r10 = struct *dma_bufs */
  100773. +// mov r2, r10;
  100774. +
  100775. + /* r4 = &fiq_c_function */
  100776. + blx r4;
  100777. +#ifdef FIQ_DEBUG
  100778. + mrc p15, 0, r4, c15, c12, 1;
  100779. + subs r5, r5, r4;
  100780. + // r5 is now the cycle count time for executing the FIQ. Store it somewhere?
  100781. +#endif
  100782. + ldmia sp!, {r0-r12, lr};
  100783. + subs pc, lr, #4;
  100784. +_dwc_otg_fiq_stub_end:
  100785. +END(_dwc_otg_fiq_stub)
  100786. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd.c
  100787. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd.c 1970-01-01 01:00:00.000000000 +0100
  100788. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd.c 2015-11-29 09:42:39.919098694 +0100
  100789. @@ -0,0 +1,4257 @@
  100790. +
  100791. +/* ==========================================================================
  100792. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd.c $
  100793. + * $Revision: #104 $
  100794. + * $Date: 2011/10/24 $
  100795. + * $Change: 1871159 $
  100796. + *
  100797. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  100798. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  100799. + * otherwise expressly agreed to in writing between Synopsys and you.
  100800. + *
  100801. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  100802. + * any End User Software License Agreement or Agreement for Licensed Product
  100803. + * with Synopsys or any supplement thereto. You are permitted to use and
  100804. + * redistribute this Software in source and binary forms, with or without
  100805. + * modification, provided that redistributions of source code must retain this
  100806. + * notice. You may not view, use, disclose, copy or distribute this file or
  100807. + * any information contained herein except pursuant to this license grant from
  100808. + * Synopsys. If you do not agree with this notice, including the disclaimer
  100809. + * below, then you are not authorized to use the Software.
  100810. + *
  100811. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  100812. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  100813. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  100814. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  100815. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  100816. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  100817. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  100818. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  100819. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  100820. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  100821. + * DAMAGE.
  100822. + * ========================================================================== */
  100823. +#ifndef DWC_DEVICE_ONLY
  100824. +
  100825. +/** @file
  100826. + * This file implements HCD Core. All code in this file is portable and doesn't
  100827. + * use any OS specific functions.
  100828. + * Interface provided by HCD Core is defined in <code><hcd_if.h></code>
  100829. + * header file.
  100830. + */
  100831. +
  100832. +#include <linux/usb.h>
  100833. +#include <linux/usb/hcd.h>
  100834. +
  100835. +#include "dwc_otg_hcd.h"
  100836. +#include "dwc_otg_regs.h"
  100837. +#include "dwc_otg_fiq_fsm.h"
  100838. +
  100839. +extern bool microframe_schedule;
  100840. +extern uint16_t fiq_fsm_mask, nak_holdoff;
  100841. +
  100842. +//#define DEBUG_HOST_CHANNELS
  100843. +#ifdef DEBUG_HOST_CHANNELS
  100844. +static int last_sel_trans_num_per_scheduled = 0;
  100845. +static int last_sel_trans_num_nonper_scheduled = 0;
  100846. +static int last_sel_trans_num_avail_hc_at_start = 0;
  100847. +static int last_sel_trans_num_avail_hc_at_end = 0;
  100848. +#endif /* DEBUG_HOST_CHANNELS */
  100849. +
  100850. +
  100851. +dwc_otg_hcd_t *dwc_otg_hcd_alloc_hcd(void)
  100852. +{
  100853. + return DWC_ALLOC(sizeof(dwc_otg_hcd_t));
  100854. +}
  100855. +
  100856. +/**
  100857. + * Connection timeout function. An OTG host is required to display a
  100858. + * message if the device does not connect within 10 seconds.
  100859. + */
  100860. +void dwc_otg_hcd_connect_timeout(void *ptr)
  100861. +{
  100862. + DWC_DEBUGPL(DBG_HCDV, "%s(%p)\n", __func__, ptr);
  100863. + DWC_PRINTF("Connect Timeout\n");
  100864. + __DWC_ERROR("Device Not Connected/Responding\n");
  100865. +}
  100866. +
  100867. +#if defined(DEBUG)
  100868. +static void dump_channel_info(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  100869. +{
  100870. + if (qh->channel != NULL) {
  100871. + dwc_hc_t *hc = qh->channel;
  100872. + dwc_list_link_t *item;
  100873. + dwc_otg_qh_t *qh_item;
  100874. + int num_channels = hcd->core_if->core_params->host_channels;
  100875. + int i;
  100876. +
  100877. + dwc_otg_hc_regs_t *hc_regs;
  100878. + hcchar_data_t hcchar;
  100879. + hcsplt_data_t hcsplt;
  100880. + hctsiz_data_t hctsiz;
  100881. + uint32_t hcdma;
  100882. +
  100883. + hc_regs = hcd->core_if->host_if->hc_regs[hc->hc_num];
  100884. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  100885. + hcsplt.d32 = DWC_READ_REG32(&hc_regs->hcsplt);
  100886. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  100887. + hcdma = DWC_READ_REG32(&hc_regs->hcdma);
  100888. +
  100889. + DWC_PRINTF(" Assigned to channel %p:\n", hc);
  100890. + DWC_PRINTF(" hcchar 0x%08x, hcsplt 0x%08x\n", hcchar.d32,
  100891. + hcsplt.d32);
  100892. + DWC_PRINTF(" hctsiz 0x%08x, hcdma 0x%08x\n", hctsiz.d32,
  100893. + hcdma);
  100894. + DWC_PRINTF(" dev_addr: %d, ep_num: %d, ep_is_in: %d\n",
  100895. + hc->dev_addr, hc->ep_num, hc->ep_is_in);
  100896. + DWC_PRINTF(" ep_type: %d\n", hc->ep_type);
  100897. + DWC_PRINTF(" max_packet: %d\n", hc->max_packet);
  100898. + DWC_PRINTF(" data_pid_start: %d\n", hc->data_pid_start);
  100899. + DWC_PRINTF(" xfer_started: %d\n", hc->xfer_started);
  100900. + DWC_PRINTF(" halt_status: %d\n", hc->halt_status);
  100901. + DWC_PRINTF(" xfer_buff: %p\n", hc->xfer_buff);
  100902. + DWC_PRINTF(" xfer_len: %d\n", hc->xfer_len);
  100903. + DWC_PRINTF(" qh: %p\n", hc->qh);
  100904. + DWC_PRINTF(" NP inactive sched:\n");
  100905. + DWC_LIST_FOREACH(item, &hcd->non_periodic_sched_inactive) {
  100906. + qh_item =
  100907. + DWC_LIST_ENTRY(item, dwc_otg_qh_t, qh_list_entry);
  100908. + DWC_PRINTF(" %p\n", qh_item);
  100909. + }
  100910. + DWC_PRINTF(" NP active sched:\n");
  100911. + DWC_LIST_FOREACH(item, &hcd->non_periodic_sched_active) {
  100912. + qh_item =
  100913. + DWC_LIST_ENTRY(item, dwc_otg_qh_t, qh_list_entry);
  100914. + DWC_PRINTF(" %p\n", qh_item);
  100915. + }
  100916. + DWC_PRINTF(" Channels: \n");
  100917. + for (i = 0; i < num_channels; i++) {
  100918. + dwc_hc_t *hc = hcd->hc_ptr_array[i];
  100919. + DWC_PRINTF(" %2d: %p\n", i, hc);
  100920. + }
  100921. + }
  100922. +}
  100923. +#else
  100924. +#define dump_channel_info(hcd, qh)
  100925. +#endif /* DEBUG */
  100926. +
  100927. +/**
  100928. + * Work queue function for starting the HCD when A-Cable is connected.
  100929. + * The hcd_start() must be called in a process context.
  100930. + */
  100931. +static void hcd_start_func(void *_vp)
  100932. +{
  100933. + dwc_otg_hcd_t *hcd = (dwc_otg_hcd_t *) _vp;
  100934. +
  100935. + DWC_DEBUGPL(DBG_HCDV, "%s() %p\n", __func__, hcd);
  100936. + if (hcd) {
  100937. + hcd->fops->start(hcd);
  100938. + }
  100939. +}
  100940. +
  100941. +static void del_xfer_timers(dwc_otg_hcd_t * hcd)
  100942. +{
  100943. +#ifdef DEBUG
  100944. + int i;
  100945. + int num_channels = hcd->core_if->core_params->host_channels;
  100946. + for (i = 0; i < num_channels; i++) {
  100947. + DWC_TIMER_CANCEL(hcd->core_if->hc_xfer_timer[i]);
  100948. + }
  100949. +#endif
  100950. +}
  100951. +
  100952. +static void del_timers(dwc_otg_hcd_t * hcd)
  100953. +{
  100954. + del_xfer_timers(hcd);
  100955. + DWC_TIMER_CANCEL(hcd->conn_timer);
  100956. +}
  100957. +
  100958. +/**
  100959. + * Processes all the URBs in a single list of QHs. Completes them with
  100960. + * -ESHUTDOWN and frees the QTD.
  100961. + */
  100962. +static void kill_urbs_in_qh_list(dwc_otg_hcd_t * hcd, dwc_list_link_t * qh_list)
  100963. +{
  100964. + dwc_list_link_t *qh_item, *qh_tmp;
  100965. + dwc_otg_qh_t *qh;
  100966. + dwc_otg_qtd_t *qtd, *qtd_tmp;
  100967. +
  100968. + DWC_LIST_FOREACH_SAFE(qh_item, qh_tmp, qh_list) {
  100969. + qh = DWC_LIST_ENTRY(qh_item, dwc_otg_qh_t, qh_list_entry);
  100970. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp,
  100971. + &qh->qtd_list, qtd_list_entry) {
  100972. + qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  100973. + if (qtd->urb != NULL) {
  100974. + hcd->fops->complete(hcd, qtd->urb->priv,
  100975. + qtd->urb, -DWC_E_SHUTDOWN);
  100976. + dwc_otg_hcd_qtd_remove_and_free(hcd, qtd, qh);
  100977. + }
  100978. +
  100979. + }
  100980. + if(qh->channel) {
  100981. + /* Using hcchar.chen == 1 is not a reliable test.
  100982. + * It is possible that the channel has already halted
  100983. + * but not yet been through the IRQ handler.
  100984. + */
  100985. + dwc_otg_hc_halt(hcd->core_if, qh->channel,
  100986. + DWC_OTG_HC_XFER_URB_DEQUEUE);
  100987. + if(microframe_schedule)
  100988. + hcd->available_host_channels++;
  100989. + qh->channel = NULL;
  100990. + }
  100991. + dwc_otg_hcd_qh_remove(hcd, qh);
  100992. + }
  100993. +}
  100994. +
  100995. +/**
  100996. + * Responds with an error status of ESHUTDOWN to all URBs in the non-periodic
  100997. + * and periodic schedules. The QTD associated with each URB is removed from
  100998. + * the schedule and freed. This function may be called when a disconnect is
  100999. + * detected or when the HCD is being stopped.
  101000. + */
  101001. +static void kill_all_urbs(dwc_otg_hcd_t * hcd)
  101002. +{
  101003. + kill_urbs_in_qh_list(hcd, &hcd->non_periodic_sched_inactive);
  101004. + kill_urbs_in_qh_list(hcd, &hcd->non_periodic_sched_active);
  101005. + kill_urbs_in_qh_list(hcd, &hcd->periodic_sched_inactive);
  101006. + kill_urbs_in_qh_list(hcd, &hcd->periodic_sched_ready);
  101007. + kill_urbs_in_qh_list(hcd, &hcd->periodic_sched_assigned);
  101008. + kill_urbs_in_qh_list(hcd, &hcd->periodic_sched_queued);
  101009. +}
  101010. +
  101011. +/**
  101012. + * Start the connection timer. An OTG host is required to display a
  101013. + * message if the device does not connect within 10 seconds. The
  101014. + * timer is deleted if a port connect interrupt occurs before the
  101015. + * timer expires.
  101016. + */
  101017. +static void dwc_otg_hcd_start_connect_timer(dwc_otg_hcd_t * hcd)
  101018. +{
  101019. + DWC_TIMER_SCHEDULE(hcd->conn_timer, 10000 /* 10 secs */ );
  101020. +}
  101021. +
  101022. +/**
  101023. + * HCD Callback function for disconnect of the HCD.
  101024. + *
  101025. + * @param p void pointer to the <code>struct usb_hcd</code>
  101026. + */
  101027. +static int32_t dwc_otg_hcd_session_start_cb(void *p)
  101028. +{
  101029. + dwc_otg_hcd_t *dwc_otg_hcd;
  101030. + DWC_DEBUGPL(DBG_HCDV, "%s(%p)\n", __func__, p);
  101031. + dwc_otg_hcd = p;
  101032. + dwc_otg_hcd_start_connect_timer(dwc_otg_hcd);
  101033. + return 1;
  101034. +}
  101035. +
  101036. +/**
  101037. + * HCD Callback function for starting the HCD when A-Cable is
  101038. + * connected.
  101039. + *
  101040. + * @param p void pointer to the <code>struct usb_hcd</code>
  101041. + */
  101042. +static int32_t dwc_otg_hcd_start_cb(void *p)
  101043. +{
  101044. + dwc_otg_hcd_t *dwc_otg_hcd = p;
  101045. + dwc_otg_core_if_t *core_if;
  101046. + hprt0_data_t hprt0;
  101047. +
  101048. + core_if = dwc_otg_hcd->core_if;
  101049. +
  101050. + if (core_if->op_state == B_HOST) {
  101051. + /*
  101052. + * Reset the port. During a HNP mode switch the reset
  101053. + * needs to occur within 1ms and have a duration of at
  101054. + * least 50ms.
  101055. + */
  101056. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  101057. + hprt0.b.prtrst = 1;
  101058. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  101059. + }
  101060. + DWC_WORKQ_SCHEDULE_DELAYED(core_if->wq_otg,
  101061. + hcd_start_func, dwc_otg_hcd, 50,
  101062. + "start hcd");
  101063. +
  101064. + return 1;
  101065. +}
  101066. +
  101067. +/**
  101068. + * HCD Callback function for disconnect of the HCD.
  101069. + *
  101070. + * @param p void pointer to the <code>struct usb_hcd</code>
  101071. + */
  101072. +static int32_t dwc_otg_hcd_disconnect_cb(void *p)
  101073. +{
  101074. + gintsts_data_t intr;
  101075. + dwc_otg_hcd_t *dwc_otg_hcd = p;
  101076. +
  101077. + /*
  101078. + * Set status flags for the hub driver.
  101079. + */
  101080. + dwc_otg_hcd->flags.b.port_connect_status_change = 1;
  101081. + dwc_otg_hcd->flags.b.port_connect_status = 0;
  101082. + if(fiq_enable)
  101083. + local_fiq_disable();
  101084. + /*
  101085. + * Shutdown any transfers in process by clearing the Tx FIFO Empty
  101086. + * interrupt mask and status bits and disabling subsequent host
  101087. + * channel interrupts.
  101088. + */
  101089. + intr.d32 = 0;
  101090. + intr.b.nptxfempty = 1;
  101091. + intr.b.ptxfempty = 1;
  101092. + intr.b.hcintr = 1;
  101093. + DWC_MODIFY_REG32(&dwc_otg_hcd->core_if->core_global_regs->gintmsk,
  101094. + intr.d32, 0);
  101095. + DWC_MODIFY_REG32(&dwc_otg_hcd->core_if->core_global_regs->gintsts,
  101096. + intr.d32, 0);
  101097. +
  101098. + del_timers(dwc_otg_hcd);
  101099. +
  101100. + /*
  101101. + * Turn off the vbus power only if the core has transitioned to device
  101102. + * mode. If still in host mode, need to keep power on to detect a
  101103. + * reconnection.
  101104. + */
  101105. + if (dwc_otg_is_device_mode(dwc_otg_hcd->core_if)) {
  101106. + if (dwc_otg_hcd->core_if->op_state != A_SUSPEND) {
  101107. + hprt0_data_t hprt0 = {.d32 = 0 };
  101108. + DWC_PRINTF("Disconnect: PortPower off\n");
  101109. + hprt0.b.prtpwr = 0;
  101110. + DWC_WRITE_REG32(dwc_otg_hcd->core_if->host_if->hprt0,
  101111. + hprt0.d32);
  101112. + }
  101113. +
  101114. + dwc_otg_disable_host_interrupts(dwc_otg_hcd->core_if);
  101115. + }
  101116. +
  101117. + /* Respond with an error status to all URBs in the schedule. */
  101118. + kill_all_urbs(dwc_otg_hcd);
  101119. +
  101120. + if (dwc_otg_is_host_mode(dwc_otg_hcd->core_if)) {
  101121. + /* Clean up any host channels that were in use. */
  101122. + int num_channels;
  101123. + int i;
  101124. + dwc_hc_t *channel;
  101125. + dwc_otg_hc_regs_t *hc_regs;
  101126. + hcchar_data_t hcchar;
  101127. +
  101128. + num_channels = dwc_otg_hcd->core_if->core_params->host_channels;
  101129. +
  101130. + if (!dwc_otg_hcd->core_if->dma_enable) {
  101131. + /* Flush out any channel requests in slave mode. */
  101132. + for (i = 0; i < num_channels; i++) {
  101133. + channel = dwc_otg_hcd->hc_ptr_array[i];
  101134. + if (DWC_CIRCLEQ_EMPTY_ENTRY
  101135. + (channel, hc_list_entry)) {
  101136. + hc_regs =
  101137. + dwc_otg_hcd->core_if->
  101138. + host_if->hc_regs[i];
  101139. + hcchar.d32 =
  101140. + DWC_READ_REG32(&hc_regs->hcchar);
  101141. + if (hcchar.b.chen) {
  101142. + hcchar.b.chen = 0;
  101143. + hcchar.b.chdis = 1;
  101144. + hcchar.b.epdir = 0;
  101145. + DWC_WRITE_REG32
  101146. + (&hc_regs->hcchar,
  101147. + hcchar.d32);
  101148. + }
  101149. + }
  101150. + }
  101151. + }
  101152. +
  101153. + for (i = 0; i < num_channels; i++) {
  101154. + channel = dwc_otg_hcd->hc_ptr_array[i];
  101155. + if (DWC_CIRCLEQ_EMPTY_ENTRY(channel, hc_list_entry)) {
  101156. + hc_regs =
  101157. + dwc_otg_hcd->core_if->host_if->hc_regs[i];
  101158. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  101159. + if (hcchar.b.chen) {
  101160. + /* Halt the channel. */
  101161. + hcchar.b.chdis = 1;
  101162. + DWC_WRITE_REG32(&hc_regs->hcchar,
  101163. + hcchar.d32);
  101164. + }
  101165. +
  101166. + dwc_otg_hc_cleanup(dwc_otg_hcd->core_if,
  101167. + channel);
  101168. + DWC_CIRCLEQ_INSERT_TAIL
  101169. + (&dwc_otg_hcd->free_hc_list, channel,
  101170. + hc_list_entry);
  101171. + /*
  101172. + * Added for Descriptor DMA to prevent channel double cleanup
  101173. + * in release_channel_ddma(). Which called from ep_disable
  101174. + * when device disconnect.
  101175. + */
  101176. + channel->qh = NULL;
  101177. + }
  101178. + }
  101179. + if(fiq_fsm_enable) {
  101180. + for(i=0; i < 128; i++) {
  101181. + dwc_otg_hcd->hub_port[i] = 0;
  101182. + }
  101183. + }
  101184. +
  101185. + }
  101186. +
  101187. + if(fiq_enable)
  101188. + local_fiq_enable();
  101189. +
  101190. + if (dwc_otg_hcd->fops->disconnect) {
  101191. + dwc_otg_hcd->fops->disconnect(dwc_otg_hcd);
  101192. + }
  101193. +
  101194. + return 1;
  101195. +}
  101196. +
  101197. +/**
  101198. + * HCD Callback function for stopping the HCD.
  101199. + *
  101200. + * @param p void pointer to the <code>struct usb_hcd</code>
  101201. + */
  101202. +static int32_t dwc_otg_hcd_stop_cb(void *p)
  101203. +{
  101204. + dwc_otg_hcd_t *dwc_otg_hcd = p;
  101205. +
  101206. + DWC_DEBUGPL(DBG_HCDV, "%s(%p)\n", __func__, p);
  101207. + dwc_otg_hcd_stop(dwc_otg_hcd);
  101208. + return 1;
  101209. +}
  101210. +
  101211. +#ifdef CONFIG_USB_DWC_OTG_LPM
  101212. +/**
  101213. + * HCD Callback function for sleep of HCD.
  101214. + *
  101215. + * @param p void pointer to the <code>struct usb_hcd</code>
  101216. + */
  101217. +static int dwc_otg_hcd_sleep_cb(void *p)
  101218. +{
  101219. + dwc_otg_hcd_t *hcd = p;
  101220. +
  101221. + dwc_otg_hcd_free_hc_from_lpm(hcd);
  101222. +
  101223. + return 0;
  101224. +}
  101225. +#endif
  101226. +
  101227. +
  101228. +/**
  101229. + * HCD Callback function for Remote Wakeup.
  101230. + *
  101231. + * @param p void pointer to the <code>struct usb_hcd</code>
  101232. + */
  101233. +static int dwc_otg_hcd_rem_wakeup_cb(void *p)
  101234. +{
  101235. + dwc_otg_hcd_t *hcd = p;
  101236. +
  101237. + if (hcd->core_if->lx_state == DWC_OTG_L2) {
  101238. + hcd->flags.b.port_suspend_change = 1;
  101239. + }
  101240. +#ifdef CONFIG_USB_DWC_OTG_LPM
  101241. + else {
  101242. + hcd->flags.b.port_l1_change = 1;
  101243. + }
  101244. +#endif
  101245. + return 0;
  101246. +}
  101247. +
  101248. +/**
  101249. + * Halts the DWC_otg host mode operations in a clean manner. USB transfers are
  101250. + * stopped.
  101251. + */
  101252. +void dwc_otg_hcd_stop(dwc_otg_hcd_t * hcd)
  101253. +{
  101254. + hprt0_data_t hprt0 = {.d32 = 0 };
  101255. +
  101256. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD STOP\n");
  101257. +
  101258. + /*
  101259. + * The root hub should be disconnected before this function is called.
  101260. + * The disconnect will clear the QTD lists (via ..._hcd_urb_dequeue)
  101261. + * and the QH lists (via ..._hcd_endpoint_disable).
  101262. + */
  101263. +
  101264. + /* Turn off all host-specific interrupts. */
  101265. + dwc_otg_disable_host_interrupts(hcd->core_if);
  101266. +
  101267. + /* Turn off the vbus power */
  101268. + DWC_PRINTF("PortPower off\n");
  101269. + hprt0.b.prtpwr = 0;
  101270. + DWC_WRITE_REG32(hcd->core_if->host_if->hprt0, hprt0.d32);
  101271. + dwc_mdelay(1);
  101272. +}
  101273. +
  101274. +int dwc_otg_hcd_urb_enqueue(dwc_otg_hcd_t * hcd,
  101275. + dwc_otg_hcd_urb_t * dwc_otg_urb, void **ep_handle,
  101276. + int atomic_alloc)
  101277. +{
  101278. + int retval = 0;
  101279. + uint8_t needs_scheduling = 0;
  101280. + dwc_otg_transaction_type_e tr_type;
  101281. + dwc_otg_qtd_t *qtd;
  101282. + gintmsk_data_t intr_mask = {.d32 = 0 };
  101283. + hprt0_data_t hprt0 = { .d32 = 0 };
  101284. +
  101285. +#ifdef DEBUG /* integrity checks (Broadcom) */
  101286. + if (NULL == hcd->core_if) {
  101287. + DWC_ERROR("**** DWC OTG HCD URB Enqueue - HCD has NULL core_if\n");
  101288. + /* No longer connected. */
  101289. + return -DWC_E_INVALID;
  101290. + }
  101291. +#endif
  101292. + if (!hcd->flags.b.port_connect_status) {
  101293. + /* No longer connected. */
  101294. + DWC_ERROR("Not connected\n");
  101295. + return -DWC_E_NO_DEVICE;
  101296. + }
  101297. +
  101298. + /* Some core configurations cannot support LS traffic on a FS root port */
  101299. + if ((hcd->fops->speed(hcd, dwc_otg_urb->priv) == USB_SPEED_LOW) &&
  101300. + (hcd->core_if->hwcfg2.b.fs_phy_type == 1) &&
  101301. + (hcd->core_if->hwcfg2.b.hs_phy_type == 1)) {
  101302. + hprt0.d32 = DWC_READ_REG32(hcd->core_if->host_if->hprt0);
  101303. + if (hprt0.b.prtspd == DWC_HPRT0_PRTSPD_FULL_SPEED) {
  101304. + return -DWC_E_NO_DEVICE;
  101305. + }
  101306. + }
  101307. +
  101308. + qtd = dwc_otg_hcd_qtd_create(dwc_otg_urb, atomic_alloc);
  101309. + if (qtd == NULL) {
  101310. + DWC_ERROR("DWC OTG HCD URB Enqueue failed creating QTD\n");
  101311. + return -DWC_E_NO_MEMORY;
  101312. + }
  101313. +#ifdef DEBUG /* integrity checks (Broadcom) */
  101314. + if (qtd->urb == NULL) {
  101315. + DWC_ERROR("**** DWC OTG HCD URB Enqueue created QTD with no URBs\n");
  101316. + return -DWC_E_NO_MEMORY;
  101317. + }
  101318. + if (qtd->urb->priv == NULL) {
  101319. + DWC_ERROR("**** DWC OTG HCD URB Enqueue created QTD URB with no URB handle\n");
  101320. + return -DWC_E_NO_MEMORY;
  101321. + }
  101322. +#endif
  101323. + intr_mask.d32 = DWC_READ_REG32(&hcd->core_if->core_global_regs->gintmsk);
  101324. + if(!intr_mask.b.sofintr || fiq_enable) needs_scheduling = 1;
  101325. + if((((dwc_otg_qh_t *)ep_handle)->ep_type == UE_BULK) && !(qtd->urb->flags & URB_GIVEBACK_ASAP))
  101326. + /* Do not schedule SG transactions until qtd has URB_GIVEBACK_ASAP set */
  101327. + needs_scheduling = 0;
  101328. +
  101329. + retval = dwc_otg_hcd_qtd_add(qtd, hcd, (dwc_otg_qh_t **) ep_handle, atomic_alloc);
  101330. + // creates a new queue in ep_handle if it doesn't exist already
  101331. + if (retval < 0) {
  101332. + DWC_ERROR("DWC OTG HCD URB Enqueue failed adding QTD. "
  101333. + "Error status %d\n", retval);
  101334. + dwc_otg_hcd_qtd_free(qtd);
  101335. + return retval;
  101336. + }
  101337. +
  101338. + if(needs_scheduling) {
  101339. + tr_type = dwc_otg_hcd_select_transactions(hcd);
  101340. + if (tr_type != DWC_OTG_TRANSACTION_NONE) {
  101341. + dwc_otg_hcd_queue_transactions(hcd, tr_type);
  101342. + }
  101343. + }
  101344. + return retval;
  101345. +}
  101346. +
  101347. +int dwc_otg_hcd_urb_dequeue(dwc_otg_hcd_t * hcd,
  101348. + dwc_otg_hcd_urb_t * dwc_otg_urb)
  101349. +{
  101350. + dwc_otg_qh_t *qh;
  101351. + dwc_otg_qtd_t *urb_qtd;
  101352. + BUG_ON(!hcd);
  101353. + BUG_ON(!dwc_otg_urb);
  101354. +
  101355. +#ifdef DEBUG /* integrity checks (Broadcom) */
  101356. +
  101357. + if (hcd == NULL) {
  101358. + DWC_ERROR("**** DWC OTG HCD URB Dequeue has NULL HCD\n");
  101359. + return -DWC_E_INVALID;
  101360. + }
  101361. + if (dwc_otg_urb == NULL) {
  101362. + DWC_ERROR("**** DWC OTG HCD URB Dequeue has NULL URB\n");
  101363. + return -DWC_E_INVALID;
  101364. + }
  101365. + if (dwc_otg_urb->qtd == NULL) {
  101366. + DWC_ERROR("**** DWC OTG HCD URB Dequeue with NULL QTD\n");
  101367. + return -DWC_E_INVALID;
  101368. + }
  101369. + urb_qtd = dwc_otg_urb->qtd;
  101370. + BUG_ON(!urb_qtd);
  101371. + if (urb_qtd->qh == NULL) {
  101372. + DWC_ERROR("**** DWC OTG HCD URB Dequeue with QTD with NULL Q handler\n");
  101373. + return -DWC_E_INVALID;
  101374. + }
  101375. +#else
  101376. + urb_qtd = dwc_otg_urb->qtd;
  101377. + BUG_ON(!urb_qtd);
  101378. +#endif
  101379. + qh = urb_qtd->qh;
  101380. + BUG_ON(!qh);
  101381. + if (CHK_DEBUG_LEVEL(DBG_HCDV | DBG_HCD_URB)) {
  101382. + if (urb_qtd->in_process) {
  101383. + dump_channel_info(hcd, qh);
  101384. + }
  101385. + }
  101386. +#ifdef DEBUG /* integrity checks (Broadcom) */
  101387. + if (hcd->core_if == NULL) {
  101388. + DWC_ERROR("**** DWC OTG HCD URB Dequeue HCD has NULL core_if\n");
  101389. + return -DWC_E_INVALID;
  101390. + }
  101391. +#endif
  101392. + if (urb_qtd->in_process && qh->channel) {
  101393. + /* The QTD is in process (it has been assigned to a channel). */
  101394. + if (hcd->flags.b.port_connect_status) {
  101395. + int n = qh->channel->hc_num;
  101396. + /*
  101397. + * If still connected (i.e. in host mode), halt the
  101398. + * channel so it can be used for other transfers. If
  101399. + * no longer connected, the host registers can't be
  101400. + * written to halt the channel since the core is in
  101401. + * device mode.
  101402. + */
  101403. + /* In FIQ FSM mode, we need to shut down carefully.
  101404. + * The FIQ may attempt to restart a disabled channel */
  101405. + if (fiq_fsm_enable && (hcd->fiq_state->channel[n].fsm != FIQ_PASSTHROUGH)) {
  101406. + qh->channel->halt_status = DWC_OTG_HC_XFER_URB_DEQUEUE;
  101407. + qh->channel->halt_pending = 1;
  101408. + hcd->fiq_state->channel[n].fsm = FIQ_DEQUEUE_ISSUED;
  101409. + } else {
  101410. + dwc_otg_hc_halt(hcd->core_if, qh->channel,
  101411. + DWC_OTG_HC_XFER_URB_DEQUEUE);
  101412. + }
  101413. + }
  101414. + }
  101415. +
  101416. + /*
  101417. + * Free the QTD and clean up the associated QH. Leave the QH in the
  101418. + * schedule if it has any remaining QTDs.
  101419. + */
  101420. +
  101421. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD URB Dequeue - "
  101422. + "delete %sQueue handler\n",
  101423. + hcd->core_if->dma_desc_enable?"DMA ":"");
  101424. + if (!hcd->core_if->dma_desc_enable) {
  101425. + uint8_t b = urb_qtd->in_process;
  101426. + dwc_otg_hcd_qtd_remove_and_free(hcd, urb_qtd, qh);
  101427. + if (b) {
  101428. + dwc_otg_hcd_qh_deactivate(hcd, qh, 0);
  101429. + qh->channel = NULL;
  101430. + } else if (DWC_CIRCLEQ_EMPTY(&qh->qtd_list)) {
  101431. + dwc_otg_hcd_qh_remove(hcd, qh);
  101432. + }
  101433. + } else {
  101434. + dwc_otg_hcd_qtd_remove_and_free(hcd, urb_qtd, qh);
  101435. + }
  101436. + return 0;
  101437. +}
  101438. +
  101439. +int dwc_otg_hcd_endpoint_disable(dwc_otg_hcd_t * hcd, void *ep_handle,
  101440. + int retry)
  101441. +{
  101442. + dwc_otg_qh_t *qh = (dwc_otg_qh_t *) ep_handle;
  101443. + int retval = 0;
  101444. + dwc_irqflags_t flags;
  101445. +
  101446. + if (retry < 0) {
  101447. + retval = -DWC_E_INVALID;
  101448. + goto done;
  101449. + }
  101450. +
  101451. + if (!qh) {
  101452. + retval = -DWC_E_INVALID;
  101453. + goto done;
  101454. + }
  101455. +
  101456. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  101457. +
  101458. + while (!DWC_CIRCLEQ_EMPTY(&qh->qtd_list) && retry) {
  101459. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  101460. + retry--;
  101461. + dwc_msleep(5);
  101462. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  101463. + }
  101464. +
  101465. + dwc_otg_hcd_qh_remove(hcd, qh);
  101466. +
  101467. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  101468. + /*
  101469. + * Split dwc_otg_hcd_qh_remove_and_free() into qh_remove
  101470. + * and qh_free to prevent stack dump on DWC_DMA_FREE() with
  101471. + * irq_disabled (spinlock_irqsave) in dwc_otg_hcd_desc_list_free()
  101472. + * and dwc_otg_hcd_frame_list_alloc().
  101473. + */
  101474. + dwc_otg_hcd_qh_free(hcd, qh);
  101475. +
  101476. +done:
  101477. + return retval;
  101478. +}
  101479. +
  101480. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30)
  101481. +int dwc_otg_hcd_endpoint_reset(dwc_otg_hcd_t * hcd, void *ep_handle)
  101482. +{
  101483. + int retval = 0;
  101484. + dwc_otg_qh_t *qh = (dwc_otg_qh_t *) ep_handle;
  101485. + if (!qh)
  101486. + return -DWC_E_INVALID;
  101487. +
  101488. + qh->data_toggle = DWC_OTG_HC_PID_DATA0;
  101489. + return retval;
  101490. +}
  101491. +#endif
  101492. +
  101493. +/**
  101494. + * HCD Callback structure for handling mode switching.
  101495. + */
  101496. +static dwc_otg_cil_callbacks_t hcd_cil_callbacks = {
  101497. + .start = dwc_otg_hcd_start_cb,
  101498. + .stop = dwc_otg_hcd_stop_cb,
  101499. + .disconnect = dwc_otg_hcd_disconnect_cb,
  101500. + .session_start = dwc_otg_hcd_session_start_cb,
  101501. + .resume_wakeup = dwc_otg_hcd_rem_wakeup_cb,
  101502. +#ifdef CONFIG_USB_DWC_OTG_LPM
  101503. + .sleep = dwc_otg_hcd_sleep_cb,
  101504. +#endif
  101505. + .p = 0,
  101506. +};
  101507. +
  101508. +/**
  101509. + * Reset tasklet function
  101510. + */
  101511. +static void reset_tasklet_func(void *data)
  101512. +{
  101513. + dwc_otg_hcd_t *dwc_otg_hcd = (dwc_otg_hcd_t *) data;
  101514. + dwc_otg_core_if_t *core_if = dwc_otg_hcd->core_if;
  101515. + hprt0_data_t hprt0;
  101516. +
  101517. + DWC_DEBUGPL(DBG_HCDV, "USB RESET tasklet called\n");
  101518. +
  101519. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  101520. + hprt0.b.prtrst = 1;
  101521. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  101522. + dwc_mdelay(60);
  101523. +
  101524. + hprt0.b.prtrst = 0;
  101525. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  101526. + dwc_otg_hcd->flags.b.port_reset_change = 1;
  101527. +}
  101528. +
  101529. +static void completion_tasklet_func(void *ptr)
  101530. +{
  101531. + dwc_otg_hcd_t *hcd = (dwc_otg_hcd_t *) ptr;
  101532. + struct urb *urb;
  101533. + urb_tq_entry_t *item;
  101534. + dwc_irqflags_t flags;
  101535. +
  101536. + /* This could just be spin_lock_irq */
  101537. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  101538. + while (!DWC_TAILQ_EMPTY(&hcd->completed_urb_list)) {
  101539. + item = DWC_TAILQ_FIRST(&hcd->completed_urb_list);
  101540. + urb = item->urb;
  101541. + DWC_TAILQ_REMOVE(&hcd->completed_urb_list, item,
  101542. + urb_tq_entries);
  101543. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  101544. + DWC_FREE(item);
  101545. +
  101546. + usb_hcd_giveback_urb(hcd->priv, urb, urb->status);
  101547. +
  101548. +
  101549. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  101550. + }
  101551. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  101552. + return;
  101553. +}
  101554. +
  101555. +static void qh_list_free(dwc_otg_hcd_t * hcd, dwc_list_link_t * qh_list)
  101556. +{
  101557. + dwc_list_link_t *item;
  101558. + dwc_otg_qh_t *qh;
  101559. + dwc_irqflags_t flags;
  101560. +
  101561. + if (!qh_list->next) {
  101562. + /* The list hasn't been initialized yet. */
  101563. + return;
  101564. + }
  101565. + /*
  101566. + * Hold spinlock here. Not needed in that case if bellow
  101567. + * function is being called from ISR
  101568. + */
  101569. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  101570. + /* Ensure there are no QTDs or URBs left. */
  101571. + kill_urbs_in_qh_list(hcd, qh_list);
  101572. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  101573. +
  101574. + DWC_LIST_FOREACH(item, qh_list) {
  101575. + qh = DWC_LIST_ENTRY(item, dwc_otg_qh_t, qh_list_entry);
  101576. + dwc_otg_hcd_qh_remove_and_free(hcd, qh);
  101577. + }
  101578. +}
  101579. +
  101580. +/**
  101581. + * Exit from Hibernation if Host did not detect SRP from connected SRP capable
  101582. + * Device during SRP time by host power up.
  101583. + */
  101584. +void dwc_otg_hcd_power_up(void *ptr)
  101585. +{
  101586. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  101587. + dwc_otg_core_if_t *core_if = (dwc_otg_core_if_t *) ptr;
  101588. +
  101589. + DWC_PRINTF("%s called\n", __FUNCTION__);
  101590. +
  101591. + if (!core_if->hibernation_suspend) {
  101592. + DWC_PRINTF("Already exited from Hibernation\n");
  101593. + return;
  101594. + }
  101595. +
  101596. + /* Switch on the voltage to the core */
  101597. + gpwrdn.b.pwrdnswtch = 1;
  101598. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101599. + dwc_udelay(10);
  101600. +
  101601. + /* Reset the core */
  101602. + gpwrdn.d32 = 0;
  101603. + gpwrdn.b.pwrdnrstn = 1;
  101604. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101605. + dwc_udelay(10);
  101606. +
  101607. + /* Disable power clamps */
  101608. + gpwrdn.d32 = 0;
  101609. + gpwrdn.b.pwrdnclmp = 1;
  101610. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101611. +
  101612. + /* Remove reset the core signal */
  101613. + gpwrdn.d32 = 0;
  101614. + gpwrdn.b.pwrdnrstn = 1;
  101615. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0, gpwrdn.d32);
  101616. + dwc_udelay(10);
  101617. +
  101618. + /* Disable PMU interrupt */
  101619. + gpwrdn.d32 = 0;
  101620. + gpwrdn.b.pmuintsel = 1;
  101621. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101622. +
  101623. + core_if->hibernation_suspend = 0;
  101624. +
  101625. + /* Disable PMU */
  101626. + gpwrdn.d32 = 0;
  101627. + gpwrdn.b.pmuactv = 1;
  101628. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101629. + dwc_udelay(10);
  101630. +
  101631. + /* Enable VBUS */
  101632. + gpwrdn.d32 = 0;
  101633. + gpwrdn.b.dis_vbus = 1;
  101634. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, gpwrdn.d32, 0);
  101635. +
  101636. + core_if->op_state = A_HOST;
  101637. + dwc_otg_core_init(core_if);
  101638. + dwc_otg_enable_global_interrupts(core_if);
  101639. + cil_hcd_start(core_if);
  101640. +}
  101641. +
  101642. +void dwc_otg_cleanup_fiq_channel(dwc_otg_hcd_t *hcd, uint32_t num)
  101643. +{
  101644. + struct fiq_channel_state *st = &hcd->fiq_state->channel[num];
  101645. + struct fiq_dma_blob *blob = hcd->fiq_dmab;
  101646. + int i;
  101647. +
  101648. + st->fsm = FIQ_PASSTHROUGH;
  101649. + st->hcchar_copy.d32 = 0;
  101650. + st->hcsplt_copy.d32 = 0;
  101651. + st->hcint_copy.d32 = 0;
  101652. + st->hcintmsk_copy.d32 = 0;
  101653. + st->hctsiz_copy.d32 = 0;
  101654. + st->hcdma_copy.d32 = 0;
  101655. + st->nr_errors = 0;
  101656. + st->hub_addr = 0;
  101657. + st->port_addr = 0;
  101658. + st->expected_uframe = 0;
  101659. + st->nrpackets = 0;
  101660. + st->dma_info.index = 0;
  101661. + for (i = 0; i < 6; i++)
  101662. + st->dma_info.slot_len[i] = 255;
  101663. + st->hs_isoc_info.index = 0;
  101664. + st->hs_isoc_info.iso_desc = NULL;
  101665. + st->hs_isoc_info.nrframes = 0;
  101666. +
  101667. + DWC_MEMSET(&blob->channel[num].index[0], 0x6b, 1128);
  101668. +}
  101669. +
  101670. +/**
  101671. + * Frees secondary storage associated with the dwc_otg_hcd structure contained
  101672. + * in the struct usb_hcd field.
  101673. + */
  101674. +static void dwc_otg_hcd_free(dwc_otg_hcd_t * dwc_otg_hcd)
  101675. +{
  101676. + int i;
  101677. +
  101678. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD FREE\n");
  101679. +
  101680. + del_timers(dwc_otg_hcd);
  101681. +
  101682. + /* Free memory for QH/QTD lists */
  101683. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->non_periodic_sched_inactive);
  101684. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->non_periodic_sched_active);
  101685. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->periodic_sched_inactive);
  101686. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->periodic_sched_ready);
  101687. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->periodic_sched_assigned);
  101688. + qh_list_free(dwc_otg_hcd, &dwc_otg_hcd->periodic_sched_queued);
  101689. +
  101690. + /* Free memory for the host channels. */
  101691. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  101692. + dwc_hc_t *hc = dwc_otg_hcd->hc_ptr_array[i];
  101693. +
  101694. +#ifdef DEBUG
  101695. + if (dwc_otg_hcd->core_if->hc_xfer_timer[i]) {
  101696. + DWC_TIMER_FREE(dwc_otg_hcd->core_if->hc_xfer_timer[i]);
  101697. + }
  101698. +#endif
  101699. + if (hc != NULL) {
  101700. + DWC_DEBUGPL(DBG_HCDV, "HCD Free channel #%i, hc=%p\n",
  101701. + i, hc);
  101702. + DWC_FREE(hc);
  101703. + }
  101704. + }
  101705. +
  101706. + if (dwc_otg_hcd->core_if->dma_enable) {
  101707. + if (dwc_otg_hcd->status_buf_dma) {
  101708. + DWC_DMA_FREE(DWC_OTG_HCD_STATUS_BUF_SIZE,
  101709. + dwc_otg_hcd->status_buf,
  101710. + dwc_otg_hcd->status_buf_dma);
  101711. + }
  101712. + } else if (dwc_otg_hcd->status_buf != NULL) {
  101713. + DWC_FREE(dwc_otg_hcd->status_buf);
  101714. + }
  101715. + DWC_SPINLOCK_FREE(dwc_otg_hcd->channel_lock);
  101716. + DWC_SPINLOCK_FREE(dwc_otg_hcd->lock);
  101717. + /* Set core_if's lock pointer to NULL */
  101718. + dwc_otg_hcd->core_if->lock = NULL;
  101719. +
  101720. + DWC_TIMER_FREE(dwc_otg_hcd->conn_timer);
  101721. + DWC_TASK_FREE(dwc_otg_hcd->reset_tasklet);
  101722. + DWC_TASK_FREE(dwc_otg_hcd->completion_tasklet);
  101723. + DWC_FREE(dwc_otg_hcd->fiq_state);
  101724. +
  101725. +#ifdef DWC_DEV_SRPCAP
  101726. + if (dwc_otg_hcd->core_if->power_down == 2 &&
  101727. + dwc_otg_hcd->core_if->pwron_timer) {
  101728. + DWC_TIMER_FREE(dwc_otg_hcd->core_if->pwron_timer);
  101729. + }
  101730. +#endif
  101731. + DWC_FREE(dwc_otg_hcd);
  101732. +}
  101733. +
  101734. +int init_hcd_usecs(dwc_otg_hcd_t *_hcd);
  101735. +
  101736. +int dwc_otg_hcd_init(dwc_otg_hcd_t * hcd, dwc_otg_core_if_t * core_if)
  101737. +{
  101738. + int retval = 0;
  101739. + int num_channels;
  101740. + int i;
  101741. + dwc_hc_t *channel;
  101742. +
  101743. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_SPINLOCK))
  101744. + DWC_SPINLOCK_ALLOC_LINUX_DEBUG(hcd->lock);
  101745. + DWC_SPINLOCK_ALLOC_LINUX_DEBUG(hcd->channel_lock);
  101746. +#else
  101747. + hcd->lock = DWC_SPINLOCK_ALLOC();
  101748. + hcd->channel_lock = DWC_SPINLOCK_ALLOC();
  101749. +#endif
  101750. + DWC_DEBUGPL(DBG_HCDV, "init of HCD %p given core_if %p\n",
  101751. + hcd, core_if);
  101752. + if (!hcd->lock) {
  101753. + DWC_ERROR("Could not allocate lock for pcd");
  101754. + DWC_FREE(hcd);
  101755. + retval = -DWC_E_NO_MEMORY;
  101756. + goto out;
  101757. + }
  101758. + hcd->core_if = core_if;
  101759. +
  101760. + /* Register the HCD CIL Callbacks */
  101761. + dwc_otg_cil_register_hcd_callbacks(hcd->core_if,
  101762. + &hcd_cil_callbacks, hcd);
  101763. +
  101764. + /* Initialize the non-periodic schedule. */
  101765. + DWC_LIST_INIT(&hcd->non_periodic_sched_inactive);
  101766. + DWC_LIST_INIT(&hcd->non_periodic_sched_active);
  101767. +
  101768. + /* Initialize the periodic schedule. */
  101769. + DWC_LIST_INIT(&hcd->periodic_sched_inactive);
  101770. + DWC_LIST_INIT(&hcd->periodic_sched_ready);
  101771. + DWC_LIST_INIT(&hcd->periodic_sched_assigned);
  101772. + DWC_LIST_INIT(&hcd->periodic_sched_queued);
  101773. + DWC_TAILQ_INIT(&hcd->completed_urb_list);
  101774. + /*
  101775. + * Create a host channel descriptor for each host channel implemented
  101776. + * in the controller. Initialize the channel descriptor array.
  101777. + */
  101778. + DWC_CIRCLEQ_INIT(&hcd->free_hc_list);
  101779. + num_channels = hcd->core_if->core_params->host_channels;
  101780. + DWC_MEMSET(hcd->hc_ptr_array, 0, sizeof(hcd->hc_ptr_array));
  101781. + for (i = 0; i < num_channels; i++) {
  101782. + channel = DWC_ALLOC(sizeof(dwc_hc_t));
  101783. + if (channel == NULL) {
  101784. + retval = -DWC_E_NO_MEMORY;
  101785. + DWC_ERROR("%s: host channel allocation failed\n",
  101786. + __func__);
  101787. + dwc_otg_hcd_free(hcd);
  101788. + goto out;
  101789. + }
  101790. + channel->hc_num = i;
  101791. + hcd->hc_ptr_array[i] = channel;
  101792. +#ifdef DEBUG
  101793. + hcd->core_if->hc_xfer_timer[i] =
  101794. + DWC_TIMER_ALLOC("hc timer", hc_xfer_timeout,
  101795. + &hcd->core_if->hc_xfer_info[i]);
  101796. +#endif
  101797. + DWC_DEBUGPL(DBG_HCDV, "HCD Added channel #%d, hc=%p\n", i,
  101798. + channel);
  101799. + }
  101800. +
  101801. + if (fiq_enable) {
  101802. + hcd->fiq_state = DWC_ALLOC(sizeof(struct fiq_state) + (sizeof(struct fiq_channel_state) * num_channels));
  101803. + if (!hcd->fiq_state) {
  101804. + retval = -DWC_E_NO_MEMORY;
  101805. + DWC_ERROR("%s: cannot allocate fiq_state structure\n", __func__);
  101806. + dwc_otg_hcd_free(hcd);
  101807. + goto out;
  101808. + }
  101809. + DWC_MEMSET(hcd->fiq_state, 0, (sizeof(struct fiq_state) + (sizeof(struct fiq_channel_state) * num_channels)));
  101810. +
  101811. + for (i = 0; i < num_channels; i++) {
  101812. + hcd->fiq_state->channel[i].fsm = FIQ_PASSTHROUGH;
  101813. + }
  101814. + hcd->fiq_state->dummy_send = DWC_ALLOC_ATOMIC(16);
  101815. +
  101816. + hcd->fiq_stack = DWC_ALLOC(sizeof(struct fiq_stack));
  101817. + if (!hcd->fiq_stack) {
  101818. + retval = -DWC_E_NO_MEMORY;
  101819. + DWC_ERROR("%s: cannot allocate fiq_stack structure\n", __func__);
  101820. + dwc_otg_hcd_free(hcd);
  101821. + goto out;
  101822. + }
  101823. + hcd->fiq_stack->magic1 = 0xDEADBEEF;
  101824. + hcd->fiq_stack->magic2 = 0xD00DFEED;
  101825. + hcd->fiq_state->gintmsk_saved.d32 = ~0;
  101826. + hcd->fiq_state->haintmsk_saved.b2.chint = ~0;
  101827. +
  101828. + /* This bit is terrible and uses no API, but necessary. The FIQ has no concept of DMA pools
  101829. + * (and if it did, would be a lot slower). This allocates a chunk of memory (~9kiB for 8 host channels)
  101830. + * for use as transaction bounce buffers in a 2-D array. Our access into this chunk is done by some
  101831. + * moderately readable array casts.
  101832. + */
  101833. + hcd->fiq_dmab = DWC_DMA_ALLOC((sizeof(struct fiq_dma_channel) * num_channels), &hcd->fiq_state->dma_base);
  101834. + DWC_WARN("FIQ DMA bounce buffers: virt = 0x%08x dma = 0x%08x len=%d",
  101835. + (unsigned int)hcd->fiq_dmab, (unsigned int)hcd->fiq_state->dma_base,
  101836. + sizeof(struct fiq_dma_channel) * num_channels);
  101837. +
  101838. + DWC_MEMSET(hcd->fiq_dmab, 0x6b, 9024);
  101839. +
  101840. + /* pointer for debug in fiq_print */
  101841. + hcd->fiq_state->fiq_dmab = hcd->fiq_dmab;
  101842. + if (fiq_fsm_enable) {
  101843. + int i;
  101844. + for (i=0; i < hcd->core_if->core_params->host_channels; i++) {
  101845. + dwc_otg_cleanup_fiq_channel(hcd, i);
  101846. + }
  101847. + DWC_PRINTF("FIQ FSM acceleration enabled for :\n%s%s%s%s",
  101848. + (fiq_fsm_mask & 0x1) ? "Non-periodic Split Transactions\n" : "",
  101849. + (fiq_fsm_mask & 0x2) ? "Periodic Split Transactions\n" : "",
  101850. + (fiq_fsm_mask & 0x4) ? "High-Speed Isochronous Endpoints\n" : "",
  101851. + (fiq_fsm_mask & 0x8) ? "Interrupt/Control Split Transaction hack enabled\n" : "");
  101852. + }
  101853. + }
  101854. +
  101855. + /* Initialize the Connection timeout timer. */
  101856. + hcd->conn_timer = DWC_TIMER_ALLOC("Connection timer",
  101857. + dwc_otg_hcd_connect_timeout, 0);
  101858. +
  101859. + printk(KERN_DEBUG "dwc_otg: Microframe scheduler %s\n", microframe_schedule ? "enabled":"disabled");
  101860. + if (microframe_schedule)
  101861. + init_hcd_usecs(hcd);
  101862. +
  101863. + /* Initialize reset tasklet. */
  101864. + hcd->reset_tasklet = DWC_TASK_ALLOC("reset_tasklet", reset_tasklet_func, hcd);
  101865. +
  101866. + hcd->completion_tasklet = DWC_TASK_ALLOC("completion_tasklet",
  101867. + completion_tasklet_func, hcd);
  101868. +#ifdef DWC_DEV_SRPCAP
  101869. + if (hcd->core_if->power_down == 2) {
  101870. + /* Initialize Power on timer for Host power up in case hibernation */
  101871. + hcd->core_if->pwron_timer = DWC_TIMER_ALLOC("PWRON TIMER",
  101872. + dwc_otg_hcd_power_up, core_if);
  101873. + }
  101874. +#endif
  101875. +
  101876. + /*
  101877. + * Allocate space for storing data on status transactions. Normally no
  101878. + * data is sent, but this space acts as a bit bucket. This must be
  101879. + * done after usb_add_hcd since that function allocates the DMA buffer
  101880. + * pool.
  101881. + */
  101882. + if (hcd->core_if->dma_enable) {
  101883. + hcd->status_buf =
  101884. + DWC_DMA_ALLOC(DWC_OTG_HCD_STATUS_BUF_SIZE,
  101885. + &hcd->status_buf_dma);
  101886. + } else {
  101887. + hcd->status_buf = DWC_ALLOC(DWC_OTG_HCD_STATUS_BUF_SIZE);
  101888. + }
  101889. + if (!hcd->status_buf) {
  101890. + retval = -DWC_E_NO_MEMORY;
  101891. + DWC_ERROR("%s: status_buf allocation failed\n", __func__);
  101892. + dwc_otg_hcd_free(hcd);
  101893. + goto out;
  101894. + }
  101895. +
  101896. + hcd->otg_port = 1;
  101897. + hcd->frame_list = NULL;
  101898. + hcd->frame_list_dma = 0;
  101899. + hcd->periodic_qh_count = 0;
  101900. +
  101901. + DWC_MEMSET(hcd->hub_port, 0, sizeof(hcd->hub_port));
  101902. +#ifdef FIQ_DEBUG
  101903. + DWC_MEMSET(hcd->hub_port_alloc, -1, sizeof(hcd->hub_port_alloc));
  101904. +#endif
  101905. +
  101906. +out:
  101907. + return retval;
  101908. +}
  101909. +
  101910. +void dwc_otg_hcd_remove(dwc_otg_hcd_t * hcd)
  101911. +{
  101912. + /* Turn off all host-specific interrupts. */
  101913. + dwc_otg_disable_host_interrupts(hcd->core_if);
  101914. +
  101915. + dwc_otg_hcd_free(hcd);
  101916. +}
  101917. +
  101918. +/**
  101919. + * Initializes dynamic portions of the DWC_otg HCD state.
  101920. + */
  101921. +static void dwc_otg_hcd_reinit(dwc_otg_hcd_t * hcd)
  101922. +{
  101923. + int num_channels;
  101924. + int i;
  101925. + dwc_hc_t *channel;
  101926. + dwc_hc_t *channel_tmp;
  101927. +
  101928. + hcd->flags.d32 = 0;
  101929. +
  101930. + hcd->non_periodic_qh_ptr = &hcd->non_periodic_sched_active;
  101931. + if (!microframe_schedule) {
  101932. + hcd->non_periodic_channels = 0;
  101933. + hcd->periodic_channels = 0;
  101934. + } else {
  101935. + hcd->available_host_channels = hcd->core_if->core_params->host_channels;
  101936. + }
  101937. + /*
  101938. + * Put all channels in the free channel list and clean up channel
  101939. + * states.
  101940. + */
  101941. + DWC_CIRCLEQ_FOREACH_SAFE(channel, channel_tmp,
  101942. + &hcd->free_hc_list, hc_list_entry) {
  101943. + DWC_CIRCLEQ_REMOVE(&hcd->free_hc_list, channel, hc_list_entry);
  101944. + }
  101945. +
  101946. + num_channels = hcd->core_if->core_params->host_channels;
  101947. + for (i = 0; i < num_channels; i++) {
  101948. + channel = hcd->hc_ptr_array[i];
  101949. + DWC_CIRCLEQ_INSERT_TAIL(&hcd->free_hc_list, channel,
  101950. + hc_list_entry);
  101951. + dwc_otg_hc_cleanup(hcd->core_if, channel);
  101952. + }
  101953. +
  101954. + /* Initialize the DWC core for host mode operation. */
  101955. + dwc_otg_core_host_init(hcd->core_if);
  101956. +
  101957. + /* Set core_if's lock pointer to the hcd->lock */
  101958. + hcd->core_if->lock = hcd->lock;
  101959. +}
  101960. +
  101961. +/**
  101962. + * Assigns transactions from a QTD to a free host channel and initializes the
  101963. + * host channel to perform the transactions. The host channel is removed from
  101964. + * the free list.
  101965. + *
  101966. + * @param hcd The HCD state structure.
  101967. + * @param qh Transactions from the first QTD for this QH are selected and
  101968. + * assigned to a free host channel.
  101969. + */
  101970. +static void assign_and_init_hc(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  101971. +{
  101972. + dwc_hc_t *hc;
  101973. + dwc_otg_qtd_t *qtd;
  101974. + dwc_otg_hcd_urb_t *urb;
  101975. + void* ptr = NULL;
  101976. + uint32_t intr_enable;
  101977. + unsigned long flags;
  101978. + gintmsk_data_t gintmsk = { .d32 = 0, };
  101979. +
  101980. + qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  101981. +
  101982. + urb = qtd->urb;
  101983. +
  101984. + DWC_DEBUGPL(DBG_HCDV, "%s(%p,%p) - urb %x, actual_length %d\n", __func__, hcd, qh, (unsigned int)urb, urb->actual_length);
  101985. +
  101986. + if (((urb->actual_length < 0) || (urb->actual_length > urb->length)) && !dwc_otg_hcd_is_pipe_in(&urb->pipe_info))
  101987. + urb->actual_length = urb->length;
  101988. +
  101989. +
  101990. + hc = DWC_CIRCLEQ_FIRST(&hcd->free_hc_list);
  101991. +
  101992. + /* Remove the host channel from the free list. */
  101993. + DWC_CIRCLEQ_REMOVE_INIT(&hcd->free_hc_list, hc, hc_list_entry);
  101994. +
  101995. + qh->channel = hc;
  101996. +
  101997. + qtd->in_process = 1;
  101998. +
  101999. + /*
  102000. + * Use usb_pipedevice to determine device address. This address is
  102001. + * 0 before the SET_ADDRESS command and the correct address afterward.
  102002. + */
  102003. + hc->dev_addr = dwc_otg_hcd_get_dev_addr(&urb->pipe_info);
  102004. + hc->ep_num = dwc_otg_hcd_get_ep_num(&urb->pipe_info);
  102005. + hc->speed = qh->dev_speed;
  102006. + hc->max_packet = dwc_max_packet(qh->maxp);
  102007. +
  102008. + hc->xfer_started = 0;
  102009. + hc->halt_status = DWC_OTG_HC_XFER_NO_HALT_STATUS;
  102010. + hc->error_state = (qtd->error_count > 0);
  102011. + hc->halt_on_queue = 0;
  102012. + hc->halt_pending = 0;
  102013. + hc->requests = 0;
  102014. +
  102015. + /*
  102016. + * The following values may be modified in the transfer type section
  102017. + * below. The xfer_len value may be reduced when the transfer is
  102018. + * started to accommodate the max widths of the XferSize and PktCnt
  102019. + * fields in the HCTSIZn register.
  102020. + */
  102021. +
  102022. + hc->ep_is_in = (dwc_otg_hcd_is_pipe_in(&urb->pipe_info) != 0);
  102023. + if (hc->ep_is_in) {
  102024. + hc->do_ping = 0;
  102025. + } else {
  102026. + hc->do_ping = qh->ping_state;
  102027. + }
  102028. +
  102029. + hc->data_pid_start = qh->data_toggle;
  102030. + hc->multi_count = 1;
  102031. +
  102032. + if (hcd->core_if->dma_enable) {
  102033. + hc->xfer_buff = (uint8_t *) urb->dma + urb->actual_length;
  102034. +
  102035. + /* For non-dword aligned case */
  102036. + if (((unsigned long)hc->xfer_buff & 0x3)
  102037. + && !hcd->core_if->dma_desc_enable) {
  102038. + ptr = (uint8_t *) urb->buf + urb->actual_length;
  102039. + }
  102040. + } else {
  102041. + hc->xfer_buff = (uint8_t *) urb->buf + urb->actual_length;
  102042. + }
  102043. + hc->xfer_len = urb->length - urb->actual_length;
  102044. + hc->xfer_count = 0;
  102045. +
  102046. + /*
  102047. + * Set the split attributes
  102048. + */
  102049. + hc->do_split = 0;
  102050. + if (qh->do_split) {
  102051. + uint32_t hub_addr, port_addr;
  102052. + hc->do_split = 1;
  102053. + hc->xact_pos = qtd->isoc_split_pos;
  102054. + /* We don't need to do complete splits anymore */
  102055. +// if(fiq_fsm_enable)
  102056. + if (0)
  102057. + hc->complete_split = qtd->complete_split = 0;
  102058. + else
  102059. + hc->complete_split = qtd->complete_split;
  102060. +
  102061. + hcd->fops->hub_info(hcd, urb->priv, &hub_addr, &port_addr);
  102062. + hc->hub_addr = (uint8_t) hub_addr;
  102063. + hc->port_addr = (uint8_t) port_addr;
  102064. + }
  102065. +
  102066. + switch (dwc_otg_hcd_get_pipe_type(&urb->pipe_info)) {
  102067. + case UE_CONTROL:
  102068. + hc->ep_type = DWC_OTG_EP_TYPE_CONTROL;
  102069. + switch (qtd->control_phase) {
  102070. + case DWC_OTG_CONTROL_SETUP:
  102071. + DWC_DEBUGPL(DBG_HCDV, " Control setup transaction\n");
  102072. + hc->do_ping = 0;
  102073. + hc->ep_is_in = 0;
  102074. + hc->data_pid_start = DWC_OTG_HC_PID_SETUP;
  102075. + if (hcd->core_if->dma_enable) {
  102076. + hc->xfer_buff = (uint8_t *) urb->setup_dma;
  102077. + } else {
  102078. + hc->xfer_buff = (uint8_t *) urb->setup_packet;
  102079. + }
  102080. + hc->xfer_len = 8;
  102081. + ptr = NULL;
  102082. + break;
  102083. + case DWC_OTG_CONTROL_DATA:
  102084. + DWC_DEBUGPL(DBG_HCDV, " Control data transaction\n");
  102085. + hc->data_pid_start = qtd->data_toggle;
  102086. + break;
  102087. + case DWC_OTG_CONTROL_STATUS:
  102088. + /*
  102089. + * Direction is opposite of data direction or IN if no
  102090. + * data.
  102091. + */
  102092. + DWC_DEBUGPL(DBG_HCDV, " Control status transaction\n");
  102093. + if (urb->length == 0) {
  102094. + hc->ep_is_in = 1;
  102095. + } else {
  102096. + hc->ep_is_in =
  102097. + dwc_otg_hcd_is_pipe_out(&urb->pipe_info);
  102098. + }
  102099. + if (hc->ep_is_in) {
  102100. + hc->do_ping = 0;
  102101. + }
  102102. +
  102103. + hc->data_pid_start = DWC_OTG_HC_PID_DATA1;
  102104. +
  102105. + hc->xfer_len = 0;
  102106. + if (hcd->core_if->dma_enable) {
  102107. + hc->xfer_buff = (uint8_t *) hcd->status_buf_dma;
  102108. + } else {
  102109. + hc->xfer_buff = (uint8_t *) hcd->status_buf;
  102110. + }
  102111. + ptr = NULL;
  102112. + break;
  102113. + }
  102114. + break;
  102115. + case UE_BULK:
  102116. + hc->ep_type = DWC_OTG_EP_TYPE_BULK;
  102117. + break;
  102118. + case UE_INTERRUPT:
  102119. + hc->ep_type = DWC_OTG_EP_TYPE_INTR;
  102120. + break;
  102121. + case UE_ISOCHRONOUS:
  102122. + {
  102123. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  102124. +
  102125. + hc->ep_type = DWC_OTG_EP_TYPE_ISOC;
  102126. +
  102127. + if (hcd->core_if->dma_desc_enable)
  102128. + break;
  102129. +
  102130. + frame_desc = &urb->iso_descs[qtd->isoc_frame_index];
  102131. +
  102132. + frame_desc->status = 0;
  102133. +
  102134. + if (hcd->core_if->dma_enable) {
  102135. + hc->xfer_buff = (uint8_t *) urb->dma;
  102136. + } else {
  102137. + hc->xfer_buff = (uint8_t *) urb->buf;
  102138. + }
  102139. + hc->xfer_buff +=
  102140. + frame_desc->offset + qtd->isoc_split_offset;
  102141. + hc->xfer_len =
  102142. + frame_desc->length - qtd->isoc_split_offset;
  102143. +
  102144. + /* For non-dword aligned buffers */
  102145. + if (((unsigned long)hc->xfer_buff & 0x3)
  102146. + && hcd->core_if->dma_enable) {
  102147. + ptr =
  102148. + (uint8_t *) urb->buf + frame_desc->offset +
  102149. + qtd->isoc_split_offset;
  102150. + } else
  102151. + ptr = NULL;
  102152. +
  102153. + if (hc->xact_pos == DWC_HCSPLIT_XACTPOS_ALL) {
  102154. + if (hc->xfer_len <= 188) {
  102155. + hc->xact_pos = DWC_HCSPLIT_XACTPOS_ALL;
  102156. + } else {
  102157. + hc->xact_pos =
  102158. + DWC_HCSPLIT_XACTPOS_BEGIN;
  102159. + }
  102160. + }
  102161. + }
  102162. + break;
  102163. + }
  102164. + /* non DWORD-aligned buffer case */
  102165. + if (ptr) {
  102166. + uint32_t buf_size;
  102167. + if (hc->ep_type != DWC_OTG_EP_TYPE_ISOC) {
  102168. + buf_size = hcd->core_if->core_params->max_transfer_size;
  102169. + } else {
  102170. + buf_size = 4096;
  102171. + }
  102172. + if (!qh->dw_align_buf) {
  102173. + qh->dw_align_buf = DWC_DMA_ALLOC_ATOMIC(buf_size,
  102174. + &qh->dw_align_buf_dma);
  102175. + if (!qh->dw_align_buf) {
  102176. + DWC_ERROR
  102177. + ("%s: Failed to allocate memory to handle "
  102178. + "non-dword aligned buffer case\n",
  102179. + __func__);
  102180. + return;
  102181. + }
  102182. + }
  102183. + if (!hc->ep_is_in) {
  102184. + dwc_memcpy(qh->dw_align_buf, ptr, hc->xfer_len);
  102185. + }
  102186. + hc->align_buff = qh->dw_align_buf_dma;
  102187. + } else {
  102188. + hc->align_buff = 0;
  102189. + }
  102190. +
  102191. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  102192. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  102193. + /*
  102194. + * This value may be modified when the transfer is started to
  102195. + * reflect the actual transfer length.
  102196. + */
  102197. + hc->multi_count = dwc_hb_mult(qh->maxp);
  102198. + }
  102199. +
  102200. + if (hcd->core_if->dma_desc_enable)
  102201. + hc->desc_list_addr = qh->desc_list_dma;
  102202. +
  102203. + dwc_otg_hc_init(hcd->core_if, hc);
  102204. +
  102205. + local_irq_save(flags);
  102206. +
  102207. + if (fiq_enable) {
  102208. + local_fiq_disable();
  102209. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  102210. + }
  102211. +
  102212. + /* Enable the top level host channel interrupt. */
  102213. + intr_enable = (1 << hc->hc_num);
  102214. + DWC_MODIFY_REG32(&hcd->core_if->host_if->host_global_regs->haintmsk, 0, intr_enable);
  102215. +
  102216. + /* Make sure host channel interrupts are enabled. */
  102217. + gintmsk.b.hcintr = 1;
  102218. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, 0, gintmsk.d32);
  102219. +
  102220. + if (fiq_enable) {
  102221. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  102222. + local_fiq_enable();
  102223. + }
  102224. +
  102225. + local_irq_restore(flags);
  102226. + hc->qh = qh;
  102227. +}
  102228. +
  102229. +
  102230. +/**
  102231. + * fiq_fsm_transaction_suitable() - Test a QH for compatibility with the FIQ
  102232. + * @qh: pointer to the endpoint's queue head
  102233. + *
  102234. + * Transaction start/end control flow is grafted onto the existing dwc_otg
  102235. + * mechanisms, to avoid spaghettifying the functions more than they already are.
  102236. + * This function's eligibility check is altered by debug parameter.
  102237. + *
  102238. + * Returns: 0 for unsuitable, 1 implies the FIQ can be enabled for this transaction.
  102239. + */
  102240. +
  102241. +int fiq_fsm_transaction_suitable(dwc_otg_qh_t *qh)
  102242. +{
  102243. + if (qh->do_split) {
  102244. + switch (qh->ep_type) {
  102245. + case UE_CONTROL:
  102246. + case UE_BULK:
  102247. + if (fiq_fsm_mask & (1 << 0))
  102248. + return 1;
  102249. + break;
  102250. + case UE_INTERRUPT:
  102251. + case UE_ISOCHRONOUS:
  102252. + if (fiq_fsm_mask & (1 << 1))
  102253. + return 1;
  102254. + break;
  102255. + default:
  102256. + break;
  102257. + }
  102258. + } else if (qh->ep_type == UE_ISOCHRONOUS) {
  102259. + if (fiq_fsm_mask & (1 << 2)) {
  102260. + /* HS ISOCH support. We test for compatibility:
  102261. + * - DWORD aligned buffers
  102262. + * - Must be at least 2 transfers (otherwise pointless to use the FIQ)
  102263. + * If yes, then the fsm enqueue function will handle the state machine setup.
  102264. + */
  102265. + dwc_otg_qtd_t *qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  102266. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  102267. + struct dwc_otg_hcd_iso_packet_desc (*iso_descs)[0] = &urb->iso_descs;
  102268. + int nr_iso_frames = urb->packet_count;
  102269. + int i;
  102270. + uint32_t ptr;
  102271. +
  102272. + if (nr_iso_frames < 2)
  102273. + return 0;
  102274. + for (i = 0; i < nr_iso_frames; i++) {
  102275. + ptr = urb->dma + iso_descs[i]->offset;
  102276. + if (ptr & 0x3) {
  102277. + printk_ratelimited("%s: Non-Dword aligned isochronous frame offset."
  102278. + " Cannot queue FIQ-accelerated transfer to device %d endpoint %d\n",
  102279. + __FUNCTION__, qh->channel->dev_addr, qh->channel->ep_num);
  102280. + return 0;
  102281. + }
  102282. + }
  102283. + return 1;
  102284. + }
  102285. + }
  102286. + return 0;
  102287. +}
  102288. +
  102289. +/**
  102290. + * fiq_fsm_setup_periodic_dma() - Set up DMA bounce buffers
  102291. + * @hcd: Pointer to the dwc_otg_hcd struct
  102292. + * @qh: Pointer to the endpoint's queue head
  102293. + *
  102294. + * Periodic split transactions are transmitted modulo 188 bytes.
  102295. + * This necessitates slicing data up into buckets for isochronous out
  102296. + * and fixing up the DMA address for all IN transfers.
  102297. + *
  102298. + * Returns 1 if the DMA bounce buffers have been used, 0 if the default
  102299. + * HC buffer has been used.
  102300. + */
  102301. +int fiq_fsm_setup_periodic_dma(dwc_otg_hcd_t *hcd, struct fiq_channel_state *st, dwc_otg_qh_t *qh)
  102302. + {
  102303. + int frame_length, i = 0;
  102304. + uint8_t *ptr = NULL;
  102305. + dwc_hc_t *hc = qh->channel;
  102306. + struct fiq_dma_blob *blob;
  102307. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  102308. +
  102309. + for (i = 0; i < 6; i++) {
  102310. + st->dma_info.slot_len[i] = 255;
  102311. + }
  102312. + st->dma_info.index = 0;
  102313. + i = 0;
  102314. + if (hc->ep_is_in) {
  102315. + /*
  102316. + * Set dma_regs to bounce buffer. FIQ will update the
  102317. + * state depending on transaction progress.
  102318. + */
  102319. + blob = (struct fiq_dma_blob *) hcd->fiq_state->dma_base;
  102320. + st->hcdma_copy.d32 = (uint32_t) &blob->channel[hc->hc_num].index[0].buf[0];
  102321. + /* Calculate the max number of CSPLITS such that the FIQ can time out
  102322. + * a transaction if it fails.
  102323. + */
  102324. + frame_length = st->hcchar_copy.b.mps;
  102325. + do {
  102326. + i++;
  102327. + frame_length -= 188;
  102328. + } while (frame_length >= 0);
  102329. + st->nrpackets = i;
  102330. + return 1;
  102331. + } else {
  102332. + if (qh->ep_type == UE_ISOCHRONOUS) {
  102333. +
  102334. + dwc_otg_qtd_t *qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  102335. +
  102336. + frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  102337. + frame_length = frame_desc->length;
  102338. +
  102339. + /* Virtual address for bounce buffers */
  102340. + blob = hcd->fiq_dmab;
  102341. +
  102342. + ptr = qtd->urb->buf + frame_desc->offset;
  102343. + if (frame_length == 0) {
  102344. + /*
  102345. + * for isochronous transactions, we must still transmit a packet
  102346. + * even if the length is zero.
  102347. + */
  102348. + st->dma_info.slot_len[0] = 0;
  102349. + st->nrpackets = 1;
  102350. + } else {
  102351. + do {
  102352. + if (frame_length <= 188) {
  102353. + dwc_memcpy(&blob->channel[hc->hc_num].index[i].buf[0], ptr, frame_length);
  102354. + st->dma_info.slot_len[i] = frame_length;
  102355. + ptr += frame_length;
  102356. + } else {
  102357. + dwc_memcpy(&blob->channel[hc->hc_num].index[i].buf[0], ptr, 188);
  102358. + st->dma_info.slot_len[i] = 188;
  102359. + ptr += 188;
  102360. + }
  102361. + i++;
  102362. + frame_length -= 188;
  102363. + } while (frame_length > 0);
  102364. + st->nrpackets = i;
  102365. + }
  102366. + ptr = qtd->urb->buf + frame_desc->offset;
  102367. + /* Point the HC at the DMA address of the bounce buffers */
  102368. + blob = (struct fiq_dma_blob *) hcd->fiq_state->dma_base;
  102369. + st->hcdma_copy.d32 = (uint32_t) &blob->channel[hc->hc_num].index[0].buf[0];
  102370. +
  102371. + /* fixup xfersize to the actual packet size */
  102372. + st->hctsiz_copy.b.pid = 0;
  102373. + st->hctsiz_copy.b.xfersize = st->dma_info.slot_len[0];
  102374. + return 1;
  102375. + } else {
  102376. + /* For interrupt, single OUT packet required, goes in the SSPLIT from hc_buff. */
  102377. + return 0;
  102378. + }
  102379. + }
  102380. +}
  102381. +
  102382. +/*
  102383. + * Pushing a periodic request into the queue near the EOF1 point
  102384. + * in a microframe causes erroneous behaviour (frmovrun) interrupt.
  102385. + * Usually, the request goes out on the bus causing a transfer but
  102386. + * the core does not transfer the data to memory.
  102387. + * This guard interval (in number of 60MHz clocks) is required which
  102388. + * must cater for CPU latency between reading the value and enabling
  102389. + * the channel.
  102390. + */
  102391. +#define PERIODIC_FRREM_BACKOFF 1000
  102392. +
  102393. +int fiq_fsm_queue_isoc_transaction(dwc_otg_hcd_t *hcd, dwc_otg_qh_t *qh)
  102394. +{
  102395. + dwc_hc_t *hc = qh->channel;
  102396. + dwc_otg_hc_regs_t *hc_regs = hcd->core_if->host_if->hc_regs[hc->hc_num];
  102397. + dwc_otg_qtd_t *qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  102398. + int frame;
  102399. + struct fiq_channel_state *st = &hcd->fiq_state->channel[hc->hc_num];
  102400. + int xfer_len, nrpackets;
  102401. + hcdma_data_t hcdma;
  102402. + hfnum_data_t hfnum;
  102403. +
  102404. + if (st->fsm != FIQ_PASSTHROUGH)
  102405. + return 0;
  102406. +
  102407. + st->nr_errors = 0;
  102408. +
  102409. + st->hcchar_copy.d32 = 0;
  102410. + st->hcchar_copy.b.mps = hc->max_packet;
  102411. + st->hcchar_copy.b.epdir = hc->ep_is_in;
  102412. + st->hcchar_copy.b.devaddr = hc->dev_addr;
  102413. + st->hcchar_copy.b.epnum = hc->ep_num;
  102414. + st->hcchar_copy.b.eptype = hc->ep_type;
  102415. +
  102416. + st->hcintmsk_copy.b.chhltd = 1;
  102417. +
  102418. + frame = dwc_otg_hcd_get_frame_number(hcd);
  102419. + st->hcchar_copy.b.oddfrm = (frame & 0x1) ? 0 : 1;
  102420. +
  102421. + st->hcchar_copy.b.lspddev = 0;
  102422. + /* Enable the channel later as a final register write. */
  102423. +
  102424. + st->hcsplt_copy.d32 = 0;
  102425. +
  102426. + st->hs_isoc_info.iso_desc = (struct dwc_otg_hcd_iso_packet_desc *) &qtd->urb->iso_descs;
  102427. + st->hs_isoc_info.nrframes = qtd->urb->packet_count;
  102428. + /* grab the next DMA address offset from the array */
  102429. + st->hcdma_copy.d32 = qtd->urb->dma;
  102430. + hcdma.d32 = st->hcdma_copy.d32 + st->hs_isoc_info.iso_desc[0].offset;
  102431. +
  102432. + /* We need to set multi_count. This is a bit tricky - has to be set per-transaction as
  102433. + * the core needs to be told to send the correct number. Caution: for IN transfers,
  102434. + * this is always set to the maximum size of the endpoint. */
  102435. + xfer_len = st->hs_isoc_info.iso_desc[0].length;
  102436. + nrpackets = (xfer_len + st->hcchar_copy.b.mps - 1) / st->hcchar_copy.b.mps;
  102437. + if (nrpackets == 0)
  102438. + nrpackets = 1;
  102439. + st->hcchar_copy.b.multicnt = nrpackets;
  102440. + st->hctsiz_copy.b.pktcnt = nrpackets;
  102441. +
  102442. + /* Initial PID also needs to be set */
  102443. + if (st->hcchar_copy.b.epdir == 0) {
  102444. + st->hctsiz_copy.b.xfersize = xfer_len;
  102445. + switch (st->hcchar_copy.b.multicnt) {
  102446. + case 1:
  102447. + st->hctsiz_copy.b.pid = DWC_PID_DATA0;
  102448. + break;
  102449. + case 2:
  102450. + case 3:
  102451. + st->hctsiz_copy.b.pid = DWC_PID_MDATA;
  102452. + break;
  102453. + }
  102454. +
  102455. + } else {
  102456. + st->hctsiz_copy.b.xfersize = nrpackets * st->hcchar_copy.b.mps;
  102457. + switch (st->hcchar_copy.b.multicnt) {
  102458. + case 1:
  102459. + st->hctsiz_copy.b.pid = DWC_PID_DATA0;
  102460. + break;
  102461. + case 2:
  102462. + st->hctsiz_copy.b.pid = DWC_PID_DATA1;
  102463. + break;
  102464. + case 3:
  102465. + st->hctsiz_copy.b.pid = DWC_PID_DATA2;
  102466. + break;
  102467. + }
  102468. + }
  102469. +
  102470. + st->hs_isoc_info.stride = qh->interval;
  102471. + st->uframe_sleeps = 0;
  102472. +
  102473. + fiq_print(FIQDBG_INT, hcd->fiq_state, "FSMQ %01d ", hc->hc_num);
  102474. + fiq_print(FIQDBG_INT, hcd->fiq_state, "%08x", st->hcchar_copy.d32);
  102475. + fiq_print(FIQDBG_INT, hcd->fiq_state, "%08x", st->hctsiz_copy.d32);
  102476. + fiq_print(FIQDBG_INT, hcd->fiq_state, "%08x", st->hcdma_copy.d32);
  102477. + hfnum.d32 = DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hfnum);
  102478. + local_fiq_disable();
  102479. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  102480. + DWC_WRITE_REG32(&hc_regs->hctsiz, st->hctsiz_copy.d32);
  102481. + DWC_WRITE_REG32(&hc_regs->hcsplt, st->hcsplt_copy.d32);
  102482. + DWC_WRITE_REG32(&hc_regs->hcdma, st->hcdma_copy.d32);
  102483. + DWC_WRITE_REG32(&hc_regs->hcchar, st->hcchar_copy.d32);
  102484. + DWC_WRITE_REG32(&hc_regs->hcintmsk, st->hcintmsk_copy.d32);
  102485. + if (hfnum.b.frrem < PERIODIC_FRREM_BACKOFF) {
  102486. + /* Prevent queueing near EOF1. Bad things happen if a periodic
  102487. + * split transaction is queued very close to EOF. SOF interrupt handler
  102488. + * will wake this channel at the next interrupt.
  102489. + */
  102490. + st->fsm = FIQ_HS_ISOC_SLEEPING;
  102491. + st->uframe_sleeps = 1;
  102492. + } else {
  102493. + st->fsm = FIQ_HS_ISOC_TURBO;
  102494. + st->hcchar_copy.b.chen = 1;
  102495. + DWC_WRITE_REG32(&hc_regs->hcchar, st->hcchar_copy.d32);
  102496. + }
  102497. + mb();
  102498. + st->hcchar_copy.b.chen = 0;
  102499. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  102500. + local_fiq_enable();
  102501. + return 0;
  102502. +}
  102503. +
  102504. +
  102505. +/**
  102506. + * fiq_fsm_queue_split_transaction() - Set up a host channel and FIQ state
  102507. + * @hcd: Pointer to the dwc_otg_hcd struct
  102508. + * @qh: Pointer to the endpoint's queue head
  102509. + *
  102510. + * This overrides the dwc_otg driver's normal method of queueing a transaction.
  102511. + * Called from dwc_otg_hcd_queue_transactions(), this performs specific setup
  102512. + * for the nominated host channel.
  102513. + *
  102514. + * For periodic transfers, it also peeks at the FIQ state to see if an immediate
  102515. + * start is possible. If not, then the FIQ is left to start the transfer.
  102516. + */
  102517. +int fiq_fsm_queue_split_transaction(dwc_otg_hcd_t *hcd, dwc_otg_qh_t *qh)
  102518. +{
  102519. + int start_immediate = 1, i;
  102520. + hfnum_data_t hfnum;
  102521. + dwc_hc_t *hc = qh->channel;
  102522. + dwc_otg_hc_regs_t *hc_regs = hcd->core_if->host_if->hc_regs[hc->hc_num];
  102523. + /* Program HC registers, setup FIQ_state, examine FIQ if periodic, start transfer (not if uframe 5) */
  102524. + int hub_addr, port_addr, frame, uframe;
  102525. + struct fiq_channel_state *st = &hcd->fiq_state->channel[hc->hc_num];
  102526. +
  102527. + if (st->fsm != FIQ_PASSTHROUGH)
  102528. + return 0;
  102529. + st->nr_errors = 0;
  102530. +
  102531. + st->hcchar_copy.d32 = 0;
  102532. + st->hcchar_copy.b.mps = hc->max_packet;
  102533. + st->hcchar_copy.b.epdir = hc->ep_is_in;
  102534. + st->hcchar_copy.b.devaddr = hc->dev_addr;
  102535. + st->hcchar_copy.b.epnum = hc->ep_num;
  102536. + st->hcchar_copy.b.eptype = hc->ep_type;
  102537. + if (hc->ep_type & 0x1) {
  102538. + if (hc->ep_is_in)
  102539. + st->hcchar_copy.b.multicnt = 3;
  102540. + else
  102541. + /* Docs say set this to 1, but driver sets to 0! */
  102542. + st->hcchar_copy.b.multicnt = 0;
  102543. + } else {
  102544. + st->hcchar_copy.b.multicnt = 1;
  102545. + st->hcchar_copy.b.oddfrm = 0;
  102546. + }
  102547. + st->hcchar_copy.b.lspddev = (hc->speed == DWC_OTG_EP_SPEED_LOW) ? 1 : 0;
  102548. + /* Enable the channel later as a final register write. */
  102549. +
  102550. + st->hcsplt_copy.d32 = 0;
  102551. + if(qh->do_split) {
  102552. + hcd->fops->hub_info(hcd, DWC_CIRCLEQ_FIRST(&qh->qtd_list)->urb->priv, &hub_addr, &port_addr);
  102553. + st->hcsplt_copy.b.compsplt = 0;
  102554. + st->hcsplt_copy.b.spltena = 1;
  102555. + // XACTPOS is for isoc-out only but needs initialising anyway.
  102556. + st->hcsplt_copy.b.xactpos = ISOC_XACTPOS_ALL;
  102557. + if((qh->ep_type == DWC_OTG_EP_TYPE_ISOC) && (!qh->ep_is_in)) {
  102558. + /* For packetsize 0 < L < 188, ISOC_XACTPOS_ALL.
  102559. + * for longer than this, ISOC_XACTPOS_BEGIN and the FIQ
  102560. + * will update as necessary.
  102561. + */
  102562. + if (hc->xfer_len > 188) {
  102563. + st->hcsplt_copy.b.xactpos = ISOC_XACTPOS_BEGIN;
  102564. + }
  102565. + }
  102566. + st->hcsplt_copy.b.hubaddr = (uint8_t) hub_addr;
  102567. + st->hcsplt_copy.b.prtaddr = (uint8_t) port_addr;
  102568. + st->hub_addr = hub_addr;
  102569. + st->port_addr = port_addr;
  102570. + }
  102571. +
  102572. + st->hctsiz_copy.d32 = 0;
  102573. + st->hctsiz_copy.b.dopng = 0;
  102574. + st->hctsiz_copy.b.pid = hc->data_pid_start;
  102575. +
  102576. + if (hc->ep_is_in || (hc->xfer_len > hc->max_packet)) {
  102577. + hc->xfer_len = hc->max_packet;
  102578. + } else if (!hc->ep_is_in && (hc->xfer_len > 188)) {
  102579. + hc->xfer_len = 188;
  102580. + }
  102581. + st->hctsiz_copy.b.xfersize = hc->xfer_len;
  102582. +
  102583. + st->hctsiz_copy.b.pktcnt = 1;
  102584. +
  102585. + if (hc->ep_type & 0x1) {
  102586. + /*
  102587. + * For potentially multi-packet transfers, must use the DMA bounce buffers. For IN transfers,
  102588. + * the DMA address is the address of the first 188byte slot buffer in the bounce buffer array.
  102589. + * For multi-packet OUT transfers, we need to copy the data into the bounce buffer array so the FIQ can punt
  102590. + * the right address out as necessary. hc->xfer_buff and hc->xfer_len have already been set
  102591. + * in assign_and_init_hc(), but this is for the eventual transaction completion only. The FIQ
  102592. + * must not touch internal driver state.
  102593. + */
  102594. + if(!fiq_fsm_setup_periodic_dma(hcd, st, qh)) {
  102595. + if (hc->align_buff) {
  102596. + st->hcdma_copy.d32 = hc->align_buff;
  102597. + } else {
  102598. + st->hcdma_copy.d32 = ((unsigned long) hc->xfer_buff & 0xFFFFFFFF);
  102599. + }
  102600. + }
  102601. + } else {
  102602. + if (hc->align_buff) {
  102603. + st->hcdma_copy.d32 = hc->align_buff;
  102604. + } else {
  102605. + st->hcdma_copy.d32 = ((unsigned long) hc->xfer_buff & 0xFFFFFFFF);
  102606. + }
  102607. + }
  102608. + /* The FIQ depends upon no other interrupts being enabled except channel halt.
  102609. + * Fixup channel interrupt mask. */
  102610. + st->hcintmsk_copy.d32 = 0;
  102611. + st->hcintmsk_copy.b.chhltd = 1;
  102612. + st->hcintmsk_copy.b.ahberr = 1;
  102613. +
  102614. + /* Hack courtesy of FreeBSD: apparently forcing Interrupt Split transactions
  102615. + * as Control puts the transfer into the non-periodic request queue and the
  102616. + * non-periodic handler in the hub. Makes things lots easier.
  102617. + */
  102618. + if ((fiq_fsm_mask & 0x8) && hc->ep_type == UE_INTERRUPT) {
  102619. + st->hcchar_copy.b.multicnt = 0;
  102620. + st->hcchar_copy.b.oddfrm = 0;
  102621. + st->hcchar_copy.b.eptype = UE_CONTROL;
  102622. + if (hc->align_buff) {
  102623. + st->hcdma_copy.d32 = hc->align_buff;
  102624. + } else {
  102625. + st->hcdma_copy.d32 = ((unsigned long) hc->xfer_buff & 0xFFFFFFFF);
  102626. + }
  102627. + }
  102628. + DWC_WRITE_REG32(&hc_regs->hcdma, st->hcdma_copy.d32);
  102629. + DWC_WRITE_REG32(&hc_regs->hctsiz, st->hctsiz_copy.d32);
  102630. + DWC_WRITE_REG32(&hc_regs->hcsplt, st->hcsplt_copy.d32);
  102631. + DWC_WRITE_REG32(&hc_regs->hcchar, st->hcchar_copy.d32);
  102632. + DWC_WRITE_REG32(&hc_regs->hcintmsk, st->hcintmsk_copy.d32);
  102633. +
  102634. + local_fiq_disable();
  102635. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  102636. +
  102637. + if (hc->ep_type & 0x1) {
  102638. + hfnum.d32 = DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hfnum);
  102639. + frame = (hfnum.b.frnum & ~0x7) >> 3;
  102640. + uframe = hfnum.b.frnum & 0x7;
  102641. + if (hfnum.b.frrem < PERIODIC_FRREM_BACKOFF) {
  102642. + /* Prevent queueing near EOF1. Bad things happen if a periodic
  102643. + * split transaction is queued very close to EOF.
  102644. + */
  102645. + start_immediate = 0;
  102646. + } else if (uframe == 5) {
  102647. + start_immediate = 0;
  102648. + } else if (hc->ep_type == UE_ISOCHRONOUS && !hc->ep_is_in) {
  102649. + start_immediate = 0;
  102650. + } else if (hc->ep_is_in && fiq_fsm_too_late(hcd->fiq_state, hc->hc_num)) {
  102651. + start_immediate = 0;
  102652. + } else {
  102653. + /* Search through all host channels to determine if a transaction
  102654. + * is currently in progress */
  102655. + for (i = 0; i < hcd->core_if->core_params->host_channels; i++) {
  102656. + if (i == hc->hc_num || hcd->fiq_state->channel[i].fsm == FIQ_PASSTHROUGH)
  102657. + continue;
  102658. + switch (hcd->fiq_state->channel[i].fsm) {
  102659. + /* TT is reserved for channels that are in the middle of a periodic
  102660. + * split transaction.
  102661. + */
  102662. + case FIQ_PER_SSPLIT_STARTED:
  102663. + case FIQ_PER_CSPLIT_WAIT:
  102664. + case FIQ_PER_CSPLIT_NYET1:
  102665. + case FIQ_PER_CSPLIT_POLL:
  102666. + case FIQ_PER_ISO_OUT_ACTIVE:
  102667. + case FIQ_PER_ISO_OUT_LAST:
  102668. + if (hcd->fiq_state->channel[i].hub_addr == hub_addr &&
  102669. + hcd->fiq_state->channel[i].port_addr == port_addr) {
  102670. + start_immediate = 0;
  102671. + }
  102672. + break;
  102673. + default:
  102674. + break;
  102675. + }
  102676. + if (!start_immediate)
  102677. + break;
  102678. + }
  102679. + }
  102680. + }
  102681. + if ((fiq_fsm_mask & 0x8) && hc->ep_type == UE_INTERRUPT)
  102682. + start_immediate = 1;
  102683. +
  102684. + fiq_print(FIQDBG_INT, hcd->fiq_state, "FSMQ %01d %01d", hc->hc_num, start_immediate);
  102685. + fiq_print(FIQDBG_INT, hcd->fiq_state, "%08d", hfnum.b.frrem);
  102686. + //fiq_print(FIQDBG_INT, hcd->fiq_state, "H:%02dP:%02d", hub_addr, port_addr);
  102687. + //fiq_print(FIQDBG_INT, hcd->fiq_state, "%08x", st->hctsiz_copy.d32);
  102688. + //fiq_print(FIQDBG_INT, hcd->fiq_state, "%08x", st->hcdma_copy.d32);
  102689. + switch (hc->ep_type) {
  102690. + case UE_CONTROL:
  102691. + case UE_BULK:
  102692. + st->fsm = FIQ_NP_SSPLIT_STARTED;
  102693. + break;
  102694. + case UE_ISOCHRONOUS:
  102695. + if (hc->ep_is_in) {
  102696. + if (start_immediate) {
  102697. + st->fsm = FIQ_PER_SSPLIT_STARTED;
  102698. + } else {
  102699. + st->fsm = FIQ_PER_SSPLIT_QUEUED;
  102700. + }
  102701. + } else {
  102702. + if (start_immediate) {
  102703. + /* Single-isoc OUT packets don't require FIQ involvement */
  102704. + if (st->nrpackets == 1) {
  102705. + st->fsm = FIQ_PER_ISO_OUT_LAST;
  102706. + } else {
  102707. + st->fsm = FIQ_PER_ISO_OUT_ACTIVE;
  102708. + }
  102709. + } else {
  102710. + st->fsm = FIQ_PER_ISO_OUT_PENDING;
  102711. + }
  102712. + }
  102713. + break;
  102714. + case UE_INTERRUPT:
  102715. + if (fiq_fsm_mask & 0x8) {
  102716. + st->fsm = FIQ_NP_SSPLIT_STARTED;
  102717. + } else if (start_immediate) {
  102718. + st->fsm = FIQ_PER_SSPLIT_STARTED;
  102719. + } else {
  102720. + st->fsm = FIQ_PER_SSPLIT_QUEUED;
  102721. + }
  102722. + default:
  102723. + break;
  102724. + }
  102725. + if (start_immediate) {
  102726. + /* Set the oddfrm bit as close as possible to actual queueing */
  102727. + frame = dwc_otg_hcd_get_frame_number(hcd);
  102728. + st->expected_uframe = (frame + 1) & 0x3FFF;
  102729. + st->hcchar_copy.b.oddfrm = (frame & 0x1) ? 0 : 1;
  102730. + st->hcchar_copy.b.chen = 1;
  102731. + DWC_WRITE_REG32(&hc_regs->hcchar, st->hcchar_copy.d32);
  102732. + }
  102733. + mb();
  102734. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  102735. + local_fiq_enable();
  102736. + return 0;
  102737. +}
  102738. +
  102739. +
  102740. +/**
  102741. + * This function selects transactions from the HCD transfer schedule and
  102742. + * assigns them to available host channels. It is called from HCD interrupt
  102743. + * handler functions.
  102744. + *
  102745. + * @param hcd The HCD state structure.
  102746. + *
  102747. + * @return The types of new transactions that were assigned to host channels.
  102748. + */
  102749. +dwc_otg_transaction_type_e dwc_otg_hcd_select_transactions(dwc_otg_hcd_t * hcd)
  102750. +{
  102751. + dwc_list_link_t *qh_ptr;
  102752. + dwc_otg_qh_t *qh;
  102753. + int num_channels;
  102754. + dwc_irqflags_t flags;
  102755. + dwc_spinlock_t *channel_lock = hcd->channel_lock;
  102756. + dwc_otg_transaction_type_e ret_val = DWC_OTG_TRANSACTION_NONE;
  102757. +
  102758. +#ifdef DEBUG_HOST_CHANNELS
  102759. + last_sel_trans_num_per_scheduled = 0;
  102760. + last_sel_trans_num_nonper_scheduled = 0;
  102761. + last_sel_trans_num_avail_hc_at_start = hcd->available_host_channels;
  102762. +#endif /* DEBUG_HOST_CHANNELS */
  102763. +
  102764. + /* Process entries in the periodic ready list. */
  102765. + qh_ptr = DWC_LIST_FIRST(&hcd->periodic_sched_ready);
  102766. +
  102767. + while (qh_ptr != &hcd->periodic_sched_ready &&
  102768. + !DWC_CIRCLEQ_EMPTY(&hcd->free_hc_list)) {
  102769. +
  102770. + qh = DWC_LIST_ENTRY(qh_ptr, dwc_otg_qh_t, qh_list_entry);
  102771. +
  102772. + if (microframe_schedule) {
  102773. + // Make sure we leave one channel for non periodic transactions.
  102774. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  102775. + if (hcd->available_host_channels <= 1) {
  102776. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102777. + break;
  102778. + }
  102779. + hcd->available_host_channels--;
  102780. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102781. +#ifdef DEBUG_HOST_CHANNELS
  102782. + last_sel_trans_num_per_scheduled++;
  102783. +#endif /* DEBUG_HOST_CHANNELS */
  102784. + }
  102785. + qh = DWC_LIST_ENTRY(qh_ptr, dwc_otg_qh_t, qh_list_entry);
  102786. + assign_and_init_hc(hcd, qh);
  102787. +
  102788. + /*
  102789. + * Move the QH from the periodic ready schedule to the
  102790. + * periodic assigned schedule.
  102791. + */
  102792. + qh_ptr = DWC_LIST_NEXT(qh_ptr);
  102793. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  102794. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_assigned,
  102795. + &qh->qh_list_entry);
  102796. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102797. + }
  102798. +
  102799. + /*
  102800. + * Process entries in the inactive portion of the non-periodic
  102801. + * schedule. Some free host channels may not be used if they are
  102802. + * reserved for periodic transfers.
  102803. + */
  102804. + qh_ptr = hcd->non_periodic_sched_inactive.next;
  102805. + num_channels = hcd->core_if->core_params->host_channels;
  102806. + while (qh_ptr != &hcd->non_periodic_sched_inactive &&
  102807. + (microframe_schedule || hcd->non_periodic_channels <
  102808. + num_channels - hcd->periodic_channels) &&
  102809. + !DWC_CIRCLEQ_EMPTY(&hcd->free_hc_list)) {
  102810. +
  102811. + qh = DWC_LIST_ENTRY(qh_ptr, dwc_otg_qh_t, qh_list_entry);
  102812. + /*
  102813. + * Check to see if this is a NAK'd retransmit, in which case ignore for retransmission
  102814. + * we hold off on bulk retransmissions to reduce NAK interrupt overhead for full-speed
  102815. + * cheeky devices that just hold off using NAKs
  102816. + */
  102817. + if (fiq_enable && nak_holdoff && qh->do_split) {
  102818. + if (qh->nak_frame != 0xffff) {
  102819. + uint16_t next_frame = dwc_frame_num_inc(qh->nak_frame, (qh->ep_type == UE_BULK) ? nak_holdoff : 8);
  102820. + uint16_t frame = dwc_otg_hcd_get_frame_number(hcd);
  102821. + if (dwc_frame_num_le(frame, next_frame)) {
  102822. + if(dwc_frame_num_le(next_frame, hcd->fiq_state->next_sched_frame)) {
  102823. + hcd->fiq_state->next_sched_frame = next_frame;
  102824. + }
  102825. + qh_ptr = DWC_LIST_NEXT(qh_ptr);
  102826. + continue;
  102827. + } else {
  102828. + qh->nak_frame = 0xFFFF;
  102829. + }
  102830. + }
  102831. + }
  102832. +
  102833. + if (microframe_schedule) {
  102834. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  102835. + if (hcd->available_host_channels < 1) {
  102836. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102837. + break;
  102838. + }
  102839. + hcd->available_host_channels--;
  102840. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102841. +#ifdef DEBUG_HOST_CHANNELS
  102842. + last_sel_trans_num_nonper_scheduled++;
  102843. +#endif /* DEBUG_HOST_CHANNELS */
  102844. + }
  102845. +
  102846. + assign_and_init_hc(hcd, qh);
  102847. +
  102848. + /*
  102849. + * Move the QH from the non-periodic inactive schedule to the
  102850. + * non-periodic active schedule.
  102851. + */
  102852. + qh_ptr = DWC_LIST_NEXT(qh_ptr);
  102853. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  102854. + DWC_LIST_MOVE_HEAD(&hcd->non_periodic_sched_active,
  102855. + &qh->qh_list_entry);
  102856. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  102857. +
  102858. +
  102859. + if (!microframe_schedule)
  102860. + hcd->non_periodic_channels++;
  102861. + }
  102862. + /* we moved a non-periodic QH to the active schedule. If the inactive queue is empty,
  102863. + * stop the FIQ from kicking us. We could potentially still have elements here if we
  102864. + * ran out of host channels.
  102865. + */
  102866. + if (fiq_enable) {
  102867. + if (DWC_LIST_EMPTY(&hcd->non_periodic_sched_inactive)) {
  102868. + hcd->fiq_state->kick_np_queues = 0;
  102869. + } else {
  102870. + /* For each entry remaining in the NP inactive queue,
  102871. + * if this a NAK'd retransmit then don't set the kick flag.
  102872. + */
  102873. + if(nak_holdoff) {
  102874. + DWC_LIST_FOREACH(qh_ptr, &hcd->non_periodic_sched_inactive) {
  102875. + qh = DWC_LIST_ENTRY(qh_ptr, dwc_otg_qh_t, qh_list_entry);
  102876. + if (qh->nak_frame == 0xFFFF) {
  102877. + hcd->fiq_state->kick_np_queues = 1;
  102878. + }
  102879. + }
  102880. + }
  102881. + }
  102882. + }
  102883. + if(!DWC_LIST_EMPTY(&hcd->periodic_sched_assigned))
  102884. + ret_val |= DWC_OTG_TRANSACTION_PERIODIC;
  102885. +
  102886. + if(!DWC_LIST_EMPTY(&hcd->non_periodic_sched_active))
  102887. + ret_val |= DWC_OTG_TRANSACTION_NON_PERIODIC;
  102888. +
  102889. +
  102890. +#ifdef DEBUG_HOST_CHANNELS
  102891. + last_sel_trans_num_avail_hc_at_end = hcd->available_host_channels;
  102892. +#endif /* DEBUG_HOST_CHANNELS */
  102893. + return ret_val;
  102894. +}
  102895. +
  102896. +/**
  102897. + * Attempts to queue a single transaction request for a host channel
  102898. + * associated with either a periodic or non-periodic transfer. This function
  102899. + * assumes that there is space available in the appropriate request queue. For
  102900. + * an OUT transfer or SETUP transaction in Slave mode, it checks whether space
  102901. + * is available in the appropriate Tx FIFO.
  102902. + *
  102903. + * @param hcd The HCD state structure.
  102904. + * @param hc Host channel descriptor associated with either a periodic or
  102905. + * non-periodic transfer.
  102906. + * @param fifo_dwords_avail Number of DWORDs available in the periodic Tx
  102907. + * FIFO for periodic transfers or the non-periodic Tx FIFO for non-periodic
  102908. + * transfers.
  102909. + *
  102910. + * @return 1 if a request is queued and more requests may be needed to
  102911. + * complete the transfer, 0 if no more requests are required for this
  102912. + * transfer, -1 if there is insufficient space in the Tx FIFO.
  102913. + */
  102914. +static int queue_transaction(dwc_otg_hcd_t * hcd,
  102915. + dwc_hc_t * hc, uint16_t fifo_dwords_avail)
  102916. +{
  102917. + int retval;
  102918. +
  102919. + if (hcd->core_if->dma_enable) {
  102920. + if (hcd->core_if->dma_desc_enable) {
  102921. + if (!hc->xfer_started
  102922. + || (hc->ep_type == DWC_OTG_EP_TYPE_ISOC)) {
  102923. + dwc_otg_hcd_start_xfer_ddma(hcd, hc->qh);
  102924. + hc->qh->ping_state = 0;
  102925. + }
  102926. + } else if (!hc->xfer_started) {
  102927. + if (fiq_fsm_enable && hc->error_state) {
  102928. + hcd->fiq_state->channel[hc->hc_num].nr_errors =
  102929. + DWC_CIRCLEQ_FIRST(&hc->qh->qtd_list)->error_count;
  102930. + hcd->fiq_state->channel[hc->hc_num].fsm =
  102931. + FIQ_PASSTHROUGH_ERRORSTATE;
  102932. + }
  102933. + dwc_otg_hc_start_transfer(hcd->core_if, hc);
  102934. + hc->qh->ping_state = 0;
  102935. + }
  102936. + retval = 0;
  102937. + } else if (hc->halt_pending) {
  102938. + /* Don't queue a request if the channel has been halted. */
  102939. + retval = 0;
  102940. + } else if (hc->halt_on_queue) {
  102941. + dwc_otg_hc_halt(hcd->core_if, hc, hc->halt_status);
  102942. + retval = 0;
  102943. + } else if (hc->do_ping) {
  102944. + if (!hc->xfer_started) {
  102945. + dwc_otg_hc_start_transfer(hcd->core_if, hc);
  102946. + }
  102947. + retval = 0;
  102948. + } else if (!hc->ep_is_in || hc->data_pid_start == DWC_OTG_HC_PID_SETUP) {
  102949. + if ((fifo_dwords_avail * 4) >= hc->max_packet) {
  102950. + if (!hc->xfer_started) {
  102951. + dwc_otg_hc_start_transfer(hcd->core_if, hc);
  102952. + retval = 1;
  102953. + } else {
  102954. + retval =
  102955. + dwc_otg_hc_continue_transfer(hcd->core_if,
  102956. + hc);
  102957. + }
  102958. + } else {
  102959. + retval = -1;
  102960. + }
  102961. + } else {
  102962. + if (!hc->xfer_started) {
  102963. + dwc_otg_hc_start_transfer(hcd->core_if, hc);
  102964. + retval = 1;
  102965. + } else {
  102966. + retval = dwc_otg_hc_continue_transfer(hcd->core_if, hc);
  102967. + }
  102968. + }
  102969. +
  102970. + return retval;
  102971. +}
  102972. +
  102973. +/**
  102974. + * Processes periodic channels for the next frame and queues transactions for
  102975. + * these channels to the DWC_otg controller. After queueing transactions, the
  102976. + * Periodic Tx FIFO Empty interrupt is enabled if there are more transactions
  102977. + * to queue as Periodic Tx FIFO or request queue space becomes available.
  102978. + * Otherwise, the Periodic Tx FIFO Empty interrupt is disabled.
  102979. + */
  102980. +static void process_periodic_channels(dwc_otg_hcd_t * hcd)
  102981. +{
  102982. + hptxsts_data_t tx_status;
  102983. + dwc_list_link_t *qh_ptr;
  102984. + dwc_otg_qh_t *qh;
  102985. + int status = 0;
  102986. + int no_queue_space = 0;
  102987. + int no_fifo_space = 0;
  102988. +
  102989. + dwc_otg_host_global_regs_t *host_regs;
  102990. + host_regs = hcd->core_if->host_if->host_global_regs;
  102991. +
  102992. + DWC_DEBUGPL(DBG_HCDV, "Queue periodic transactions\n");
  102993. +#ifdef DEBUG
  102994. + tx_status.d32 = DWC_READ_REG32(&host_regs->hptxsts);
  102995. + DWC_DEBUGPL(DBG_HCDV,
  102996. + " P Tx Req Queue Space Avail (before queue): %d\n",
  102997. + tx_status.b.ptxqspcavail);
  102998. + DWC_DEBUGPL(DBG_HCDV, " P Tx FIFO Space Avail (before queue): %d\n",
  102999. + tx_status.b.ptxfspcavail);
  103000. +#endif
  103001. +
  103002. + qh_ptr = hcd->periodic_sched_assigned.next;
  103003. + while (qh_ptr != &hcd->periodic_sched_assigned) {
  103004. + tx_status.d32 = DWC_READ_REG32(&host_regs->hptxsts);
  103005. + if (tx_status.b.ptxqspcavail == 0) {
  103006. + no_queue_space = 1;
  103007. + break;
  103008. + }
  103009. +
  103010. + qh = DWC_LIST_ENTRY(qh_ptr, dwc_otg_qh_t, qh_list_entry);
  103011. +
  103012. + // Do not send a split start transaction any later than frame .6
  103013. + // Note, we have to schedule a periodic in .5 to make it go in .6
  103014. + if(fiq_fsm_enable && qh->do_split && ((dwc_otg_hcd_get_frame_number(hcd) + 1) & 7) > 6)
  103015. + {
  103016. + qh_ptr = qh_ptr->next;
  103017. + hcd->fiq_state->next_sched_frame = dwc_otg_hcd_get_frame_number(hcd) | 7;
  103018. + continue;
  103019. + }
  103020. +
  103021. + if (fiq_fsm_enable && fiq_fsm_transaction_suitable(qh)) {
  103022. + if (qh->do_split)
  103023. + fiq_fsm_queue_split_transaction(hcd, qh);
  103024. + else
  103025. + fiq_fsm_queue_isoc_transaction(hcd, qh);
  103026. + } else {
  103027. +
  103028. + /*
  103029. + * Set a flag if we're queueing high-bandwidth in slave mode.
  103030. + * The flag prevents any halts to get into the request queue in
  103031. + * the middle of multiple high-bandwidth packets getting queued.
  103032. + */
  103033. + if (!hcd->core_if->dma_enable && qh->channel->multi_count > 1) {
  103034. + hcd->core_if->queuing_high_bandwidth = 1;
  103035. + }
  103036. + status = queue_transaction(hcd, qh->channel,
  103037. + tx_status.b.ptxfspcavail);
  103038. + if (status < 0) {
  103039. + no_fifo_space = 1;
  103040. + break;
  103041. + }
  103042. + }
  103043. +
  103044. + /*
  103045. + * In Slave mode, stay on the current transfer until there is
  103046. + * nothing more to do or the high-bandwidth request count is
  103047. + * reached. In DMA mode, only need to queue one request. The
  103048. + * controller automatically handles multiple packets for
  103049. + * high-bandwidth transfers.
  103050. + */
  103051. + if (hcd->core_if->dma_enable || status == 0 ||
  103052. + qh->channel->requests == qh->channel->multi_count) {
  103053. + qh_ptr = qh_ptr->next;
  103054. + /*
  103055. + * Move the QH from the periodic assigned schedule to
  103056. + * the periodic queued schedule.
  103057. + */
  103058. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_queued,
  103059. + &qh->qh_list_entry);
  103060. +
  103061. + /* done queuing high bandwidth */
  103062. + hcd->core_if->queuing_high_bandwidth = 0;
  103063. + }
  103064. + }
  103065. +
  103066. + if (!hcd->core_if->dma_enable) {
  103067. + dwc_otg_core_global_regs_t *global_regs;
  103068. + gintmsk_data_t intr_mask = {.d32 = 0 };
  103069. +
  103070. + global_regs = hcd->core_if->core_global_regs;
  103071. + intr_mask.b.ptxfempty = 1;
  103072. +#ifdef DEBUG
  103073. + tx_status.d32 = DWC_READ_REG32(&host_regs->hptxsts);
  103074. + DWC_DEBUGPL(DBG_HCDV,
  103075. + " P Tx Req Queue Space Avail (after queue): %d\n",
  103076. + tx_status.b.ptxqspcavail);
  103077. + DWC_DEBUGPL(DBG_HCDV,
  103078. + " P Tx FIFO Space Avail (after queue): %d\n",
  103079. + tx_status.b.ptxfspcavail);
  103080. +#endif
  103081. + if (!DWC_LIST_EMPTY(&hcd->periodic_sched_assigned) ||
  103082. + no_queue_space || no_fifo_space) {
  103083. + /*
  103084. + * May need to queue more transactions as the request
  103085. + * queue or Tx FIFO empties. Enable the periodic Tx
  103086. + * FIFO empty interrupt. (Always use the half-empty
  103087. + * level to ensure that new requests are loaded as
  103088. + * soon as possible.)
  103089. + */
  103090. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0,
  103091. + intr_mask.d32);
  103092. + } else {
  103093. + /*
  103094. + * Disable the Tx FIFO empty interrupt since there are
  103095. + * no more transactions that need to be queued right
  103096. + * now. This function is called from interrupt
  103097. + * handlers to queue more transactions as transfer
  103098. + * states change.
  103099. + */
  103100. + DWC_MODIFY_REG32(&global_regs->gintmsk, intr_mask.d32,
  103101. + 0);
  103102. + }
  103103. + }
  103104. +}
  103105. +
  103106. +/**
  103107. + * Processes active non-periodic channels and queues transactions for these
  103108. + * channels to the DWC_otg controller. After queueing transactions, the NP Tx
  103109. + * FIFO Empty interrupt is enabled if there are more transactions to queue as
  103110. + * NP Tx FIFO or request queue space becomes available. Otherwise, the NP Tx
  103111. + * FIFO Empty interrupt is disabled.
  103112. + */
  103113. +static void process_non_periodic_channels(dwc_otg_hcd_t * hcd)
  103114. +{
  103115. + gnptxsts_data_t tx_status;
  103116. + dwc_list_link_t *orig_qh_ptr;
  103117. + dwc_otg_qh_t *qh;
  103118. + int status;
  103119. + int no_queue_space = 0;
  103120. + int no_fifo_space = 0;
  103121. + int more_to_do = 0;
  103122. +
  103123. + dwc_otg_core_global_regs_t *global_regs =
  103124. + hcd->core_if->core_global_regs;
  103125. +
  103126. + DWC_DEBUGPL(DBG_HCDV, "Queue non-periodic transactions\n");
  103127. +#ifdef DEBUG
  103128. + tx_status.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  103129. + DWC_DEBUGPL(DBG_HCDV,
  103130. + " NP Tx Req Queue Space Avail (before queue): %d\n",
  103131. + tx_status.b.nptxqspcavail);
  103132. + DWC_DEBUGPL(DBG_HCDV, " NP Tx FIFO Space Avail (before queue): %d\n",
  103133. + tx_status.b.nptxfspcavail);
  103134. +#endif
  103135. + /*
  103136. + * Keep track of the starting point. Skip over the start-of-list
  103137. + * entry.
  103138. + */
  103139. + if (hcd->non_periodic_qh_ptr == &hcd->non_periodic_sched_active) {
  103140. + hcd->non_periodic_qh_ptr = hcd->non_periodic_qh_ptr->next;
  103141. + }
  103142. + orig_qh_ptr = hcd->non_periodic_qh_ptr;
  103143. +
  103144. + /*
  103145. + * Process once through the active list or until no more space is
  103146. + * available in the request queue or the Tx FIFO.
  103147. + */
  103148. + do {
  103149. + tx_status.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  103150. + if (!hcd->core_if->dma_enable && tx_status.b.nptxqspcavail == 0) {
  103151. + no_queue_space = 1;
  103152. + break;
  103153. + }
  103154. +
  103155. + qh = DWC_LIST_ENTRY(hcd->non_periodic_qh_ptr, dwc_otg_qh_t,
  103156. + qh_list_entry);
  103157. +
  103158. + if(fiq_fsm_enable && fiq_fsm_transaction_suitable(qh)) {
  103159. + fiq_fsm_queue_split_transaction(hcd, qh);
  103160. + } else {
  103161. + status = queue_transaction(hcd, qh->channel,
  103162. + tx_status.b.nptxfspcavail);
  103163. +
  103164. + if (status > 0) {
  103165. + more_to_do = 1;
  103166. + } else if (status < 0) {
  103167. + no_fifo_space = 1;
  103168. + break;
  103169. + }
  103170. + }
  103171. + /* Advance to next QH, skipping start-of-list entry. */
  103172. + hcd->non_periodic_qh_ptr = hcd->non_periodic_qh_ptr->next;
  103173. + if (hcd->non_periodic_qh_ptr == &hcd->non_periodic_sched_active) {
  103174. + hcd->non_periodic_qh_ptr =
  103175. + hcd->non_periodic_qh_ptr->next;
  103176. + }
  103177. +
  103178. + } while (hcd->non_periodic_qh_ptr != orig_qh_ptr);
  103179. +
  103180. + if (!hcd->core_if->dma_enable) {
  103181. + gintmsk_data_t intr_mask = {.d32 = 0 };
  103182. + intr_mask.b.nptxfempty = 1;
  103183. +
  103184. +#ifdef DEBUG
  103185. + tx_status.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  103186. + DWC_DEBUGPL(DBG_HCDV,
  103187. + " NP Tx Req Queue Space Avail (after queue): %d\n",
  103188. + tx_status.b.nptxqspcavail);
  103189. + DWC_DEBUGPL(DBG_HCDV,
  103190. + " NP Tx FIFO Space Avail (after queue): %d\n",
  103191. + tx_status.b.nptxfspcavail);
  103192. +#endif
  103193. + if (more_to_do || no_queue_space || no_fifo_space) {
  103194. + /*
  103195. + * May need to queue more transactions as the request
  103196. + * queue or Tx FIFO empties. Enable the non-periodic
  103197. + * Tx FIFO empty interrupt. (Always use the half-empty
  103198. + * level to ensure that new requests are loaded as
  103199. + * soon as possible.)
  103200. + */
  103201. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0,
  103202. + intr_mask.d32);
  103203. + } else {
  103204. + /*
  103205. + * Disable the Tx FIFO empty interrupt since there are
  103206. + * no more transactions that need to be queued right
  103207. + * now. This function is called from interrupt
  103208. + * handlers to queue more transactions as transfer
  103209. + * states change.
  103210. + */
  103211. + DWC_MODIFY_REG32(&global_regs->gintmsk, intr_mask.d32,
  103212. + 0);
  103213. + }
  103214. + }
  103215. +}
  103216. +
  103217. +/**
  103218. + * This function processes the currently active host channels and queues
  103219. + * transactions for these channels to the DWC_otg controller. It is called
  103220. + * from HCD interrupt handler functions.
  103221. + *
  103222. + * @param hcd The HCD state structure.
  103223. + * @param tr_type The type(s) of transactions to queue (non-periodic,
  103224. + * periodic, or both).
  103225. + */
  103226. +void dwc_otg_hcd_queue_transactions(dwc_otg_hcd_t * hcd,
  103227. + dwc_otg_transaction_type_e tr_type)
  103228. +{
  103229. +#ifdef DEBUG_SOF
  103230. + DWC_DEBUGPL(DBG_HCD, "Queue Transactions\n");
  103231. +#endif
  103232. + /* Process host channels associated with periodic transfers. */
  103233. + if ((tr_type == DWC_OTG_TRANSACTION_PERIODIC ||
  103234. + tr_type == DWC_OTG_TRANSACTION_ALL) &&
  103235. + !DWC_LIST_EMPTY(&hcd->periodic_sched_assigned)) {
  103236. +
  103237. + process_periodic_channels(hcd);
  103238. + }
  103239. +
  103240. + /* Process host channels associated with non-periodic transfers. */
  103241. + if (tr_type == DWC_OTG_TRANSACTION_NON_PERIODIC ||
  103242. + tr_type == DWC_OTG_TRANSACTION_ALL) {
  103243. + if (!DWC_LIST_EMPTY(&hcd->non_periodic_sched_active)) {
  103244. + process_non_periodic_channels(hcd);
  103245. + } else {
  103246. + /*
  103247. + * Ensure NP Tx FIFO empty interrupt is disabled when
  103248. + * there are no non-periodic transfers to process.
  103249. + */
  103250. + gintmsk_data_t gintmsk = {.d32 = 0 };
  103251. + gintmsk.b.nptxfempty = 1;
  103252. +
  103253. + if (fiq_enable) {
  103254. + local_fiq_disable();
  103255. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  103256. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, gintmsk.d32, 0);
  103257. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  103258. + local_fiq_enable();
  103259. + } else {
  103260. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, gintmsk.d32, 0);
  103261. + }
  103262. + }
  103263. + }
  103264. +}
  103265. +
  103266. +#ifdef DWC_HS_ELECT_TST
  103267. +/*
  103268. + * Quick and dirty hack to implement the HS Electrical Test
  103269. + * SINGLE_STEP_GET_DEVICE_DESCRIPTOR feature.
  103270. + *
  103271. + * This code was copied from our userspace app "hset". It sends a
  103272. + * Get Device Descriptor control sequence in two parts, first the
  103273. + * Setup packet by itself, followed some time later by the In and
  103274. + * Ack packets. Rather than trying to figure out how to add this
  103275. + * functionality to the normal driver code, we just hijack the
  103276. + * hardware, using these two function to drive the hardware
  103277. + * directly.
  103278. + */
  103279. +
  103280. +static dwc_otg_core_global_regs_t *global_regs;
  103281. +static dwc_otg_host_global_regs_t *hc_global_regs;
  103282. +static dwc_otg_hc_regs_t *hc_regs;
  103283. +static uint32_t *data_fifo;
  103284. +
  103285. +static void do_setup(void)
  103286. +{
  103287. + gintsts_data_t gintsts;
  103288. + hctsiz_data_t hctsiz;
  103289. + hcchar_data_t hcchar;
  103290. + haint_data_t haint;
  103291. + hcint_data_t hcint;
  103292. +
  103293. + /* Enable HAINTs */
  103294. + DWC_WRITE_REG32(&hc_global_regs->haintmsk, 0x0001);
  103295. +
  103296. + /* Enable HCINTs */
  103297. + DWC_WRITE_REG32(&hc_regs->hcintmsk, 0x04a3);
  103298. +
  103299. + /* Read GINTSTS */
  103300. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103301. +
  103302. + /* Read HAINT */
  103303. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103304. +
  103305. + /* Read HCINT */
  103306. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103307. +
  103308. + /* Read HCCHAR */
  103309. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103310. +
  103311. + /* Clear HCINT */
  103312. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103313. +
  103314. + /* Clear HAINT */
  103315. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103316. +
  103317. + /* Clear GINTSTS */
  103318. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103319. +
  103320. + /* Read GINTSTS */
  103321. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103322. +
  103323. + /*
  103324. + * Send Setup packet (Get Device Descriptor)
  103325. + */
  103326. +
  103327. + /* Make sure channel is disabled */
  103328. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103329. + if (hcchar.b.chen) {
  103330. + hcchar.b.chdis = 1;
  103331. +// hcchar.b.chen = 1;
  103332. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103333. + //sleep(1);
  103334. + dwc_mdelay(1000);
  103335. +
  103336. + /* Read GINTSTS */
  103337. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103338. +
  103339. + /* Read HAINT */
  103340. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103341. +
  103342. + /* Read HCINT */
  103343. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103344. +
  103345. + /* Read HCCHAR */
  103346. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103347. +
  103348. + /* Clear HCINT */
  103349. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103350. +
  103351. + /* Clear HAINT */
  103352. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103353. +
  103354. + /* Clear GINTSTS */
  103355. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103356. +
  103357. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103358. + }
  103359. +
  103360. + /* Set HCTSIZ */
  103361. + hctsiz.d32 = 0;
  103362. + hctsiz.b.xfersize = 8;
  103363. + hctsiz.b.pktcnt = 1;
  103364. + hctsiz.b.pid = DWC_OTG_HC_PID_SETUP;
  103365. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  103366. +
  103367. + /* Set HCCHAR */
  103368. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103369. + hcchar.b.eptype = DWC_OTG_EP_TYPE_CONTROL;
  103370. + hcchar.b.epdir = 0;
  103371. + hcchar.b.epnum = 0;
  103372. + hcchar.b.mps = 8;
  103373. + hcchar.b.chen = 1;
  103374. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103375. +
  103376. + /* Fill FIFO with Setup data for Get Device Descriptor */
  103377. + data_fifo = (uint32_t *) ((char *)global_regs + 0x1000);
  103378. + DWC_WRITE_REG32(data_fifo++, 0x01000680);
  103379. + DWC_WRITE_REG32(data_fifo++, 0x00080000);
  103380. +
  103381. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103382. +
  103383. + /* Wait for host channel interrupt */
  103384. + do {
  103385. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103386. + } while (gintsts.b.hcintr == 0);
  103387. +
  103388. + /* Disable HCINTs */
  103389. + DWC_WRITE_REG32(&hc_regs->hcintmsk, 0x0000);
  103390. +
  103391. + /* Disable HAINTs */
  103392. + DWC_WRITE_REG32(&hc_global_regs->haintmsk, 0x0000);
  103393. +
  103394. + /* Read HAINT */
  103395. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103396. +
  103397. + /* Read HCINT */
  103398. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103399. +
  103400. + /* Read HCCHAR */
  103401. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103402. +
  103403. + /* Clear HCINT */
  103404. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103405. +
  103406. + /* Clear HAINT */
  103407. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103408. +
  103409. + /* Clear GINTSTS */
  103410. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103411. +
  103412. + /* Read GINTSTS */
  103413. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103414. +}
  103415. +
  103416. +static void do_in_ack(void)
  103417. +{
  103418. + gintsts_data_t gintsts;
  103419. + hctsiz_data_t hctsiz;
  103420. + hcchar_data_t hcchar;
  103421. + haint_data_t haint;
  103422. + hcint_data_t hcint;
  103423. + host_grxsts_data_t grxsts;
  103424. +
  103425. + /* Enable HAINTs */
  103426. + DWC_WRITE_REG32(&hc_global_regs->haintmsk, 0x0001);
  103427. +
  103428. + /* Enable HCINTs */
  103429. + DWC_WRITE_REG32(&hc_regs->hcintmsk, 0x04a3);
  103430. +
  103431. + /* Read GINTSTS */
  103432. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103433. +
  103434. + /* Read HAINT */
  103435. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103436. +
  103437. + /* Read HCINT */
  103438. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103439. +
  103440. + /* Read HCCHAR */
  103441. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103442. +
  103443. + /* Clear HCINT */
  103444. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103445. +
  103446. + /* Clear HAINT */
  103447. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103448. +
  103449. + /* Clear GINTSTS */
  103450. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103451. +
  103452. + /* Read GINTSTS */
  103453. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103454. +
  103455. + /*
  103456. + * Receive Control In packet
  103457. + */
  103458. +
  103459. + /* Make sure channel is disabled */
  103460. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103461. + if (hcchar.b.chen) {
  103462. + hcchar.b.chdis = 1;
  103463. + hcchar.b.chen = 1;
  103464. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103465. + //sleep(1);
  103466. + dwc_mdelay(1000);
  103467. +
  103468. + /* Read GINTSTS */
  103469. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103470. +
  103471. + /* Read HAINT */
  103472. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103473. +
  103474. + /* Read HCINT */
  103475. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103476. +
  103477. + /* Read HCCHAR */
  103478. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103479. +
  103480. + /* Clear HCINT */
  103481. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103482. +
  103483. + /* Clear HAINT */
  103484. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103485. +
  103486. + /* Clear GINTSTS */
  103487. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103488. +
  103489. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103490. + }
  103491. +
  103492. + /* Set HCTSIZ */
  103493. + hctsiz.d32 = 0;
  103494. + hctsiz.b.xfersize = 8;
  103495. + hctsiz.b.pktcnt = 1;
  103496. + hctsiz.b.pid = DWC_OTG_HC_PID_DATA1;
  103497. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  103498. +
  103499. + /* Set HCCHAR */
  103500. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103501. + hcchar.b.eptype = DWC_OTG_EP_TYPE_CONTROL;
  103502. + hcchar.b.epdir = 1;
  103503. + hcchar.b.epnum = 0;
  103504. + hcchar.b.mps = 8;
  103505. + hcchar.b.chen = 1;
  103506. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103507. +
  103508. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103509. +
  103510. + /* Wait for receive status queue interrupt */
  103511. + do {
  103512. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103513. + } while (gintsts.b.rxstsqlvl == 0);
  103514. +
  103515. + /* Read RXSTS */
  103516. + grxsts.d32 = DWC_READ_REG32(&global_regs->grxstsp);
  103517. +
  103518. + /* Clear RXSTSQLVL in GINTSTS */
  103519. + gintsts.d32 = 0;
  103520. + gintsts.b.rxstsqlvl = 1;
  103521. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103522. +
  103523. + switch (grxsts.b.pktsts) {
  103524. + case DWC_GRXSTS_PKTSTS_IN:
  103525. + /* Read the data into the host buffer */
  103526. + if (grxsts.b.bcnt > 0) {
  103527. + int i;
  103528. + int word_count = (grxsts.b.bcnt + 3) / 4;
  103529. +
  103530. + data_fifo = (uint32_t *) ((char *)global_regs + 0x1000);
  103531. +
  103532. + for (i = 0; i < word_count; i++) {
  103533. + (void)DWC_READ_REG32(data_fifo++);
  103534. + }
  103535. + }
  103536. + break;
  103537. +
  103538. + default:
  103539. + break;
  103540. + }
  103541. +
  103542. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103543. +
  103544. + /* Wait for receive status queue interrupt */
  103545. + do {
  103546. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103547. + } while (gintsts.b.rxstsqlvl == 0);
  103548. +
  103549. + /* Read RXSTS */
  103550. + grxsts.d32 = DWC_READ_REG32(&global_regs->grxstsp);
  103551. +
  103552. + /* Clear RXSTSQLVL in GINTSTS */
  103553. + gintsts.d32 = 0;
  103554. + gintsts.b.rxstsqlvl = 1;
  103555. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103556. +
  103557. + switch (grxsts.b.pktsts) {
  103558. + case DWC_GRXSTS_PKTSTS_IN_XFER_COMP:
  103559. + break;
  103560. +
  103561. + default:
  103562. + break;
  103563. + }
  103564. +
  103565. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103566. +
  103567. + /* Wait for host channel interrupt */
  103568. + do {
  103569. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103570. + } while (gintsts.b.hcintr == 0);
  103571. +
  103572. + /* Read HAINT */
  103573. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103574. +
  103575. + /* Read HCINT */
  103576. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103577. +
  103578. + /* Read HCCHAR */
  103579. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103580. +
  103581. + /* Clear HCINT */
  103582. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103583. +
  103584. + /* Clear HAINT */
  103585. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103586. +
  103587. + /* Clear GINTSTS */
  103588. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103589. +
  103590. + /* Read GINTSTS */
  103591. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103592. +
  103593. +// usleep(100000);
  103594. +// mdelay(100);
  103595. + dwc_mdelay(1);
  103596. +
  103597. + /*
  103598. + * Send handshake packet
  103599. + */
  103600. +
  103601. + /* Read HAINT */
  103602. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103603. +
  103604. + /* Read HCINT */
  103605. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103606. +
  103607. + /* Read HCCHAR */
  103608. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103609. +
  103610. + /* Clear HCINT */
  103611. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103612. +
  103613. + /* Clear HAINT */
  103614. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103615. +
  103616. + /* Clear GINTSTS */
  103617. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103618. +
  103619. + /* Read GINTSTS */
  103620. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103621. +
  103622. + /* Make sure channel is disabled */
  103623. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103624. + if (hcchar.b.chen) {
  103625. + hcchar.b.chdis = 1;
  103626. + hcchar.b.chen = 1;
  103627. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103628. + //sleep(1);
  103629. + dwc_mdelay(1000);
  103630. +
  103631. + /* Read GINTSTS */
  103632. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103633. +
  103634. + /* Read HAINT */
  103635. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103636. +
  103637. + /* Read HCINT */
  103638. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103639. +
  103640. + /* Read HCCHAR */
  103641. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103642. +
  103643. + /* Clear HCINT */
  103644. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103645. +
  103646. + /* Clear HAINT */
  103647. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103648. +
  103649. + /* Clear GINTSTS */
  103650. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103651. +
  103652. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103653. + }
  103654. +
  103655. + /* Set HCTSIZ */
  103656. + hctsiz.d32 = 0;
  103657. + hctsiz.b.xfersize = 0;
  103658. + hctsiz.b.pktcnt = 1;
  103659. + hctsiz.b.pid = DWC_OTG_HC_PID_DATA1;
  103660. + DWC_WRITE_REG32(&hc_regs->hctsiz, hctsiz.d32);
  103661. +
  103662. + /* Set HCCHAR */
  103663. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103664. + hcchar.b.eptype = DWC_OTG_EP_TYPE_CONTROL;
  103665. + hcchar.b.epdir = 0;
  103666. + hcchar.b.epnum = 0;
  103667. + hcchar.b.mps = 8;
  103668. + hcchar.b.chen = 1;
  103669. + DWC_WRITE_REG32(&hc_regs->hcchar, hcchar.d32);
  103670. +
  103671. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103672. +
  103673. + /* Wait for host channel interrupt */
  103674. + do {
  103675. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103676. + } while (gintsts.b.hcintr == 0);
  103677. +
  103678. + /* Disable HCINTs */
  103679. + DWC_WRITE_REG32(&hc_regs->hcintmsk, 0x0000);
  103680. +
  103681. + /* Disable HAINTs */
  103682. + DWC_WRITE_REG32(&hc_global_regs->haintmsk, 0x0000);
  103683. +
  103684. + /* Read HAINT */
  103685. + haint.d32 = DWC_READ_REG32(&hc_global_regs->haint);
  103686. +
  103687. + /* Read HCINT */
  103688. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  103689. +
  103690. + /* Read HCCHAR */
  103691. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  103692. +
  103693. + /* Clear HCINT */
  103694. + DWC_WRITE_REG32(&hc_regs->hcint, hcint.d32);
  103695. +
  103696. + /* Clear HAINT */
  103697. + DWC_WRITE_REG32(&hc_global_regs->haint, haint.d32);
  103698. +
  103699. + /* Clear GINTSTS */
  103700. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  103701. +
  103702. + /* Read GINTSTS */
  103703. + gintsts.d32 = DWC_READ_REG32(&global_regs->gintsts);
  103704. +}
  103705. +#endif
  103706. +
  103707. +/** Handles hub class-specific requests. */
  103708. +int dwc_otg_hcd_hub_control(dwc_otg_hcd_t * dwc_otg_hcd,
  103709. + uint16_t typeReq,
  103710. + uint16_t wValue,
  103711. + uint16_t wIndex, uint8_t * buf, uint16_t wLength)
  103712. +{
  103713. + int retval = 0;
  103714. +
  103715. + dwc_otg_core_if_t *core_if = dwc_otg_hcd->core_if;
  103716. + usb_hub_descriptor_t *hub_desc;
  103717. + hprt0_data_t hprt0 = {.d32 = 0 };
  103718. +
  103719. + uint32_t port_status;
  103720. +
  103721. + switch (typeReq) {
  103722. + case UCR_CLEAR_HUB_FEATURE:
  103723. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103724. + "ClearHubFeature 0x%x\n", wValue);
  103725. + switch (wValue) {
  103726. + case UHF_C_HUB_LOCAL_POWER:
  103727. + case UHF_C_HUB_OVER_CURRENT:
  103728. + /* Nothing required here */
  103729. + break;
  103730. + default:
  103731. + retval = -DWC_E_INVALID;
  103732. + DWC_ERROR("DWC OTG HCD - "
  103733. + "ClearHubFeature request %xh unknown\n",
  103734. + wValue);
  103735. + }
  103736. + break;
  103737. + case UCR_CLEAR_PORT_FEATURE:
  103738. +#ifdef CONFIG_USB_DWC_OTG_LPM
  103739. + if (wValue != UHF_PORT_L1)
  103740. +#endif
  103741. + if (!wIndex || wIndex > 1)
  103742. + goto error;
  103743. +
  103744. + switch (wValue) {
  103745. + case UHF_PORT_ENABLE:
  103746. + DWC_DEBUGPL(DBG_ANY, "DWC OTG HCD HUB CONTROL - "
  103747. + "ClearPortFeature USB_PORT_FEAT_ENABLE\n");
  103748. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  103749. + hprt0.b.prtena = 1;
  103750. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  103751. + break;
  103752. + case UHF_PORT_SUSPEND:
  103753. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103754. + "ClearPortFeature USB_PORT_FEAT_SUSPEND\n");
  103755. +
  103756. + if (core_if->power_down == 2) {
  103757. + dwc_otg_host_hibernation_restore(core_if, 0, 0);
  103758. + } else {
  103759. + DWC_WRITE_REG32(core_if->pcgcctl, 0);
  103760. + dwc_mdelay(5);
  103761. +
  103762. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  103763. + hprt0.b.prtres = 1;
  103764. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  103765. + hprt0.b.prtsusp = 0;
  103766. + /* Clear Resume bit */
  103767. + dwc_mdelay(100);
  103768. + hprt0.b.prtres = 0;
  103769. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  103770. + }
  103771. + break;
  103772. +#ifdef CONFIG_USB_DWC_OTG_LPM
  103773. + case UHF_PORT_L1:
  103774. + {
  103775. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  103776. + glpmcfg_data_t lpmcfg = {.d32 = 0 };
  103777. +
  103778. + lpmcfg.d32 =
  103779. + DWC_READ_REG32(&core_if->
  103780. + core_global_regs->glpmcfg);
  103781. + lpmcfg.b.en_utmi_sleep = 0;
  103782. + lpmcfg.b.hird_thres &= (~(1 << 4));
  103783. + lpmcfg.b.prt_sleep_sts = 1;
  103784. + DWC_WRITE_REG32(&core_if->
  103785. + core_global_regs->glpmcfg,
  103786. + lpmcfg.d32);
  103787. +
  103788. + /* Clear Enbl_L1Gating bit. */
  103789. + pcgcctl.b.enbl_sleep_gating = 1;
  103790. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32,
  103791. + 0);
  103792. +
  103793. + dwc_mdelay(5);
  103794. +
  103795. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  103796. + hprt0.b.prtres = 1;
  103797. + DWC_WRITE_REG32(core_if->host_if->hprt0,
  103798. + hprt0.d32);
  103799. + /* This bit will be cleared in wakeup interrupt handle */
  103800. + break;
  103801. + }
  103802. +#endif
  103803. + case UHF_PORT_POWER:
  103804. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103805. + "ClearPortFeature USB_PORT_FEAT_POWER\n");
  103806. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  103807. + hprt0.b.prtpwr = 0;
  103808. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  103809. + break;
  103810. + case UHF_PORT_INDICATOR:
  103811. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103812. + "ClearPortFeature USB_PORT_FEAT_INDICATOR\n");
  103813. + /* Port inidicator not supported */
  103814. + break;
  103815. + case UHF_C_PORT_CONNECTION:
  103816. + /* Clears drivers internal connect status change
  103817. + * flag */
  103818. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103819. + "ClearPortFeature USB_PORT_FEAT_C_CONNECTION\n");
  103820. + dwc_otg_hcd->flags.b.port_connect_status_change = 0;
  103821. + break;
  103822. + case UHF_C_PORT_RESET:
  103823. + /* Clears the driver's internal Port Reset Change
  103824. + * flag */
  103825. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103826. + "ClearPortFeature USB_PORT_FEAT_C_RESET\n");
  103827. + dwc_otg_hcd->flags.b.port_reset_change = 0;
  103828. + break;
  103829. + case UHF_C_PORT_ENABLE:
  103830. + /* Clears the driver's internal Port
  103831. + * Enable/Disable Change flag */
  103832. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103833. + "ClearPortFeature USB_PORT_FEAT_C_ENABLE\n");
  103834. + dwc_otg_hcd->flags.b.port_enable_change = 0;
  103835. + break;
  103836. + case UHF_C_PORT_SUSPEND:
  103837. + /* Clears the driver's internal Port Suspend
  103838. + * Change flag, which is set when resume signaling on
  103839. + * the host port is complete */
  103840. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103841. + "ClearPortFeature USB_PORT_FEAT_C_SUSPEND\n");
  103842. + dwc_otg_hcd->flags.b.port_suspend_change = 0;
  103843. + break;
  103844. +#ifdef CONFIG_USB_DWC_OTG_LPM
  103845. + case UHF_C_PORT_L1:
  103846. + dwc_otg_hcd->flags.b.port_l1_change = 0;
  103847. + break;
  103848. +#endif
  103849. + case UHF_C_PORT_OVER_CURRENT:
  103850. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103851. + "ClearPortFeature USB_PORT_FEAT_C_OVER_CURRENT\n");
  103852. + dwc_otg_hcd->flags.b.port_over_current_change = 0;
  103853. + break;
  103854. + default:
  103855. + retval = -DWC_E_INVALID;
  103856. + DWC_ERROR("DWC OTG HCD - "
  103857. + "ClearPortFeature request %xh "
  103858. + "unknown or unsupported\n", wValue);
  103859. + }
  103860. + break;
  103861. + case UCR_GET_HUB_DESCRIPTOR:
  103862. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103863. + "GetHubDescriptor\n");
  103864. + hub_desc = (usb_hub_descriptor_t *) buf;
  103865. + hub_desc->bDescLength = 9;
  103866. + hub_desc->bDescriptorType = 0x29;
  103867. + hub_desc->bNbrPorts = 1;
  103868. + USETW(hub_desc->wHubCharacteristics, 0x08);
  103869. + hub_desc->bPwrOn2PwrGood = 1;
  103870. + hub_desc->bHubContrCurrent = 0;
  103871. + hub_desc->DeviceRemovable[0] = 0;
  103872. + hub_desc->DeviceRemovable[1] = 0xff;
  103873. + break;
  103874. + case UCR_GET_HUB_STATUS:
  103875. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103876. + "GetHubStatus\n");
  103877. + DWC_MEMSET(buf, 0, 4);
  103878. + break;
  103879. + case UCR_GET_PORT_STATUS:
  103880. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103881. + "GetPortStatus wIndex = 0x%04x FLAGS=0x%08x\n",
  103882. + wIndex, dwc_otg_hcd->flags.d32);
  103883. + if (!wIndex || wIndex > 1)
  103884. + goto error;
  103885. +
  103886. + port_status = 0;
  103887. +
  103888. + if (dwc_otg_hcd->flags.b.port_connect_status_change)
  103889. + port_status |= (1 << UHF_C_PORT_CONNECTION);
  103890. +
  103891. + if (dwc_otg_hcd->flags.b.port_enable_change)
  103892. + port_status |= (1 << UHF_C_PORT_ENABLE);
  103893. +
  103894. + if (dwc_otg_hcd->flags.b.port_suspend_change)
  103895. + port_status |= (1 << UHF_C_PORT_SUSPEND);
  103896. +
  103897. + if (dwc_otg_hcd->flags.b.port_l1_change)
  103898. + port_status |= (1 << UHF_C_PORT_L1);
  103899. +
  103900. + if (dwc_otg_hcd->flags.b.port_reset_change) {
  103901. + port_status |= (1 << UHF_C_PORT_RESET);
  103902. + }
  103903. +
  103904. + if (dwc_otg_hcd->flags.b.port_over_current_change) {
  103905. + DWC_WARN("Overcurrent change detected\n");
  103906. + port_status |= (1 << UHF_C_PORT_OVER_CURRENT);
  103907. + }
  103908. +
  103909. + if (!dwc_otg_hcd->flags.b.port_connect_status) {
  103910. + /*
  103911. + * The port is disconnected, which means the core is
  103912. + * either in device mode or it soon will be. Just
  103913. + * return 0's for the remainder of the port status
  103914. + * since the port register can't be read if the core
  103915. + * is in device mode.
  103916. + */
  103917. + *((__le32 *) buf) = dwc_cpu_to_le32(&port_status);
  103918. + break;
  103919. + }
  103920. +
  103921. + hprt0.d32 = DWC_READ_REG32(core_if->host_if->hprt0);
  103922. + DWC_DEBUGPL(DBG_HCDV, " HPRT0: 0x%08x\n", hprt0.d32);
  103923. +
  103924. + if (hprt0.b.prtconnsts)
  103925. + port_status |= (1 << UHF_PORT_CONNECTION);
  103926. +
  103927. + if (hprt0.b.prtena)
  103928. + port_status |= (1 << UHF_PORT_ENABLE);
  103929. +
  103930. + if (hprt0.b.prtsusp)
  103931. + port_status |= (1 << UHF_PORT_SUSPEND);
  103932. +
  103933. + if (hprt0.b.prtovrcurract)
  103934. + port_status |= (1 << UHF_PORT_OVER_CURRENT);
  103935. +
  103936. + if (hprt0.b.prtrst)
  103937. + port_status |= (1 << UHF_PORT_RESET);
  103938. +
  103939. + if (hprt0.b.prtpwr)
  103940. + port_status |= (1 << UHF_PORT_POWER);
  103941. +
  103942. + if (hprt0.b.prtspd == DWC_HPRT0_PRTSPD_HIGH_SPEED)
  103943. + port_status |= (1 << UHF_PORT_HIGH_SPEED);
  103944. + else if (hprt0.b.prtspd == DWC_HPRT0_PRTSPD_LOW_SPEED)
  103945. + port_status |= (1 << UHF_PORT_LOW_SPEED);
  103946. +
  103947. + if (hprt0.b.prttstctl)
  103948. + port_status |= (1 << UHF_PORT_TEST);
  103949. + if (dwc_otg_get_lpm_portsleepstatus(dwc_otg_hcd->core_if)) {
  103950. + port_status |= (1 << UHF_PORT_L1);
  103951. + }
  103952. + /*
  103953. + For Synopsys HW emulation of Power down wkup_control asserts the
  103954. + hreset_n and prst_n on suspned. This causes the HPRT0 to be zero.
  103955. + We intentionally tell the software that port is in L2Suspend state.
  103956. + Only for STE.
  103957. + */
  103958. + if ((core_if->power_down == 2)
  103959. + && (core_if->hibernation_suspend == 1)) {
  103960. + port_status |= (1 << UHF_PORT_SUSPEND);
  103961. + }
  103962. + /* USB_PORT_FEAT_INDICATOR unsupported always 0 */
  103963. +
  103964. + *((__le32 *) buf) = dwc_cpu_to_le32(&port_status);
  103965. +
  103966. + break;
  103967. + case UCR_SET_HUB_FEATURE:
  103968. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103969. + "SetHubFeature\n");
  103970. + /* No HUB features supported */
  103971. + break;
  103972. + case UCR_SET_PORT_FEATURE:
  103973. + if (wValue != UHF_PORT_TEST && (!wIndex || wIndex > 1))
  103974. + goto error;
  103975. +
  103976. + if (!dwc_otg_hcd->flags.b.port_connect_status) {
  103977. + /*
  103978. + * The port is disconnected, which means the core is
  103979. + * either in device mode or it soon will be. Just
  103980. + * return without doing anything since the port
  103981. + * register can't be written if the core is in device
  103982. + * mode.
  103983. + */
  103984. + break;
  103985. + }
  103986. +
  103987. + switch (wValue) {
  103988. + case UHF_PORT_SUSPEND:
  103989. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  103990. + "SetPortFeature - USB_PORT_FEAT_SUSPEND\n");
  103991. + if (dwc_otg_hcd_otg_port(dwc_otg_hcd) != wIndex) {
  103992. + goto error;
  103993. + }
  103994. + if (core_if->power_down == 2) {
  103995. + int timeout = 300;
  103996. + dwc_irqflags_t flags;
  103997. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  103998. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  103999. + gusbcfg_data_t gusbcfg = {.d32 = 0 };
  104000. +#ifdef DWC_DEV_SRPCAP
  104001. + int32_t otg_cap_param = core_if->core_params->otg_cap;
  104002. +#endif
  104003. + DWC_PRINTF("Preparing for complete power-off\n");
  104004. +
  104005. + /* Save registers before hibernation */
  104006. + dwc_otg_save_global_regs(core_if);
  104007. + dwc_otg_save_host_regs(core_if);
  104008. +
  104009. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104010. + hprt0.b.prtsusp = 1;
  104011. + hprt0.b.prtena = 0;
  104012. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104013. + /* Spin hprt0.b.prtsusp to became 1 */
  104014. + do {
  104015. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104016. + if (hprt0.b.prtsusp) {
  104017. + break;
  104018. + }
  104019. + dwc_mdelay(1);
  104020. + } while (--timeout);
  104021. + if (!timeout) {
  104022. + DWC_WARN("Suspend wasn't genereted\n");
  104023. + }
  104024. + dwc_udelay(10);
  104025. +
  104026. + /*
  104027. + * We need to disable interrupts to prevent servicing of any IRQ
  104028. + * during going to hibernation
  104029. + */
  104030. + DWC_SPINLOCK_IRQSAVE(dwc_otg_hcd->lock, &flags);
  104031. + core_if->lx_state = DWC_OTG_L2;
  104032. +#ifdef DWC_DEV_SRPCAP
  104033. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104034. + hprt0.b.prtpwr = 0;
  104035. + hprt0.b.prtena = 0;
  104036. + DWC_WRITE_REG32(core_if->host_if->hprt0,
  104037. + hprt0.d32);
  104038. +#endif
  104039. + gusbcfg.d32 =
  104040. + DWC_READ_REG32(&core_if->core_global_regs->
  104041. + gusbcfg);
  104042. + if (gusbcfg.b.ulpi_utmi_sel == 1) {
  104043. + /* ULPI interface */
  104044. + /* Suspend the Phy Clock */
  104045. + pcgcctl.d32 = 0;
  104046. + pcgcctl.b.stoppclk = 1;
  104047. + DWC_MODIFY_REG32(core_if->pcgcctl, 0,
  104048. + pcgcctl.d32);
  104049. + dwc_udelay(10);
  104050. + gpwrdn.b.pmuactv = 1;
  104051. + DWC_MODIFY_REG32(&core_if->
  104052. + core_global_regs->
  104053. + gpwrdn, 0, gpwrdn.d32);
  104054. + } else {
  104055. + /* UTMI+ Interface */
  104056. + gpwrdn.b.pmuactv = 1;
  104057. + DWC_MODIFY_REG32(&core_if->
  104058. + core_global_regs->
  104059. + gpwrdn, 0, gpwrdn.d32);
  104060. + dwc_udelay(10);
  104061. + pcgcctl.b.stoppclk = 1;
  104062. + DWC_MODIFY_REG32(core_if->pcgcctl, 0, pcgcctl.d32);
  104063. + dwc_udelay(10);
  104064. + }
  104065. +#ifdef DWC_DEV_SRPCAP
  104066. + gpwrdn.d32 = 0;
  104067. + gpwrdn.b.dis_vbus = 1;
  104068. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104069. + gpwrdn, 0, gpwrdn.d32);
  104070. +#endif
  104071. + gpwrdn.d32 = 0;
  104072. + gpwrdn.b.pmuintsel = 1;
  104073. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104074. + gpwrdn, 0, gpwrdn.d32);
  104075. + dwc_udelay(10);
  104076. +
  104077. + gpwrdn.d32 = 0;
  104078. +#ifdef DWC_DEV_SRPCAP
  104079. + gpwrdn.b.srp_det_msk = 1;
  104080. +#endif
  104081. + gpwrdn.b.disconn_det_msk = 1;
  104082. + gpwrdn.b.lnstchng_msk = 1;
  104083. + gpwrdn.b.sts_chngint_msk = 1;
  104084. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104085. + gpwrdn, 0, gpwrdn.d32);
  104086. + dwc_udelay(10);
  104087. +
  104088. + /* Enable Power Down Clamp and all interrupts in GPWRDN */
  104089. + gpwrdn.d32 = 0;
  104090. + gpwrdn.b.pwrdnclmp = 1;
  104091. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104092. + gpwrdn, 0, gpwrdn.d32);
  104093. + dwc_udelay(10);
  104094. +
  104095. + /* Switch off VDD */
  104096. + gpwrdn.d32 = 0;
  104097. + gpwrdn.b.pwrdnswtch = 1;
  104098. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104099. + gpwrdn, 0, gpwrdn.d32);
  104100. +
  104101. +#ifdef DWC_DEV_SRPCAP
  104102. + if (otg_cap_param == DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE)
  104103. + {
  104104. + core_if->pwron_timer_started = 1;
  104105. + DWC_TIMER_SCHEDULE(core_if->pwron_timer, 6000 /* 6 secs */ );
  104106. + }
  104107. +#endif
  104108. + /* Save gpwrdn register for further usage if stschng interrupt */
  104109. + core_if->gr_backup->gpwrdn_local =
  104110. + DWC_READ_REG32(&core_if->core_global_regs->gpwrdn);
  104111. +
  104112. + /* Set flag to indicate that we are in hibernation */
  104113. + core_if->hibernation_suspend = 1;
  104114. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock,flags);
  104115. +
  104116. + DWC_PRINTF("Host hibernation completed\n");
  104117. + // Exit from case statement
  104118. + break;
  104119. +
  104120. + }
  104121. + if (dwc_otg_hcd_otg_port(dwc_otg_hcd) == wIndex &&
  104122. + dwc_otg_hcd->fops->get_b_hnp_enable(dwc_otg_hcd)) {
  104123. + gotgctl_data_t gotgctl = {.d32 = 0 };
  104124. + gotgctl.b.hstsethnpen = 1;
  104125. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104126. + gotgctl, 0, gotgctl.d32);
  104127. + core_if->op_state = A_SUSPEND;
  104128. + }
  104129. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104130. + hprt0.b.prtsusp = 1;
  104131. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104132. + {
  104133. + dwc_irqflags_t flags;
  104134. + /* Update lx_state */
  104135. + DWC_SPINLOCK_IRQSAVE(dwc_otg_hcd->lock, &flags);
  104136. + core_if->lx_state = DWC_OTG_L2;
  104137. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock, flags);
  104138. + }
  104139. + /* Suspend the Phy Clock */
  104140. + {
  104141. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  104142. + pcgcctl.b.stoppclk = 1;
  104143. + DWC_MODIFY_REG32(core_if->pcgcctl, 0,
  104144. + pcgcctl.d32);
  104145. + dwc_udelay(10);
  104146. + }
  104147. +
  104148. + /* For HNP the bus must be suspended for at least 200ms. */
  104149. + if (dwc_otg_hcd->fops->get_b_hnp_enable(dwc_otg_hcd)) {
  104150. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  104151. + pcgcctl.b.stoppclk = 1;
  104152. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  104153. + dwc_mdelay(200);
  104154. + }
  104155. +
  104156. + /** @todo - check how sw can wait for 1 sec to check asesvld??? */
  104157. +#if 0 //vahrama !!!!!!!!!!!!!!!!!!
  104158. + if (core_if->adp_enable) {
  104159. + gotgctl_data_t gotgctl = {.d32 = 0 };
  104160. + gpwrdn_data_t gpwrdn;
  104161. +
  104162. + while (gotgctl.b.asesvld == 1) {
  104163. + gotgctl.d32 =
  104164. + DWC_READ_REG32(&core_if->
  104165. + core_global_regs->
  104166. + gotgctl);
  104167. + dwc_mdelay(100);
  104168. + }
  104169. +
  104170. + /* Enable Power Down Logic */
  104171. + gpwrdn.d32 = 0;
  104172. + gpwrdn.b.pmuactv = 1;
  104173. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104174. + gpwrdn, 0, gpwrdn.d32);
  104175. +
  104176. + /* Unmask SRP detected interrupt from Power Down Logic */
  104177. + gpwrdn.d32 = 0;
  104178. + gpwrdn.b.srp_det_msk = 1;
  104179. + DWC_MODIFY_REG32(&core_if->core_global_regs->
  104180. + gpwrdn, 0, gpwrdn.d32);
  104181. +
  104182. + dwc_otg_adp_probe_start(core_if);
  104183. + }
  104184. +#endif
  104185. + break;
  104186. + case UHF_PORT_POWER:
  104187. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  104188. + "SetPortFeature - USB_PORT_FEAT_POWER\n");
  104189. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104190. + hprt0.b.prtpwr = 1;
  104191. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104192. + break;
  104193. + case UHF_PORT_RESET:
  104194. + if ((core_if->power_down == 2)
  104195. + && (core_if->hibernation_suspend == 1)) {
  104196. + /* If we are going to exit from Hibernated
  104197. + * state via USB RESET.
  104198. + */
  104199. + dwc_otg_host_hibernation_restore(core_if, 0, 1);
  104200. + } else {
  104201. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104202. +
  104203. + DWC_DEBUGPL(DBG_HCD,
  104204. + "DWC OTG HCD HUB CONTROL - "
  104205. + "SetPortFeature - USB_PORT_FEAT_RESET\n");
  104206. + {
  104207. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  104208. + pcgcctl.b.enbl_sleep_gating = 1;
  104209. + pcgcctl.b.stoppclk = 1;
  104210. + DWC_MODIFY_REG32(core_if->pcgcctl, pcgcctl.d32, 0);
  104211. + DWC_WRITE_REG32(core_if->pcgcctl, 0);
  104212. + }
  104213. +#ifdef CONFIG_USB_DWC_OTG_LPM
  104214. + {
  104215. + glpmcfg_data_t lpmcfg;
  104216. + lpmcfg.d32 =
  104217. + DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  104218. + if (lpmcfg.b.prt_sleep_sts) {
  104219. + lpmcfg.b.en_utmi_sleep = 0;
  104220. + lpmcfg.b.hird_thres &= (~(1 << 4));
  104221. + DWC_WRITE_REG32
  104222. + (&core_if->core_global_regs->glpmcfg,
  104223. + lpmcfg.d32);
  104224. + dwc_mdelay(1);
  104225. + }
  104226. + }
  104227. +#endif
  104228. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104229. + /* Clear suspend bit if resetting from suspended state. */
  104230. + hprt0.b.prtsusp = 0;
  104231. + /* When B-Host the Port reset bit is set in
  104232. + * the Start HCD Callback function, so that
  104233. + * the reset is started within 1ms of the HNP
  104234. + * success interrupt. */
  104235. + if (!dwc_otg_hcd_is_b_host(dwc_otg_hcd)) {
  104236. + hprt0.b.prtpwr = 1;
  104237. + hprt0.b.prtrst = 1;
  104238. + DWC_PRINTF("Indeed it is in host mode hprt0 = %08x\n",hprt0.d32);
  104239. + DWC_WRITE_REG32(core_if->host_if->hprt0,
  104240. + hprt0.d32);
  104241. + }
  104242. + /* Clear reset bit in 10ms (FS/LS) or 50ms (HS) */
  104243. + dwc_mdelay(60);
  104244. + hprt0.b.prtrst = 0;
  104245. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104246. + core_if->lx_state = DWC_OTG_L0; /* Now back to the on state */
  104247. + }
  104248. + break;
  104249. +#ifdef DWC_HS_ELECT_TST
  104250. + case UHF_PORT_TEST:
  104251. + {
  104252. + uint32_t t;
  104253. + gintmsk_data_t gintmsk;
  104254. +
  104255. + t = (wIndex >> 8); /* MSB wIndex USB */
  104256. + DWC_DEBUGPL(DBG_HCD,
  104257. + "DWC OTG HCD HUB CONTROL - "
  104258. + "SetPortFeature - USB_PORT_FEAT_TEST %d\n",
  104259. + t);
  104260. + DWC_WARN("USB_PORT_FEAT_TEST %d\n", t);
  104261. + if (t < 6) {
  104262. + hprt0.d32 = dwc_otg_read_hprt0(core_if);
  104263. + hprt0.b.prttstctl = t;
  104264. + DWC_WRITE_REG32(core_if->host_if->hprt0,
  104265. + hprt0.d32);
  104266. + } else {
  104267. + /* Setup global vars with reg addresses (quick and
  104268. + * dirty hack, should be cleaned up)
  104269. + */
  104270. + global_regs = core_if->core_global_regs;
  104271. + hc_global_regs =
  104272. + core_if->host_if->host_global_regs;
  104273. + hc_regs =
  104274. + (dwc_otg_hc_regs_t *) ((char *)
  104275. + global_regs +
  104276. + 0x500);
  104277. + data_fifo =
  104278. + (uint32_t *) ((char *)global_regs +
  104279. + 0x1000);
  104280. +
  104281. + if (t == 6) { /* HS_HOST_PORT_SUSPEND_RESUME */
  104282. + /* Save current interrupt mask */
  104283. + gintmsk.d32 =
  104284. + DWC_READ_REG32
  104285. + (&global_regs->gintmsk);
  104286. +
  104287. + /* Disable all interrupts while we muck with
  104288. + * the hardware directly
  104289. + */
  104290. + DWC_WRITE_REG32(&global_regs->gintmsk, 0);
  104291. +
  104292. + /* 15 second delay per the test spec */
  104293. + dwc_mdelay(15000);
  104294. +
  104295. + /* Drive suspend on the root port */
  104296. + hprt0.d32 =
  104297. + dwc_otg_read_hprt0(core_if);
  104298. + hprt0.b.prtsusp = 1;
  104299. + hprt0.b.prtres = 0;
  104300. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104301. +
  104302. + /* 15 second delay per the test spec */
  104303. + dwc_mdelay(15000);
  104304. +
  104305. + /* Drive resume on the root port */
  104306. + hprt0.d32 =
  104307. + dwc_otg_read_hprt0(core_if);
  104308. + hprt0.b.prtsusp = 0;
  104309. + hprt0.b.prtres = 1;
  104310. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104311. + dwc_mdelay(100);
  104312. +
  104313. + /* Clear the resume bit */
  104314. + hprt0.b.prtres = 0;
  104315. + DWC_WRITE_REG32(core_if->host_if->hprt0, hprt0.d32);
  104316. +
  104317. + /* Restore interrupts */
  104318. + DWC_WRITE_REG32(&global_regs->gintmsk, gintmsk.d32);
  104319. + } else if (t == 7) { /* SINGLE_STEP_GET_DEVICE_DESCRIPTOR setup */
  104320. + /* Save current interrupt mask */
  104321. + gintmsk.d32 =
  104322. + DWC_READ_REG32
  104323. + (&global_regs->gintmsk);
  104324. +
  104325. + /* Disable all interrupts while we muck with
  104326. + * the hardware directly
  104327. + */
  104328. + DWC_WRITE_REG32(&global_regs->gintmsk, 0);
  104329. +
  104330. + /* 15 second delay per the test spec */
  104331. + dwc_mdelay(15000);
  104332. +
  104333. + /* Send the Setup packet */
  104334. + do_setup();
  104335. +
  104336. + /* 15 second delay so nothing else happens for awhile */
  104337. + dwc_mdelay(15000);
  104338. +
  104339. + /* Restore interrupts */
  104340. + DWC_WRITE_REG32(&global_regs->gintmsk, gintmsk.d32);
  104341. + } else if (t == 8) { /* SINGLE_STEP_GET_DEVICE_DESCRIPTOR execute */
  104342. + /* Save current interrupt mask */
  104343. + gintmsk.d32 =
  104344. + DWC_READ_REG32
  104345. + (&global_regs->gintmsk);
  104346. +
  104347. + /* Disable all interrupts while we muck with
  104348. + * the hardware directly
  104349. + */
  104350. + DWC_WRITE_REG32(&global_regs->gintmsk, 0);
  104351. +
  104352. + /* Send the Setup packet */
  104353. + do_setup();
  104354. +
  104355. + /* 15 second delay so nothing else happens for awhile */
  104356. + dwc_mdelay(15000);
  104357. +
  104358. + /* Send the In and Ack packets */
  104359. + do_in_ack();
  104360. +
  104361. + /* 15 second delay so nothing else happens for awhile */
  104362. + dwc_mdelay(15000);
  104363. +
  104364. + /* Restore interrupts */
  104365. + DWC_WRITE_REG32(&global_regs->gintmsk, gintmsk.d32);
  104366. + }
  104367. + }
  104368. + break;
  104369. + }
  104370. +#endif /* DWC_HS_ELECT_TST */
  104371. +
  104372. + case UHF_PORT_INDICATOR:
  104373. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB CONTROL - "
  104374. + "SetPortFeature - USB_PORT_FEAT_INDICATOR\n");
  104375. + /* Not supported */
  104376. + break;
  104377. + default:
  104378. + retval = -DWC_E_INVALID;
  104379. + DWC_ERROR("DWC OTG HCD - "
  104380. + "SetPortFeature request %xh "
  104381. + "unknown or unsupported\n", wValue);
  104382. + break;
  104383. + }
  104384. + break;
  104385. +#ifdef CONFIG_USB_DWC_OTG_LPM
  104386. + case UCR_SET_AND_TEST_PORT_FEATURE:
  104387. + if (wValue != UHF_PORT_L1) {
  104388. + goto error;
  104389. + }
  104390. + {
  104391. + int portnum, hird, devaddr, remwake;
  104392. + glpmcfg_data_t lpmcfg;
  104393. + uint32_t time_usecs;
  104394. + gintsts_data_t gintsts;
  104395. + gintmsk_data_t gintmsk;
  104396. +
  104397. + if (!dwc_otg_get_param_lpm_enable(core_if)) {
  104398. + goto error;
  104399. + }
  104400. + if (wValue != UHF_PORT_L1 || wLength != 1) {
  104401. + goto error;
  104402. + }
  104403. + /* Check if the port currently is in SLEEP state */
  104404. + lpmcfg.d32 =
  104405. + DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  104406. + if (lpmcfg.b.prt_sleep_sts) {
  104407. + DWC_INFO("Port is already in sleep mode\n");
  104408. + buf[0] = 0; /* Return success */
  104409. + break;
  104410. + }
  104411. +
  104412. + portnum = wIndex & 0xf;
  104413. + hird = (wIndex >> 4) & 0xf;
  104414. + devaddr = (wIndex >> 8) & 0x7f;
  104415. + remwake = (wIndex >> 15);
  104416. +
  104417. + if (portnum != 1) {
  104418. + retval = -DWC_E_INVALID;
  104419. + DWC_WARN
  104420. + ("Wrong port number(%d) in SetandTestPortFeature request\n",
  104421. + portnum);
  104422. + break;
  104423. + }
  104424. +
  104425. + DWC_PRINTF
  104426. + ("SetandTestPortFeature request: portnum = %d, hird = %d, devaddr = %d, rewake = %d\n",
  104427. + portnum, hird, devaddr, remwake);
  104428. + /* Disable LPM interrupt */
  104429. + gintmsk.d32 = 0;
  104430. + gintmsk.b.lpmtranrcvd = 1;
  104431. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk,
  104432. + gintmsk.d32, 0);
  104433. +
  104434. + if (dwc_otg_hcd_send_lpm
  104435. + (dwc_otg_hcd, devaddr, hird, remwake)) {
  104436. + retval = -DWC_E_INVALID;
  104437. + break;
  104438. + }
  104439. +
  104440. + time_usecs = 10 * (lpmcfg.b.retry_count + 1);
  104441. + /* We will consider timeout if time_usecs microseconds pass,
  104442. + * and we don't receive LPM transaction status.
  104443. + * After receiving non-error responce(ACK/NYET/STALL) from device,
  104444. + * core will set lpmtranrcvd bit.
  104445. + */
  104446. + do {
  104447. + gintsts.d32 =
  104448. + DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  104449. + if (gintsts.b.lpmtranrcvd) {
  104450. + break;
  104451. + }
  104452. + dwc_udelay(1);
  104453. + } while (--time_usecs);
  104454. + /* lpm_int bit will be cleared in LPM interrupt handler */
  104455. +
  104456. + /* Now fill status
  104457. + * 0x00 - Success
  104458. + * 0x10 - NYET
  104459. + * 0x11 - Timeout
  104460. + */
  104461. + if (!gintsts.b.lpmtranrcvd) {
  104462. + buf[0] = 0x3; /* Completion code is Timeout */
  104463. + dwc_otg_hcd_free_hc_from_lpm(dwc_otg_hcd);
  104464. + } else {
  104465. + lpmcfg.d32 =
  104466. + DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  104467. + if (lpmcfg.b.lpm_resp == 0x3) {
  104468. + /* ACK responce from the device */
  104469. + buf[0] = 0x00; /* Success */
  104470. + } else if (lpmcfg.b.lpm_resp == 0x2) {
  104471. + /* NYET responce from the device */
  104472. + buf[0] = 0x2;
  104473. + } else {
  104474. + /* Otherwise responce with Timeout */
  104475. + buf[0] = 0x3;
  104476. + }
  104477. + }
  104478. + DWC_PRINTF("Device responce to LPM trans is %x\n",
  104479. + lpmcfg.b.lpm_resp);
  104480. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, 0,
  104481. + gintmsk.d32);
  104482. +
  104483. + break;
  104484. + }
  104485. +#endif /* CONFIG_USB_DWC_OTG_LPM */
  104486. + default:
  104487. +error:
  104488. + retval = -DWC_E_INVALID;
  104489. + DWC_WARN("DWC OTG HCD - "
  104490. + "Unknown hub control request type or invalid typeReq: %xh wIndex: %xh wValue: %xh\n",
  104491. + typeReq, wIndex, wValue);
  104492. + break;
  104493. + }
  104494. +
  104495. + return retval;
  104496. +}
  104497. +
  104498. +#ifdef CONFIG_USB_DWC_OTG_LPM
  104499. +/** Returns index of host channel to perform LPM transaction. */
  104500. +int dwc_otg_hcd_get_hc_for_lpm_tran(dwc_otg_hcd_t * hcd, uint8_t devaddr)
  104501. +{
  104502. + dwc_otg_core_if_t *core_if = hcd->core_if;
  104503. + dwc_hc_t *hc;
  104504. + hcchar_data_t hcchar;
  104505. + gintmsk_data_t gintmsk = {.d32 = 0 };
  104506. +
  104507. + if (DWC_CIRCLEQ_EMPTY(&hcd->free_hc_list)) {
  104508. + DWC_PRINTF("No free channel to select for LPM transaction\n");
  104509. + return -1;
  104510. + }
  104511. +
  104512. + hc = DWC_CIRCLEQ_FIRST(&hcd->free_hc_list);
  104513. +
  104514. + /* Mask host channel interrupts. */
  104515. + gintmsk.b.hcintr = 1;
  104516. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, gintmsk.d32, 0);
  104517. +
  104518. + /* Fill fields that core needs for LPM transaction */
  104519. + hcchar.b.devaddr = devaddr;
  104520. + hcchar.b.epnum = 0;
  104521. + hcchar.b.eptype = DWC_OTG_EP_TYPE_CONTROL;
  104522. + hcchar.b.mps = 64;
  104523. + hcchar.b.lspddev = (hc->speed == DWC_OTG_EP_SPEED_LOW);
  104524. + hcchar.b.epdir = 0; /* OUT */
  104525. + DWC_WRITE_REG32(&core_if->host_if->hc_regs[hc->hc_num]->hcchar,
  104526. + hcchar.d32);
  104527. +
  104528. + /* Remove the host channel from the free list. */
  104529. + DWC_CIRCLEQ_REMOVE_INIT(&hcd->free_hc_list, hc, hc_list_entry);
  104530. +
  104531. + DWC_PRINTF("hcnum = %d devaddr = %d\n", hc->hc_num, devaddr);
  104532. +
  104533. + return hc->hc_num;
  104534. +}
  104535. +
  104536. +/** Release hc after performing LPM transaction */
  104537. +void dwc_otg_hcd_free_hc_from_lpm(dwc_otg_hcd_t * hcd)
  104538. +{
  104539. + dwc_hc_t *hc;
  104540. + glpmcfg_data_t lpmcfg;
  104541. + uint8_t hc_num;
  104542. +
  104543. + lpmcfg.d32 = DWC_READ_REG32(&hcd->core_if->core_global_regs->glpmcfg);
  104544. + hc_num = lpmcfg.b.lpm_chan_index;
  104545. +
  104546. + hc = hcd->hc_ptr_array[hc_num];
  104547. +
  104548. + DWC_PRINTF("Freeing channel %d after LPM\n", hc_num);
  104549. + /* Return host channel to free list */
  104550. + DWC_CIRCLEQ_INSERT_TAIL(&hcd->free_hc_list, hc, hc_list_entry);
  104551. +}
  104552. +
  104553. +int dwc_otg_hcd_send_lpm(dwc_otg_hcd_t * hcd, uint8_t devaddr, uint8_t hird,
  104554. + uint8_t bRemoteWake)
  104555. +{
  104556. + glpmcfg_data_t lpmcfg;
  104557. + pcgcctl_data_t pcgcctl = {.d32 = 0 };
  104558. + int channel;
  104559. +
  104560. + channel = dwc_otg_hcd_get_hc_for_lpm_tran(hcd, devaddr);
  104561. + if (channel < 0) {
  104562. + return channel;
  104563. + }
  104564. +
  104565. + pcgcctl.b.enbl_sleep_gating = 1;
  104566. + DWC_MODIFY_REG32(hcd->core_if->pcgcctl, 0, pcgcctl.d32);
  104567. +
  104568. + /* Read LPM config register */
  104569. + lpmcfg.d32 = DWC_READ_REG32(&hcd->core_if->core_global_regs->glpmcfg);
  104570. +
  104571. + /* Program LPM transaction fields */
  104572. + lpmcfg.b.rem_wkup_en = bRemoteWake;
  104573. + lpmcfg.b.hird = hird;
  104574. + lpmcfg.b.hird_thres = 0x1c;
  104575. + lpmcfg.b.lpm_chan_index = channel;
  104576. + lpmcfg.b.en_utmi_sleep = 1;
  104577. + /* Program LPM config register */
  104578. + DWC_WRITE_REG32(&hcd->core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  104579. +
  104580. + /* Send LPM transaction */
  104581. + lpmcfg.b.send_lpm = 1;
  104582. + DWC_WRITE_REG32(&hcd->core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  104583. +
  104584. + return 0;
  104585. +}
  104586. +
  104587. +#endif /* CONFIG_USB_DWC_OTG_LPM */
  104588. +
  104589. +int dwc_otg_hcd_is_status_changed(dwc_otg_hcd_t * hcd, int port)
  104590. +{
  104591. + int retval;
  104592. +
  104593. + if (port != 1) {
  104594. + return -DWC_E_INVALID;
  104595. + }
  104596. +
  104597. + retval = (hcd->flags.b.port_connect_status_change ||
  104598. + hcd->flags.b.port_reset_change ||
  104599. + hcd->flags.b.port_enable_change ||
  104600. + hcd->flags.b.port_suspend_change ||
  104601. + hcd->flags.b.port_over_current_change);
  104602. +#ifdef DEBUG
  104603. + if (retval) {
  104604. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD HUB STATUS DATA:"
  104605. + " Root port status changed\n");
  104606. + DWC_DEBUGPL(DBG_HCDV, " port_connect_status_change: %d\n",
  104607. + hcd->flags.b.port_connect_status_change);
  104608. + DWC_DEBUGPL(DBG_HCDV, " port_reset_change: %d\n",
  104609. + hcd->flags.b.port_reset_change);
  104610. + DWC_DEBUGPL(DBG_HCDV, " port_enable_change: %d\n",
  104611. + hcd->flags.b.port_enable_change);
  104612. + DWC_DEBUGPL(DBG_HCDV, " port_suspend_change: %d\n",
  104613. + hcd->flags.b.port_suspend_change);
  104614. + DWC_DEBUGPL(DBG_HCDV, " port_over_current_change: %d\n",
  104615. + hcd->flags.b.port_over_current_change);
  104616. + }
  104617. +#endif
  104618. + return retval;
  104619. +}
  104620. +
  104621. +int dwc_otg_hcd_get_frame_number(dwc_otg_hcd_t * dwc_otg_hcd)
  104622. +{
  104623. + hfnum_data_t hfnum;
  104624. + hfnum.d32 =
  104625. + DWC_READ_REG32(&dwc_otg_hcd->core_if->host_if->host_global_regs->
  104626. + hfnum);
  104627. +
  104628. +#ifdef DEBUG_SOF
  104629. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD GET FRAME NUMBER %d\n",
  104630. + hfnum.b.frnum);
  104631. +#endif
  104632. + return hfnum.b.frnum;
  104633. +}
  104634. +
  104635. +int dwc_otg_hcd_start(dwc_otg_hcd_t * hcd,
  104636. + struct dwc_otg_hcd_function_ops *fops)
  104637. +{
  104638. + int retval = 0;
  104639. +
  104640. + hcd->fops = fops;
  104641. + if (!dwc_otg_is_device_mode(hcd->core_if) &&
  104642. + (!hcd->core_if->adp_enable || hcd->core_if->adp.adp_started)) {
  104643. + dwc_otg_hcd_reinit(hcd);
  104644. + } else {
  104645. + retval = -DWC_E_NO_DEVICE;
  104646. + }
  104647. +
  104648. + return retval;
  104649. +}
  104650. +
  104651. +void *dwc_otg_hcd_get_priv_data(dwc_otg_hcd_t * hcd)
  104652. +{
  104653. + return hcd->priv;
  104654. +}
  104655. +
  104656. +void dwc_otg_hcd_set_priv_data(dwc_otg_hcd_t * hcd, void *priv_data)
  104657. +{
  104658. + hcd->priv = priv_data;
  104659. +}
  104660. +
  104661. +uint32_t dwc_otg_hcd_otg_port(dwc_otg_hcd_t * hcd)
  104662. +{
  104663. + return hcd->otg_port;
  104664. +}
  104665. +
  104666. +uint32_t dwc_otg_hcd_is_b_host(dwc_otg_hcd_t * hcd)
  104667. +{
  104668. + uint32_t is_b_host;
  104669. + if (hcd->core_if->op_state == B_HOST) {
  104670. + is_b_host = 1;
  104671. + } else {
  104672. + is_b_host = 0;
  104673. + }
  104674. +
  104675. + return is_b_host;
  104676. +}
  104677. +
  104678. +dwc_otg_hcd_urb_t *dwc_otg_hcd_urb_alloc(dwc_otg_hcd_t * hcd,
  104679. + int iso_desc_count, int atomic_alloc)
  104680. +{
  104681. + dwc_otg_hcd_urb_t *dwc_otg_urb;
  104682. + uint32_t size;
  104683. +
  104684. + size =
  104685. + sizeof(*dwc_otg_urb) +
  104686. + iso_desc_count * sizeof(struct dwc_otg_hcd_iso_packet_desc);
  104687. + if (atomic_alloc)
  104688. + dwc_otg_urb = DWC_ALLOC_ATOMIC(size);
  104689. + else
  104690. + dwc_otg_urb = DWC_ALLOC(size);
  104691. +
  104692. + if (dwc_otg_urb)
  104693. + dwc_otg_urb->packet_count = iso_desc_count;
  104694. + else {
  104695. + DWC_ERROR("**** DWC OTG HCD URB alloc - "
  104696. + "%salloc of %db failed\n",
  104697. + atomic_alloc?"atomic ":"", size);
  104698. + }
  104699. + return dwc_otg_urb;
  104700. +}
  104701. +
  104702. +void dwc_otg_hcd_urb_set_pipeinfo(dwc_otg_hcd_urb_t * dwc_otg_urb,
  104703. + uint8_t dev_addr, uint8_t ep_num,
  104704. + uint8_t ep_type, uint8_t ep_dir, uint16_t mps)
  104705. +{
  104706. + dwc_otg_hcd_fill_pipe(&dwc_otg_urb->pipe_info, dev_addr, ep_num,
  104707. + ep_type, ep_dir, mps);
  104708. +#if 0
  104709. + DWC_PRINTF
  104710. + ("addr = %d, ep_num = %d, ep_dir = 0x%x, ep_type = 0x%x, mps = %d\n",
  104711. + dev_addr, ep_num, ep_dir, ep_type, mps);
  104712. +#endif
  104713. +}
  104714. +
  104715. +void dwc_otg_hcd_urb_set_params(dwc_otg_hcd_urb_t * dwc_otg_urb,
  104716. + void *urb_handle, void *buf, dwc_dma_t dma,
  104717. + uint32_t buflen, void *setup_packet,
  104718. + dwc_dma_t setup_dma, uint32_t flags,
  104719. + uint16_t interval)
  104720. +{
  104721. + dwc_otg_urb->priv = urb_handle;
  104722. + dwc_otg_urb->buf = buf;
  104723. + dwc_otg_urb->dma = dma;
  104724. + dwc_otg_urb->length = buflen;
  104725. + dwc_otg_urb->setup_packet = setup_packet;
  104726. + dwc_otg_urb->setup_dma = setup_dma;
  104727. + dwc_otg_urb->flags = flags;
  104728. + dwc_otg_urb->interval = interval;
  104729. + dwc_otg_urb->status = -DWC_E_IN_PROGRESS;
  104730. +}
  104731. +
  104732. +uint32_t dwc_otg_hcd_urb_get_status(dwc_otg_hcd_urb_t * dwc_otg_urb)
  104733. +{
  104734. + return dwc_otg_urb->status;
  104735. +}
  104736. +
  104737. +uint32_t dwc_otg_hcd_urb_get_actual_length(dwc_otg_hcd_urb_t * dwc_otg_urb)
  104738. +{
  104739. + return dwc_otg_urb->actual_length;
  104740. +}
  104741. +
  104742. +uint32_t dwc_otg_hcd_urb_get_error_count(dwc_otg_hcd_urb_t * dwc_otg_urb)
  104743. +{
  104744. + return dwc_otg_urb->error_count;
  104745. +}
  104746. +
  104747. +void dwc_otg_hcd_urb_set_iso_desc_params(dwc_otg_hcd_urb_t * dwc_otg_urb,
  104748. + int desc_num, uint32_t offset,
  104749. + uint32_t length)
  104750. +{
  104751. + dwc_otg_urb->iso_descs[desc_num].offset = offset;
  104752. + dwc_otg_urb->iso_descs[desc_num].length = length;
  104753. +}
  104754. +
  104755. +uint32_t dwc_otg_hcd_urb_get_iso_desc_status(dwc_otg_hcd_urb_t * dwc_otg_urb,
  104756. + int desc_num)
  104757. +{
  104758. + return dwc_otg_urb->iso_descs[desc_num].status;
  104759. +}
  104760. +
  104761. +uint32_t dwc_otg_hcd_urb_get_iso_desc_actual_length(dwc_otg_hcd_urb_t *
  104762. + dwc_otg_urb, int desc_num)
  104763. +{
  104764. + return dwc_otg_urb->iso_descs[desc_num].actual_length;
  104765. +}
  104766. +
  104767. +int dwc_otg_hcd_is_bandwidth_allocated(dwc_otg_hcd_t * hcd, void *ep_handle)
  104768. +{
  104769. + int allocated = 0;
  104770. + dwc_otg_qh_t *qh = (dwc_otg_qh_t *) ep_handle;
  104771. +
  104772. + if (qh) {
  104773. + if (!DWC_LIST_EMPTY(&qh->qh_list_entry)) {
  104774. + allocated = 1;
  104775. + }
  104776. + }
  104777. + return allocated;
  104778. +}
  104779. +
  104780. +int dwc_otg_hcd_is_bandwidth_freed(dwc_otg_hcd_t * hcd, void *ep_handle)
  104781. +{
  104782. + dwc_otg_qh_t *qh = (dwc_otg_qh_t *) ep_handle;
  104783. + int freed = 0;
  104784. + DWC_ASSERT(qh, "qh is not allocated\n");
  104785. +
  104786. + if (DWC_LIST_EMPTY(&qh->qh_list_entry)) {
  104787. + freed = 1;
  104788. + }
  104789. +
  104790. + return freed;
  104791. +}
  104792. +
  104793. +uint8_t dwc_otg_hcd_get_ep_bandwidth(dwc_otg_hcd_t * hcd, void *ep_handle)
  104794. +{
  104795. + dwc_otg_qh_t *qh = (dwc_otg_qh_t *) ep_handle;
  104796. + DWC_ASSERT(qh, "qh is not allocated\n");
  104797. + return qh->usecs;
  104798. +}
  104799. +
  104800. +void dwc_otg_hcd_dump_state(dwc_otg_hcd_t * hcd)
  104801. +{
  104802. +#ifdef DEBUG
  104803. + int num_channels;
  104804. + int i;
  104805. + gnptxsts_data_t np_tx_status;
  104806. + hptxsts_data_t p_tx_status;
  104807. +
  104808. + num_channels = hcd->core_if->core_params->host_channels;
  104809. + DWC_PRINTF("\n");
  104810. + DWC_PRINTF
  104811. + ("************************************************************\n");
  104812. + DWC_PRINTF("HCD State:\n");
  104813. + DWC_PRINTF(" Num channels: %d\n", num_channels);
  104814. + for (i = 0; i < num_channels; i++) {
  104815. + dwc_hc_t *hc = hcd->hc_ptr_array[i];
  104816. + DWC_PRINTF(" Channel %d:\n", i);
  104817. + DWC_PRINTF(" dev_addr: %d, ep_num: %d, ep_is_in: %d\n",
  104818. + hc->dev_addr, hc->ep_num, hc->ep_is_in);
  104819. + DWC_PRINTF(" speed: %d\n", hc->speed);
  104820. + DWC_PRINTF(" ep_type: %d\n", hc->ep_type);
  104821. + DWC_PRINTF(" max_packet: %d\n", hc->max_packet);
  104822. + DWC_PRINTF(" data_pid_start: %d\n", hc->data_pid_start);
  104823. + DWC_PRINTF(" multi_count: %d\n", hc->multi_count);
  104824. + DWC_PRINTF(" xfer_started: %d\n", hc->xfer_started);
  104825. + DWC_PRINTF(" xfer_buff: %p\n", hc->xfer_buff);
  104826. + DWC_PRINTF(" xfer_len: %d\n", hc->xfer_len);
  104827. + DWC_PRINTF(" xfer_count: %d\n", hc->xfer_count);
  104828. + DWC_PRINTF(" halt_on_queue: %d\n", hc->halt_on_queue);
  104829. + DWC_PRINTF(" halt_pending: %d\n", hc->halt_pending);
  104830. + DWC_PRINTF(" halt_status: %d\n", hc->halt_status);
  104831. + DWC_PRINTF(" do_split: %d\n", hc->do_split);
  104832. + DWC_PRINTF(" complete_split: %d\n", hc->complete_split);
  104833. + DWC_PRINTF(" hub_addr: %d\n", hc->hub_addr);
  104834. + DWC_PRINTF(" port_addr: %d\n", hc->port_addr);
  104835. + DWC_PRINTF(" xact_pos: %d\n", hc->xact_pos);
  104836. + DWC_PRINTF(" requests: %d\n", hc->requests);
  104837. + DWC_PRINTF(" qh: %p\n", hc->qh);
  104838. + if (hc->xfer_started) {
  104839. + hfnum_data_t hfnum;
  104840. + hcchar_data_t hcchar;
  104841. + hctsiz_data_t hctsiz;
  104842. + hcint_data_t hcint;
  104843. + hcintmsk_data_t hcintmsk;
  104844. + hfnum.d32 =
  104845. + DWC_READ_REG32(&hcd->core_if->
  104846. + host_if->host_global_regs->hfnum);
  104847. + hcchar.d32 =
  104848. + DWC_READ_REG32(&hcd->core_if->host_if->
  104849. + hc_regs[i]->hcchar);
  104850. + hctsiz.d32 =
  104851. + DWC_READ_REG32(&hcd->core_if->host_if->
  104852. + hc_regs[i]->hctsiz);
  104853. + hcint.d32 =
  104854. + DWC_READ_REG32(&hcd->core_if->host_if->
  104855. + hc_regs[i]->hcint);
  104856. + hcintmsk.d32 =
  104857. + DWC_READ_REG32(&hcd->core_if->host_if->
  104858. + hc_regs[i]->hcintmsk);
  104859. + DWC_PRINTF(" hfnum: 0x%08x\n", hfnum.d32);
  104860. + DWC_PRINTF(" hcchar: 0x%08x\n", hcchar.d32);
  104861. + DWC_PRINTF(" hctsiz: 0x%08x\n", hctsiz.d32);
  104862. + DWC_PRINTF(" hcint: 0x%08x\n", hcint.d32);
  104863. + DWC_PRINTF(" hcintmsk: 0x%08x\n", hcintmsk.d32);
  104864. + }
  104865. + if (hc->xfer_started && hc->qh) {
  104866. + dwc_otg_qtd_t *qtd;
  104867. + dwc_otg_hcd_urb_t *urb;
  104868. +
  104869. + DWC_CIRCLEQ_FOREACH(qtd, &hc->qh->qtd_list, qtd_list_entry) {
  104870. + if (!qtd->in_process)
  104871. + break;
  104872. +
  104873. + urb = qtd->urb;
  104874. + DWC_PRINTF(" URB Info:\n");
  104875. + DWC_PRINTF(" qtd: %p, urb: %p\n", qtd, urb);
  104876. + if (urb) {
  104877. + DWC_PRINTF(" Dev: %d, EP: %d %s\n",
  104878. + dwc_otg_hcd_get_dev_addr(&urb->
  104879. + pipe_info),
  104880. + dwc_otg_hcd_get_ep_num(&urb->
  104881. + pipe_info),
  104882. + dwc_otg_hcd_is_pipe_in(&urb->
  104883. + pipe_info) ?
  104884. + "IN" : "OUT");
  104885. + DWC_PRINTF(" Max packet size: %d\n",
  104886. + dwc_otg_hcd_get_mps(&urb->
  104887. + pipe_info));
  104888. + DWC_PRINTF(" transfer_buffer: %p\n",
  104889. + urb->buf);
  104890. + DWC_PRINTF(" transfer_dma: %p\n",
  104891. + (void *)urb->dma);
  104892. + DWC_PRINTF(" transfer_buffer_length: %d\n",
  104893. + urb->length);
  104894. + DWC_PRINTF(" actual_length: %d\n",
  104895. + urb->actual_length);
  104896. + }
  104897. + }
  104898. + }
  104899. + }
  104900. + DWC_PRINTF(" non_periodic_channels: %d\n", hcd->non_periodic_channels);
  104901. + DWC_PRINTF(" periodic_channels: %d\n", hcd->periodic_channels);
  104902. + DWC_PRINTF(" periodic_usecs: %d\n", hcd->periodic_usecs);
  104903. + np_tx_status.d32 =
  104904. + DWC_READ_REG32(&hcd->core_if->core_global_regs->gnptxsts);
  104905. + DWC_PRINTF(" NP Tx Req Queue Space Avail: %d\n",
  104906. + np_tx_status.b.nptxqspcavail);
  104907. + DWC_PRINTF(" NP Tx FIFO Space Avail: %d\n",
  104908. + np_tx_status.b.nptxfspcavail);
  104909. + p_tx_status.d32 =
  104910. + DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hptxsts);
  104911. + DWC_PRINTF(" P Tx Req Queue Space Avail: %d\n",
  104912. + p_tx_status.b.ptxqspcavail);
  104913. + DWC_PRINTF(" P Tx FIFO Space Avail: %d\n", p_tx_status.b.ptxfspcavail);
  104914. + dwc_otg_hcd_dump_frrem(hcd);
  104915. + dwc_otg_dump_global_registers(hcd->core_if);
  104916. + dwc_otg_dump_host_registers(hcd->core_if);
  104917. + DWC_PRINTF
  104918. + ("************************************************************\n");
  104919. + DWC_PRINTF("\n");
  104920. +#endif
  104921. +}
  104922. +
  104923. +#ifdef DEBUG
  104924. +void dwc_print_setup_data(uint8_t * setup)
  104925. +{
  104926. + int i;
  104927. + if (CHK_DEBUG_LEVEL(DBG_HCD)) {
  104928. + DWC_PRINTF("Setup Data = MSB ");
  104929. + for (i = 7; i >= 0; i--)
  104930. + DWC_PRINTF("%02x ", setup[i]);
  104931. + DWC_PRINTF("\n");
  104932. + DWC_PRINTF(" bmRequestType Tranfer = %s\n",
  104933. + (setup[0] & 0x80) ? "Device-to-Host" :
  104934. + "Host-to-Device");
  104935. + DWC_PRINTF(" bmRequestType Type = ");
  104936. + switch ((setup[0] & 0x60) >> 5) {
  104937. + case 0:
  104938. + DWC_PRINTF("Standard\n");
  104939. + break;
  104940. + case 1:
  104941. + DWC_PRINTF("Class\n");
  104942. + break;
  104943. + case 2:
  104944. + DWC_PRINTF("Vendor\n");
  104945. + break;
  104946. + case 3:
  104947. + DWC_PRINTF("Reserved\n");
  104948. + break;
  104949. + }
  104950. + DWC_PRINTF(" bmRequestType Recipient = ");
  104951. + switch (setup[0] & 0x1f) {
  104952. + case 0:
  104953. + DWC_PRINTF("Device\n");
  104954. + break;
  104955. + case 1:
  104956. + DWC_PRINTF("Interface\n");
  104957. + break;
  104958. + case 2:
  104959. + DWC_PRINTF("Endpoint\n");
  104960. + break;
  104961. + case 3:
  104962. + DWC_PRINTF("Other\n");
  104963. + break;
  104964. + default:
  104965. + DWC_PRINTF("Reserved\n");
  104966. + break;
  104967. + }
  104968. + DWC_PRINTF(" bRequest = 0x%0x\n", setup[1]);
  104969. + DWC_PRINTF(" wValue = 0x%0x\n", *((uint16_t *) & setup[2]));
  104970. + DWC_PRINTF(" wIndex = 0x%0x\n", *((uint16_t *) & setup[4]));
  104971. + DWC_PRINTF(" wLength = 0x%0x\n\n", *((uint16_t *) & setup[6]));
  104972. + }
  104973. +}
  104974. +#endif
  104975. +
  104976. +void dwc_otg_hcd_dump_frrem(dwc_otg_hcd_t * hcd)
  104977. +{
  104978. +#if 0
  104979. + DWC_PRINTF("Frame remaining at SOF:\n");
  104980. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  104981. + hcd->frrem_samples, hcd->frrem_accum,
  104982. + (hcd->frrem_samples > 0) ?
  104983. + hcd->frrem_accum / hcd->frrem_samples : 0);
  104984. +
  104985. + DWC_PRINTF("\n");
  104986. + DWC_PRINTF("Frame remaining at start_transfer (uframe 7):\n");
  104987. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  104988. + hcd->core_if->hfnum_7_samples,
  104989. + hcd->core_if->hfnum_7_frrem_accum,
  104990. + (hcd->core_if->hfnum_7_samples >
  104991. + 0) ? hcd->core_if->hfnum_7_frrem_accum /
  104992. + hcd->core_if->hfnum_7_samples : 0);
  104993. + DWC_PRINTF("Frame remaining at start_transfer (uframe 0):\n");
  104994. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  104995. + hcd->core_if->hfnum_0_samples,
  104996. + hcd->core_if->hfnum_0_frrem_accum,
  104997. + (hcd->core_if->hfnum_0_samples >
  104998. + 0) ? hcd->core_if->hfnum_0_frrem_accum /
  104999. + hcd->core_if->hfnum_0_samples : 0);
  105000. + DWC_PRINTF("Frame remaining at start_transfer (uframe 1-6):\n");
  105001. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105002. + hcd->core_if->hfnum_other_samples,
  105003. + hcd->core_if->hfnum_other_frrem_accum,
  105004. + (hcd->core_if->hfnum_other_samples >
  105005. + 0) ? hcd->core_if->hfnum_other_frrem_accum /
  105006. + hcd->core_if->hfnum_other_samples : 0);
  105007. +
  105008. + DWC_PRINTF("\n");
  105009. + DWC_PRINTF("Frame remaining at sample point A (uframe 7):\n");
  105010. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105011. + hcd->hfnum_7_samples_a, hcd->hfnum_7_frrem_accum_a,
  105012. + (hcd->hfnum_7_samples_a > 0) ?
  105013. + hcd->hfnum_7_frrem_accum_a / hcd->hfnum_7_samples_a : 0);
  105014. + DWC_PRINTF("Frame remaining at sample point A (uframe 0):\n");
  105015. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105016. + hcd->hfnum_0_samples_a, hcd->hfnum_0_frrem_accum_a,
  105017. + (hcd->hfnum_0_samples_a > 0) ?
  105018. + hcd->hfnum_0_frrem_accum_a / hcd->hfnum_0_samples_a : 0);
  105019. + DWC_PRINTF("Frame remaining at sample point A (uframe 1-6):\n");
  105020. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105021. + hcd->hfnum_other_samples_a, hcd->hfnum_other_frrem_accum_a,
  105022. + (hcd->hfnum_other_samples_a > 0) ?
  105023. + hcd->hfnum_other_frrem_accum_a /
  105024. + hcd->hfnum_other_samples_a : 0);
  105025. +
  105026. + DWC_PRINTF("\n");
  105027. + DWC_PRINTF("Frame remaining at sample point B (uframe 7):\n");
  105028. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105029. + hcd->hfnum_7_samples_b, hcd->hfnum_7_frrem_accum_b,
  105030. + (hcd->hfnum_7_samples_b > 0) ?
  105031. + hcd->hfnum_7_frrem_accum_b / hcd->hfnum_7_samples_b : 0);
  105032. + DWC_PRINTF("Frame remaining at sample point B (uframe 0):\n");
  105033. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105034. + hcd->hfnum_0_samples_b, hcd->hfnum_0_frrem_accum_b,
  105035. + (hcd->hfnum_0_samples_b > 0) ?
  105036. + hcd->hfnum_0_frrem_accum_b / hcd->hfnum_0_samples_b : 0);
  105037. + DWC_PRINTF("Frame remaining at sample point B (uframe 1-6):\n");
  105038. + DWC_PRINTF(" samples %u, accum %llu, avg %llu\n",
  105039. + hcd->hfnum_other_samples_b, hcd->hfnum_other_frrem_accum_b,
  105040. + (hcd->hfnum_other_samples_b > 0) ?
  105041. + hcd->hfnum_other_frrem_accum_b /
  105042. + hcd->hfnum_other_samples_b : 0);
  105043. +#endif
  105044. +}
  105045. +
  105046. +#endif /* DWC_DEVICE_ONLY */
  105047. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_ddma.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_ddma.c
  105048. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_ddma.c 1970-01-01 01:00:00.000000000 +0100
  105049. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_ddma.c 2015-11-29 09:42:39.919098694 +0100
  105050. @@ -0,0 +1,1132 @@
  105051. +/*==========================================================================
  105052. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd_ddma.c $
  105053. + * $Revision: #10 $
  105054. + * $Date: 2011/10/20 $
  105055. + * $Change: 1869464 $
  105056. + *
  105057. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  105058. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  105059. + * otherwise expressly agreed to in writing between Synopsys and you.
  105060. + *
  105061. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  105062. + * any End User Software License Agreement or Agreement for Licensed Product
  105063. + * with Synopsys or any supplement thereto. You are permitted to use and
  105064. + * redistribute this Software in source and binary forms, with or without
  105065. + * modification, provided that redistributions of source code must retain this
  105066. + * notice. You may not view, use, disclose, copy or distribute this file or
  105067. + * any information contained herein except pursuant to this license grant from
  105068. + * Synopsys. If you do not agree with this notice, including the disclaimer
  105069. + * below, then you are not authorized to use the Software.
  105070. + *
  105071. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  105072. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  105073. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  105074. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  105075. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  105076. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  105077. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  105078. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  105079. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  105080. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  105081. + * DAMAGE.
  105082. + * ========================================================================== */
  105083. +#ifndef DWC_DEVICE_ONLY
  105084. +
  105085. +/** @file
  105086. + * This file contains Descriptor DMA support implementation for host mode.
  105087. + */
  105088. +
  105089. +#include "dwc_otg_hcd.h"
  105090. +#include "dwc_otg_regs.h"
  105091. +
  105092. +extern bool microframe_schedule;
  105093. +
  105094. +static inline uint8_t frame_list_idx(uint16_t frame)
  105095. +{
  105096. + return (frame & (MAX_FRLIST_EN_NUM - 1));
  105097. +}
  105098. +
  105099. +static inline uint16_t desclist_idx_inc(uint16_t idx, uint16_t inc, uint8_t speed)
  105100. +{
  105101. + return (idx + inc) &
  105102. + (((speed ==
  105103. + DWC_OTG_EP_SPEED_HIGH) ? MAX_DMA_DESC_NUM_HS_ISOC :
  105104. + MAX_DMA_DESC_NUM_GENERIC) - 1);
  105105. +}
  105106. +
  105107. +static inline uint16_t desclist_idx_dec(uint16_t idx, uint16_t inc, uint8_t speed)
  105108. +{
  105109. + return (idx - inc) &
  105110. + (((speed ==
  105111. + DWC_OTG_EP_SPEED_HIGH) ? MAX_DMA_DESC_NUM_HS_ISOC :
  105112. + MAX_DMA_DESC_NUM_GENERIC) - 1);
  105113. +}
  105114. +
  105115. +static inline uint16_t max_desc_num(dwc_otg_qh_t * qh)
  105116. +{
  105117. + return (((qh->ep_type == UE_ISOCHRONOUS)
  105118. + && (qh->dev_speed == DWC_OTG_EP_SPEED_HIGH))
  105119. + ? MAX_DMA_DESC_NUM_HS_ISOC : MAX_DMA_DESC_NUM_GENERIC);
  105120. +}
  105121. +static inline uint16_t frame_incr_val(dwc_otg_qh_t * qh)
  105122. +{
  105123. + return ((qh->dev_speed == DWC_OTG_EP_SPEED_HIGH)
  105124. + ? ((qh->interval + 8 - 1) / 8)
  105125. + : qh->interval);
  105126. +}
  105127. +
  105128. +static int desc_list_alloc(dwc_otg_qh_t * qh)
  105129. +{
  105130. + int retval = 0;
  105131. +
  105132. + qh->desc_list = (dwc_otg_host_dma_desc_t *)
  105133. + DWC_DMA_ALLOC(sizeof(dwc_otg_host_dma_desc_t) * max_desc_num(qh),
  105134. + &qh->desc_list_dma);
  105135. +
  105136. + if (!qh->desc_list) {
  105137. + retval = -DWC_E_NO_MEMORY;
  105138. + DWC_ERROR("%s: DMA descriptor list allocation failed\n", __func__);
  105139. +
  105140. + }
  105141. +
  105142. + dwc_memset(qh->desc_list, 0x00,
  105143. + sizeof(dwc_otg_host_dma_desc_t) * max_desc_num(qh));
  105144. +
  105145. + qh->n_bytes =
  105146. + (uint32_t *) DWC_ALLOC(sizeof(uint32_t) * max_desc_num(qh));
  105147. +
  105148. + if (!qh->n_bytes) {
  105149. + retval = -DWC_E_NO_MEMORY;
  105150. + DWC_ERROR
  105151. + ("%s: Failed to allocate array for descriptors' size actual values\n",
  105152. + __func__);
  105153. +
  105154. + }
  105155. + return retval;
  105156. +
  105157. +}
  105158. +
  105159. +static void desc_list_free(dwc_otg_qh_t * qh)
  105160. +{
  105161. + if (qh->desc_list) {
  105162. + DWC_DMA_FREE(max_desc_num(qh), qh->desc_list,
  105163. + qh->desc_list_dma);
  105164. + qh->desc_list = NULL;
  105165. + }
  105166. +
  105167. + if (qh->n_bytes) {
  105168. + DWC_FREE(qh->n_bytes);
  105169. + qh->n_bytes = NULL;
  105170. + }
  105171. +}
  105172. +
  105173. +static int frame_list_alloc(dwc_otg_hcd_t * hcd)
  105174. +{
  105175. + int retval = 0;
  105176. + if (hcd->frame_list)
  105177. + return 0;
  105178. +
  105179. + hcd->frame_list = DWC_DMA_ALLOC(4 * MAX_FRLIST_EN_NUM,
  105180. + &hcd->frame_list_dma);
  105181. + if (!hcd->frame_list) {
  105182. + retval = -DWC_E_NO_MEMORY;
  105183. + DWC_ERROR("%s: Frame List allocation failed\n", __func__);
  105184. + }
  105185. +
  105186. + dwc_memset(hcd->frame_list, 0x00, 4 * MAX_FRLIST_EN_NUM);
  105187. +
  105188. + return retval;
  105189. +}
  105190. +
  105191. +static void frame_list_free(dwc_otg_hcd_t * hcd)
  105192. +{
  105193. + if (!hcd->frame_list)
  105194. + return;
  105195. +
  105196. + DWC_DMA_FREE(4 * MAX_FRLIST_EN_NUM, hcd->frame_list, hcd->frame_list_dma);
  105197. + hcd->frame_list = NULL;
  105198. +}
  105199. +
  105200. +static void per_sched_enable(dwc_otg_hcd_t * hcd, uint16_t fr_list_en)
  105201. +{
  105202. +
  105203. + hcfg_data_t hcfg;
  105204. +
  105205. + hcfg.d32 = DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hcfg);
  105206. +
  105207. + if (hcfg.b.perschedena) {
  105208. + /* already enabled */
  105209. + return;
  105210. + }
  105211. +
  105212. + DWC_WRITE_REG32(&hcd->core_if->host_if->host_global_regs->hflbaddr,
  105213. + hcd->frame_list_dma);
  105214. +
  105215. + switch (fr_list_en) {
  105216. + case 64:
  105217. + hcfg.b.frlisten = 3;
  105218. + break;
  105219. + case 32:
  105220. + hcfg.b.frlisten = 2;
  105221. + break;
  105222. + case 16:
  105223. + hcfg.b.frlisten = 1;
  105224. + break;
  105225. + case 8:
  105226. + hcfg.b.frlisten = 0;
  105227. + break;
  105228. + default:
  105229. + break;
  105230. + }
  105231. +
  105232. + hcfg.b.perschedena = 1;
  105233. +
  105234. + DWC_DEBUGPL(DBG_HCD, "Enabling Periodic schedule\n");
  105235. + DWC_WRITE_REG32(&hcd->core_if->host_if->host_global_regs->hcfg, hcfg.d32);
  105236. +
  105237. +}
  105238. +
  105239. +static void per_sched_disable(dwc_otg_hcd_t * hcd)
  105240. +{
  105241. + hcfg_data_t hcfg;
  105242. +
  105243. + hcfg.d32 = DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hcfg);
  105244. +
  105245. + if (!hcfg.b.perschedena) {
  105246. + /* already disabled */
  105247. + return;
  105248. + }
  105249. + hcfg.b.perschedena = 0;
  105250. +
  105251. + DWC_DEBUGPL(DBG_HCD, "Disabling Periodic schedule\n");
  105252. + DWC_WRITE_REG32(&hcd->core_if->host_if->host_global_regs->hcfg, hcfg.d32);
  105253. +}
  105254. +
  105255. +/*
  105256. + * Activates/Deactivates FrameList entries for the channel
  105257. + * based on endpoint servicing period.
  105258. + */
  105259. +void update_frame_list(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh, uint8_t enable)
  105260. +{
  105261. + uint16_t i, j, inc;
  105262. + dwc_hc_t *hc = NULL;
  105263. +
  105264. + if (!qh->channel) {
  105265. + DWC_ERROR("qh->channel = %p", qh->channel);
  105266. + return;
  105267. + }
  105268. +
  105269. + if (!hcd) {
  105270. + DWC_ERROR("------hcd = %p", hcd);
  105271. + return;
  105272. + }
  105273. +
  105274. + if (!hcd->frame_list) {
  105275. + DWC_ERROR("-------hcd->frame_list = %p", hcd->frame_list);
  105276. + return;
  105277. + }
  105278. +
  105279. + hc = qh->channel;
  105280. + inc = frame_incr_val(qh);
  105281. + if (qh->ep_type == UE_ISOCHRONOUS)
  105282. + i = frame_list_idx(qh->sched_frame);
  105283. + else
  105284. + i = 0;
  105285. +
  105286. + j = i;
  105287. + do {
  105288. + if (enable)
  105289. + hcd->frame_list[j] |= (1 << hc->hc_num);
  105290. + else
  105291. + hcd->frame_list[j] &= ~(1 << hc->hc_num);
  105292. + j = (j + inc) & (MAX_FRLIST_EN_NUM - 1);
  105293. + }
  105294. + while (j != i);
  105295. + if (!enable)
  105296. + return;
  105297. + hc->schinfo = 0;
  105298. + if (qh->channel->speed == DWC_OTG_EP_SPEED_HIGH) {
  105299. + j = 1;
  105300. + /* TODO - check this */
  105301. + inc = (8 + qh->interval - 1) / qh->interval;
  105302. + for (i = 0; i < inc; i++) {
  105303. + hc->schinfo |= j;
  105304. + j = j << qh->interval;
  105305. + }
  105306. + } else {
  105307. + hc->schinfo = 0xff;
  105308. + }
  105309. +}
  105310. +
  105311. +#if 1
  105312. +void dump_frame_list(dwc_otg_hcd_t * hcd)
  105313. +{
  105314. + int i = 0;
  105315. + DWC_PRINTF("--FRAME LIST (hex) --\n");
  105316. + for (i = 0; i < MAX_FRLIST_EN_NUM; i++) {
  105317. + DWC_PRINTF("%x\t", hcd->frame_list[i]);
  105318. + if (!(i % 8) && i)
  105319. + DWC_PRINTF("\n");
  105320. + }
  105321. + DWC_PRINTF("\n----\n");
  105322. +
  105323. +}
  105324. +#endif
  105325. +
  105326. +static void release_channel_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105327. +{
  105328. + dwc_irqflags_t flags;
  105329. + dwc_spinlock_t *channel_lock = hcd->channel_lock;
  105330. +
  105331. + dwc_hc_t *hc = qh->channel;
  105332. + if (dwc_qh_is_non_per(qh)) {
  105333. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  105334. + if (!microframe_schedule)
  105335. + hcd->non_periodic_channels--;
  105336. + else
  105337. + hcd->available_host_channels++;
  105338. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  105339. + } else
  105340. + update_frame_list(hcd, qh, 0);
  105341. +
  105342. + /*
  105343. + * The condition is added to prevent double cleanup try in case of device
  105344. + * disconnect. See channel cleanup in dwc_otg_hcd_disconnect_cb().
  105345. + */
  105346. + if (hc->qh) {
  105347. + dwc_otg_hc_cleanup(hcd->core_if, hc);
  105348. + DWC_CIRCLEQ_INSERT_TAIL(&hcd->free_hc_list, hc, hc_list_entry);
  105349. + hc->qh = NULL;
  105350. + }
  105351. +
  105352. + qh->channel = NULL;
  105353. + qh->ntd = 0;
  105354. +
  105355. + if (qh->desc_list) {
  105356. + dwc_memset(qh->desc_list, 0x00,
  105357. + sizeof(dwc_otg_host_dma_desc_t) * max_desc_num(qh));
  105358. + }
  105359. +}
  105360. +
  105361. +/**
  105362. + * Initializes a QH structure's Descriptor DMA related members.
  105363. + * Allocates memory for descriptor list.
  105364. + * On first periodic QH, allocates memory for FrameList
  105365. + * and enables periodic scheduling.
  105366. + *
  105367. + * @param hcd The HCD state structure for the DWC OTG controller.
  105368. + * @param qh The QH to init.
  105369. + *
  105370. + * @return 0 if successful, negative error code otherwise.
  105371. + */
  105372. +int dwc_otg_hcd_qh_init_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105373. +{
  105374. + int retval = 0;
  105375. +
  105376. + if (qh->do_split) {
  105377. + DWC_ERROR("SPLIT Transfers are not supported in Descriptor DMA.\n");
  105378. + return -1;
  105379. + }
  105380. +
  105381. + retval = desc_list_alloc(qh);
  105382. +
  105383. + if ((retval == 0)
  105384. + && (qh->ep_type == UE_ISOCHRONOUS || qh->ep_type == UE_INTERRUPT)) {
  105385. + if (!hcd->frame_list) {
  105386. + retval = frame_list_alloc(hcd);
  105387. + /* Enable periodic schedule on first periodic QH */
  105388. + if (retval == 0)
  105389. + per_sched_enable(hcd, MAX_FRLIST_EN_NUM);
  105390. + }
  105391. + }
  105392. +
  105393. + qh->ntd = 0;
  105394. +
  105395. + return retval;
  105396. +}
  105397. +
  105398. +/**
  105399. + * Frees descriptor list memory associated with the QH.
  105400. + * If QH is periodic and the last, frees FrameList memory
  105401. + * and disables periodic scheduling.
  105402. + *
  105403. + * @param hcd The HCD state structure for the DWC OTG controller.
  105404. + * @param qh The QH to init.
  105405. + */
  105406. +void dwc_otg_hcd_qh_free_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105407. +{
  105408. + desc_list_free(qh);
  105409. +
  105410. + /*
  105411. + * Channel still assigned due to some reasons.
  105412. + * Seen on Isoc URB dequeue. Channel halted but no subsequent
  105413. + * ChHalted interrupt to release the channel. Afterwards
  105414. + * when it comes here from endpoint disable routine
  105415. + * channel remains assigned.
  105416. + */
  105417. + if (qh->channel)
  105418. + release_channel_ddma(hcd, qh);
  105419. +
  105420. + if ((qh->ep_type == UE_ISOCHRONOUS || qh->ep_type == UE_INTERRUPT)
  105421. + && (microframe_schedule || !hcd->periodic_channels) && hcd->frame_list) {
  105422. +
  105423. + per_sched_disable(hcd);
  105424. + frame_list_free(hcd);
  105425. + }
  105426. +}
  105427. +
  105428. +static uint8_t frame_to_desc_idx(dwc_otg_qh_t * qh, uint16_t frame_idx)
  105429. +{
  105430. + if (qh->dev_speed == DWC_OTG_EP_SPEED_HIGH) {
  105431. + /*
  105432. + * Descriptor set(8 descriptors) index
  105433. + * which is 8-aligned.
  105434. + */
  105435. + return (frame_idx & ((MAX_DMA_DESC_NUM_HS_ISOC / 8) - 1)) * 8;
  105436. + } else {
  105437. + return (frame_idx & (MAX_DMA_DESC_NUM_GENERIC - 1));
  105438. + }
  105439. +}
  105440. +
  105441. +/*
  105442. + * Determine starting frame for Isochronous transfer.
  105443. + * Few frames skipped to prevent race condition with HC.
  105444. + */
  105445. +static uint8_t calc_starting_frame(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh,
  105446. + uint8_t * skip_frames)
  105447. +{
  105448. + uint16_t frame = 0;
  105449. + hcd->frame_number = dwc_otg_hcd_get_frame_number(hcd);
  105450. +
  105451. + /* sched_frame is always frame number(not uFrame) both in FS and HS !! */
  105452. +
  105453. + /*
  105454. + * skip_frames is used to limit activated descriptors number
  105455. + * to avoid the situation when HC services the last activated
  105456. + * descriptor firstly.
  105457. + * Example for FS:
  105458. + * Current frame is 1, scheduled frame is 3. Since HC always fetches the descriptor
  105459. + * corresponding to curr_frame+1, the descriptor corresponding to frame 2
  105460. + * will be fetched. If the number of descriptors is max=64 (or greather) the
  105461. + * list will be fully programmed with Active descriptors and it is possible
  105462. + * case(rare) that the latest descriptor(considering rollback) corresponding
  105463. + * to frame 2 will be serviced first. HS case is more probable because, in fact,
  105464. + * up to 11 uframes(16 in the code) may be skipped.
  105465. + */
  105466. + if (qh->dev_speed == DWC_OTG_EP_SPEED_HIGH) {
  105467. + /*
  105468. + * Consider uframe counter also, to start xfer asap.
  105469. + * If half of the frame elapsed skip 2 frames otherwise
  105470. + * just 1 frame.
  105471. + * Starting descriptor index must be 8-aligned, so
  105472. + * if the current frame is near to complete the next one
  105473. + * is skipped as well.
  105474. + */
  105475. +
  105476. + if (dwc_micro_frame_num(hcd->frame_number) >= 5) {
  105477. + *skip_frames = 2 * 8;
  105478. + frame = dwc_frame_num_inc(hcd->frame_number, *skip_frames);
  105479. + } else {
  105480. + *skip_frames = 1 * 8;
  105481. + frame = dwc_frame_num_inc(hcd->frame_number, *skip_frames);
  105482. + }
  105483. +
  105484. + frame = dwc_full_frame_num(frame);
  105485. + } else {
  105486. + /*
  105487. + * Two frames are skipped for FS - the current and the next.
  105488. + * But for descriptor programming, 1 frame(descriptor) is enough,
  105489. + * see example above.
  105490. + */
  105491. + *skip_frames = 1;
  105492. + frame = dwc_frame_num_inc(hcd->frame_number, 2);
  105493. + }
  105494. +
  105495. + return frame;
  105496. +}
  105497. +
  105498. +/*
  105499. + * Calculate initial descriptor index for isochronous transfer
  105500. + * based on scheduled frame.
  105501. + */
  105502. +static uint8_t recalc_initial_desc_idx(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105503. +{
  105504. + uint16_t frame = 0, fr_idx, fr_idx_tmp;
  105505. + uint8_t skip_frames = 0;
  105506. + /*
  105507. + * With current ISOC processing algorithm the channel is being
  105508. + * released when no more QTDs in the list(qh->ntd == 0).
  105509. + * Thus this function is called only when qh->ntd == 0 and qh->channel == 0.
  105510. + *
  105511. + * So qh->channel != NULL branch is not used and just not removed from the
  105512. + * source file. It is required for another possible approach which is,
  105513. + * do not disable and release the channel when ISOC session completed,
  105514. + * just move QH to inactive schedule until new QTD arrives.
  105515. + * On new QTD, the QH moved back to 'ready' schedule,
  105516. + * starting frame and therefore starting desc_index are recalculated.
  105517. + * In this case channel is released only on ep_disable.
  105518. + */
  105519. +
  105520. + /* Calculate starting descriptor index. For INTERRUPT endpoint it is always 0. */
  105521. + if (qh->channel) {
  105522. + frame = calc_starting_frame(hcd, qh, &skip_frames);
  105523. + /*
  105524. + * Calculate initial descriptor index based on FrameList current bitmap
  105525. + * and servicing period.
  105526. + */
  105527. + fr_idx_tmp = frame_list_idx(frame);
  105528. + fr_idx =
  105529. + (MAX_FRLIST_EN_NUM + frame_list_idx(qh->sched_frame) -
  105530. + fr_idx_tmp)
  105531. + % frame_incr_val(qh);
  105532. + fr_idx = (fr_idx + fr_idx_tmp) % MAX_FRLIST_EN_NUM;
  105533. + } else {
  105534. + qh->sched_frame = calc_starting_frame(hcd, qh, &skip_frames);
  105535. + fr_idx = frame_list_idx(qh->sched_frame);
  105536. + }
  105537. +
  105538. + qh->td_first = qh->td_last = frame_to_desc_idx(qh, fr_idx);
  105539. +
  105540. + return skip_frames;
  105541. +}
  105542. +
  105543. +#define ISOC_URB_GIVEBACK_ASAP
  105544. +
  105545. +#define MAX_ISOC_XFER_SIZE_FS 1023
  105546. +#define MAX_ISOC_XFER_SIZE_HS 3072
  105547. +#define DESCNUM_THRESHOLD 4
  105548. +
  105549. +static void init_isoc_dma_desc(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh,
  105550. + uint8_t skip_frames)
  105551. +{
  105552. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  105553. + dwc_otg_qtd_t *qtd;
  105554. + dwc_otg_host_dma_desc_t *dma_desc;
  105555. + uint16_t idx, inc, n_desc, ntd_max, max_xfer_size;
  105556. +
  105557. + idx = qh->td_last;
  105558. + inc = qh->interval;
  105559. + n_desc = 0;
  105560. +
  105561. + ntd_max = (max_desc_num(qh) + qh->interval - 1) / qh->interval;
  105562. + if (skip_frames && !qh->channel)
  105563. + ntd_max = ntd_max - skip_frames / qh->interval;
  105564. +
  105565. + max_xfer_size =
  105566. + (qh->dev_speed ==
  105567. + DWC_OTG_EP_SPEED_HIGH) ? MAX_ISOC_XFER_SIZE_HS :
  105568. + MAX_ISOC_XFER_SIZE_FS;
  105569. +
  105570. + DWC_CIRCLEQ_FOREACH(qtd, &qh->qtd_list, qtd_list_entry) {
  105571. + while ((qh->ntd < ntd_max)
  105572. + && (qtd->isoc_frame_index_last <
  105573. + qtd->urb->packet_count)) {
  105574. +
  105575. + dma_desc = &qh->desc_list[idx];
  105576. + dwc_memset(dma_desc, 0x00, sizeof(dwc_otg_host_dma_desc_t));
  105577. +
  105578. + frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index_last];
  105579. +
  105580. + if (frame_desc->length > max_xfer_size)
  105581. + qh->n_bytes[idx] = max_xfer_size;
  105582. + else
  105583. + qh->n_bytes[idx] = frame_desc->length;
  105584. + dma_desc->status.b_isoc.n_bytes = qh->n_bytes[idx];
  105585. + dma_desc->status.b_isoc.a = 1;
  105586. + dma_desc->status.b_isoc.sts = 0;
  105587. +
  105588. + dma_desc->buf = qtd->urb->dma + frame_desc->offset;
  105589. +
  105590. + qh->ntd++;
  105591. +
  105592. + qtd->isoc_frame_index_last++;
  105593. +
  105594. +#ifdef ISOC_URB_GIVEBACK_ASAP
  105595. + /*
  105596. + * Set IOC for each descriptor corresponding to the
  105597. + * last frame of the URB.
  105598. + */
  105599. + if (qtd->isoc_frame_index_last ==
  105600. + qtd->urb->packet_count)
  105601. + dma_desc->status.b_isoc.ioc = 1;
  105602. +
  105603. +#endif
  105604. + idx = desclist_idx_inc(idx, inc, qh->dev_speed);
  105605. + n_desc++;
  105606. +
  105607. + }
  105608. + qtd->in_process = 1;
  105609. + }
  105610. +
  105611. + qh->td_last = idx;
  105612. +
  105613. +#ifdef ISOC_URB_GIVEBACK_ASAP
  105614. + /* Set IOC for the last descriptor if descriptor list is full */
  105615. + if (qh->ntd == ntd_max) {
  105616. + idx = desclist_idx_dec(qh->td_last, inc, qh->dev_speed);
  105617. + qh->desc_list[idx].status.b_isoc.ioc = 1;
  105618. + }
  105619. +#else
  105620. + /*
  105621. + * Set IOC bit only for one descriptor.
  105622. + * Always try to be ahead of HW processing,
  105623. + * i.e. on IOC generation driver activates next descriptors but
  105624. + * core continues to process descriptors followed the one with IOC set.
  105625. + */
  105626. +
  105627. + if (n_desc > DESCNUM_THRESHOLD) {
  105628. + /*
  105629. + * Move IOC "up". Required even if there is only one QTD
  105630. + * in the list, cause QTDs migth continue to be queued,
  105631. + * but during the activation it was only one queued.
  105632. + * Actually more than one QTD might be in the list if this function called
  105633. + * from XferCompletion - QTDs was queued during HW processing of the previous
  105634. + * descriptor chunk.
  105635. + */
  105636. + idx = dwc_desclist_idx_dec(idx, inc * ((qh->ntd + 1) / 2), qh->dev_speed);
  105637. + } else {
  105638. + /*
  105639. + * Set the IOC for the latest descriptor
  105640. + * if either number of descriptor is not greather than threshold
  105641. + * or no more new descriptors activated.
  105642. + */
  105643. + idx = dwc_desclist_idx_dec(qh->td_last, inc, qh->dev_speed);
  105644. + }
  105645. +
  105646. + qh->desc_list[idx].status.b_isoc.ioc = 1;
  105647. +#endif
  105648. +}
  105649. +
  105650. +static void init_non_isoc_dma_desc(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105651. +{
  105652. +
  105653. + dwc_hc_t *hc;
  105654. + dwc_otg_host_dma_desc_t *dma_desc;
  105655. + dwc_otg_qtd_t *qtd;
  105656. + int num_packets, len, n_desc = 0;
  105657. +
  105658. + hc = qh->channel;
  105659. +
  105660. + /*
  105661. + * Start with hc->xfer_buff initialized in
  105662. + * assign_and_init_hc(), then if SG transfer consists of multiple URBs,
  105663. + * this pointer re-assigned to the buffer of the currently processed QTD.
  105664. + * For non-SG request there is always one QTD active.
  105665. + */
  105666. +
  105667. + DWC_CIRCLEQ_FOREACH(qtd, &qh->qtd_list, qtd_list_entry) {
  105668. +
  105669. + if (n_desc) {
  105670. + /* SG request - more than 1 QTDs */
  105671. + hc->xfer_buff = (uint8_t *)qtd->urb->dma + qtd->urb->actual_length;
  105672. + hc->xfer_len = qtd->urb->length - qtd->urb->actual_length;
  105673. + }
  105674. +
  105675. + qtd->n_desc = 0;
  105676. +
  105677. + do {
  105678. + dma_desc = &qh->desc_list[n_desc];
  105679. + len = hc->xfer_len;
  105680. +
  105681. + if (len > MAX_DMA_DESC_SIZE)
  105682. + len = MAX_DMA_DESC_SIZE - hc->max_packet + 1;
  105683. +
  105684. + if (hc->ep_is_in) {
  105685. + if (len > 0) {
  105686. + num_packets = (len + hc->max_packet - 1) / hc->max_packet;
  105687. + } else {
  105688. + /* Need 1 packet for transfer length of 0. */
  105689. + num_packets = 1;
  105690. + }
  105691. + /* Always program an integral # of max packets for IN transfers. */
  105692. + len = num_packets * hc->max_packet;
  105693. + }
  105694. +
  105695. + dma_desc->status.b.n_bytes = len;
  105696. +
  105697. + qh->n_bytes[n_desc] = len;
  105698. +
  105699. + if ((qh->ep_type == UE_CONTROL)
  105700. + && (qtd->control_phase == DWC_OTG_CONTROL_SETUP))
  105701. + dma_desc->status.b.sup = 1; /* Setup Packet */
  105702. +
  105703. + dma_desc->status.b.a = 1; /* Active descriptor */
  105704. + dma_desc->status.b.sts = 0;
  105705. +
  105706. + dma_desc->buf =
  105707. + ((unsigned long)hc->xfer_buff & 0xffffffff);
  105708. +
  105709. + /*
  105710. + * Last descriptor(or single) of IN transfer
  105711. + * with actual size less than MaxPacket.
  105712. + */
  105713. + if (len > hc->xfer_len) {
  105714. + hc->xfer_len = 0;
  105715. + } else {
  105716. + hc->xfer_buff += len;
  105717. + hc->xfer_len -= len;
  105718. + }
  105719. +
  105720. + qtd->n_desc++;
  105721. + n_desc++;
  105722. + }
  105723. + while ((hc->xfer_len > 0) && (n_desc != MAX_DMA_DESC_NUM_GENERIC));
  105724. +
  105725. +
  105726. + qtd->in_process = 1;
  105727. +
  105728. + if (qh->ep_type == UE_CONTROL)
  105729. + break;
  105730. +
  105731. + if (n_desc == MAX_DMA_DESC_NUM_GENERIC)
  105732. + break;
  105733. + }
  105734. +
  105735. + if (n_desc) {
  105736. + /* Request Transfer Complete interrupt for the last descriptor */
  105737. + qh->desc_list[n_desc - 1].status.b.ioc = 1;
  105738. + /* End of List indicator */
  105739. + qh->desc_list[n_desc - 1].status.b.eol = 1;
  105740. +
  105741. + hc->ntd = n_desc;
  105742. + }
  105743. +}
  105744. +
  105745. +/**
  105746. + * For Control and Bulk endpoints initializes descriptor list
  105747. + * and starts the transfer.
  105748. + *
  105749. + * For Interrupt and Isochronous endpoints initializes descriptor list
  105750. + * then updates FrameList, marking appropriate entries as active.
  105751. + * In case of Isochronous, the starting descriptor index is calculated based
  105752. + * on the scheduled frame, but only on the first transfer descriptor within a session.
  105753. + * Then starts the transfer via enabling the channel.
  105754. + * For Isochronous endpoint the channel is not halted on XferComplete
  105755. + * interrupt so remains assigned to the endpoint(QH) until session is done.
  105756. + *
  105757. + * @param hcd The HCD state structure for the DWC OTG controller.
  105758. + * @param qh The QH to init.
  105759. + *
  105760. + * @return 0 if successful, negative error code otherwise.
  105761. + */
  105762. +void dwc_otg_hcd_start_xfer_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  105763. +{
  105764. + /* Channel is already assigned */
  105765. + dwc_hc_t *hc = qh->channel;
  105766. + uint8_t skip_frames = 0;
  105767. +
  105768. + switch (hc->ep_type) {
  105769. + case DWC_OTG_EP_TYPE_CONTROL:
  105770. + case DWC_OTG_EP_TYPE_BULK:
  105771. + init_non_isoc_dma_desc(hcd, qh);
  105772. +
  105773. + dwc_otg_hc_start_transfer_ddma(hcd->core_if, hc);
  105774. + break;
  105775. + case DWC_OTG_EP_TYPE_INTR:
  105776. + init_non_isoc_dma_desc(hcd, qh);
  105777. +
  105778. + update_frame_list(hcd, qh, 1);
  105779. +
  105780. + dwc_otg_hc_start_transfer_ddma(hcd->core_if, hc);
  105781. + break;
  105782. + case DWC_OTG_EP_TYPE_ISOC:
  105783. +
  105784. + if (!qh->ntd)
  105785. + skip_frames = recalc_initial_desc_idx(hcd, qh);
  105786. +
  105787. + init_isoc_dma_desc(hcd, qh, skip_frames);
  105788. +
  105789. + if (!hc->xfer_started) {
  105790. +
  105791. + update_frame_list(hcd, qh, 1);
  105792. +
  105793. + /*
  105794. + * Always set to max, instead of actual size.
  105795. + * Otherwise ntd will be changed with
  105796. + * channel being enabled. Not recommended.
  105797. + *
  105798. + */
  105799. + hc->ntd = max_desc_num(qh);
  105800. + /* Enable channel only once for ISOC */
  105801. + dwc_otg_hc_start_transfer_ddma(hcd->core_if, hc);
  105802. + }
  105803. +
  105804. + break;
  105805. + default:
  105806. +
  105807. + break;
  105808. + }
  105809. +}
  105810. +
  105811. +static void complete_isoc_xfer_ddma(dwc_otg_hcd_t * hcd,
  105812. + dwc_hc_t * hc,
  105813. + dwc_otg_hc_regs_t * hc_regs,
  105814. + dwc_otg_halt_status_e halt_status)
  105815. +{
  105816. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  105817. + dwc_otg_qtd_t *qtd, *qtd_tmp;
  105818. + dwc_otg_qh_t *qh;
  105819. + dwc_otg_host_dma_desc_t *dma_desc;
  105820. + uint16_t idx, remain;
  105821. + uint8_t urb_compl;
  105822. +
  105823. + qh = hc->qh;
  105824. + idx = qh->td_first;
  105825. +
  105826. + if (hc->halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE) {
  105827. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &hc->qh->qtd_list, qtd_list_entry)
  105828. + qtd->in_process = 0;
  105829. + return;
  105830. + } else if ((halt_status == DWC_OTG_HC_XFER_AHB_ERR) ||
  105831. + (halt_status == DWC_OTG_HC_XFER_BABBLE_ERR)) {
  105832. + /*
  105833. + * Channel is halted in these error cases.
  105834. + * Considered as serious issues.
  105835. + * Complete all URBs marking all frames as failed,
  105836. + * irrespective whether some of the descriptors(frames) succeeded or no.
  105837. + * Pass error code to completion routine as well, to
  105838. + * update urb->status, some of class drivers might use it to stop
  105839. + * queing transfer requests.
  105840. + */
  105841. + int err = (halt_status == DWC_OTG_HC_XFER_AHB_ERR)
  105842. + ? (-DWC_E_IO)
  105843. + : (-DWC_E_OVERFLOW);
  105844. +
  105845. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &hc->qh->qtd_list, qtd_list_entry) {
  105846. + for (idx = 0; idx < qtd->urb->packet_count; idx++) {
  105847. + frame_desc = &qtd->urb->iso_descs[idx];
  105848. + frame_desc->status = err;
  105849. + }
  105850. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, err);
  105851. + dwc_otg_hcd_qtd_remove_and_free(hcd, qtd, qh);
  105852. + }
  105853. + return;
  105854. + }
  105855. +
  105856. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &hc->qh->qtd_list, qtd_list_entry) {
  105857. +
  105858. + if (!qtd->in_process)
  105859. + break;
  105860. +
  105861. + urb_compl = 0;
  105862. +
  105863. + do {
  105864. +
  105865. + dma_desc = &qh->desc_list[idx];
  105866. +
  105867. + frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  105868. + remain = hc->ep_is_in ? dma_desc->status.b_isoc.n_bytes : 0;
  105869. +
  105870. + if (dma_desc->status.b_isoc.sts == DMA_DESC_STS_PKTERR) {
  105871. + /*
  105872. + * XactError or, unable to complete all the transactions
  105873. + * in the scheduled micro-frame/frame,
  105874. + * both indicated by DMA_DESC_STS_PKTERR.
  105875. + */
  105876. + qtd->urb->error_count++;
  105877. + frame_desc->actual_length = qh->n_bytes[idx] - remain;
  105878. + frame_desc->status = -DWC_E_PROTOCOL;
  105879. + } else {
  105880. + /* Success */
  105881. +
  105882. + frame_desc->actual_length = qh->n_bytes[idx] - remain;
  105883. + frame_desc->status = 0;
  105884. + }
  105885. +
  105886. + if (++qtd->isoc_frame_index == qtd->urb->packet_count) {
  105887. + /*
  105888. + * urb->status is not used for isoc transfers here.
  105889. + * The individual frame_desc status are used instead.
  105890. + */
  105891. +
  105892. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  105893. + dwc_otg_hcd_qtd_remove_and_free(hcd, qtd, qh);
  105894. +
  105895. + /*
  105896. + * This check is necessary because urb_dequeue can be called
  105897. + * from urb complete callback(sound driver example).
  105898. + * All pending URBs are dequeued there, so no need for
  105899. + * further processing.
  105900. + */
  105901. + if (hc->halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE) {
  105902. + return;
  105903. + }
  105904. +
  105905. + urb_compl = 1;
  105906. +
  105907. + }
  105908. +
  105909. + qh->ntd--;
  105910. +
  105911. + /* Stop if IOC requested descriptor reached */
  105912. + if (dma_desc->status.b_isoc.ioc) {
  105913. + idx = desclist_idx_inc(idx, qh->interval, hc->speed);
  105914. + goto stop_scan;
  105915. + }
  105916. +
  105917. + idx = desclist_idx_inc(idx, qh->interval, hc->speed);
  105918. +
  105919. + if (urb_compl)
  105920. + break;
  105921. + }
  105922. + while (idx != qh->td_first);
  105923. + }
  105924. +stop_scan:
  105925. + qh->td_first = idx;
  105926. +}
  105927. +
  105928. +uint8_t update_non_isoc_urb_state_ddma(dwc_otg_hcd_t * hcd,
  105929. + dwc_hc_t * hc,
  105930. + dwc_otg_qtd_t * qtd,
  105931. + dwc_otg_host_dma_desc_t * dma_desc,
  105932. + dwc_otg_halt_status_e halt_status,
  105933. + uint32_t n_bytes, uint8_t * xfer_done)
  105934. +{
  105935. +
  105936. + uint16_t remain = hc->ep_is_in ? dma_desc->status.b.n_bytes : 0;
  105937. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  105938. +
  105939. + if (halt_status == DWC_OTG_HC_XFER_AHB_ERR) {
  105940. + urb->status = -DWC_E_IO;
  105941. + return 1;
  105942. + }
  105943. + if (dma_desc->status.b.sts == DMA_DESC_STS_PKTERR) {
  105944. + switch (halt_status) {
  105945. + case DWC_OTG_HC_XFER_STALL:
  105946. + urb->status = -DWC_E_PIPE;
  105947. + break;
  105948. + case DWC_OTG_HC_XFER_BABBLE_ERR:
  105949. + urb->status = -DWC_E_OVERFLOW;
  105950. + break;
  105951. + case DWC_OTG_HC_XFER_XACT_ERR:
  105952. + urb->status = -DWC_E_PROTOCOL;
  105953. + break;
  105954. + default:
  105955. + DWC_ERROR("%s: Unhandled descriptor error status (%d)\n", __func__,
  105956. + halt_status);
  105957. + break;
  105958. + }
  105959. + return 1;
  105960. + }
  105961. +
  105962. + if (dma_desc->status.b.a == 1) {
  105963. + DWC_DEBUGPL(DBG_HCDV,
  105964. + "Active descriptor encountered on channel %d\n",
  105965. + hc->hc_num);
  105966. + return 0;
  105967. + }
  105968. +
  105969. + if (hc->ep_type == DWC_OTG_EP_TYPE_CONTROL) {
  105970. + if (qtd->control_phase == DWC_OTG_CONTROL_DATA) {
  105971. + urb->actual_length += n_bytes - remain;
  105972. + if (remain || urb->actual_length == urb->length) {
  105973. + /*
  105974. + * For Control Data stage do not set urb->status=0 to prevent
  105975. + * URB callback. Set it when Status phase done. See below.
  105976. + */
  105977. + *xfer_done = 1;
  105978. + }
  105979. +
  105980. + } else if (qtd->control_phase == DWC_OTG_CONTROL_STATUS) {
  105981. + urb->status = 0;
  105982. + *xfer_done = 1;
  105983. + }
  105984. + /* No handling for SETUP stage */
  105985. + } else {
  105986. + /* BULK and INTR */
  105987. + urb->actual_length += n_bytes - remain;
  105988. + if (remain || urb->actual_length == urb->length) {
  105989. + urb->status = 0;
  105990. + *xfer_done = 1;
  105991. + }
  105992. + }
  105993. +
  105994. + return 0;
  105995. +}
  105996. +
  105997. +static void complete_non_isoc_xfer_ddma(dwc_otg_hcd_t * hcd,
  105998. + dwc_hc_t * hc,
  105999. + dwc_otg_hc_regs_t * hc_regs,
  106000. + dwc_otg_halt_status_e halt_status)
  106001. +{
  106002. + dwc_otg_hcd_urb_t *urb = NULL;
  106003. + dwc_otg_qtd_t *qtd, *qtd_tmp;
  106004. + dwc_otg_qh_t *qh;
  106005. + dwc_otg_host_dma_desc_t *dma_desc;
  106006. + uint32_t n_bytes, n_desc, i;
  106007. + uint8_t failed = 0, xfer_done;
  106008. +
  106009. + n_desc = 0;
  106010. +
  106011. + qh = hc->qh;
  106012. +
  106013. + if (hc->halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE) {
  106014. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &hc->qh->qtd_list, qtd_list_entry) {
  106015. + qtd->in_process = 0;
  106016. + }
  106017. + return;
  106018. + }
  106019. +
  106020. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &qh->qtd_list, qtd_list_entry) {
  106021. +
  106022. + urb = qtd->urb;
  106023. +
  106024. + n_bytes = 0;
  106025. + xfer_done = 0;
  106026. +
  106027. + for (i = 0; i < qtd->n_desc; i++) {
  106028. + dma_desc = &qh->desc_list[n_desc];
  106029. +
  106030. + n_bytes = qh->n_bytes[n_desc];
  106031. +
  106032. + failed =
  106033. + update_non_isoc_urb_state_ddma(hcd, hc, qtd,
  106034. + dma_desc,
  106035. + halt_status, n_bytes,
  106036. + &xfer_done);
  106037. +
  106038. + if (failed
  106039. + || (xfer_done
  106040. + && (urb->status != -DWC_E_IN_PROGRESS))) {
  106041. +
  106042. + hcd->fops->complete(hcd, urb->priv, urb,
  106043. + urb->status);
  106044. + dwc_otg_hcd_qtd_remove_and_free(hcd, qtd, qh);
  106045. +
  106046. + if (failed)
  106047. + goto stop_scan;
  106048. + } else if (qh->ep_type == UE_CONTROL) {
  106049. + if (qtd->control_phase == DWC_OTG_CONTROL_SETUP) {
  106050. + if (urb->length > 0) {
  106051. + qtd->control_phase = DWC_OTG_CONTROL_DATA;
  106052. + } else {
  106053. + qtd->control_phase = DWC_OTG_CONTROL_STATUS;
  106054. + }
  106055. + DWC_DEBUGPL(DBG_HCDV, " Control setup transaction done\n");
  106056. + } else if (qtd->control_phase == DWC_OTG_CONTROL_DATA) {
  106057. + if (xfer_done) {
  106058. + qtd->control_phase = DWC_OTG_CONTROL_STATUS;
  106059. + DWC_DEBUGPL(DBG_HCDV, " Control data transfer done\n");
  106060. + } else if (i + 1 == qtd->n_desc) {
  106061. + /*
  106062. + * Last descriptor for Control data stage which is
  106063. + * not completed yet.
  106064. + */
  106065. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  106066. + }
  106067. + }
  106068. + }
  106069. +
  106070. + n_desc++;
  106071. + }
  106072. +
  106073. + }
  106074. +
  106075. +stop_scan:
  106076. +
  106077. + if (qh->ep_type != UE_CONTROL) {
  106078. + /*
  106079. + * Resetting the data toggle for bulk
  106080. + * and interrupt endpoints in case of stall. See handle_hc_stall_intr()
  106081. + */
  106082. + if (halt_status == DWC_OTG_HC_XFER_STALL)
  106083. + qh->data_toggle = DWC_OTG_HC_PID_DATA0;
  106084. + else
  106085. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  106086. + }
  106087. +
  106088. + if (halt_status == DWC_OTG_HC_XFER_COMPLETE) {
  106089. + hcint_data_t hcint;
  106090. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  106091. + if (hcint.b.nyet) {
  106092. + /*
  106093. + * Got a NYET on the last transaction of the transfer. It
  106094. + * means that the endpoint should be in the PING state at the
  106095. + * beginning of the next transfer.
  106096. + */
  106097. + qh->ping_state = 1;
  106098. + clear_hc_int(hc_regs, nyet);
  106099. + }
  106100. +
  106101. + }
  106102. +
  106103. +}
  106104. +
  106105. +/**
  106106. + * This function is called from interrupt handlers.
  106107. + * Scans the descriptor list, updates URB's status and
  106108. + * calls completion routine for the URB if it's done.
  106109. + * Releases the channel to be used by other transfers.
  106110. + * In case of Isochronous endpoint the channel is not halted until
  106111. + * the end of the session, i.e. QTD list is empty.
  106112. + * If periodic channel released the FrameList is updated accordingly.
  106113. + *
  106114. + * Calls transaction selection routines to activate pending transfers.
  106115. + *
  106116. + * @param hcd The HCD state structure for the DWC OTG controller.
  106117. + * @param hc Host channel, the transfer is completed on.
  106118. + * @param hc_regs Host channel registers.
  106119. + * @param halt_status Reason the channel is being halted,
  106120. + * or just XferComplete for isochronous transfer
  106121. + */
  106122. +void dwc_otg_hcd_complete_xfer_ddma(dwc_otg_hcd_t * hcd,
  106123. + dwc_hc_t * hc,
  106124. + dwc_otg_hc_regs_t * hc_regs,
  106125. + dwc_otg_halt_status_e halt_status)
  106126. +{
  106127. + uint8_t continue_isoc_xfer = 0;
  106128. + dwc_otg_transaction_type_e tr_type;
  106129. + dwc_otg_qh_t *qh = hc->qh;
  106130. +
  106131. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  106132. +
  106133. + complete_isoc_xfer_ddma(hcd, hc, hc_regs, halt_status);
  106134. +
  106135. + /* Release the channel if halted or session completed */
  106136. + if (halt_status != DWC_OTG_HC_XFER_COMPLETE ||
  106137. + DWC_CIRCLEQ_EMPTY(&qh->qtd_list)) {
  106138. +
  106139. + /* Halt the channel if session completed */
  106140. + if (halt_status == DWC_OTG_HC_XFER_COMPLETE) {
  106141. + dwc_otg_hc_halt(hcd->core_if, hc, halt_status);
  106142. + }
  106143. +
  106144. + release_channel_ddma(hcd, qh);
  106145. + dwc_otg_hcd_qh_remove(hcd, qh);
  106146. + } else {
  106147. + /* Keep in assigned schedule to continue transfer */
  106148. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_assigned,
  106149. + &qh->qh_list_entry);
  106150. + continue_isoc_xfer = 1;
  106151. +
  106152. + }
  106153. + /** @todo Consider the case when period exceeds FrameList size.
  106154. + * Frame Rollover interrupt should be used.
  106155. + */
  106156. + } else {
  106157. + /* Scan descriptor list to complete the URB(s), then release the channel */
  106158. + complete_non_isoc_xfer_ddma(hcd, hc, hc_regs, halt_status);
  106159. +
  106160. + release_channel_ddma(hcd, qh);
  106161. + dwc_otg_hcd_qh_remove(hcd, qh);
  106162. +
  106163. + if (!DWC_CIRCLEQ_EMPTY(&qh->qtd_list)) {
  106164. + /* Add back to inactive non-periodic schedule on normal completion */
  106165. + dwc_otg_hcd_qh_add(hcd, qh);
  106166. + }
  106167. +
  106168. + }
  106169. + tr_type = dwc_otg_hcd_select_transactions(hcd);
  106170. + if (tr_type != DWC_OTG_TRANSACTION_NONE || continue_isoc_xfer) {
  106171. + if (continue_isoc_xfer) {
  106172. + if (tr_type == DWC_OTG_TRANSACTION_NONE) {
  106173. + tr_type = DWC_OTG_TRANSACTION_PERIODIC;
  106174. + } else if (tr_type == DWC_OTG_TRANSACTION_NON_PERIODIC) {
  106175. + tr_type = DWC_OTG_TRANSACTION_ALL;
  106176. + }
  106177. + }
  106178. + dwc_otg_hcd_queue_transactions(hcd, tr_type);
  106179. + }
  106180. +}
  106181. +
  106182. +#endif /* DWC_DEVICE_ONLY */
  106183. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd.h
  106184. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd.h 1970-01-01 01:00:00.000000000 +0100
  106185. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd.h 2015-11-29 09:42:39.919098694 +0100
  106186. @@ -0,0 +1,862 @@
  106187. +/* ==========================================================================
  106188. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd.h $
  106189. + * $Revision: #58 $
  106190. + * $Date: 2011/09/15 $
  106191. + * $Change: 1846647 $
  106192. + *
  106193. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  106194. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  106195. + * otherwise expressly agreed to in writing between Synopsys and you.
  106196. + *
  106197. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  106198. + * any End User Software License Agreement or Agreement for Licensed Product
  106199. + * with Synopsys or any supplement thereto. You are permitted to use and
  106200. + * redistribute this Software in source and binary forms, with or without
  106201. + * modification, provided that redistributions of source code must retain this
  106202. + * notice. You may not view, use, disclose, copy or distribute this file or
  106203. + * any information contained herein except pursuant to this license grant from
  106204. + * Synopsys. If you do not agree with this notice, including the disclaimer
  106205. + * below, then you are not authorized to use the Software.
  106206. + *
  106207. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  106208. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  106209. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  106210. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  106211. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  106212. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  106213. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  106214. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  106215. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  106216. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  106217. + * DAMAGE.
  106218. + * ========================================================================== */
  106219. +#ifndef DWC_DEVICE_ONLY
  106220. +#ifndef __DWC_HCD_H__
  106221. +#define __DWC_HCD_H__
  106222. +
  106223. +#include "dwc_otg_os_dep.h"
  106224. +#include "usb.h"
  106225. +#include "dwc_otg_hcd_if.h"
  106226. +#include "dwc_otg_core_if.h"
  106227. +#include "dwc_list.h"
  106228. +#include "dwc_otg_cil.h"
  106229. +#include "dwc_otg_fiq_fsm.h"
  106230. +
  106231. +
  106232. +/**
  106233. + * @file
  106234. + *
  106235. + * This file contains the structures, constants, and interfaces for
  106236. + * the Host Contoller Driver (HCD).
  106237. + *
  106238. + * The Host Controller Driver (HCD) is responsible for translating requests
  106239. + * from the USB Driver into the appropriate actions on the DWC_otg controller.
  106240. + * It isolates the USBD from the specifics of the controller by providing an
  106241. + * API to the USBD.
  106242. + */
  106243. +
  106244. +struct dwc_otg_hcd_pipe_info {
  106245. + uint8_t dev_addr;
  106246. + uint8_t ep_num;
  106247. + uint8_t pipe_type;
  106248. + uint8_t pipe_dir;
  106249. + uint16_t mps;
  106250. +};
  106251. +
  106252. +struct dwc_otg_hcd_iso_packet_desc {
  106253. + uint32_t offset;
  106254. + uint32_t length;
  106255. + uint32_t actual_length;
  106256. + uint32_t status;
  106257. +};
  106258. +
  106259. +struct dwc_otg_qtd;
  106260. +
  106261. +struct dwc_otg_hcd_urb {
  106262. + void *priv;
  106263. + struct dwc_otg_qtd *qtd;
  106264. + void *buf;
  106265. + dwc_dma_t dma;
  106266. + void *setup_packet;
  106267. + dwc_dma_t setup_dma;
  106268. + uint32_t length;
  106269. + uint32_t actual_length;
  106270. + uint32_t status;
  106271. + uint32_t error_count;
  106272. + uint32_t packet_count;
  106273. + uint32_t flags;
  106274. + uint16_t interval;
  106275. + struct dwc_otg_hcd_pipe_info pipe_info;
  106276. + struct dwc_otg_hcd_iso_packet_desc iso_descs[0];
  106277. +};
  106278. +
  106279. +static inline uint8_t dwc_otg_hcd_get_ep_num(struct dwc_otg_hcd_pipe_info *pipe)
  106280. +{
  106281. + return pipe->ep_num;
  106282. +}
  106283. +
  106284. +static inline uint8_t dwc_otg_hcd_get_pipe_type(struct dwc_otg_hcd_pipe_info
  106285. + *pipe)
  106286. +{
  106287. + return pipe->pipe_type;
  106288. +}
  106289. +
  106290. +static inline uint16_t dwc_otg_hcd_get_mps(struct dwc_otg_hcd_pipe_info *pipe)
  106291. +{
  106292. + return pipe->mps;
  106293. +}
  106294. +
  106295. +static inline uint8_t dwc_otg_hcd_get_dev_addr(struct dwc_otg_hcd_pipe_info
  106296. + *pipe)
  106297. +{
  106298. + return pipe->dev_addr;
  106299. +}
  106300. +
  106301. +static inline uint8_t dwc_otg_hcd_is_pipe_isoc(struct dwc_otg_hcd_pipe_info
  106302. + *pipe)
  106303. +{
  106304. + return (pipe->pipe_type == UE_ISOCHRONOUS);
  106305. +}
  106306. +
  106307. +static inline uint8_t dwc_otg_hcd_is_pipe_int(struct dwc_otg_hcd_pipe_info
  106308. + *pipe)
  106309. +{
  106310. + return (pipe->pipe_type == UE_INTERRUPT);
  106311. +}
  106312. +
  106313. +static inline uint8_t dwc_otg_hcd_is_pipe_bulk(struct dwc_otg_hcd_pipe_info
  106314. + *pipe)
  106315. +{
  106316. + return (pipe->pipe_type == UE_BULK);
  106317. +}
  106318. +
  106319. +static inline uint8_t dwc_otg_hcd_is_pipe_control(struct dwc_otg_hcd_pipe_info
  106320. + *pipe)
  106321. +{
  106322. + return (pipe->pipe_type == UE_CONTROL);
  106323. +}
  106324. +
  106325. +static inline uint8_t dwc_otg_hcd_is_pipe_in(struct dwc_otg_hcd_pipe_info *pipe)
  106326. +{
  106327. + return (pipe->pipe_dir == UE_DIR_IN);
  106328. +}
  106329. +
  106330. +static inline uint8_t dwc_otg_hcd_is_pipe_out(struct dwc_otg_hcd_pipe_info
  106331. + *pipe)
  106332. +{
  106333. + return (!dwc_otg_hcd_is_pipe_in(pipe));
  106334. +}
  106335. +
  106336. +static inline void dwc_otg_hcd_fill_pipe(struct dwc_otg_hcd_pipe_info *pipe,
  106337. + uint8_t devaddr, uint8_t ep_num,
  106338. + uint8_t pipe_type, uint8_t pipe_dir,
  106339. + uint16_t mps)
  106340. +{
  106341. + pipe->dev_addr = devaddr;
  106342. + pipe->ep_num = ep_num;
  106343. + pipe->pipe_type = pipe_type;
  106344. + pipe->pipe_dir = pipe_dir;
  106345. + pipe->mps = mps;
  106346. +}
  106347. +
  106348. +/**
  106349. + * Phases for control transfers.
  106350. + */
  106351. +typedef enum dwc_otg_control_phase {
  106352. + DWC_OTG_CONTROL_SETUP,
  106353. + DWC_OTG_CONTROL_DATA,
  106354. + DWC_OTG_CONTROL_STATUS
  106355. +} dwc_otg_control_phase_e;
  106356. +
  106357. +/** Transaction types. */
  106358. +typedef enum dwc_otg_transaction_type {
  106359. + DWC_OTG_TRANSACTION_NONE = 0,
  106360. + DWC_OTG_TRANSACTION_PERIODIC = 1,
  106361. + DWC_OTG_TRANSACTION_NON_PERIODIC = 2,
  106362. + DWC_OTG_TRANSACTION_ALL = DWC_OTG_TRANSACTION_PERIODIC + DWC_OTG_TRANSACTION_NON_PERIODIC
  106363. +} dwc_otg_transaction_type_e;
  106364. +
  106365. +struct dwc_otg_qh;
  106366. +
  106367. +/**
  106368. + * A Queue Transfer Descriptor (QTD) holds the state of a bulk, control,
  106369. + * interrupt, or isochronous transfer. A single QTD is created for each URB
  106370. + * (of one of these types) submitted to the HCD. The transfer associated with
  106371. + * a QTD may require one or multiple transactions.
  106372. + *
  106373. + * A QTD is linked to a Queue Head, which is entered in either the
  106374. + * non-periodic or periodic schedule for execution. When a QTD is chosen for
  106375. + * execution, some or all of its transactions may be executed. After
  106376. + * execution, the state of the QTD is updated. The QTD may be retired if all
  106377. + * its transactions are complete or if an error occurred. Otherwise, it
  106378. + * remains in the schedule so more transactions can be executed later.
  106379. + */
  106380. +typedef struct dwc_otg_qtd {
  106381. + /**
  106382. + * Determines the PID of the next data packet for the data phase of
  106383. + * control transfers. Ignored for other transfer types.<br>
  106384. + * One of the following values:
  106385. + * - DWC_OTG_HC_PID_DATA0
  106386. + * - DWC_OTG_HC_PID_DATA1
  106387. + */
  106388. + uint8_t data_toggle;
  106389. +
  106390. + /** Current phase for control transfers (Setup, Data, or Status). */
  106391. + dwc_otg_control_phase_e control_phase;
  106392. +
  106393. + /** Keep track of the current split type
  106394. + * for FS/LS endpoints on a HS Hub */
  106395. + uint8_t complete_split;
  106396. +
  106397. + /** How many bytes transferred during SSPLIT OUT */
  106398. + uint32_t ssplit_out_xfer_count;
  106399. +
  106400. + /**
  106401. + * Holds the number of bus errors that have occurred for a transaction
  106402. + * within this transfer.
  106403. + */
  106404. + uint8_t error_count;
  106405. +
  106406. + /**
  106407. + * Index of the next frame descriptor for an isochronous transfer. A
  106408. + * frame descriptor describes the buffer position and length of the
  106409. + * data to be transferred in the next scheduled (micro)frame of an
  106410. + * isochronous transfer. It also holds status for that transaction.
  106411. + * The frame index starts at 0.
  106412. + */
  106413. + uint16_t isoc_frame_index;
  106414. +
  106415. + /** Position of the ISOC split on full/low speed */
  106416. + uint8_t isoc_split_pos;
  106417. +
  106418. + /** Position of the ISOC split in the buffer for the current frame */
  106419. + uint16_t isoc_split_offset;
  106420. +
  106421. + /** URB for this transfer */
  106422. + struct dwc_otg_hcd_urb *urb;
  106423. +
  106424. + struct dwc_otg_qh *qh;
  106425. +
  106426. + /** This list of QTDs */
  106427. + DWC_CIRCLEQ_ENTRY(dwc_otg_qtd) qtd_list_entry;
  106428. +
  106429. + /** Indicates if this QTD is currently processed by HW. */
  106430. + uint8_t in_process;
  106431. +
  106432. + /** Number of DMA descriptors for this QTD */
  106433. + uint8_t n_desc;
  106434. +
  106435. + /**
  106436. + * Last activated frame(packet) index.
  106437. + * Used in Descriptor DMA mode only.
  106438. + */
  106439. + uint16_t isoc_frame_index_last;
  106440. +
  106441. +} dwc_otg_qtd_t;
  106442. +
  106443. +DWC_CIRCLEQ_HEAD(dwc_otg_qtd_list, dwc_otg_qtd);
  106444. +
  106445. +/**
  106446. + * A Queue Head (QH) holds the static characteristics of an endpoint and
  106447. + * maintains a list of transfers (QTDs) for that endpoint. A QH structure may
  106448. + * be entered in either the non-periodic or periodic schedule.
  106449. + */
  106450. +typedef struct dwc_otg_qh {
  106451. + /**
  106452. + * Endpoint type.
  106453. + * One of the following values:
  106454. + * - UE_CONTROL
  106455. + * - UE_BULK
  106456. + * - UE_INTERRUPT
  106457. + * - UE_ISOCHRONOUS
  106458. + */
  106459. + uint8_t ep_type;
  106460. + uint8_t ep_is_in;
  106461. +
  106462. + /** wMaxPacketSize Field of Endpoint Descriptor. */
  106463. + uint16_t maxp;
  106464. +
  106465. + /**
  106466. + * Device speed.
  106467. + * One of the following values:
  106468. + * - DWC_OTG_EP_SPEED_LOW
  106469. + * - DWC_OTG_EP_SPEED_FULL
  106470. + * - DWC_OTG_EP_SPEED_HIGH
  106471. + */
  106472. + uint8_t dev_speed;
  106473. +
  106474. + /**
  106475. + * Determines the PID of the next data packet for non-control
  106476. + * transfers. Ignored for control transfers.<br>
  106477. + * One of the following values:
  106478. + * - DWC_OTG_HC_PID_DATA0
  106479. + * - DWC_OTG_HC_PID_DATA1
  106480. + */
  106481. + uint8_t data_toggle;
  106482. +
  106483. + /** Ping state if 1. */
  106484. + uint8_t ping_state;
  106485. +
  106486. + /**
  106487. + * List of QTDs for this QH.
  106488. + */
  106489. + struct dwc_otg_qtd_list qtd_list;
  106490. +
  106491. + /** Host channel currently processing transfers for this QH. */
  106492. + struct dwc_hc *channel;
  106493. +
  106494. + /** Full/low speed endpoint on high-speed hub requires split. */
  106495. + uint8_t do_split;
  106496. +
  106497. + /** @name Periodic schedule information */
  106498. + /** @{ */
  106499. +
  106500. + /** Bandwidth in microseconds per (micro)frame. */
  106501. + uint16_t usecs;
  106502. +
  106503. + /** Interval between transfers in (micro)frames. */
  106504. + uint16_t interval;
  106505. +
  106506. + /**
  106507. + * (micro)frame to initialize a periodic transfer. The transfer
  106508. + * executes in the following (micro)frame.
  106509. + */
  106510. + uint16_t sched_frame;
  106511. +
  106512. + /*
  106513. + ** Frame a NAK was received on this queue head, used to minimise NAK retransmission
  106514. + */
  106515. + uint16_t nak_frame;
  106516. +
  106517. + /** (micro)frame at which last start split was initialized. */
  106518. + uint16_t start_split_frame;
  106519. +
  106520. + /** @} */
  106521. +
  106522. + /**
  106523. + * Used instead of original buffer if
  106524. + * it(physical address) is not dword-aligned.
  106525. + */
  106526. + uint8_t *dw_align_buf;
  106527. + dwc_dma_t dw_align_buf_dma;
  106528. +
  106529. + /** Entry for QH in either the periodic or non-periodic schedule. */
  106530. + dwc_list_link_t qh_list_entry;
  106531. +
  106532. + /** @name Descriptor DMA support */
  106533. + /** @{ */
  106534. +
  106535. + /** Descriptor List. */
  106536. + dwc_otg_host_dma_desc_t *desc_list;
  106537. +
  106538. + /** Descriptor List physical address. */
  106539. + dwc_dma_t desc_list_dma;
  106540. +
  106541. + /**
  106542. + * Xfer Bytes array.
  106543. + * Each element corresponds to a descriptor and indicates
  106544. + * original XferSize size value for the descriptor.
  106545. + */
  106546. + uint32_t *n_bytes;
  106547. +
  106548. + /** Actual number of transfer descriptors in a list. */
  106549. + uint16_t ntd;
  106550. +
  106551. + /** First activated isochronous transfer descriptor index. */
  106552. + uint8_t td_first;
  106553. + /** Last activated isochronous transfer descriptor index. */
  106554. + uint8_t td_last;
  106555. +
  106556. + /** @} */
  106557. +
  106558. +
  106559. + uint16_t speed;
  106560. + uint16_t frame_usecs[8];
  106561. +
  106562. + uint32_t skip_count;
  106563. +} dwc_otg_qh_t;
  106564. +
  106565. +DWC_CIRCLEQ_HEAD(hc_list, dwc_hc);
  106566. +
  106567. +typedef struct urb_tq_entry {
  106568. + struct urb *urb;
  106569. + DWC_TAILQ_ENTRY(urb_tq_entry) urb_tq_entries;
  106570. +} urb_tq_entry_t;
  106571. +
  106572. +DWC_TAILQ_HEAD(urb_list, urb_tq_entry);
  106573. +
  106574. +/**
  106575. + * This structure holds the state of the HCD, including the non-periodic and
  106576. + * periodic schedules.
  106577. + */
  106578. +struct dwc_otg_hcd {
  106579. + /** The DWC otg device pointer */
  106580. + struct dwc_otg_device *otg_dev;
  106581. + /** DWC OTG Core Interface Layer */
  106582. + dwc_otg_core_if_t *core_if;
  106583. +
  106584. + /** Function HCD driver callbacks */
  106585. + struct dwc_otg_hcd_function_ops *fops;
  106586. +
  106587. + /** Internal DWC HCD Flags */
  106588. + volatile union dwc_otg_hcd_internal_flags {
  106589. + uint32_t d32;
  106590. + struct {
  106591. + unsigned port_connect_status_change:1;
  106592. + unsigned port_connect_status:1;
  106593. + unsigned port_reset_change:1;
  106594. + unsigned port_enable_change:1;
  106595. + unsigned port_suspend_change:1;
  106596. + unsigned port_over_current_change:1;
  106597. + unsigned port_l1_change:1;
  106598. + unsigned reserved:26;
  106599. + } b;
  106600. + } flags;
  106601. +
  106602. + /**
  106603. + * Inactive items in the non-periodic schedule. This is a list of
  106604. + * Queue Heads. Transfers associated with these Queue Heads are not
  106605. + * currently assigned to a host channel.
  106606. + */
  106607. + dwc_list_link_t non_periodic_sched_inactive;
  106608. +
  106609. + /**
  106610. + * Active items in the non-periodic schedule. This is a list of
  106611. + * Queue Heads. Transfers associated with these Queue Heads are
  106612. + * currently assigned to a host channel.
  106613. + */
  106614. + dwc_list_link_t non_periodic_sched_active;
  106615. +
  106616. + /**
  106617. + * Pointer to the next Queue Head to process in the active
  106618. + * non-periodic schedule.
  106619. + */
  106620. + dwc_list_link_t *non_periodic_qh_ptr;
  106621. +
  106622. + /**
  106623. + * Inactive items in the periodic schedule. This is a list of QHs for
  106624. + * periodic transfers that are _not_ scheduled for the next frame.
  106625. + * Each QH in the list has an interval counter that determines when it
  106626. + * needs to be scheduled for execution. This scheduling mechanism
  106627. + * allows only a simple calculation for periodic bandwidth used (i.e.
  106628. + * must assume that all periodic transfers may need to execute in the
  106629. + * same frame). However, it greatly simplifies scheduling and should
  106630. + * be sufficient for the vast majority of OTG hosts, which need to
  106631. + * connect to a small number of peripherals at one time.
  106632. + *
  106633. + * Items move from this list to periodic_sched_ready when the QH
  106634. + * interval counter is 0 at SOF.
  106635. + */
  106636. + dwc_list_link_t periodic_sched_inactive;
  106637. +
  106638. + /**
  106639. + * List of periodic QHs that are ready for execution in the next
  106640. + * frame, but have not yet been assigned to host channels.
  106641. + *
  106642. + * Items move from this list to periodic_sched_assigned as host
  106643. + * channels become available during the current frame.
  106644. + */
  106645. + dwc_list_link_t periodic_sched_ready;
  106646. +
  106647. + /**
  106648. + * List of periodic QHs to be executed in the next frame that are
  106649. + * assigned to host channels.
  106650. + *
  106651. + * Items move from this list to periodic_sched_queued as the
  106652. + * transactions for the QH are queued to the DWC_otg controller.
  106653. + */
  106654. + dwc_list_link_t periodic_sched_assigned;
  106655. +
  106656. + /**
  106657. + * List of periodic QHs that have been queued for execution.
  106658. + *
  106659. + * Items move from this list to either periodic_sched_inactive or
  106660. + * periodic_sched_ready when the channel associated with the transfer
  106661. + * is released. If the interval for the QH is 1, the item moves to
  106662. + * periodic_sched_ready because it must be rescheduled for the next
  106663. + * frame. Otherwise, the item moves to periodic_sched_inactive.
  106664. + */
  106665. + dwc_list_link_t periodic_sched_queued;
  106666. +
  106667. + /**
  106668. + * Total bandwidth claimed so far for periodic transfers. This value
  106669. + * is in microseconds per (micro)frame. The assumption is that all
  106670. + * periodic transfers may occur in the same (micro)frame.
  106671. + */
  106672. + uint16_t periodic_usecs;
  106673. +
  106674. + /**
  106675. + * Total bandwidth claimed so far for all periodic transfers
  106676. + * in a frame.
  106677. + * This will include a mixture of HS and FS transfers.
  106678. + * Units are microseconds per (micro)frame.
  106679. + * We have a budget per frame and have to schedule
  106680. + * transactions accordingly.
  106681. + * Watch out for the fact that things are actually scheduled for the
  106682. + * "next frame".
  106683. + */
  106684. + uint16_t frame_usecs[8];
  106685. +
  106686. +
  106687. + /**
  106688. + * Frame number read from the core at SOF. The value ranges from 0 to
  106689. + * DWC_HFNUM_MAX_FRNUM.
  106690. + */
  106691. + uint16_t frame_number;
  106692. +
  106693. + /**
  106694. + * Count of periodic QHs, if using several eps. For SOF enable/disable.
  106695. + */
  106696. + uint16_t periodic_qh_count;
  106697. +
  106698. + /**
  106699. + * Free host channels in the controller. This is a list of
  106700. + * dwc_hc_t items.
  106701. + */
  106702. + struct hc_list free_hc_list;
  106703. + /**
  106704. + * Number of host channels assigned to periodic transfers. Currently
  106705. + * assuming that there is a dedicated host channel for each periodic
  106706. + * transaction and at least one host channel available for
  106707. + * non-periodic transactions.
  106708. + */
  106709. + int periodic_channels; /* microframe_schedule==0 */
  106710. +
  106711. + /**
  106712. + * Number of host channels assigned to non-periodic transfers.
  106713. + */
  106714. + int non_periodic_channels; /* microframe_schedule==0 */
  106715. +
  106716. + /**
  106717. + * Number of host channels assigned to non-periodic transfers.
  106718. + */
  106719. + int available_host_channels;
  106720. +
  106721. + /**
  106722. + * Array of pointers to the host channel descriptors. Allows accessing
  106723. + * a host channel descriptor given the host channel number. This is
  106724. + * useful in interrupt handlers.
  106725. + */
  106726. + struct dwc_hc *hc_ptr_array[MAX_EPS_CHANNELS];
  106727. +
  106728. + /**
  106729. + * Buffer to use for any data received during the status phase of a
  106730. + * control transfer. Normally no data is transferred during the status
  106731. + * phase. This buffer is used as a bit bucket.
  106732. + */
  106733. + uint8_t *status_buf;
  106734. +
  106735. + /**
  106736. + * DMA address for status_buf.
  106737. + */
  106738. + dma_addr_t status_buf_dma;
  106739. +#define DWC_OTG_HCD_STATUS_BUF_SIZE 64
  106740. +
  106741. + /**
  106742. + * Connection timer. An OTG host must display a message if the device
  106743. + * does not connect. Started when the VBus power is turned on via
  106744. + * sysfs attribute "buspower".
  106745. + */
  106746. + dwc_timer_t *conn_timer;
  106747. +
  106748. + /* Tasket to do a reset */
  106749. + dwc_tasklet_t *reset_tasklet;
  106750. +
  106751. + dwc_tasklet_t *completion_tasklet;
  106752. + struct urb_list completed_urb_list;
  106753. +
  106754. + /* */
  106755. + dwc_spinlock_t *lock;
  106756. + dwc_spinlock_t *channel_lock;
  106757. + /**
  106758. + * Private data that could be used by OS wrapper.
  106759. + */
  106760. + void *priv;
  106761. +
  106762. + uint8_t otg_port;
  106763. +
  106764. + /** Frame List */
  106765. + uint32_t *frame_list;
  106766. +
  106767. + /** Hub - Port assignment */
  106768. + int hub_port[128];
  106769. +#ifdef FIQ_DEBUG
  106770. + int hub_port_alloc[2048];
  106771. +#endif
  106772. +
  106773. + /** Frame List DMA address */
  106774. + dma_addr_t frame_list_dma;
  106775. +
  106776. + struct fiq_stack *fiq_stack;
  106777. + struct fiq_state *fiq_state;
  106778. +
  106779. + /** Virtual address for split transaction DMA bounce buffers */
  106780. + struct fiq_dma_blob *fiq_dmab;
  106781. +
  106782. +#ifdef DEBUG
  106783. + uint32_t frrem_samples;
  106784. + uint64_t frrem_accum;
  106785. +
  106786. + uint32_t hfnum_7_samples_a;
  106787. + uint64_t hfnum_7_frrem_accum_a;
  106788. + uint32_t hfnum_0_samples_a;
  106789. + uint64_t hfnum_0_frrem_accum_a;
  106790. + uint32_t hfnum_other_samples_a;
  106791. + uint64_t hfnum_other_frrem_accum_a;
  106792. +
  106793. + uint32_t hfnum_7_samples_b;
  106794. + uint64_t hfnum_7_frrem_accum_b;
  106795. + uint32_t hfnum_0_samples_b;
  106796. + uint64_t hfnum_0_frrem_accum_b;
  106797. + uint32_t hfnum_other_samples_b;
  106798. + uint64_t hfnum_other_frrem_accum_b;
  106799. +#endif
  106800. +};
  106801. +
  106802. +/** @name Transaction Execution Functions */
  106803. +/** @{ */
  106804. +extern dwc_otg_transaction_type_e dwc_otg_hcd_select_transactions(dwc_otg_hcd_t
  106805. + * hcd);
  106806. +extern void dwc_otg_hcd_queue_transactions(dwc_otg_hcd_t * hcd,
  106807. + dwc_otg_transaction_type_e tr_type);
  106808. +
  106809. +int dwc_otg_hcd_allocate_port(dwc_otg_hcd_t * hcd, dwc_otg_qh_t *qh);
  106810. +void dwc_otg_hcd_release_port(dwc_otg_hcd_t * dwc_otg_hcd, dwc_otg_qh_t *qh);
  106811. +
  106812. +extern int fiq_fsm_queue_transaction(dwc_otg_hcd_t *hcd, dwc_otg_qh_t *qh);
  106813. +extern int fiq_fsm_transaction_suitable(dwc_otg_qh_t *qh);
  106814. +extern void dwc_otg_cleanup_fiq_channel(dwc_otg_hcd_t *hcd, uint32_t num);
  106815. +
  106816. +/** @} */
  106817. +
  106818. +/** @name Interrupt Handler Functions */
  106819. +/** @{ */
  106820. +extern int32_t dwc_otg_hcd_handle_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106821. +extern int32_t dwc_otg_hcd_handle_sof_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106822. +extern int32_t dwc_otg_hcd_handle_rx_status_q_level_intr(dwc_otg_hcd_t *
  106823. + dwc_otg_hcd);
  106824. +extern int32_t dwc_otg_hcd_handle_np_tx_fifo_empty_intr(dwc_otg_hcd_t *
  106825. + dwc_otg_hcd);
  106826. +extern int32_t dwc_otg_hcd_handle_perio_tx_fifo_empty_intr(dwc_otg_hcd_t *
  106827. + dwc_otg_hcd);
  106828. +extern int32_t dwc_otg_hcd_handle_incomplete_periodic_intr(dwc_otg_hcd_t *
  106829. + dwc_otg_hcd);
  106830. +extern int32_t dwc_otg_hcd_handle_port_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106831. +extern int32_t dwc_otg_hcd_handle_conn_id_status_change_intr(dwc_otg_hcd_t *
  106832. + dwc_otg_hcd);
  106833. +extern int32_t dwc_otg_hcd_handle_disconnect_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106834. +extern int32_t dwc_otg_hcd_handle_hc_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106835. +extern int32_t dwc_otg_hcd_handle_hc_n_intr(dwc_otg_hcd_t * dwc_otg_hcd,
  106836. + uint32_t num);
  106837. +extern int32_t dwc_otg_hcd_handle_session_req_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  106838. +extern int32_t dwc_otg_hcd_handle_wakeup_detected_intr(dwc_otg_hcd_t *
  106839. + dwc_otg_hcd);
  106840. +/** @} */
  106841. +
  106842. +/** @name Schedule Queue Functions */
  106843. +/** @{ */
  106844. +
  106845. +/* Implemented in dwc_otg_hcd_queue.c */
  106846. +extern dwc_otg_qh_t *dwc_otg_hcd_qh_create(dwc_otg_hcd_t * hcd,
  106847. + dwc_otg_hcd_urb_t * urb, int atomic_alloc);
  106848. +extern void dwc_otg_hcd_qh_free(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106849. +extern int dwc_otg_hcd_qh_add(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106850. +extern void dwc_otg_hcd_qh_remove(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106851. +extern void dwc_otg_hcd_qh_deactivate(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh,
  106852. + int sched_csplit);
  106853. +
  106854. +/** Remove and free a QH */
  106855. +static inline void dwc_otg_hcd_qh_remove_and_free(dwc_otg_hcd_t * hcd,
  106856. + dwc_otg_qh_t * qh)
  106857. +{
  106858. + dwc_irqflags_t flags;
  106859. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  106860. + dwc_otg_hcd_qh_remove(hcd, qh);
  106861. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  106862. + dwc_otg_hcd_qh_free(hcd, qh);
  106863. +}
  106864. +
  106865. +/** Allocates memory for a QH structure.
  106866. + * @return Returns the memory allocate or NULL on error. */
  106867. +static inline dwc_otg_qh_t *dwc_otg_hcd_qh_alloc(int atomic_alloc)
  106868. +{
  106869. + if (atomic_alloc)
  106870. + return (dwc_otg_qh_t *) DWC_ALLOC_ATOMIC(sizeof(dwc_otg_qh_t));
  106871. + else
  106872. + return (dwc_otg_qh_t *) DWC_ALLOC(sizeof(dwc_otg_qh_t));
  106873. +}
  106874. +
  106875. +extern dwc_otg_qtd_t *dwc_otg_hcd_qtd_create(dwc_otg_hcd_urb_t * urb,
  106876. + int atomic_alloc);
  106877. +extern void dwc_otg_hcd_qtd_init(dwc_otg_qtd_t * qtd, dwc_otg_hcd_urb_t * urb);
  106878. +extern int dwc_otg_hcd_qtd_add(dwc_otg_qtd_t * qtd, dwc_otg_hcd_t * dwc_otg_hcd,
  106879. + dwc_otg_qh_t ** qh, int atomic_alloc);
  106880. +
  106881. +/** Allocates memory for a QTD structure.
  106882. + * @return Returns the memory allocate or NULL on error. */
  106883. +static inline dwc_otg_qtd_t *dwc_otg_hcd_qtd_alloc(int atomic_alloc)
  106884. +{
  106885. + if (atomic_alloc)
  106886. + return (dwc_otg_qtd_t *) DWC_ALLOC_ATOMIC(sizeof(dwc_otg_qtd_t));
  106887. + else
  106888. + return (dwc_otg_qtd_t *) DWC_ALLOC(sizeof(dwc_otg_qtd_t));
  106889. +}
  106890. +
  106891. +/** Frees the memory for a QTD structure. QTD should already be removed from
  106892. + * list.
  106893. + * @param qtd QTD to free.*/
  106894. +static inline void dwc_otg_hcd_qtd_free(dwc_otg_qtd_t * qtd)
  106895. +{
  106896. + DWC_FREE(qtd);
  106897. +}
  106898. +
  106899. +/** Removes a QTD from list.
  106900. + * @param hcd HCD instance.
  106901. + * @param qtd QTD to remove from list.
  106902. + * @param qh QTD belongs to.
  106903. + */
  106904. +static inline void dwc_otg_hcd_qtd_remove(dwc_otg_hcd_t * hcd,
  106905. + dwc_otg_qtd_t * qtd,
  106906. + dwc_otg_qh_t * qh)
  106907. +{
  106908. + DWC_CIRCLEQ_REMOVE(&qh->qtd_list, qtd, qtd_list_entry);
  106909. +}
  106910. +
  106911. +/** Remove and free a QTD
  106912. + * Need to disable IRQ and hold hcd lock while calling this function out of
  106913. + * interrupt servicing chain */
  106914. +static inline void dwc_otg_hcd_qtd_remove_and_free(dwc_otg_hcd_t * hcd,
  106915. + dwc_otg_qtd_t * qtd,
  106916. + dwc_otg_qh_t * qh)
  106917. +{
  106918. + dwc_otg_hcd_qtd_remove(hcd, qtd, qh);
  106919. + dwc_otg_hcd_qtd_free(qtd);
  106920. +}
  106921. +
  106922. +/** @} */
  106923. +
  106924. +/** @name Descriptor DMA Supporting Functions */
  106925. +/** @{ */
  106926. +
  106927. +extern void dwc_otg_hcd_start_xfer_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106928. +extern void dwc_otg_hcd_complete_xfer_ddma(dwc_otg_hcd_t * hcd,
  106929. + dwc_hc_t * hc,
  106930. + dwc_otg_hc_regs_t * hc_regs,
  106931. + dwc_otg_halt_status_e halt_status);
  106932. +
  106933. +extern int dwc_otg_hcd_qh_init_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106934. +extern void dwc_otg_hcd_qh_free_ddma(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh);
  106935. +
  106936. +/** @} */
  106937. +
  106938. +/** @name Internal Functions */
  106939. +/** @{ */
  106940. +dwc_otg_qh_t *dwc_urb_to_qh(dwc_otg_hcd_urb_t * urb);
  106941. +/** @} */
  106942. +
  106943. +#ifdef CONFIG_USB_DWC_OTG_LPM
  106944. +extern int dwc_otg_hcd_get_hc_for_lpm_tran(dwc_otg_hcd_t * hcd,
  106945. + uint8_t devaddr);
  106946. +extern void dwc_otg_hcd_free_hc_from_lpm(dwc_otg_hcd_t * hcd);
  106947. +#endif
  106948. +
  106949. +/** Gets the QH that contains the list_head */
  106950. +#define dwc_list_to_qh(_list_head_ptr_) container_of(_list_head_ptr_, dwc_otg_qh_t, qh_list_entry)
  106951. +
  106952. +/** Gets the QTD that contains the list_head */
  106953. +#define dwc_list_to_qtd(_list_head_ptr_) container_of(_list_head_ptr_, dwc_otg_qtd_t, qtd_list_entry)
  106954. +
  106955. +/** Check if QH is non-periodic */
  106956. +#define dwc_qh_is_non_per(_qh_ptr_) ((_qh_ptr_->ep_type == UE_BULK) || \
  106957. + (_qh_ptr_->ep_type == UE_CONTROL))
  106958. +
  106959. +/** High bandwidth multiplier as encoded in highspeed endpoint descriptors */
  106960. +#define dwc_hb_mult(wMaxPacketSize) (1 + (((wMaxPacketSize) >> 11) & 0x03))
  106961. +
  106962. +/** Packet size for any kind of endpoint descriptor */
  106963. +#define dwc_max_packet(wMaxPacketSize) ((wMaxPacketSize) & 0x07ff)
  106964. +
  106965. +/**
  106966. + * Returns true if _frame1 is less than or equal to _frame2. The comparison is
  106967. + * done modulo DWC_HFNUM_MAX_FRNUM. This accounts for the rollover of the
  106968. + * frame number when the max frame number is reached.
  106969. + */
  106970. +static inline int dwc_frame_num_le(uint16_t frame1, uint16_t frame2)
  106971. +{
  106972. + return ((frame2 - frame1) & DWC_HFNUM_MAX_FRNUM) <=
  106973. + (DWC_HFNUM_MAX_FRNUM >> 1);
  106974. +}
  106975. +
  106976. +/**
  106977. + * Returns true if _frame1 is greater than _frame2. The comparison is done
  106978. + * modulo DWC_HFNUM_MAX_FRNUM. This accounts for the rollover of the frame
  106979. + * number when the max frame number is reached.
  106980. + */
  106981. +static inline int dwc_frame_num_gt(uint16_t frame1, uint16_t frame2)
  106982. +{
  106983. + return (frame1 != frame2) &&
  106984. + (((frame1 - frame2) & DWC_HFNUM_MAX_FRNUM) <
  106985. + (DWC_HFNUM_MAX_FRNUM >> 1));
  106986. +}
  106987. +
  106988. +/**
  106989. + * Increments _frame by the amount specified by _inc. The addition is done
  106990. + * modulo DWC_HFNUM_MAX_FRNUM. Returns the incremented value.
  106991. + */
  106992. +static inline uint16_t dwc_frame_num_inc(uint16_t frame, uint16_t inc)
  106993. +{
  106994. + return (frame + inc) & DWC_HFNUM_MAX_FRNUM;
  106995. +}
  106996. +
  106997. +static inline uint16_t dwc_full_frame_num(uint16_t frame)
  106998. +{
  106999. + return (frame & DWC_HFNUM_MAX_FRNUM) >> 3;
  107000. +}
  107001. +
  107002. +static inline uint16_t dwc_micro_frame_num(uint16_t frame)
  107003. +{
  107004. + return frame & 0x7;
  107005. +}
  107006. +
  107007. +void dwc_otg_hcd_save_data_toggle(dwc_hc_t * hc,
  107008. + dwc_otg_hc_regs_t * hc_regs,
  107009. + dwc_otg_qtd_t * qtd);
  107010. +
  107011. +#ifdef DEBUG
  107012. +/**
  107013. + * Macro to sample the remaining PHY clocks left in the current frame. This
  107014. + * may be used during debugging to determine the average time it takes to
  107015. + * execute sections of code. There are two possible sample points, "a" and
  107016. + * "b", so the _letter argument must be one of these values.
  107017. + *
  107018. + * To dump the average sample times, read the "hcd_frrem" sysfs attribute. For
  107019. + * example, "cat /sys/devices/lm0/hcd_frrem".
  107020. + */
  107021. +#define dwc_sample_frrem(_hcd, _qh, _letter) \
  107022. +{ \
  107023. + hfnum_data_t hfnum; \
  107024. + dwc_otg_qtd_t *qtd; \
  107025. + qtd = list_entry(_qh->qtd_list.next, dwc_otg_qtd_t, qtd_list_entry); \
  107026. + if (usb_pipeint(qtd->urb->pipe) && _qh->start_split_frame != 0 && !qtd->complete_split) { \
  107027. + hfnum.d32 = DWC_READ_REG32(&_hcd->core_if->host_if->host_global_regs->hfnum); \
  107028. + switch (hfnum.b.frnum & 0x7) { \
  107029. + case 7: \
  107030. + _hcd->hfnum_7_samples_##_letter++; \
  107031. + _hcd->hfnum_7_frrem_accum_##_letter += hfnum.b.frrem; \
  107032. + break; \
  107033. + case 0: \
  107034. + _hcd->hfnum_0_samples_##_letter++; \
  107035. + _hcd->hfnum_0_frrem_accum_##_letter += hfnum.b.frrem; \
  107036. + break; \
  107037. + default: \
  107038. + _hcd->hfnum_other_samples_##_letter++; \
  107039. + _hcd->hfnum_other_frrem_accum_##_letter += hfnum.b.frrem; \
  107040. + break; \
  107041. + } \
  107042. + } \
  107043. +}
  107044. +#else
  107045. +#define dwc_sample_frrem(_hcd, _qh, _letter)
  107046. +#endif
  107047. +#endif
  107048. +#endif /* DWC_DEVICE_ONLY */
  107049. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_if.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_if.h
  107050. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_if.h 1970-01-01 01:00:00.000000000 +0100
  107051. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_if.h 2015-11-29 09:42:39.919098694 +0100
  107052. @@ -0,0 +1,417 @@
  107053. +/* ==========================================================================
  107054. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd_if.h $
  107055. + * $Revision: #12 $
  107056. + * $Date: 2011/10/26 $
  107057. + * $Change: 1873028 $
  107058. + *
  107059. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  107060. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  107061. + * otherwise expressly agreed to in writing between Synopsys and you.
  107062. + *
  107063. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  107064. + * any End User Software License Agreement or Agreement for Licensed Product
  107065. + * with Synopsys or any supplement thereto. You are permitted to use and
  107066. + * redistribute this Software in source and binary forms, with or without
  107067. + * modification, provided that redistributions of source code must retain this
  107068. + * notice. You may not view, use, disclose, copy or distribute this file or
  107069. + * any information contained herein except pursuant to this license grant from
  107070. + * Synopsys. If you do not agree with this notice, including the disclaimer
  107071. + * below, then you are not authorized to use the Software.
  107072. + *
  107073. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  107074. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  107075. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  107076. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  107077. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  107078. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  107079. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  107080. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  107081. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  107082. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  107083. + * DAMAGE.
  107084. + * ========================================================================== */
  107085. +#ifndef DWC_DEVICE_ONLY
  107086. +#ifndef __DWC_HCD_IF_H__
  107087. +#define __DWC_HCD_IF_H__
  107088. +
  107089. +#include "dwc_otg_core_if.h"
  107090. +
  107091. +/** @file
  107092. + * This file defines DWC_OTG HCD Core API.
  107093. + */
  107094. +
  107095. +struct dwc_otg_hcd;
  107096. +typedef struct dwc_otg_hcd dwc_otg_hcd_t;
  107097. +
  107098. +struct dwc_otg_hcd_urb;
  107099. +typedef struct dwc_otg_hcd_urb dwc_otg_hcd_urb_t;
  107100. +
  107101. +/** @name HCD Function Driver Callbacks */
  107102. +/** @{ */
  107103. +
  107104. +/** This function is called whenever core switches to host mode. */
  107105. +typedef int (*dwc_otg_hcd_start_cb_t) (dwc_otg_hcd_t * hcd);
  107106. +
  107107. +/** This function is called when device has been disconnected */
  107108. +typedef int (*dwc_otg_hcd_disconnect_cb_t) (dwc_otg_hcd_t * hcd);
  107109. +
  107110. +/** Wrapper provides this function to HCD to core, so it can get hub information to which device is connected */
  107111. +typedef int (*dwc_otg_hcd_hub_info_from_urb_cb_t) (dwc_otg_hcd_t * hcd,
  107112. + void *urb_handle,
  107113. + uint32_t * hub_addr,
  107114. + uint32_t * port_addr);
  107115. +/** Via this function HCD core gets device speed */
  107116. +typedef int (*dwc_otg_hcd_speed_from_urb_cb_t) (dwc_otg_hcd_t * hcd,
  107117. + void *urb_handle);
  107118. +
  107119. +/** This function is called when urb is completed */
  107120. +typedef int (*dwc_otg_hcd_complete_urb_cb_t) (dwc_otg_hcd_t * hcd,
  107121. + void *urb_handle,
  107122. + dwc_otg_hcd_urb_t * dwc_otg_urb,
  107123. + int32_t status);
  107124. +
  107125. +/** Via this function HCD core gets b_hnp_enable parameter */
  107126. +typedef int (*dwc_otg_hcd_get_b_hnp_enable) (dwc_otg_hcd_t * hcd);
  107127. +
  107128. +struct dwc_otg_hcd_function_ops {
  107129. + dwc_otg_hcd_start_cb_t start;
  107130. + dwc_otg_hcd_disconnect_cb_t disconnect;
  107131. + dwc_otg_hcd_hub_info_from_urb_cb_t hub_info;
  107132. + dwc_otg_hcd_speed_from_urb_cb_t speed;
  107133. + dwc_otg_hcd_complete_urb_cb_t complete;
  107134. + dwc_otg_hcd_get_b_hnp_enable get_b_hnp_enable;
  107135. +};
  107136. +/** @} */
  107137. +
  107138. +/** @name HCD Core API */
  107139. +/** @{ */
  107140. +/** This function allocates dwc_otg_hcd structure and returns pointer on it. */
  107141. +extern dwc_otg_hcd_t *dwc_otg_hcd_alloc_hcd(void);
  107142. +
  107143. +/** This function should be called to initiate HCD Core.
  107144. + *
  107145. + * @param hcd The HCD
  107146. + * @param core_if The DWC_OTG Core
  107147. + *
  107148. + * Returns -DWC_E_NO_MEMORY if no enough memory.
  107149. + * Returns 0 on success
  107150. + */
  107151. +extern int dwc_otg_hcd_init(dwc_otg_hcd_t * hcd, dwc_otg_core_if_t * core_if);
  107152. +
  107153. +/** Frees HCD
  107154. + *
  107155. + * @param hcd The HCD
  107156. + */
  107157. +extern void dwc_otg_hcd_remove(dwc_otg_hcd_t * hcd);
  107158. +
  107159. +/** This function should be called on every hardware interrupt.
  107160. + *
  107161. + * @param dwc_otg_hcd The HCD
  107162. + *
  107163. + * Returns non zero if interrupt is handled
  107164. + * Return 0 if interrupt is not handled
  107165. + */
  107166. +extern int32_t dwc_otg_hcd_handle_intr(dwc_otg_hcd_t * dwc_otg_hcd);
  107167. +
  107168. +/** This function is used to handle the fast interrupt
  107169. + *
  107170. + */
  107171. +extern void __attribute__ ((naked)) dwc_otg_hcd_handle_fiq(void);
  107172. +
  107173. +/**
  107174. + * Returns private data set by
  107175. + * dwc_otg_hcd_set_priv_data function.
  107176. + *
  107177. + * @param hcd The HCD
  107178. + */
  107179. +extern void *dwc_otg_hcd_get_priv_data(dwc_otg_hcd_t * hcd);
  107180. +
  107181. +/**
  107182. + * Set private data.
  107183. + *
  107184. + * @param hcd The HCD
  107185. + * @param priv_data pointer to be stored in private data
  107186. + */
  107187. +extern void dwc_otg_hcd_set_priv_data(dwc_otg_hcd_t * hcd, void *priv_data);
  107188. +
  107189. +/**
  107190. + * This function initializes the HCD Core.
  107191. + *
  107192. + * @param hcd The HCD
  107193. + * @param fops The Function Driver Operations data structure containing pointers to all callbacks.
  107194. + *
  107195. + * Returns -DWC_E_NO_DEVICE if Core is currently is in device mode.
  107196. + * Returns 0 on success
  107197. + */
  107198. +extern int dwc_otg_hcd_start(dwc_otg_hcd_t * hcd,
  107199. + struct dwc_otg_hcd_function_ops *fops);
  107200. +
  107201. +/**
  107202. + * Halts the DWC_otg host mode operations in a clean manner. USB transfers are
  107203. + * stopped.
  107204. + *
  107205. + * @param hcd The HCD
  107206. + */
  107207. +extern void dwc_otg_hcd_stop(dwc_otg_hcd_t * hcd);
  107208. +
  107209. +/**
  107210. + * Handles hub class-specific requests.
  107211. + *
  107212. + * @param dwc_otg_hcd The HCD
  107213. + * @param typeReq Request Type
  107214. + * @param wValue wValue from control request
  107215. + * @param wIndex wIndex from control request
  107216. + * @param buf data buffer
  107217. + * @param wLength data buffer length
  107218. + *
  107219. + * Returns -DWC_E_INVALID if invalid argument is passed
  107220. + * Returns 0 on success
  107221. + */
  107222. +extern int dwc_otg_hcd_hub_control(dwc_otg_hcd_t * dwc_otg_hcd,
  107223. + uint16_t typeReq, uint16_t wValue,
  107224. + uint16_t wIndex, uint8_t * buf,
  107225. + uint16_t wLength);
  107226. +
  107227. +/**
  107228. + * Returns otg port number.
  107229. + *
  107230. + * @param hcd The HCD
  107231. + */
  107232. +extern uint32_t dwc_otg_hcd_otg_port(dwc_otg_hcd_t * hcd);
  107233. +
  107234. +/**
  107235. + * Returns OTG version - either 1.3 or 2.0.
  107236. + *
  107237. + * @param core_if The core_if structure pointer
  107238. + */
  107239. +extern uint16_t dwc_otg_get_otg_version(dwc_otg_core_if_t * core_if);
  107240. +
  107241. +/**
  107242. + * Returns 1 if currently core is acting as B host, and 0 otherwise.
  107243. + *
  107244. + * @param hcd The HCD
  107245. + */
  107246. +extern uint32_t dwc_otg_hcd_is_b_host(dwc_otg_hcd_t * hcd);
  107247. +
  107248. +/**
  107249. + * Returns current frame number.
  107250. + *
  107251. + * @param hcd The HCD
  107252. + */
  107253. +extern int dwc_otg_hcd_get_frame_number(dwc_otg_hcd_t * hcd);
  107254. +
  107255. +/**
  107256. + * Dumps hcd state.
  107257. + *
  107258. + * @param hcd The HCD
  107259. + */
  107260. +extern void dwc_otg_hcd_dump_state(dwc_otg_hcd_t * hcd);
  107261. +
  107262. +/**
  107263. + * Dump the average frame remaining at SOF. This can be used to
  107264. + * determine average interrupt latency. Frame remaining is also shown for
  107265. + * start transfer and two additional sample points.
  107266. + * Currently this function is not implemented.
  107267. + *
  107268. + * @param hcd The HCD
  107269. + */
  107270. +extern void dwc_otg_hcd_dump_frrem(dwc_otg_hcd_t * hcd);
  107271. +
  107272. +/**
  107273. + * Sends LPM transaction to the local device.
  107274. + *
  107275. + * @param hcd The HCD
  107276. + * @param devaddr Device Address
  107277. + * @param hird Host initiated resume duration
  107278. + * @param bRemoteWake Value of bRemoteWake field in LPM transaction
  107279. + *
  107280. + * Returns negative value if sending LPM transaction was not succeeded.
  107281. + * Returns 0 on success.
  107282. + */
  107283. +extern int dwc_otg_hcd_send_lpm(dwc_otg_hcd_t * hcd, uint8_t devaddr,
  107284. + uint8_t hird, uint8_t bRemoteWake);
  107285. +
  107286. +/* URB interface */
  107287. +
  107288. +/**
  107289. + * Allocates memory for dwc_otg_hcd_urb structure.
  107290. + * Allocated memory should be freed by call of DWC_FREE.
  107291. + *
  107292. + * @param hcd The HCD
  107293. + * @param iso_desc_count Count of ISOC descriptors
  107294. + * @param atomic_alloc Specefies whether to perform atomic allocation.
  107295. + */
  107296. +extern dwc_otg_hcd_urb_t *dwc_otg_hcd_urb_alloc(dwc_otg_hcd_t * hcd,
  107297. + int iso_desc_count,
  107298. + int atomic_alloc);
  107299. +
  107300. +/**
  107301. + * Set pipe information in URB.
  107302. + *
  107303. + * @param hcd_urb DWC_OTG URB
  107304. + * @param devaddr Device Address
  107305. + * @param ep_num Endpoint Number
  107306. + * @param ep_type Endpoint Type
  107307. + * @param ep_dir Endpoint Direction
  107308. + * @param mps Max Packet Size
  107309. + */
  107310. +extern void dwc_otg_hcd_urb_set_pipeinfo(dwc_otg_hcd_urb_t * hcd_urb,
  107311. + uint8_t devaddr, uint8_t ep_num,
  107312. + uint8_t ep_type, uint8_t ep_dir,
  107313. + uint16_t mps);
  107314. +
  107315. +/* Transfer flags */
  107316. +#define URB_GIVEBACK_ASAP 0x1
  107317. +#define URB_SEND_ZERO_PACKET 0x2
  107318. +
  107319. +/**
  107320. + * Sets dwc_otg_hcd_urb parameters.
  107321. + *
  107322. + * @param urb DWC_OTG URB allocated by dwc_otg_hcd_urb_alloc function.
  107323. + * @param urb_handle Unique handle for request, this will be passed back
  107324. + * to function driver in completion callback.
  107325. + * @param buf The buffer for the data
  107326. + * @param dma The DMA buffer for the data
  107327. + * @param buflen Transfer length
  107328. + * @param sp Buffer for setup data
  107329. + * @param sp_dma DMA address of setup data buffer
  107330. + * @param flags Transfer flags
  107331. + * @param interval Polling interval for interrupt or isochronous transfers.
  107332. + */
  107333. +extern void dwc_otg_hcd_urb_set_params(dwc_otg_hcd_urb_t * urb,
  107334. + void *urb_handle, void *buf,
  107335. + dwc_dma_t dma, uint32_t buflen, void *sp,
  107336. + dwc_dma_t sp_dma, uint32_t flags,
  107337. + uint16_t interval);
  107338. +
  107339. +/** Gets status from dwc_otg_hcd_urb
  107340. + *
  107341. + * @param dwc_otg_urb DWC_OTG URB
  107342. + */
  107343. +extern uint32_t dwc_otg_hcd_urb_get_status(dwc_otg_hcd_urb_t * dwc_otg_urb);
  107344. +
  107345. +/** Gets actual length from dwc_otg_hcd_urb
  107346. + *
  107347. + * @param dwc_otg_urb DWC_OTG URB
  107348. + */
  107349. +extern uint32_t dwc_otg_hcd_urb_get_actual_length(dwc_otg_hcd_urb_t *
  107350. + dwc_otg_urb);
  107351. +
  107352. +/** Gets error count from dwc_otg_hcd_urb. Only for ISOC URBs
  107353. + *
  107354. + * @param dwc_otg_urb DWC_OTG URB
  107355. + */
  107356. +extern uint32_t dwc_otg_hcd_urb_get_error_count(dwc_otg_hcd_urb_t *
  107357. + dwc_otg_urb);
  107358. +
  107359. +/** Set ISOC descriptor offset and length
  107360. + *
  107361. + * @param dwc_otg_urb DWC_OTG URB
  107362. + * @param desc_num ISOC descriptor number
  107363. + * @param offset Offset from beginig of buffer.
  107364. + * @param length Transaction length
  107365. + */
  107366. +extern void dwc_otg_hcd_urb_set_iso_desc_params(dwc_otg_hcd_urb_t * dwc_otg_urb,
  107367. + int desc_num, uint32_t offset,
  107368. + uint32_t length);
  107369. +
  107370. +/** Get status of ISOC descriptor, specified by desc_num
  107371. + *
  107372. + * @param dwc_otg_urb DWC_OTG URB
  107373. + * @param desc_num ISOC descriptor number
  107374. + */
  107375. +extern uint32_t dwc_otg_hcd_urb_get_iso_desc_status(dwc_otg_hcd_urb_t *
  107376. + dwc_otg_urb, int desc_num);
  107377. +
  107378. +/** Get actual length of ISOC descriptor, specified by desc_num
  107379. + *
  107380. + * @param dwc_otg_urb DWC_OTG URB
  107381. + * @param desc_num ISOC descriptor number
  107382. + */
  107383. +extern uint32_t dwc_otg_hcd_urb_get_iso_desc_actual_length(dwc_otg_hcd_urb_t *
  107384. + dwc_otg_urb,
  107385. + int desc_num);
  107386. +
  107387. +/** Queue URB. After transfer is completes, the complete callback will be called with the URB status
  107388. + *
  107389. + * @param dwc_otg_hcd The HCD
  107390. + * @param dwc_otg_urb DWC_OTG URB
  107391. + * @param ep_handle Out parameter for returning endpoint handle
  107392. + * @param atomic_alloc Flag to do atomic allocation if needed
  107393. + *
  107394. + * Returns -DWC_E_NO_DEVICE if no device is connected.
  107395. + * Returns -DWC_E_NO_MEMORY if there is no enough memory.
  107396. + * Returns 0 on success.
  107397. + */
  107398. +extern int dwc_otg_hcd_urb_enqueue(dwc_otg_hcd_t * dwc_otg_hcd,
  107399. + dwc_otg_hcd_urb_t * dwc_otg_urb,
  107400. + void **ep_handle, int atomic_alloc);
  107401. +
  107402. +/** De-queue the specified URB
  107403. + *
  107404. + * @param dwc_otg_hcd The HCD
  107405. + * @param dwc_otg_urb DWC_OTG URB
  107406. + */
  107407. +extern int dwc_otg_hcd_urb_dequeue(dwc_otg_hcd_t * dwc_otg_hcd,
  107408. + dwc_otg_hcd_urb_t * dwc_otg_urb);
  107409. +
  107410. +/** Frees resources in the DWC_otg controller related to a given endpoint.
  107411. + * Any URBs for the endpoint must already be dequeued.
  107412. + *
  107413. + * @param hcd The HCD
  107414. + * @param ep_handle Endpoint handle, returned by dwc_otg_hcd_urb_enqueue function
  107415. + * @param retry Number of retries if there are queued transfers.
  107416. + *
  107417. + * Returns -DWC_E_INVALID if invalid arguments are passed.
  107418. + * Returns 0 on success
  107419. + */
  107420. +extern int dwc_otg_hcd_endpoint_disable(dwc_otg_hcd_t * hcd, void *ep_handle,
  107421. + int retry);
  107422. +
  107423. +/* Resets the data toggle in qh structure. This function can be called from
  107424. + * usb_clear_halt routine.
  107425. + *
  107426. + * @param hcd The HCD
  107427. + * @param ep_handle Endpoint handle, returned by dwc_otg_hcd_urb_enqueue function
  107428. + *
  107429. + * Returns -DWC_E_INVALID if invalid arguments are passed.
  107430. + * Returns 0 on success
  107431. + */
  107432. +extern int dwc_otg_hcd_endpoint_reset(dwc_otg_hcd_t * hcd, void *ep_handle);
  107433. +
  107434. +/** Returns 1 if status of specified port is changed and 0 otherwise.
  107435. + *
  107436. + * @param hcd The HCD
  107437. + * @param port Port number
  107438. + */
  107439. +extern int dwc_otg_hcd_is_status_changed(dwc_otg_hcd_t * hcd, int port);
  107440. +
  107441. +/** Call this function to check if bandwidth was allocated for specified endpoint.
  107442. + * Only for ISOC and INTERRUPT endpoints.
  107443. + *
  107444. + * @param hcd The HCD
  107445. + * @param ep_handle Endpoint handle
  107446. + */
  107447. +extern int dwc_otg_hcd_is_bandwidth_allocated(dwc_otg_hcd_t * hcd,
  107448. + void *ep_handle);
  107449. +
  107450. +/** Call this function to check if bandwidth was freed for specified endpoint.
  107451. + *
  107452. + * @param hcd The HCD
  107453. + * @param ep_handle Endpoint handle
  107454. + */
  107455. +extern int dwc_otg_hcd_is_bandwidth_freed(dwc_otg_hcd_t * hcd, void *ep_handle);
  107456. +
  107457. +/** Returns bandwidth allocated for specified endpoint in microseconds.
  107458. + * Only for ISOC and INTERRUPT endpoints.
  107459. + *
  107460. + * @param hcd The HCD
  107461. + * @param ep_handle Endpoint handle
  107462. + */
  107463. +extern uint8_t dwc_otg_hcd_get_ep_bandwidth(dwc_otg_hcd_t * hcd,
  107464. + void *ep_handle);
  107465. +
  107466. +/** @} */
  107467. +
  107468. +#endif /* __DWC_HCD_IF_H__ */
  107469. +#endif /* DWC_DEVICE_ONLY */
  107470. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_intr.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_intr.c
  107471. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_intr.c 1970-01-01 01:00:00.000000000 +0100
  107472. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_intr.c 2015-11-29 09:42:39.919098694 +0100
  107473. @@ -0,0 +1,2714 @@
  107474. +/* ==========================================================================
  107475. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd_intr.c $
  107476. + * $Revision: #89 $
  107477. + * $Date: 2011/10/20 $
  107478. + * $Change: 1869487 $
  107479. + *
  107480. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  107481. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  107482. + * otherwise expressly agreed to in writing between Synopsys and you.
  107483. + *
  107484. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  107485. + * any End User Software License Agreement or Agreement for Licensed Product
  107486. + * with Synopsys or any supplement thereto. You are permitted to use and
  107487. + * redistribute this Software in source and binary forms, with or without
  107488. + * modification, provided that redistributions of source code must retain this
  107489. + * notice. You may not view, use, disclose, copy or distribute this file or
  107490. + * any information contained herein except pursuant to this license grant from
  107491. + * Synopsys. If you do not agree with this notice, including the disclaimer
  107492. + * below, then you are not authorized to use the Software.
  107493. + *
  107494. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  107495. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  107496. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  107497. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  107498. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  107499. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  107500. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  107501. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  107502. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  107503. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  107504. + * DAMAGE.
  107505. + * ========================================================================== */
  107506. +#ifndef DWC_DEVICE_ONLY
  107507. +
  107508. +#include "dwc_otg_hcd.h"
  107509. +#include "dwc_otg_regs.h"
  107510. +
  107511. +#include <linux/jiffies.h>
  107512. +#include <asm/fiq.h>
  107513. +
  107514. +
  107515. +extern bool microframe_schedule;
  107516. +
  107517. +/** @file
  107518. + * This file contains the implementation of the HCD Interrupt handlers.
  107519. + */
  107520. +
  107521. +int fiq_done, int_done;
  107522. +
  107523. +#ifdef FIQ_DEBUG
  107524. +char buffer[1000*16];
  107525. +int wptr;
  107526. +void notrace _fiq_print(FIQDBG_T dbg_lvl, char *fmt, ...)
  107527. +{
  107528. + FIQDBG_T dbg_lvl_req = FIQDBG_PORTHUB;
  107529. + va_list args;
  107530. + char text[17];
  107531. + hfnum_data_t hfnum = { .d32 = FIQ_READ(dwc_regs_base + 0x408) };
  107532. +
  107533. + if(dbg_lvl & dbg_lvl_req || dbg_lvl == FIQDBG_ERR)
  107534. + {
  107535. + local_fiq_disable();
  107536. + snprintf(text, 9, "%4d%d:%d ", hfnum.b.frnum/8, hfnum.b.frnum%8, 8 - hfnum.b.frrem/937);
  107537. + va_start(args, fmt);
  107538. + vsnprintf(text+8, 9, fmt, args);
  107539. + va_end(args);
  107540. +
  107541. + memcpy(buffer + wptr, text, 16);
  107542. + wptr = (wptr + 16) % sizeof(buffer);
  107543. + local_fiq_enable();
  107544. + }
  107545. +}
  107546. +#endif
  107547. +
  107548. +/** This function handles interrupts for the HCD. */
  107549. +int32_t dwc_otg_hcd_handle_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  107550. +{
  107551. + int retval = 0;
  107552. + static int last_time;
  107553. + dwc_otg_core_if_t *core_if = dwc_otg_hcd->core_if;
  107554. + gintsts_data_t gintsts;
  107555. + gintmsk_data_t gintmsk;
  107556. + hfnum_data_t hfnum;
  107557. + haintmsk_data_t haintmsk;
  107558. +
  107559. +#ifdef DEBUG
  107560. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  107561. +
  107562. +#endif
  107563. +
  107564. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  107565. + gintmsk.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  107566. +
  107567. + /* Exit from ISR if core is hibernated */
  107568. + if (core_if->hibernation_suspend == 1) {
  107569. + goto exit_handler_routine;
  107570. + }
  107571. + DWC_SPINLOCK(dwc_otg_hcd->lock);
  107572. + /* Check if HOST Mode */
  107573. + if (dwc_otg_is_host_mode(core_if)) {
  107574. + if (fiq_enable) {
  107575. + local_fiq_disable();
  107576. + fiq_fsm_spin_lock(&dwc_otg_hcd->fiq_state->lock);
  107577. + /* Pull in from the FIQ's disabled mask */
  107578. + gintmsk.d32 = gintmsk.d32 | ~(dwc_otg_hcd->fiq_state->gintmsk_saved.d32);
  107579. + dwc_otg_hcd->fiq_state->gintmsk_saved.d32 = ~0;
  107580. + }
  107581. +
  107582. + if (fiq_fsm_enable && ( 0x0000FFFF & ~(dwc_otg_hcd->fiq_state->haintmsk_saved.b2.chint))) {
  107583. + gintsts.b.hcintr = 1;
  107584. + }
  107585. +
  107586. + /* Danger will robinson: fake a SOF if necessary */
  107587. + if (fiq_fsm_enable && (dwc_otg_hcd->fiq_state->gintmsk_saved.b.sofintr == 1)) {
  107588. + gintsts.b.sofintr = 1;
  107589. + }
  107590. + gintsts.d32 &= gintmsk.d32;
  107591. +
  107592. + if (fiq_enable) {
  107593. + fiq_fsm_spin_unlock(&dwc_otg_hcd->fiq_state->lock);
  107594. + local_fiq_enable();
  107595. + }
  107596. +
  107597. + if (!gintsts.d32) {
  107598. + goto exit_handler_routine;
  107599. + }
  107600. +
  107601. +#ifdef DEBUG
  107602. + // We should be OK doing this because the common interrupts should already have been serviced
  107603. + /* Don't print debug message in the interrupt handler on SOF */
  107604. +#ifndef DEBUG_SOF
  107605. + if (gintsts.d32 != DWC_SOF_INTR_MASK)
  107606. +#endif
  107607. + DWC_DEBUGPL(DBG_HCDI, "\n");
  107608. +#endif
  107609. +
  107610. +#ifdef DEBUG
  107611. +#ifndef DEBUG_SOF
  107612. + if (gintsts.d32 != DWC_SOF_INTR_MASK)
  107613. +#endif
  107614. + DWC_DEBUGPL(DBG_HCDI,
  107615. + "DWC OTG HCD Interrupt Detected gintsts&gintmsk=0x%08x core_if=%p\n",
  107616. + gintsts.d32, core_if);
  107617. +#endif
  107618. + hfnum.d32 = DWC_READ_REG32(&dwc_otg_hcd->core_if->host_if->host_global_regs->hfnum);
  107619. + if (gintsts.b.sofintr) {
  107620. + retval |= dwc_otg_hcd_handle_sof_intr(dwc_otg_hcd);
  107621. + }
  107622. +
  107623. + if (gintsts.b.rxstsqlvl) {
  107624. + retval |=
  107625. + dwc_otg_hcd_handle_rx_status_q_level_intr
  107626. + (dwc_otg_hcd);
  107627. + }
  107628. + if (gintsts.b.nptxfempty) {
  107629. + retval |=
  107630. + dwc_otg_hcd_handle_np_tx_fifo_empty_intr
  107631. + (dwc_otg_hcd);
  107632. + }
  107633. + if (gintsts.b.i2cintr) {
  107634. + /** @todo Implement i2cintr handler. */
  107635. + }
  107636. + if (gintsts.b.portintr) {
  107637. +
  107638. + gintmsk_data_t gintmsk = { .b.portintr = 1};
  107639. + retval |= dwc_otg_hcd_handle_port_intr(dwc_otg_hcd);
  107640. + if (fiq_enable) {
  107641. + local_fiq_disable();
  107642. + fiq_fsm_spin_lock(&dwc_otg_hcd->fiq_state->lock);
  107643. + DWC_MODIFY_REG32(&dwc_otg_hcd->core_if->core_global_regs->gintmsk, 0, gintmsk.d32);
  107644. + fiq_fsm_spin_unlock(&dwc_otg_hcd->fiq_state->lock);
  107645. + local_fiq_enable();
  107646. + } else {
  107647. + DWC_MODIFY_REG32(&dwc_otg_hcd->core_if->core_global_regs->gintmsk, 0, gintmsk.d32);
  107648. + }
  107649. + }
  107650. + if (gintsts.b.hcintr) {
  107651. + retval |= dwc_otg_hcd_handle_hc_intr(dwc_otg_hcd);
  107652. + }
  107653. + if (gintsts.b.ptxfempty) {
  107654. + retval |=
  107655. + dwc_otg_hcd_handle_perio_tx_fifo_empty_intr
  107656. + (dwc_otg_hcd);
  107657. + }
  107658. +#ifdef DEBUG
  107659. +#ifndef DEBUG_SOF
  107660. + if (gintsts.d32 != DWC_SOF_INTR_MASK)
  107661. +#endif
  107662. + {
  107663. + DWC_DEBUGPL(DBG_HCDI,
  107664. + "DWC OTG HCD Finished Servicing Interrupts\n");
  107665. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD gintsts=0x%08x\n",
  107666. + DWC_READ_REG32(&global_regs->gintsts));
  107667. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD gintmsk=0x%08x\n",
  107668. + DWC_READ_REG32(&global_regs->gintmsk));
  107669. + }
  107670. +#endif
  107671. +
  107672. +#ifdef DEBUG
  107673. +#ifndef DEBUG_SOF
  107674. + if (gintsts.d32 != DWC_SOF_INTR_MASK)
  107675. +#endif
  107676. + DWC_DEBUGPL(DBG_HCDI, "\n");
  107677. +#endif
  107678. +
  107679. + }
  107680. +
  107681. +exit_handler_routine:
  107682. + if (fiq_enable) {
  107683. + gintmsk_data_t gintmsk_new;
  107684. + haintmsk_data_t haintmsk_new;
  107685. + local_fiq_disable();
  107686. + fiq_fsm_spin_lock(&dwc_otg_hcd->fiq_state->lock);
  107687. + gintmsk_new.d32 = *(volatile uint32_t *)&dwc_otg_hcd->fiq_state->gintmsk_saved.d32;
  107688. + if(fiq_fsm_enable)
  107689. + haintmsk_new.d32 = *(volatile uint32_t *)&dwc_otg_hcd->fiq_state->haintmsk_saved.d32;
  107690. + else
  107691. + haintmsk_new.d32 = 0x0000FFFF;
  107692. +
  107693. + /* The FIQ could have sneaked another interrupt in. If so, don't clear MPHI */
  107694. + if ((gintmsk_new.d32 == ~0) && (haintmsk_new.d32 == 0x0000FFFF)) {
  107695. + DWC_WRITE_REG32(dwc_otg_hcd->fiq_state->mphi_regs.intstat, (1<<16));
  107696. + if (dwc_otg_hcd->fiq_state->mphi_int_count >= 50) {
  107697. + fiq_print(FIQDBG_INT, dwc_otg_hcd->fiq_state, "MPHI CLR");
  107698. + DWC_WRITE_REG32(dwc_otg_hcd->fiq_state->mphi_regs.ctrl, ((1<<31) + (1<<16)));
  107699. + while (!(DWC_READ_REG32(dwc_otg_hcd->fiq_state->mphi_regs.ctrl) & (1 << 17)))
  107700. + ;
  107701. + DWC_WRITE_REG32(dwc_otg_hcd->fiq_state->mphi_regs.ctrl, (1<<31));
  107702. + dwc_otg_hcd->fiq_state->mphi_int_count = 0;
  107703. + }
  107704. + int_done++;
  107705. + }
  107706. + haintmsk.d32 = DWC_READ_REG32(&core_if->host_if->host_global_regs->haintmsk);
  107707. + /* Re-enable interrupts that the FIQ masked (first time round) */
  107708. + FIQ_WRITE(dwc_otg_hcd->fiq_state->dwc_regs_base + GINTMSK, gintmsk.d32);
  107709. + fiq_fsm_spin_unlock(&dwc_otg_hcd->fiq_state->lock);
  107710. + local_fiq_enable();
  107711. +
  107712. + if ((jiffies / HZ) > last_time) {
  107713. + //dwc_otg_qh_t *qh;
  107714. + //dwc_list_link_t *cur;
  107715. + /* Once a second output the fiq and irq numbers, useful for debug */
  107716. + last_time = jiffies / HZ;
  107717. + // DWC_WARN("np_kick=%d AHC=%d sched_frame=%d cur_frame=%d int_done=%d fiq_done=%d",
  107718. + // dwc_otg_hcd->fiq_state->kick_np_queues, dwc_otg_hcd->available_host_channels,
  107719. + // dwc_otg_hcd->fiq_state->next_sched_frame, hfnum.b.frnum, int_done, dwc_otg_hcd->fiq_state->fiq_done);
  107720. + //printk(KERN_WARNING "Periodic queues:\n");
  107721. + }
  107722. + }
  107723. +
  107724. + DWC_SPINUNLOCK(dwc_otg_hcd->lock);
  107725. + return retval;
  107726. +}
  107727. +
  107728. +#ifdef DWC_TRACK_MISSED_SOFS
  107729. +
  107730. +#warning Compiling code to track missed SOFs
  107731. +#define FRAME_NUM_ARRAY_SIZE 1000
  107732. +/**
  107733. + * This function is for debug only.
  107734. + */
  107735. +static inline void track_missed_sofs(uint16_t curr_frame_number)
  107736. +{
  107737. + static uint16_t frame_num_array[FRAME_NUM_ARRAY_SIZE];
  107738. + static uint16_t last_frame_num_array[FRAME_NUM_ARRAY_SIZE];
  107739. + static int frame_num_idx = 0;
  107740. + static uint16_t last_frame_num = DWC_HFNUM_MAX_FRNUM;
  107741. + static int dumped_frame_num_array = 0;
  107742. +
  107743. + if (frame_num_idx < FRAME_NUM_ARRAY_SIZE) {
  107744. + if (((last_frame_num + 1) & DWC_HFNUM_MAX_FRNUM) !=
  107745. + curr_frame_number) {
  107746. + frame_num_array[frame_num_idx] = curr_frame_number;
  107747. + last_frame_num_array[frame_num_idx++] = last_frame_num;
  107748. + }
  107749. + } else if (!dumped_frame_num_array) {
  107750. + int i;
  107751. + DWC_PRINTF("Frame Last Frame\n");
  107752. + DWC_PRINTF("----- ----------\n");
  107753. + for (i = 0; i < FRAME_NUM_ARRAY_SIZE; i++) {
  107754. + DWC_PRINTF("0x%04x 0x%04x\n",
  107755. + frame_num_array[i], last_frame_num_array[i]);
  107756. + }
  107757. + dumped_frame_num_array = 1;
  107758. + }
  107759. + last_frame_num = curr_frame_number;
  107760. +}
  107761. +#endif
  107762. +
  107763. +/**
  107764. + * Handles the start-of-frame interrupt in host mode. Non-periodic
  107765. + * transactions may be queued to the DWC_otg controller for the current
  107766. + * (micro)frame. Periodic transactions may be queued to the controller for the
  107767. + * next (micro)frame.
  107768. + */
  107769. +int32_t dwc_otg_hcd_handle_sof_intr(dwc_otg_hcd_t * hcd)
  107770. +{
  107771. + hfnum_data_t hfnum;
  107772. + gintsts_data_t gintsts = { .d32 = 0 };
  107773. + dwc_list_link_t *qh_entry;
  107774. + dwc_otg_qh_t *qh;
  107775. + dwc_otg_transaction_type_e tr_type;
  107776. + int did_something = 0;
  107777. + int32_t next_sched_frame = -1;
  107778. +
  107779. + hfnum.d32 =
  107780. + DWC_READ_REG32(&hcd->core_if->host_if->host_global_regs->hfnum);
  107781. +
  107782. +#ifdef DEBUG_SOF
  107783. + DWC_DEBUGPL(DBG_HCD, "--Start of Frame Interrupt--\n");
  107784. +#endif
  107785. + hcd->frame_number = hfnum.b.frnum;
  107786. +
  107787. +#ifdef DEBUG
  107788. + hcd->frrem_accum += hfnum.b.frrem;
  107789. + hcd->frrem_samples++;
  107790. +#endif
  107791. +
  107792. +#ifdef DWC_TRACK_MISSED_SOFS
  107793. + track_missed_sofs(hcd->frame_number);
  107794. +#endif
  107795. + /* Determine whether any periodic QHs should be executed. */
  107796. + qh_entry = DWC_LIST_FIRST(&hcd->periodic_sched_inactive);
  107797. + while (qh_entry != &hcd->periodic_sched_inactive) {
  107798. + qh = DWC_LIST_ENTRY(qh_entry, dwc_otg_qh_t, qh_list_entry);
  107799. + qh_entry = qh_entry->next;
  107800. + if (dwc_frame_num_le(qh->sched_frame, hcd->frame_number)) {
  107801. +
  107802. + /*
  107803. + * Move QH to the ready list to be executed next
  107804. + * (micro)frame.
  107805. + */
  107806. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_ready,
  107807. + &qh->qh_list_entry);
  107808. +
  107809. + did_something = 1;
  107810. + }
  107811. + else
  107812. + {
  107813. + if(next_sched_frame < 0 || dwc_frame_num_le(qh->sched_frame, next_sched_frame))
  107814. + {
  107815. + next_sched_frame = qh->sched_frame;
  107816. + }
  107817. + }
  107818. + }
  107819. + if (fiq_enable)
  107820. + hcd->fiq_state->next_sched_frame = next_sched_frame;
  107821. +
  107822. + tr_type = dwc_otg_hcd_select_transactions(hcd);
  107823. + if (tr_type != DWC_OTG_TRANSACTION_NONE) {
  107824. + dwc_otg_hcd_queue_transactions(hcd, tr_type);
  107825. + did_something = 1;
  107826. + }
  107827. +
  107828. + /* Clear interrupt - but do not trample on the FIQ sof */
  107829. + if (!fiq_fsm_enable) {
  107830. + gintsts.b.sofintr = 1;
  107831. + DWC_WRITE_REG32(&hcd->core_if->core_global_regs->gintsts, gintsts.d32);
  107832. + }
  107833. + return 1;
  107834. +}
  107835. +
  107836. +/** Handles the Rx Status Queue Level Interrupt, which indicates that there is at
  107837. + * least one packet in the Rx FIFO. The packets are moved from the FIFO to
  107838. + * memory if the DWC_otg controller is operating in Slave mode. */
  107839. +int32_t dwc_otg_hcd_handle_rx_status_q_level_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  107840. +{
  107841. + host_grxsts_data_t grxsts;
  107842. + dwc_hc_t *hc = NULL;
  107843. +
  107844. + DWC_DEBUGPL(DBG_HCD, "--RxStsQ Level Interrupt--\n");
  107845. +
  107846. + grxsts.d32 =
  107847. + DWC_READ_REG32(&dwc_otg_hcd->core_if->core_global_regs->grxstsp);
  107848. +
  107849. + hc = dwc_otg_hcd->hc_ptr_array[grxsts.b.chnum];
  107850. + if (!hc) {
  107851. + DWC_ERROR("Unable to get corresponding channel\n");
  107852. + return 0;
  107853. + }
  107854. +
  107855. + /* Packet Status */
  107856. + DWC_DEBUGPL(DBG_HCDV, " Ch num = %d\n", grxsts.b.chnum);
  107857. + DWC_DEBUGPL(DBG_HCDV, " Count = %d\n", grxsts.b.bcnt);
  107858. + DWC_DEBUGPL(DBG_HCDV, " DPID = %d, hc.dpid = %d\n", grxsts.b.dpid,
  107859. + hc->data_pid_start);
  107860. + DWC_DEBUGPL(DBG_HCDV, " PStatus = %d\n", grxsts.b.pktsts);
  107861. +
  107862. + switch (grxsts.b.pktsts) {
  107863. + case DWC_GRXSTS_PKTSTS_IN:
  107864. + /* Read the data into the host buffer. */
  107865. + if (grxsts.b.bcnt > 0) {
  107866. + dwc_otg_read_packet(dwc_otg_hcd->core_if,
  107867. + hc->xfer_buff, grxsts.b.bcnt);
  107868. +
  107869. + /* Update the HC fields for the next packet received. */
  107870. + hc->xfer_count += grxsts.b.bcnt;
  107871. + hc->xfer_buff += grxsts.b.bcnt;
  107872. + }
  107873. +
  107874. + case DWC_GRXSTS_PKTSTS_IN_XFER_COMP:
  107875. + case DWC_GRXSTS_PKTSTS_DATA_TOGGLE_ERR:
  107876. + case DWC_GRXSTS_PKTSTS_CH_HALTED:
  107877. + /* Handled in interrupt, just ignore data */
  107878. + break;
  107879. + default:
  107880. + DWC_ERROR("RX_STS_Q Interrupt: Unknown status %d\n",
  107881. + grxsts.b.pktsts);
  107882. + break;
  107883. + }
  107884. +
  107885. + return 1;
  107886. +}
  107887. +
  107888. +/** This interrupt occurs when the non-periodic Tx FIFO is half-empty. More
  107889. + * data packets may be written to the FIFO for OUT transfers. More requests
  107890. + * may be written to the non-periodic request queue for IN transfers. This
  107891. + * interrupt is enabled only in Slave mode. */
  107892. +int32_t dwc_otg_hcd_handle_np_tx_fifo_empty_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  107893. +{
  107894. + DWC_DEBUGPL(DBG_HCD, "--Non-Periodic TxFIFO Empty Interrupt--\n");
  107895. + dwc_otg_hcd_queue_transactions(dwc_otg_hcd,
  107896. + DWC_OTG_TRANSACTION_NON_PERIODIC);
  107897. + return 1;
  107898. +}
  107899. +
  107900. +/** This interrupt occurs when the periodic Tx FIFO is half-empty. More data
  107901. + * packets may be written to the FIFO for OUT transfers. More requests may be
  107902. + * written to the periodic request queue for IN transfers. This interrupt is
  107903. + * enabled only in Slave mode. */
  107904. +int32_t dwc_otg_hcd_handle_perio_tx_fifo_empty_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  107905. +{
  107906. + DWC_DEBUGPL(DBG_HCD, "--Periodic TxFIFO Empty Interrupt--\n");
  107907. + dwc_otg_hcd_queue_transactions(dwc_otg_hcd,
  107908. + DWC_OTG_TRANSACTION_PERIODIC);
  107909. + return 1;
  107910. +}
  107911. +
  107912. +/** There are multiple conditions that can cause a port interrupt. This function
  107913. + * determines which interrupt conditions have occurred and handles them
  107914. + * appropriately. */
  107915. +int32_t dwc_otg_hcd_handle_port_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  107916. +{
  107917. + int retval = 0;
  107918. + hprt0_data_t hprt0;
  107919. + hprt0_data_t hprt0_modify;
  107920. +
  107921. + hprt0.d32 = DWC_READ_REG32(dwc_otg_hcd->core_if->host_if->hprt0);
  107922. + hprt0_modify.d32 = DWC_READ_REG32(dwc_otg_hcd->core_if->host_if->hprt0);
  107923. +
  107924. + /* Clear appropriate bits in HPRT0 to clear the interrupt bit in
  107925. + * GINTSTS */
  107926. +
  107927. + hprt0_modify.b.prtena = 0;
  107928. + hprt0_modify.b.prtconndet = 0;
  107929. + hprt0_modify.b.prtenchng = 0;
  107930. + hprt0_modify.b.prtovrcurrchng = 0;
  107931. +
  107932. + /* Port Connect Detected
  107933. + * Set flag and clear if detected */
  107934. + if (dwc_otg_hcd->core_if->hibernation_suspend == 1) {
  107935. + // Dont modify port status if we are in hibernation state
  107936. + hprt0_modify.b.prtconndet = 1;
  107937. + hprt0_modify.b.prtenchng = 1;
  107938. + DWC_WRITE_REG32(dwc_otg_hcd->core_if->host_if->hprt0, hprt0_modify.d32);
  107939. + hprt0.d32 = DWC_READ_REG32(dwc_otg_hcd->core_if->host_if->hprt0);
  107940. + return retval;
  107941. + }
  107942. +
  107943. + if (hprt0.b.prtconndet) {
  107944. + /** @todo - check if steps performed in 'else' block should be perfromed regardles adp */
  107945. + if (dwc_otg_hcd->core_if->adp_enable &&
  107946. + dwc_otg_hcd->core_if->adp.vbuson_timer_started == 1) {
  107947. + DWC_PRINTF("PORT CONNECT DETECTED ----------------\n");
  107948. + DWC_TIMER_CANCEL(dwc_otg_hcd->core_if->adp.vbuson_timer);
  107949. + dwc_otg_hcd->core_if->adp.vbuson_timer_started = 0;
  107950. + /* TODO - check if this is required, as
  107951. + * host initialization was already performed
  107952. + * after initial ADP probing
  107953. + */
  107954. + /*dwc_otg_hcd->core_if->adp.vbuson_timer_started = 0;
  107955. + dwc_otg_core_init(dwc_otg_hcd->core_if);
  107956. + dwc_otg_enable_global_interrupts(dwc_otg_hcd->core_if);
  107957. + cil_hcd_start(dwc_otg_hcd->core_if);*/
  107958. + } else {
  107959. +
  107960. + DWC_DEBUGPL(DBG_HCD, "--Port Interrupt HPRT0=0x%08x "
  107961. + "Port Connect Detected--\n", hprt0.d32);
  107962. + dwc_otg_hcd->flags.b.port_connect_status_change = 1;
  107963. + dwc_otg_hcd->flags.b.port_connect_status = 1;
  107964. + hprt0_modify.b.prtconndet = 1;
  107965. +
  107966. + /* B-Device has connected, Delete the connection timer. */
  107967. + DWC_TIMER_CANCEL(dwc_otg_hcd->conn_timer);
  107968. + }
  107969. + /* The Hub driver asserts a reset when it sees port connect
  107970. + * status change flag */
  107971. + retval |= 1;
  107972. + }
  107973. +
  107974. + /* Port Enable Changed
  107975. + * Clear if detected - Set internal flag if disabled */
  107976. + if (hprt0.b.prtenchng) {
  107977. + DWC_DEBUGPL(DBG_HCD, " --Port Interrupt HPRT0=0x%08x "
  107978. + "Port Enable Changed--\n", hprt0.d32);
  107979. + hprt0_modify.b.prtenchng = 1;
  107980. + if (hprt0.b.prtena == 1) {
  107981. + hfir_data_t hfir;
  107982. + int do_reset = 0;
  107983. + dwc_otg_core_params_t *params =
  107984. + dwc_otg_hcd->core_if->core_params;
  107985. + dwc_otg_core_global_regs_t *global_regs =
  107986. + dwc_otg_hcd->core_if->core_global_regs;
  107987. + dwc_otg_host_if_t *host_if =
  107988. + dwc_otg_hcd->core_if->host_if;
  107989. +
  107990. + /* Every time when port enables calculate
  107991. + * HFIR.FrInterval
  107992. + */
  107993. + hfir.d32 = DWC_READ_REG32(&host_if->host_global_regs->hfir);
  107994. + hfir.b.frint = calc_frame_interval(dwc_otg_hcd->core_if);
  107995. + DWC_WRITE_REG32(&host_if->host_global_regs->hfir, hfir.d32);
  107996. +
  107997. + /* Check if we need to adjust the PHY clock speed for
  107998. + * low power and adjust it */
  107999. + if (params->host_support_fs_ls_low_power) {
  108000. + gusbcfg_data_t usbcfg;
  108001. +
  108002. + usbcfg.d32 =
  108003. + DWC_READ_REG32(&global_regs->gusbcfg);
  108004. +
  108005. + if (hprt0.b.prtspd == DWC_HPRT0_PRTSPD_LOW_SPEED
  108006. + || hprt0.b.prtspd ==
  108007. + DWC_HPRT0_PRTSPD_FULL_SPEED) {
  108008. + /*
  108009. + * Low power
  108010. + */
  108011. + hcfg_data_t hcfg;
  108012. + if (usbcfg.b.phylpwrclksel == 0) {
  108013. + /* Set PHY low power clock select for FS/LS devices */
  108014. + usbcfg.b.phylpwrclksel = 1;
  108015. + DWC_WRITE_REG32
  108016. + (&global_regs->gusbcfg,
  108017. + usbcfg.d32);
  108018. + do_reset = 1;
  108019. + }
  108020. +
  108021. + hcfg.d32 =
  108022. + DWC_READ_REG32
  108023. + (&host_if->host_global_regs->hcfg);
  108024. +
  108025. + if (hprt0.b.prtspd ==
  108026. + DWC_HPRT0_PRTSPD_LOW_SPEED
  108027. + && params->host_ls_low_power_phy_clk
  108028. + ==
  108029. + DWC_HOST_LS_LOW_POWER_PHY_CLK_PARAM_6MHZ)
  108030. + {
  108031. + /* 6 MHZ */
  108032. + DWC_DEBUGPL(DBG_CIL,
  108033. + "FS_PHY programming HCFG to 6 MHz (Low Power)\n");
  108034. + if (hcfg.b.fslspclksel !=
  108035. + DWC_HCFG_6_MHZ) {
  108036. + hcfg.b.fslspclksel =
  108037. + DWC_HCFG_6_MHZ;
  108038. + DWC_WRITE_REG32
  108039. + (&host_if->host_global_regs->hcfg,
  108040. + hcfg.d32);
  108041. + do_reset = 1;
  108042. + }
  108043. + } else {
  108044. + /* 48 MHZ */
  108045. + DWC_DEBUGPL(DBG_CIL,
  108046. + "FS_PHY programming HCFG to 48 MHz ()\n");
  108047. + if (hcfg.b.fslspclksel !=
  108048. + DWC_HCFG_48_MHZ) {
  108049. + hcfg.b.fslspclksel =
  108050. + DWC_HCFG_48_MHZ;
  108051. + DWC_WRITE_REG32
  108052. + (&host_if->host_global_regs->hcfg,
  108053. + hcfg.d32);
  108054. + do_reset = 1;
  108055. + }
  108056. + }
  108057. + } else {
  108058. + /*
  108059. + * Not low power
  108060. + */
  108061. + if (usbcfg.b.phylpwrclksel == 1) {
  108062. + usbcfg.b.phylpwrclksel = 0;
  108063. + DWC_WRITE_REG32
  108064. + (&global_regs->gusbcfg,
  108065. + usbcfg.d32);
  108066. + do_reset = 1;
  108067. + }
  108068. + }
  108069. +
  108070. + if (do_reset) {
  108071. + DWC_TASK_SCHEDULE(dwc_otg_hcd->reset_tasklet);
  108072. + }
  108073. + }
  108074. +
  108075. + if (!do_reset) {
  108076. + /* Port has been enabled set the reset change flag */
  108077. + dwc_otg_hcd->flags.b.port_reset_change = 1;
  108078. + }
  108079. + } else {
  108080. + dwc_otg_hcd->flags.b.port_enable_change = 1;
  108081. + }
  108082. + retval |= 1;
  108083. + }
  108084. +
  108085. + /** Overcurrent Change Interrupt */
  108086. + if (hprt0.b.prtovrcurrchng) {
  108087. + DWC_DEBUGPL(DBG_HCD, " --Port Interrupt HPRT0=0x%08x "
  108088. + "Port Overcurrent Changed--\n", hprt0.d32);
  108089. + dwc_otg_hcd->flags.b.port_over_current_change = 1;
  108090. + hprt0_modify.b.prtovrcurrchng = 1;
  108091. + retval |= 1;
  108092. + }
  108093. +
  108094. + /* Clear Port Interrupts */
  108095. + DWC_WRITE_REG32(dwc_otg_hcd->core_if->host_if->hprt0, hprt0_modify.d32);
  108096. +
  108097. + return retval;
  108098. +}
  108099. +
  108100. +/** This interrupt indicates that one or more host channels has a pending
  108101. + * interrupt. There are multiple conditions that can cause each host channel
  108102. + * interrupt. This function determines which conditions have occurred for each
  108103. + * host channel interrupt and handles them appropriately. */
  108104. +int32_t dwc_otg_hcd_handle_hc_intr(dwc_otg_hcd_t * dwc_otg_hcd)
  108105. +{
  108106. + int i;
  108107. + int retval = 0;
  108108. + haint_data_t haint = { .d32 = 0 } ;
  108109. +
  108110. + /* Clear appropriate bits in HCINTn to clear the interrupt bit in
  108111. + * GINTSTS */
  108112. +
  108113. + if (!fiq_fsm_enable)
  108114. + haint.d32 = dwc_otg_read_host_all_channels_intr(dwc_otg_hcd->core_if);
  108115. +
  108116. + // Overwrite with saved interrupts from fiq handler
  108117. + if(fiq_fsm_enable)
  108118. + {
  108119. + /* check the mask? */
  108120. + local_fiq_disable();
  108121. + fiq_fsm_spin_lock(&dwc_otg_hcd->fiq_state->lock);
  108122. + haint.b2.chint |= ~(dwc_otg_hcd->fiq_state->haintmsk_saved.b2.chint);
  108123. + dwc_otg_hcd->fiq_state->haintmsk_saved.b2.chint = ~0;
  108124. + fiq_fsm_spin_unlock(&dwc_otg_hcd->fiq_state->lock);
  108125. + local_fiq_enable();
  108126. + }
  108127. +
  108128. + for (i = 0; i < dwc_otg_hcd->core_if->core_params->host_channels; i++) {
  108129. + if (haint.b2.chint & (1 << i)) {
  108130. + retval |= dwc_otg_hcd_handle_hc_n_intr(dwc_otg_hcd, i);
  108131. + }
  108132. + }
  108133. +
  108134. + return retval;
  108135. +}
  108136. +
  108137. +/**
  108138. + * Gets the actual length of a transfer after the transfer halts. _halt_status
  108139. + * holds the reason for the halt.
  108140. + *
  108141. + * For IN transfers where halt_status is DWC_OTG_HC_XFER_COMPLETE,
  108142. + * *short_read is set to 1 upon return if less than the requested
  108143. + * number of bytes were transferred. Otherwise, *short_read is set to 0 upon
  108144. + * return. short_read may also be NULL on entry, in which case it remains
  108145. + * unchanged.
  108146. + */
  108147. +static uint32_t get_actual_xfer_length(dwc_hc_t * hc,
  108148. + dwc_otg_hc_regs_t * hc_regs,
  108149. + dwc_otg_qtd_t * qtd,
  108150. + dwc_otg_halt_status_e halt_status,
  108151. + int *short_read)
  108152. +{
  108153. + hctsiz_data_t hctsiz;
  108154. + uint32_t length;
  108155. +
  108156. + if (short_read != NULL) {
  108157. + *short_read = 0;
  108158. + }
  108159. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  108160. +
  108161. + if (halt_status == DWC_OTG_HC_XFER_COMPLETE) {
  108162. + if (hc->ep_is_in) {
  108163. + length = hc->xfer_len - hctsiz.b.xfersize;
  108164. + if (short_read != NULL) {
  108165. + *short_read = (hctsiz.b.xfersize != 0);
  108166. + }
  108167. + } else if (hc->qh->do_split) {
  108168. + //length = split_out_xfersize[hc->hc_num];
  108169. + length = qtd->ssplit_out_xfer_count;
  108170. + } else {
  108171. + length = hc->xfer_len;
  108172. + }
  108173. + } else {
  108174. + /*
  108175. + * Must use the hctsiz.pktcnt field to determine how much data
  108176. + * has been transferred. This field reflects the number of
  108177. + * packets that have been transferred via the USB. This is
  108178. + * always an integral number of packets if the transfer was
  108179. + * halted before its normal completion. (Can't use the
  108180. + * hctsiz.xfersize field because that reflects the number of
  108181. + * bytes transferred via the AHB, not the USB).
  108182. + */
  108183. + length =
  108184. + (hc->start_pkt_count - hctsiz.b.pktcnt) * hc->max_packet;
  108185. + }
  108186. +
  108187. + return length;
  108188. +}
  108189. +
  108190. +/**
  108191. + * Updates the state of the URB after a Transfer Complete interrupt on the
  108192. + * host channel. Updates the actual_length field of the URB based on the
  108193. + * number of bytes transferred via the host channel. Sets the URB status
  108194. + * if the data transfer is finished.
  108195. + *
  108196. + * @return 1 if the data transfer specified by the URB is completely finished,
  108197. + * 0 otherwise.
  108198. + */
  108199. +static int update_urb_state_xfer_comp(dwc_hc_t * hc,
  108200. + dwc_otg_hc_regs_t * hc_regs,
  108201. + dwc_otg_hcd_urb_t * urb,
  108202. + dwc_otg_qtd_t * qtd)
  108203. +{
  108204. + int xfer_done = 0;
  108205. + int short_read = 0;
  108206. +
  108207. + int xfer_length;
  108208. +
  108209. + xfer_length = get_actual_xfer_length(hc, hc_regs, qtd,
  108210. + DWC_OTG_HC_XFER_COMPLETE,
  108211. + &short_read);
  108212. +
  108213. + /* non DWORD-aligned buffer case handling. */
  108214. + if (hc->align_buff && xfer_length && hc->ep_is_in) {
  108215. + dwc_memcpy(urb->buf + urb->actual_length, hc->qh->dw_align_buf,
  108216. + xfer_length);
  108217. + }
  108218. +
  108219. + urb->actual_length += xfer_length;
  108220. +
  108221. + if (xfer_length && (hc->ep_type == DWC_OTG_EP_TYPE_BULK) &&
  108222. + (urb->flags & URB_SEND_ZERO_PACKET)
  108223. + && (urb->actual_length == urb->length)
  108224. + && !(urb->length % hc->max_packet)) {
  108225. + xfer_done = 0;
  108226. + } else if (short_read || urb->actual_length >= urb->length) {
  108227. + xfer_done = 1;
  108228. + urb->status = 0;
  108229. + }
  108230. +
  108231. +#ifdef DEBUG
  108232. + {
  108233. + hctsiz_data_t hctsiz;
  108234. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  108235. + DWC_DEBUGPL(DBG_HCDV, "DWC_otg: %s: %s, channel %d\n",
  108236. + __func__, (hc->ep_is_in ? "IN" : "OUT"),
  108237. + hc->hc_num);
  108238. + DWC_DEBUGPL(DBG_HCDV, " hc->xfer_len %d\n", hc->xfer_len);
  108239. + DWC_DEBUGPL(DBG_HCDV, " hctsiz.xfersize %d\n",
  108240. + hctsiz.b.xfersize);
  108241. + DWC_DEBUGPL(DBG_HCDV, " urb->transfer_buffer_length %d\n",
  108242. + urb->length);
  108243. + DWC_DEBUGPL(DBG_HCDV, " urb->actual_length %d\n",
  108244. + urb->actual_length);
  108245. + DWC_DEBUGPL(DBG_HCDV, " short_read %d, xfer_done %d\n",
  108246. + short_read, xfer_done);
  108247. + }
  108248. +#endif
  108249. +
  108250. + return xfer_done;
  108251. +}
  108252. +
  108253. +/*
  108254. + * Save the starting data toggle for the next transfer. The data toggle is
  108255. + * saved in the QH for non-control transfers and it's saved in the QTD for
  108256. + * control transfers.
  108257. + */
  108258. +void dwc_otg_hcd_save_data_toggle(dwc_hc_t * hc,
  108259. + dwc_otg_hc_regs_t * hc_regs, dwc_otg_qtd_t * qtd)
  108260. +{
  108261. + hctsiz_data_t hctsiz;
  108262. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  108263. +
  108264. + if (hc->ep_type != DWC_OTG_EP_TYPE_CONTROL) {
  108265. + dwc_otg_qh_t *qh = hc->qh;
  108266. + if (hctsiz.b.pid == DWC_HCTSIZ_DATA0) {
  108267. + qh->data_toggle = DWC_OTG_HC_PID_DATA0;
  108268. + } else {
  108269. + qh->data_toggle = DWC_OTG_HC_PID_DATA1;
  108270. + }
  108271. + } else {
  108272. + if (hctsiz.b.pid == DWC_HCTSIZ_DATA0) {
  108273. + qtd->data_toggle = DWC_OTG_HC_PID_DATA0;
  108274. + } else {
  108275. + qtd->data_toggle = DWC_OTG_HC_PID_DATA1;
  108276. + }
  108277. + }
  108278. +}
  108279. +
  108280. +/**
  108281. + * Updates the state of an Isochronous URB when the transfer is stopped for
  108282. + * any reason. The fields of the current entry in the frame descriptor array
  108283. + * are set based on the transfer state and the input _halt_status. Completes
  108284. + * the Isochronous URB if all the URB frames have been completed.
  108285. + *
  108286. + * @return DWC_OTG_HC_XFER_COMPLETE if there are more frames remaining to be
  108287. + * transferred in the URB. Otherwise return DWC_OTG_HC_XFER_URB_COMPLETE.
  108288. + */
  108289. +static dwc_otg_halt_status_e
  108290. +update_isoc_urb_state(dwc_otg_hcd_t * hcd,
  108291. + dwc_hc_t * hc,
  108292. + dwc_otg_hc_regs_t * hc_regs,
  108293. + dwc_otg_qtd_t * qtd, dwc_otg_halt_status_e halt_status)
  108294. +{
  108295. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  108296. + dwc_otg_halt_status_e ret_val = halt_status;
  108297. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  108298. +
  108299. + frame_desc = &urb->iso_descs[qtd->isoc_frame_index];
  108300. + switch (halt_status) {
  108301. + case DWC_OTG_HC_XFER_COMPLETE:
  108302. + frame_desc->status = 0;
  108303. + frame_desc->actual_length =
  108304. + get_actual_xfer_length(hc, hc_regs, qtd, halt_status, NULL);
  108305. +
  108306. + /* non DWORD-aligned buffer case handling. */
  108307. + if (hc->align_buff && frame_desc->actual_length && hc->ep_is_in) {
  108308. + dwc_memcpy(urb->buf + frame_desc->offset + qtd->isoc_split_offset,
  108309. + hc->qh->dw_align_buf, frame_desc->actual_length);
  108310. + }
  108311. +
  108312. + break;
  108313. + case DWC_OTG_HC_XFER_FRAME_OVERRUN:
  108314. + urb->error_count++;
  108315. + if (hc->ep_is_in) {
  108316. + frame_desc->status = -DWC_E_NO_STREAM_RES;
  108317. + } else {
  108318. + frame_desc->status = -DWC_E_COMMUNICATION;
  108319. + }
  108320. + frame_desc->actual_length = 0;
  108321. + break;
  108322. + case DWC_OTG_HC_XFER_BABBLE_ERR:
  108323. + urb->error_count++;
  108324. + frame_desc->status = -DWC_E_OVERFLOW;
  108325. + /* Don't need to update actual_length in this case. */
  108326. + break;
  108327. + case DWC_OTG_HC_XFER_XACT_ERR:
  108328. + urb->error_count++;
  108329. + frame_desc->status = -DWC_E_PROTOCOL;
  108330. + frame_desc->actual_length =
  108331. + get_actual_xfer_length(hc, hc_regs, qtd, halt_status, NULL);
  108332. +
  108333. + /* non DWORD-aligned buffer case handling. */
  108334. + if (hc->align_buff && frame_desc->actual_length && hc->ep_is_in) {
  108335. + dwc_memcpy(urb->buf + frame_desc->offset + qtd->isoc_split_offset,
  108336. + hc->qh->dw_align_buf, frame_desc->actual_length);
  108337. + }
  108338. + /* Skip whole frame */
  108339. + if (hc->qh->do_split && (hc->ep_type == DWC_OTG_EP_TYPE_ISOC) &&
  108340. + hc->ep_is_in && hcd->core_if->dma_enable) {
  108341. + qtd->complete_split = 0;
  108342. + qtd->isoc_split_offset = 0;
  108343. + }
  108344. +
  108345. + break;
  108346. + default:
  108347. + DWC_ASSERT(1, "Unhandled _halt_status (%d)\n", halt_status);
  108348. + break;
  108349. + }
  108350. + if (++qtd->isoc_frame_index == urb->packet_count) {
  108351. + /*
  108352. + * urb->status is not used for isoc transfers.
  108353. + * The individual frame_desc statuses are used instead.
  108354. + */
  108355. + hcd->fops->complete(hcd, urb->priv, urb, 0);
  108356. + ret_val = DWC_OTG_HC_XFER_URB_COMPLETE;
  108357. + } else {
  108358. + ret_val = DWC_OTG_HC_XFER_COMPLETE;
  108359. + }
  108360. + return ret_val;
  108361. +}
  108362. +
  108363. +/**
  108364. + * Frees the first QTD in the QH's list if free_qtd is 1. For non-periodic
  108365. + * QHs, removes the QH from the active non-periodic schedule. If any QTDs are
  108366. + * still linked to the QH, the QH is added to the end of the inactive
  108367. + * non-periodic schedule. For periodic QHs, removes the QH from the periodic
  108368. + * schedule if no more QTDs are linked to the QH.
  108369. + */
  108370. +static void deactivate_qh(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh, int free_qtd)
  108371. +{
  108372. + int continue_split = 0;
  108373. + dwc_otg_qtd_t *qtd;
  108374. +
  108375. + DWC_DEBUGPL(DBG_HCDV, " %s(%p,%p,%d)\n", __func__, hcd, qh, free_qtd);
  108376. +
  108377. + qtd = DWC_CIRCLEQ_FIRST(&qh->qtd_list);
  108378. +
  108379. + if (qtd->complete_split) {
  108380. + continue_split = 1;
  108381. + } else if (qtd->isoc_split_pos == DWC_HCSPLIT_XACTPOS_MID ||
  108382. + qtd->isoc_split_pos == DWC_HCSPLIT_XACTPOS_END) {
  108383. + continue_split = 1;
  108384. + }
  108385. +
  108386. + if (free_qtd) {
  108387. + dwc_otg_hcd_qtd_remove_and_free(hcd, qtd, qh);
  108388. + continue_split = 0;
  108389. + }
  108390. +
  108391. + qh->channel = NULL;
  108392. + dwc_otg_hcd_qh_deactivate(hcd, qh, continue_split);
  108393. +}
  108394. +
  108395. +/**
  108396. + * Releases a host channel for use by other transfers. Attempts to select and
  108397. + * queue more transactions since at least one host channel is available.
  108398. + *
  108399. + * @param hcd The HCD state structure.
  108400. + * @param hc The host channel to release.
  108401. + * @param qtd The QTD associated with the host channel. This QTD may be freed
  108402. + * if the transfer is complete or an error has occurred.
  108403. + * @param halt_status Reason the channel is being released. This status
  108404. + * determines the actions taken by this function.
  108405. + */
  108406. +static void release_channel(dwc_otg_hcd_t * hcd,
  108407. + dwc_hc_t * hc,
  108408. + dwc_otg_qtd_t * qtd,
  108409. + dwc_otg_halt_status_e halt_status)
  108410. +{
  108411. + dwc_otg_transaction_type_e tr_type;
  108412. + int free_qtd;
  108413. + dwc_irqflags_t flags;
  108414. + dwc_spinlock_t *channel_lock = hcd->channel_lock;
  108415. +
  108416. + int hog_port = 0;
  108417. +
  108418. + DWC_DEBUGPL(DBG_HCDV, " %s: channel %d, halt_status %d, xfer_len %d\n",
  108419. + __func__, hc->hc_num, halt_status, hc->xfer_len);
  108420. +
  108421. + if(fiq_fsm_enable && hc->do_split) {
  108422. + if(!hc->ep_is_in && hc->ep_type == UE_ISOCHRONOUS) {
  108423. + if(hc->xact_pos == DWC_HCSPLIT_XACTPOS_MID ||
  108424. + hc->xact_pos == DWC_HCSPLIT_XACTPOS_BEGIN) {
  108425. + hog_port = 0;
  108426. + }
  108427. + }
  108428. + }
  108429. +
  108430. + switch (halt_status) {
  108431. + case DWC_OTG_HC_XFER_URB_COMPLETE:
  108432. + free_qtd = 1;
  108433. + break;
  108434. + case DWC_OTG_HC_XFER_AHB_ERR:
  108435. + case DWC_OTG_HC_XFER_STALL:
  108436. + case DWC_OTG_HC_XFER_BABBLE_ERR:
  108437. + free_qtd = 1;
  108438. + break;
  108439. + case DWC_OTG_HC_XFER_XACT_ERR:
  108440. + if (qtd->error_count >= 3) {
  108441. + DWC_DEBUGPL(DBG_HCDV,
  108442. + " Complete URB with transaction error\n");
  108443. + free_qtd = 1;
  108444. + qtd->urb->status = -DWC_E_PROTOCOL;
  108445. + hcd->fops->complete(hcd, qtd->urb->priv,
  108446. + qtd->urb, -DWC_E_PROTOCOL);
  108447. + } else {
  108448. + free_qtd = 0;
  108449. + }
  108450. + break;
  108451. + case DWC_OTG_HC_XFER_URB_DEQUEUE:
  108452. + /*
  108453. + * The QTD has already been removed and the QH has been
  108454. + * deactivated. Don't want to do anything except release the
  108455. + * host channel and try to queue more transfers.
  108456. + */
  108457. + goto cleanup;
  108458. + case DWC_OTG_HC_XFER_NO_HALT_STATUS:
  108459. + free_qtd = 0;
  108460. + break;
  108461. + case DWC_OTG_HC_XFER_PERIODIC_INCOMPLETE:
  108462. + DWC_DEBUGPL(DBG_HCDV,
  108463. + " Complete URB with I/O error\n");
  108464. + free_qtd = 1;
  108465. + qtd->urb->status = -DWC_E_IO;
  108466. + hcd->fops->complete(hcd, qtd->urb->priv,
  108467. + qtd->urb, -DWC_E_IO);
  108468. + break;
  108469. + default:
  108470. + free_qtd = 0;
  108471. + break;
  108472. + }
  108473. +
  108474. + deactivate_qh(hcd, hc->qh, free_qtd);
  108475. +
  108476. +cleanup:
  108477. + /*
  108478. + * Release the host channel for use by other transfers. The cleanup
  108479. + * function clears the channel interrupt enables and conditions, so
  108480. + * there's no need to clear the Channel Halted interrupt separately.
  108481. + */
  108482. + if (fiq_fsm_enable && hcd->fiq_state->channel[hc->hc_num].fsm != FIQ_PASSTHROUGH)
  108483. + dwc_otg_cleanup_fiq_channel(hcd, hc->hc_num);
  108484. + dwc_otg_hc_cleanup(hcd->core_if, hc);
  108485. + DWC_CIRCLEQ_INSERT_TAIL(&hcd->free_hc_list, hc, hc_list_entry);
  108486. +
  108487. + if (!microframe_schedule) {
  108488. + switch (hc->ep_type) {
  108489. + case DWC_OTG_EP_TYPE_CONTROL:
  108490. + case DWC_OTG_EP_TYPE_BULK:
  108491. + hcd->non_periodic_channels--;
  108492. + break;
  108493. +
  108494. + default:
  108495. + /*
  108496. + * Don't release reservations for periodic channels here.
  108497. + * That's done when a periodic transfer is descheduled (i.e.
  108498. + * when the QH is removed from the periodic schedule).
  108499. + */
  108500. + break;
  108501. + }
  108502. + } else {
  108503. +
  108504. + DWC_SPINLOCK_IRQSAVE(channel_lock, &flags);
  108505. + hcd->available_host_channels++;
  108506. + fiq_print(FIQDBG_INT, hcd->fiq_state, "AHC = %d ", hcd->available_host_channels);
  108507. + DWC_SPINUNLOCK_IRQRESTORE(channel_lock, flags);
  108508. + }
  108509. +
  108510. + /* Try to queue more transfers now that there's a free channel. */
  108511. + tr_type = dwc_otg_hcd_select_transactions(hcd);
  108512. + if (tr_type != DWC_OTG_TRANSACTION_NONE) {
  108513. + dwc_otg_hcd_queue_transactions(hcd, tr_type);
  108514. + }
  108515. +}
  108516. +
  108517. +/**
  108518. + * Halts a host channel. If the channel cannot be halted immediately because
  108519. + * the request queue is full, this function ensures that the FIFO empty
  108520. + * interrupt for the appropriate queue is enabled so that the halt request can
  108521. + * be queued when there is space in the request queue.
  108522. + *
  108523. + * This function may also be called in DMA mode. In that case, the channel is
  108524. + * simply released since the core always halts the channel automatically in
  108525. + * DMA mode.
  108526. + */
  108527. +static void halt_channel(dwc_otg_hcd_t * hcd,
  108528. + dwc_hc_t * hc,
  108529. + dwc_otg_qtd_t * qtd, dwc_otg_halt_status_e halt_status)
  108530. +{
  108531. + if (hcd->core_if->dma_enable) {
  108532. + release_channel(hcd, hc, qtd, halt_status);
  108533. + return;
  108534. + }
  108535. +
  108536. + /* Slave mode processing... */
  108537. + dwc_otg_hc_halt(hcd->core_if, hc, halt_status);
  108538. +
  108539. + if (hc->halt_on_queue) {
  108540. + gintmsk_data_t gintmsk = {.d32 = 0 };
  108541. + dwc_otg_core_global_regs_t *global_regs;
  108542. + global_regs = hcd->core_if->core_global_regs;
  108543. +
  108544. + if (hc->ep_type == DWC_OTG_EP_TYPE_CONTROL ||
  108545. + hc->ep_type == DWC_OTG_EP_TYPE_BULK) {
  108546. + /*
  108547. + * Make sure the Non-periodic Tx FIFO empty interrupt
  108548. + * is enabled so that the non-periodic schedule will
  108549. + * be processed.
  108550. + */
  108551. + gintmsk.b.nptxfempty = 1;
  108552. + if (fiq_enable) {
  108553. + local_fiq_disable();
  108554. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  108555. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0, gintmsk.d32);
  108556. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  108557. + local_fiq_enable();
  108558. + } else {
  108559. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0, gintmsk.d32);
  108560. + }
  108561. + } else {
  108562. + /*
  108563. + * Move the QH from the periodic queued schedule to
  108564. + * the periodic assigned schedule. This allows the
  108565. + * halt to be queued when the periodic schedule is
  108566. + * processed.
  108567. + */
  108568. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_assigned,
  108569. + &hc->qh->qh_list_entry);
  108570. +
  108571. + /*
  108572. + * Make sure the Periodic Tx FIFO Empty interrupt is
  108573. + * enabled so that the periodic schedule will be
  108574. + * processed.
  108575. + */
  108576. + gintmsk.b.ptxfempty = 1;
  108577. + if (fiq_enable) {
  108578. + local_fiq_disable();
  108579. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  108580. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0, gintmsk.d32);
  108581. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  108582. + local_fiq_enable();
  108583. + } else {
  108584. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0, gintmsk.d32);
  108585. + }
  108586. + }
  108587. + }
  108588. +}
  108589. +
  108590. +/**
  108591. + * Performs common cleanup for non-periodic transfers after a Transfer
  108592. + * Complete interrupt. This function should be called after any endpoint type
  108593. + * specific handling is finished to release the host channel.
  108594. + */
  108595. +static void complete_non_periodic_xfer(dwc_otg_hcd_t * hcd,
  108596. + dwc_hc_t * hc,
  108597. + dwc_otg_hc_regs_t * hc_regs,
  108598. + dwc_otg_qtd_t * qtd,
  108599. + dwc_otg_halt_status_e halt_status)
  108600. +{
  108601. + hcint_data_t hcint;
  108602. +
  108603. + qtd->error_count = 0;
  108604. +
  108605. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  108606. + if (hcint.b.nyet) {
  108607. + /*
  108608. + * Got a NYET on the last transaction of the transfer. This
  108609. + * means that the endpoint should be in the PING state at the
  108610. + * beginning of the next transfer.
  108611. + */
  108612. + hc->qh->ping_state = 1;
  108613. + clear_hc_int(hc_regs, nyet);
  108614. + }
  108615. +
  108616. + /*
  108617. + * Always halt and release the host channel to make it available for
  108618. + * more transfers. There may still be more phases for a control
  108619. + * transfer or more data packets for a bulk transfer at this point,
  108620. + * but the host channel is still halted. A channel will be reassigned
  108621. + * to the transfer when the non-periodic schedule is processed after
  108622. + * the channel is released. This allows transactions to be queued
  108623. + * properly via dwc_otg_hcd_queue_transactions, which also enables the
  108624. + * Tx FIFO Empty interrupt if necessary.
  108625. + */
  108626. + if (hc->ep_is_in) {
  108627. + /*
  108628. + * IN transfers in Slave mode require an explicit disable to
  108629. + * halt the channel. (In DMA mode, this call simply releases
  108630. + * the channel.)
  108631. + */
  108632. + halt_channel(hcd, hc, qtd, halt_status);
  108633. + } else {
  108634. + /*
  108635. + * The channel is automatically disabled by the core for OUT
  108636. + * transfers in Slave mode.
  108637. + */
  108638. + release_channel(hcd, hc, qtd, halt_status);
  108639. + }
  108640. +}
  108641. +
  108642. +/**
  108643. + * Performs common cleanup for periodic transfers after a Transfer Complete
  108644. + * interrupt. This function should be called after any endpoint type specific
  108645. + * handling is finished to release the host channel.
  108646. + */
  108647. +static void complete_periodic_xfer(dwc_otg_hcd_t * hcd,
  108648. + dwc_hc_t * hc,
  108649. + dwc_otg_hc_regs_t * hc_regs,
  108650. + dwc_otg_qtd_t * qtd,
  108651. + dwc_otg_halt_status_e halt_status)
  108652. +{
  108653. + hctsiz_data_t hctsiz;
  108654. + qtd->error_count = 0;
  108655. +
  108656. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  108657. + if (!hc->ep_is_in || hctsiz.b.pktcnt == 0) {
  108658. + /* Core halts channel in these cases. */
  108659. + release_channel(hcd, hc, qtd, halt_status);
  108660. + } else {
  108661. + /* Flush any outstanding requests from the Tx queue. */
  108662. + halt_channel(hcd, hc, qtd, halt_status);
  108663. + }
  108664. +}
  108665. +
  108666. +static int32_t handle_xfercomp_isoc_split_in(dwc_otg_hcd_t * hcd,
  108667. + dwc_hc_t * hc,
  108668. + dwc_otg_hc_regs_t * hc_regs,
  108669. + dwc_otg_qtd_t * qtd)
  108670. +{
  108671. + uint32_t len;
  108672. + struct dwc_otg_hcd_iso_packet_desc *frame_desc;
  108673. + frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  108674. +
  108675. + len = get_actual_xfer_length(hc, hc_regs, qtd,
  108676. + DWC_OTG_HC_XFER_COMPLETE, NULL);
  108677. +
  108678. + if (!len) {
  108679. + qtd->complete_split = 0;
  108680. + qtd->isoc_split_offset = 0;
  108681. + return 0;
  108682. + }
  108683. + frame_desc->actual_length += len;
  108684. +
  108685. + if (hc->align_buff && len)
  108686. + dwc_memcpy(qtd->urb->buf + frame_desc->offset +
  108687. + qtd->isoc_split_offset, hc->qh->dw_align_buf, len);
  108688. + qtd->isoc_split_offset += len;
  108689. +
  108690. + if (frame_desc->length == frame_desc->actual_length) {
  108691. + frame_desc->status = 0;
  108692. + qtd->isoc_frame_index++;
  108693. + qtd->complete_split = 0;
  108694. + qtd->isoc_split_offset = 0;
  108695. + }
  108696. +
  108697. + if (qtd->isoc_frame_index == qtd->urb->packet_count) {
  108698. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  108699. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  108700. + } else {
  108701. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  108702. + }
  108703. +
  108704. + return 1; /* Indicates that channel released */
  108705. +}
  108706. +
  108707. +/**
  108708. + * Handles a host channel Transfer Complete interrupt. This handler may be
  108709. + * called in either DMA mode or Slave mode.
  108710. + */
  108711. +static int32_t handle_hc_xfercomp_intr(dwc_otg_hcd_t * hcd,
  108712. + dwc_hc_t * hc,
  108713. + dwc_otg_hc_regs_t * hc_regs,
  108714. + dwc_otg_qtd_t * qtd)
  108715. +{
  108716. + int urb_xfer_done;
  108717. + dwc_otg_halt_status_e halt_status = DWC_OTG_HC_XFER_COMPLETE;
  108718. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  108719. + int pipe_type = dwc_otg_hcd_get_pipe_type(&urb->pipe_info);
  108720. +
  108721. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  108722. + "Transfer Complete--\n", hc->hc_num);
  108723. +
  108724. + if (hcd->core_if->dma_desc_enable) {
  108725. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs, halt_status);
  108726. + if (pipe_type == UE_ISOCHRONOUS) {
  108727. + /* Do not disable the interrupt, just clear it */
  108728. + clear_hc_int(hc_regs, xfercomp);
  108729. + return 1;
  108730. + }
  108731. + goto handle_xfercomp_done;
  108732. + }
  108733. +
  108734. + /*
  108735. + * Handle xfer complete on CSPLIT.
  108736. + */
  108737. +
  108738. + if (hc->qh->do_split) {
  108739. + if ((hc->ep_type == DWC_OTG_EP_TYPE_ISOC) && hc->ep_is_in
  108740. + && hcd->core_if->dma_enable) {
  108741. + if (qtd->complete_split
  108742. + && handle_xfercomp_isoc_split_in(hcd, hc, hc_regs,
  108743. + qtd))
  108744. + goto handle_xfercomp_done;
  108745. + } else {
  108746. + qtd->complete_split = 0;
  108747. + }
  108748. + }
  108749. +
  108750. + /* Update the QTD and URB states. */
  108751. + switch (pipe_type) {
  108752. + case UE_CONTROL:
  108753. + switch (qtd->control_phase) {
  108754. + case DWC_OTG_CONTROL_SETUP:
  108755. + if (urb->length > 0) {
  108756. + qtd->control_phase = DWC_OTG_CONTROL_DATA;
  108757. + } else {
  108758. + qtd->control_phase = DWC_OTG_CONTROL_STATUS;
  108759. + }
  108760. + DWC_DEBUGPL(DBG_HCDV,
  108761. + " Control setup transaction done\n");
  108762. + halt_status = DWC_OTG_HC_XFER_COMPLETE;
  108763. + break;
  108764. + case DWC_OTG_CONTROL_DATA:{
  108765. + urb_xfer_done =
  108766. + update_urb_state_xfer_comp(hc, hc_regs, urb,
  108767. + qtd);
  108768. + if (urb_xfer_done) {
  108769. + qtd->control_phase =
  108770. + DWC_OTG_CONTROL_STATUS;
  108771. + DWC_DEBUGPL(DBG_HCDV,
  108772. + " Control data transfer done\n");
  108773. + } else {
  108774. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  108775. + }
  108776. + halt_status = DWC_OTG_HC_XFER_COMPLETE;
  108777. + break;
  108778. + }
  108779. + case DWC_OTG_CONTROL_STATUS:
  108780. + DWC_DEBUGPL(DBG_HCDV, " Control transfer complete\n");
  108781. + if (urb->status == -DWC_E_IN_PROGRESS) {
  108782. + urb->status = 0;
  108783. + }
  108784. + hcd->fops->complete(hcd, urb->priv, urb, urb->status);
  108785. + halt_status = DWC_OTG_HC_XFER_URB_COMPLETE;
  108786. + break;
  108787. + }
  108788. +
  108789. + complete_non_periodic_xfer(hcd, hc, hc_regs, qtd, halt_status);
  108790. + break;
  108791. + case UE_BULK:
  108792. + DWC_DEBUGPL(DBG_HCDV, " Bulk transfer complete\n");
  108793. + urb_xfer_done =
  108794. + update_urb_state_xfer_comp(hc, hc_regs, urb, qtd);
  108795. + if (urb_xfer_done) {
  108796. + hcd->fops->complete(hcd, urb->priv, urb, urb->status);
  108797. + halt_status = DWC_OTG_HC_XFER_URB_COMPLETE;
  108798. + } else {
  108799. + halt_status = DWC_OTG_HC_XFER_COMPLETE;
  108800. + }
  108801. +
  108802. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  108803. + complete_non_periodic_xfer(hcd, hc, hc_regs, qtd, halt_status);
  108804. + break;
  108805. + case UE_INTERRUPT:
  108806. + DWC_DEBUGPL(DBG_HCDV, " Interrupt transfer complete\n");
  108807. + urb_xfer_done =
  108808. + update_urb_state_xfer_comp(hc, hc_regs, urb, qtd);
  108809. +
  108810. + /*
  108811. + * Interrupt URB is done on the first transfer complete
  108812. + * interrupt.
  108813. + */
  108814. + if (urb_xfer_done) {
  108815. + hcd->fops->complete(hcd, urb->priv, urb, urb->status);
  108816. + halt_status = DWC_OTG_HC_XFER_URB_COMPLETE;
  108817. + } else {
  108818. + halt_status = DWC_OTG_HC_XFER_COMPLETE;
  108819. + }
  108820. +
  108821. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  108822. + complete_periodic_xfer(hcd, hc, hc_regs, qtd, halt_status);
  108823. + break;
  108824. + case UE_ISOCHRONOUS:
  108825. + DWC_DEBUGPL(DBG_HCDV, " Isochronous transfer complete\n");
  108826. + if (qtd->isoc_split_pos == DWC_HCSPLIT_XACTPOS_ALL) {
  108827. + halt_status =
  108828. + update_isoc_urb_state(hcd, hc, hc_regs, qtd,
  108829. + DWC_OTG_HC_XFER_COMPLETE);
  108830. + }
  108831. + complete_periodic_xfer(hcd, hc, hc_regs, qtd, halt_status);
  108832. + break;
  108833. + }
  108834. +
  108835. +handle_xfercomp_done:
  108836. + disable_hc_int(hc_regs, xfercompl);
  108837. +
  108838. + return 1;
  108839. +}
  108840. +
  108841. +/**
  108842. + * Handles a host channel STALL interrupt. This handler may be called in
  108843. + * either DMA mode or Slave mode.
  108844. + */
  108845. +static int32_t handle_hc_stall_intr(dwc_otg_hcd_t * hcd,
  108846. + dwc_hc_t * hc,
  108847. + dwc_otg_hc_regs_t * hc_regs,
  108848. + dwc_otg_qtd_t * qtd)
  108849. +{
  108850. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  108851. + int pipe_type = dwc_otg_hcd_get_pipe_type(&urb->pipe_info);
  108852. +
  108853. + DWC_DEBUGPL(DBG_HCD, "--Host Channel %d Interrupt: "
  108854. + "STALL Received--\n", hc->hc_num);
  108855. +
  108856. + if (hcd->core_if->dma_desc_enable) {
  108857. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs, DWC_OTG_HC_XFER_STALL);
  108858. + goto handle_stall_done;
  108859. + }
  108860. +
  108861. + if (pipe_type == UE_CONTROL) {
  108862. + hcd->fops->complete(hcd, urb->priv, urb, -DWC_E_PIPE);
  108863. + }
  108864. +
  108865. + if (pipe_type == UE_BULK || pipe_type == UE_INTERRUPT) {
  108866. + hcd->fops->complete(hcd, urb->priv, urb, -DWC_E_PIPE);
  108867. + /*
  108868. + * USB protocol requires resetting the data toggle for bulk
  108869. + * and interrupt endpoints when a CLEAR_FEATURE(ENDPOINT_HALT)
  108870. + * setup command is issued to the endpoint. Anticipate the
  108871. + * CLEAR_FEATURE command since a STALL has occurred and reset
  108872. + * the data toggle now.
  108873. + */
  108874. + hc->qh->data_toggle = 0;
  108875. + }
  108876. +
  108877. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_STALL);
  108878. +
  108879. +handle_stall_done:
  108880. + disable_hc_int(hc_regs, stall);
  108881. +
  108882. + return 1;
  108883. +}
  108884. +
  108885. +/*
  108886. + * Updates the state of the URB when a transfer has been stopped due to an
  108887. + * abnormal condition before the transfer completes. Modifies the
  108888. + * actual_length field of the URB to reflect the number of bytes that have
  108889. + * actually been transferred via the host channel.
  108890. + */
  108891. +static void update_urb_state_xfer_intr(dwc_hc_t * hc,
  108892. + dwc_otg_hc_regs_t * hc_regs,
  108893. + dwc_otg_hcd_urb_t * urb,
  108894. + dwc_otg_qtd_t * qtd,
  108895. + dwc_otg_halt_status_e halt_status)
  108896. +{
  108897. + uint32_t bytes_transferred = get_actual_xfer_length(hc, hc_regs, qtd,
  108898. + halt_status, NULL);
  108899. + /* non DWORD-aligned buffer case handling. */
  108900. + if (hc->align_buff && bytes_transferred && hc->ep_is_in) {
  108901. + dwc_memcpy(urb->buf + urb->actual_length, hc->qh->dw_align_buf,
  108902. + bytes_transferred);
  108903. + }
  108904. +
  108905. + urb->actual_length += bytes_transferred;
  108906. +
  108907. +#ifdef DEBUG
  108908. + {
  108909. + hctsiz_data_t hctsiz;
  108910. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  108911. + DWC_DEBUGPL(DBG_HCDV, "DWC_otg: %s: %s, channel %d\n",
  108912. + __func__, (hc->ep_is_in ? "IN" : "OUT"),
  108913. + hc->hc_num);
  108914. + DWC_DEBUGPL(DBG_HCDV, " hc->start_pkt_count %d\n",
  108915. + hc->start_pkt_count);
  108916. + DWC_DEBUGPL(DBG_HCDV, " hctsiz.pktcnt %d\n", hctsiz.b.pktcnt);
  108917. + DWC_DEBUGPL(DBG_HCDV, " hc->max_packet %d\n", hc->max_packet);
  108918. + DWC_DEBUGPL(DBG_HCDV, " bytes_transferred %d\n",
  108919. + bytes_transferred);
  108920. + DWC_DEBUGPL(DBG_HCDV, " urb->actual_length %d\n",
  108921. + urb->actual_length);
  108922. + DWC_DEBUGPL(DBG_HCDV, " urb->transfer_buffer_length %d\n",
  108923. + urb->length);
  108924. + }
  108925. +#endif
  108926. +}
  108927. +
  108928. +/**
  108929. + * Handles a host channel NAK interrupt. This handler may be called in either
  108930. + * DMA mode or Slave mode.
  108931. + */
  108932. +static int32_t handle_hc_nak_intr(dwc_otg_hcd_t * hcd,
  108933. + dwc_hc_t * hc,
  108934. + dwc_otg_hc_regs_t * hc_regs,
  108935. + dwc_otg_qtd_t * qtd)
  108936. +{
  108937. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  108938. + "NAK Received--\n", hc->hc_num);
  108939. +
  108940. + /*
  108941. + * When we get bulk NAKs then remember this so we holdoff on this qh until
  108942. + * the beginning of the next frame
  108943. + */
  108944. + switch(dwc_otg_hcd_get_pipe_type(&qtd->urb->pipe_info)) {
  108945. + case UE_BULK:
  108946. + case UE_CONTROL:
  108947. + if (nak_holdoff && qtd->qh->do_split)
  108948. + hc->qh->nak_frame = dwc_otg_hcd_get_frame_number(hcd);
  108949. + }
  108950. +
  108951. + /*
  108952. + * Handle NAK for IN/OUT SSPLIT/CSPLIT transfers, bulk, control, and
  108953. + * interrupt. Re-start the SSPLIT transfer.
  108954. + */
  108955. + if (hc->do_split) {
  108956. + if (hc->complete_split) {
  108957. + qtd->error_count = 0;
  108958. + }
  108959. + qtd->complete_split = 0;
  108960. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NAK);
  108961. + goto handle_nak_done;
  108962. + }
  108963. +
  108964. + switch (dwc_otg_hcd_get_pipe_type(&qtd->urb->pipe_info)) {
  108965. + case UE_CONTROL:
  108966. + case UE_BULK:
  108967. + if (hcd->core_if->dma_enable && hc->ep_is_in) {
  108968. + /*
  108969. + * NAK interrupts are enabled on bulk/control IN
  108970. + * transfers in DMA mode for the sole purpose of
  108971. + * resetting the error count after a transaction error
  108972. + * occurs. The core will continue transferring data.
  108973. + * Disable other interrupts unmasked for the same
  108974. + * reason.
  108975. + */
  108976. + disable_hc_int(hc_regs, datatglerr);
  108977. + disable_hc_int(hc_regs, ack);
  108978. + qtd->error_count = 0;
  108979. + goto handle_nak_done;
  108980. + }
  108981. +
  108982. + /*
  108983. + * NAK interrupts normally occur during OUT transfers in DMA
  108984. + * or Slave mode. For IN transfers, more requests will be
  108985. + * queued as request queue space is available.
  108986. + */
  108987. + qtd->error_count = 0;
  108988. +
  108989. + if (!hc->qh->ping_state) {
  108990. + update_urb_state_xfer_intr(hc, hc_regs,
  108991. + qtd->urb, qtd,
  108992. + DWC_OTG_HC_XFER_NAK);
  108993. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  108994. +
  108995. + if (hc->speed == DWC_OTG_EP_SPEED_HIGH)
  108996. + hc->qh->ping_state = 1;
  108997. + }
  108998. +
  108999. + /*
  109000. + * Halt the channel so the transfer can be re-started from
  109001. + * the appropriate point or the PING protocol will
  109002. + * start/continue.
  109003. + */
  109004. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NAK);
  109005. + break;
  109006. + case UE_INTERRUPT:
  109007. + qtd->error_count = 0;
  109008. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NAK);
  109009. + break;
  109010. + case UE_ISOCHRONOUS:
  109011. + /* Should never get called for isochronous transfers. */
  109012. + DWC_ASSERT(1, "NACK interrupt for ISOC transfer\n");
  109013. + break;
  109014. + }
  109015. +
  109016. +handle_nak_done:
  109017. + disable_hc_int(hc_regs, nak);
  109018. +
  109019. + return 1;
  109020. +}
  109021. +
  109022. +/**
  109023. + * Handles a host channel ACK interrupt. This interrupt is enabled when
  109024. + * performing the PING protocol in Slave mode, when errors occur during
  109025. + * either Slave mode or DMA mode, and during Start Split transactions.
  109026. + */
  109027. +static int32_t handle_hc_ack_intr(dwc_otg_hcd_t * hcd,
  109028. + dwc_hc_t * hc,
  109029. + dwc_otg_hc_regs_t * hc_regs,
  109030. + dwc_otg_qtd_t * qtd)
  109031. +{
  109032. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109033. + "ACK Received--\n", hc->hc_num);
  109034. +
  109035. + if (hc->do_split) {
  109036. + /*
  109037. + * Handle ACK on SSPLIT.
  109038. + * ACK should not occur in CSPLIT.
  109039. + */
  109040. + if (!hc->ep_is_in && hc->data_pid_start != DWC_OTG_HC_PID_SETUP) {
  109041. + qtd->ssplit_out_xfer_count = hc->xfer_len;
  109042. + }
  109043. + if (!(hc->ep_type == DWC_OTG_EP_TYPE_ISOC && !hc->ep_is_in)) {
  109044. + /* Don't need complete for isochronous out transfers. */
  109045. + qtd->complete_split = 1;
  109046. + }
  109047. +
  109048. + /* ISOC OUT */
  109049. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC && !hc->ep_is_in) {
  109050. + switch (hc->xact_pos) {
  109051. + case DWC_HCSPLIT_XACTPOS_ALL:
  109052. + break;
  109053. + case DWC_HCSPLIT_XACTPOS_END:
  109054. + qtd->isoc_split_pos = DWC_HCSPLIT_XACTPOS_ALL;
  109055. + qtd->isoc_split_offset = 0;
  109056. + break;
  109057. + case DWC_HCSPLIT_XACTPOS_BEGIN:
  109058. + case DWC_HCSPLIT_XACTPOS_MID:
  109059. + /*
  109060. + * For BEGIN or MID, calculate the length for
  109061. + * the next microframe to determine the correct
  109062. + * SSPLIT token, either MID or END.
  109063. + */
  109064. + {
  109065. + struct dwc_otg_hcd_iso_packet_desc
  109066. + *frame_desc;
  109067. +
  109068. + frame_desc =
  109069. + &qtd->urb->
  109070. + iso_descs[qtd->isoc_frame_index];
  109071. + qtd->isoc_split_offset += 188;
  109072. +
  109073. + if ((frame_desc->length -
  109074. + qtd->isoc_split_offset) <= 188) {
  109075. + qtd->isoc_split_pos =
  109076. + DWC_HCSPLIT_XACTPOS_END;
  109077. + } else {
  109078. + qtd->isoc_split_pos =
  109079. + DWC_HCSPLIT_XACTPOS_MID;
  109080. + }
  109081. +
  109082. + }
  109083. + break;
  109084. + }
  109085. + } else {
  109086. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_ACK);
  109087. + }
  109088. + } else {
  109089. + /*
  109090. + * An unmasked ACK on a non-split DMA transaction is
  109091. + * for the sole purpose of resetting error counts. Disable other
  109092. + * interrupts unmasked for the same reason.
  109093. + */
  109094. + if(hcd->core_if->dma_enable) {
  109095. + disable_hc_int(hc_regs, datatglerr);
  109096. + disable_hc_int(hc_regs, nak);
  109097. + }
  109098. + qtd->error_count = 0;
  109099. +
  109100. + if (hc->qh->ping_state) {
  109101. + hc->qh->ping_state = 0;
  109102. + /*
  109103. + * Halt the channel so the transfer can be re-started
  109104. + * from the appropriate point. This only happens in
  109105. + * Slave mode. In DMA mode, the ping_state is cleared
  109106. + * when the transfer is started because the core
  109107. + * automatically executes the PING, then the transfer.
  109108. + */
  109109. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_ACK);
  109110. + }
  109111. + }
  109112. +
  109113. + /*
  109114. + * If the ACK occurred when _not_ in the PING state, let the channel
  109115. + * continue transferring data after clearing the error count.
  109116. + */
  109117. +
  109118. + disable_hc_int(hc_regs, ack);
  109119. +
  109120. + return 1;
  109121. +}
  109122. +
  109123. +/**
  109124. + * Handles a host channel NYET interrupt. This interrupt should only occur on
  109125. + * Bulk and Control OUT endpoints and for complete split transactions. If a
  109126. + * NYET occurs at the same time as a Transfer Complete interrupt, it is
  109127. + * handled in the xfercomp interrupt handler, not here. This handler may be
  109128. + * called in either DMA mode or Slave mode.
  109129. + */
  109130. +static int32_t handle_hc_nyet_intr(dwc_otg_hcd_t * hcd,
  109131. + dwc_hc_t * hc,
  109132. + dwc_otg_hc_regs_t * hc_regs,
  109133. + dwc_otg_qtd_t * qtd)
  109134. +{
  109135. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109136. + "NYET Received--\n", hc->hc_num);
  109137. +
  109138. + /*
  109139. + * NYET on CSPLIT
  109140. + * re-do the CSPLIT immediately on non-periodic
  109141. + */
  109142. + if (hc->do_split && hc->complete_split) {
  109143. + if (hc->ep_is_in && (hc->ep_type == DWC_OTG_EP_TYPE_ISOC)
  109144. + && hcd->core_if->dma_enable) {
  109145. + qtd->complete_split = 0;
  109146. + qtd->isoc_split_offset = 0;
  109147. + if (++qtd->isoc_frame_index == qtd->urb->packet_count) {
  109148. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  109149. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109150. + }
  109151. + else
  109152. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  109153. + goto handle_nyet_done;
  109154. + }
  109155. +
  109156. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  109157. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  109158. + int frnum = dwc_otg_hcd_get_frame_number(hcd);
  109159. +
  109160. + // With the FIQ running we only ever see the failed NYET
  109161. + if (dwc_full_frame_num(frnum) !=
  109162. + dwc_full_frame_num(hc->qh->sched_frame) ||
  109163. + fiq_fsm_enable) {
  109164. + /*
  109165. + * No longer in the same full speed frame.
  109166. + * Treat this as a transaction error.
  109167. + */
  109168. +#if 0
  109169. + /** @todo Fix system performance so this can
  109170. + * be treated as an error. Right now complete
  109171. + * splits cannot be scheduled precisely enough
  109172. + * due to other system activity, so this error
  109173. + * occurs regularly in Slave mode.
  109174. + */
  109175. + qtd->error_count++;
  109176. +#endif
  109177. + qtd->complete_split = 0;
  109178. + halt_channel(hcd, hc, qtd,
  109179. + DWC_OTG_HC_XFER_XACT_ERR);
  109180. + /** @todo add support for isoc release */
  109181. + goto handle_nyet_done;
  109182. + }
  109183. + }
  109184. +
  109185. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NYET);
  109186. + goto handle_nyet_done;
  109187. + }
  109188. +
  109189. + hc->qh->ping_state = 1;
  109190. + qtd->error_count = 0;
  109191. +
  109192. + update_urb_state_xfer_intr(hc, hc_regs, qtd->urb, qtd,
  109193. + DWC_OTG_HC_XFER_NYET);
  109194. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109195. +
  109196. + /*
  109197. + * Halt the channel and re-start the transfer so the PING
  109198. + * protocol will start.
  109199. + */
  109200. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NYET);
  109201. +
  109202. +handle_nyet_done:
  109203. + disable_hc_int(hc_regs, nyet);
  109204. + return 1;
  109205. +}
  109206. +
  109207. +/**
  109208. + * Handles a host channel babble interrupt. This handler may be called in
  109209. + * either DMA mode or Slave mode.
  109210. + */
  109211. +static int32_t handle_hc_babble_intr(dwc_otg_hcd_t * hcd,
  109212. + dwc_hc_t * hc,
  109213. + dwc_otg_hc_regs_t * hc_regs,
  109214. + dwc_otg_qtd_t * qtd)
  109215. +{
  109216. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109217. + "Babble Error--\n", hc->hc_num);
  109218. +
  109219. + if (hcd->core_if->dma_desc_enable) {
  109220. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs,
  109221. + DWC_OTG_HC_XFER_BABBLE_ERR);
  109222. + goto handle_babble_done;
  109223. + }
  109224. +
  109225. + if (hc->ep_type != DWC_OTG_EP_TYPE_ISOC) {
  109226. + hcd->fops->complete(hcd, qtd->urb->priv,
  109227. + qtd->urb, -DWC_E_OVERFLOW);
  109228. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_BABBLE_ERR);
  109229. + } else {
  109230. + dwc_otg_halt_status_e halt_status;
  109231. + halt_status = update_isoc_urb_state(hcd, hc, hc_regs, qtd,
  109232. + DWC_OTG_HC_XFER_BABBLE_ERR);
  109233. + halt_channel(hcd, hc, qtd, halt_status);
  109234. + }
  109235. +
  109236. +handle_babble_done:
  109237. + disable_hc_int(hc_regs, bblerr);
  109238. + return 1;
  109239. +}
  109240. +
  109241. +/**
  109242. + * Handles a host channel AHB error interrupt. This handler is only called in
  109243. + * DMA mode.
  109244. + */
  109245. +static int32_t handle_hc_ahberr_intr(dwc_otg_hcd_t * hcd,
  109246. + dwc_hc_t * hc,
  109247. + dwc_otg_hc_regs_t * hc_regs,
  109248. + dwc_otg_qtd_t * qtd)
  109249. +{
  109250. + hcchar_data_t hcchar;
  109251. + hcsplt_data_t hcsplt;
  109252. + hctsiz_data_t hctsiz;
  109253. + uint32_t hcdma;
  109254. + char *pipetype, *speed;
  109255. +
  109256. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  109257. +
  109258. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109259. + "AHB Error--\n", hc->hc_num);
  109260. +
  109261. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  109262. + hcsplt.d32 = DWC_READ_REG32(&hc_regs->hcsplt);
  109263. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  109264. + hcdma = DWC_READ_REG32(&hc_regs->hcdma);
  109265. +
  109266. + DWC_ERROR("AHB ERROR, Channel %d\n", hc->hc_num);
  109267. + DWC_ERROR(" hcchar 0x%08x, hcsplt 0x%08x\n", hcchar.d32, hcsplt.d32);
  109268. + DWC_ERROR(" hctsiz 0x%08x, hcdma 0x%08x\n", hctsiz.d32, hcdma);
  109269. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD URB Enqueue\n");
  109270. + DWC_ERROR(" Device address: %d\n",
  109271. + dwc_otg_hcd_get_dev_addr(&urb->pipe_info));
  109272. + DWC_ERROR(" Endpoint: %d, %s\n",
  109273. + dwc_otg_hcd_get_ep_num(&urb->pipe_info),
  109274. + (dwc_otg_hcd_is_pipe_in(&urb->pipe_info) ? "IN" : "OUT"));
  109275. +
  109276. + switch (dwc_otg_hcd_get_pipe_type(&urb->pipe_info)) {
  109277. + case UE_CONTROL:
  109278. + pipetype = "CONTROL";
  109279. + break;
  109280. + case UE_BULK:
  109281. + pipetype = "BULK";
  109282. + break;
  109283. + case UE_INTERRUPT:
  109284. + pipetype = "INTERRUPT";
  109285. + break;
  109286. + case UE_ISOCHRONOUS:
  109287. + pipetype = "ISOCHRONOUS";
  109288. + break;
  109289. + default:
  109290. + pipetype = "UNKNOWN";
  109291. + break;
  109292. + }
  109293. +
  109294. + DWC_ERROR(" Endpoint type: %s\n", pipetype);
  109295. +
  109296. + switch (hc->speed) {
  109297. + case DWC_OTG_EP_SPEED_HIGH:
  109298. + speed = "HIGH";
  109299. + break;
  109300. + case DWC_OTG_EP_SPEED_FULL:
  109301. + speed = "FULL";
  109302. + break;
  109303. + case DWC_OTG_EP_SPEED_LOW:
  109304. + speed = "LOW";
  109305. + break;
  109306. + default:
  109307. + speed = "UNKNOWN";
  109308. + break;
  109309. + };
  109310. +
  109311. + DWC_ERROR(" Speed: %s\n", speed);
  109312. +
  109313. + DWC_ERROR(" Max packet size: %d\n",
  109314. + dwc_otg_hcd_get_mps(&urb->pipe_info));
  109315. + DWC_ERROR(" Data buffer length: %d\n", urb->length);
  109316. + DWC_ERROR(" Transfer buffer: %p, Transfer DMA: %p\n",
  109317. + urb->buf, (void *)urb->dma);
  109318. + DWC_ERROR(" Setup buffer: %p, Setup DMA: %p\n",
  109319. + urb->setup_packet, (void *)urb->setup_dma);
  109320. + DWC_ERROR(" Interval: %d\n", urb->interval);
  109321. +
  109322. + /* Core haltes the channel for Descriptor DMA mode */
  109323. + if (hcd->core_if->dma_desc_enable) {
  109324. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs,
  109325. + DWC_OTG_HC_XFER_AHB_ERR);
  109326. + goto handle_ahberr_done;
  109327. + }
  109328. +
  109329. + hcd->fops->complete(hcd, urb->priv, urb, -DWC_E_IO);
  109330. +
  109331. + /*
  109332. + * Force a channel halt. Don't call halt_channel because that won't
  109333. + * write to the HCCHARn register in DMA mode to force the halt.
  109334. + */
  109335. + dwc_otg_hc_halt(hcd->core_if, hc, DWC_OTG_HC_XFER_AHB_ERR);
  109336. +handle_ahberr_done:
  109337. + disable_hc_int(hc_regs, ahberr);
  109338. + return 1;
  109339. +}
  109340. +
  109341. +/**
  109342. + * Handles a host channel transaction error interrupt. This handler may be
  109343. + * called in either DMA mode or Slave mode.
  109344. + */
  109345. +static int32_t handle_hc_xacterr_intr(dwc_otg_hcd_t * hcd,
  109346. + dwc_hc_t * hc,
  109347. + dwc_otg_hc_regs_t * hc_regs,
  109348. + dwc_otg_qtd_t * qtd)
  109349. +{
  109350. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109351. + "Transaction Error--\n", hc->hc_num);
  109352. +
  109353. + if (hcd->core_if->dma_desc_enable) {
  109354. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs,
  109355. + DWC_OTG_HC_XFER_XACT_ERR);
  109356. + goto handle_xacterr_done;
  109357. + }
  109358. +
  109359. + switch (dwc_otg_hcd_get_pipe_type(&qtd->urb->pipe_info)) {
  109360. + case UE_CONTROL:
  109361. + case UE_BULK:
  109362. + qtd->error_count++;
  109363. + if (!hc->qh->ping_state) {
  109364. +
  109365. + update_urb_state_xfer_intr(hc, hc_regs,
  109366. + qtd->urb, qtd,
  109367. + DWC_OTG_HC_XFER_XACT_ERR);
  109368. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109369. + if (!hc->ep_is_in && hc->speed == DWC_OTG_EP_SPEED_HIGH) {
  109370. + hc->qh->ping_state = 1;
  109371. + }
  109372. + }
  109373. +
  109374. + /*
  109375. + * Halt the channel so the transfer can be re-started from
  109376. + * the appropriate point or the PING protocol will start.
  109377. + */
  109378. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109379. + break;
  109380. + case UE_INTERRUPT:
  109381. + qtd->error_count++;
  109382. + if (hc->do_split && hc->complete_split) {
  109383. + qtd->complete_split = 0;
  109384. + }
  109385. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109386. + break;
  109387. + case UE_ISOCHRONOUS:
  109388. + {
  109389. + dwc_otg_halt_status_e halt_status;
  109390. + halt_status =
  109391. + update_isoc_urb_state(hcd, hc, hc_regs, qtd,
  109392. + DWC_OTG_HC_XFER_XACT_ERR);
  109393. +
  109394. + halt_channel(hcd, hc, qtd, halt_status);
  109395. + }
  109396. + break;
  109397. + }
  109398. +handle_xacterr_done:
  109399. + disable_hc_int(hc_regs, xacterr);
  109400. +
  109401. + return 1;
  109402. +}
  109403. +
  109404. +/**
  109405. + * Handles a host channel frame overrun interrupt. This handler may be called
  109406. + * in either DMA mode or Slave mode.
  109407. + */
  109408. +static int32_t handle_hc_frmovrun_intr(dwc_otg_hcd_t * hcd,
  109409. + dwc_hc_t * hc,
  109410. + dwc_otg_hc_regs_t * hc_regs,
  109411. + dwc_otg_qtd_t * qtd)
  109412. +{
  109413. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109414. + "Frame Overrun--\n", hc->hc_num);
  109415. +
  109416. + switch (dwc_otg_hcd_get_pipe_type(&qtd->urb->pipe_info)) {
  109417. + case UE_CONTROL:
  109418. + case UE_BULK:
  109419. + break;
  109420. + case UE_INTERRUPT:
  109421. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_FRAME_OVERRUN);
  109422. + break;
  109423. + case UE_ISOCHRONOUS:
  109424. + {
  109425. + dwc_otg_halt_status_e halt_status;
  109426. + halt_status =
  109427. + update_isoc_urb_state(hcd, hc, hc_regs, qtd,
  109428. + DWC_OTG_HC_XFER_FRAME_OVERRUN);
  109429. +
  109430. + halt_channel(hcd, hc, qtd, halt_status);
  109431. + }
  109432. + break;
  109433. + }
  109434. +
  109435. + disable_hc_int(hc_regs, frmovrun);
  109436. +
  109437. + return 1;
  109438. +}
  109439. +
  109440. +/**
  109441. + * Handles a host channel data toggle error interrupt. This handler may be
  109442. + * called in either DMA mode or Slave mode.
  109443. + */
  109444. +static int32_t handle_hc_datatglerr_intr(dwc_otg_hcd_t * hcd,
  109445. + dwc_hc_t * hc,
  109446. + dwc_otg_hc_regs_t * hc_regs,
  109447. + dwc_otg_qtd_t * qtd)
  109448. +{
  109449. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109450. + "Data Toggle Error on %s transfer--\n",
  109451. + hc->hc_num, (hc->ep_is_in ? "IN" : "OUT"));
  109452. +
  109453. + /* Data toggles on split transactions cause the hc to halt.
  109454. + * restart transfer */
  109455. + if(hc->qh->do_split)
  109456. + {
  109457. + qtd->error_count++;
  109458. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109459. + update_urb_state_xfer_intr(hc, hc_regs,
  109460. + qtd->urb, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109461. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109462. + } else if (hc->ep_is_in) {
  109463. + /* An unmasked data toggle error on a non-split DMA transaction is
  109464. + * for the sole purpose of resetting error counts. Disable other
  109465. + * interrupts unmasked for the same reason.
  109466. + */
  109467. + if(hcd->core_if->dma_enable) {
  109468. + disable_hc_int(hc_regs, ack);
  109469. + disable_hc_int(hc_regs, nak);
  109470. + }
  109471. + qtd->error_count = 0;
  109472. + }
  109473. +
  109474. + disable_hc_int(hc_regs, datatglerr);
  109475. +
  109476. + return 1;
  109477. +}
  109478. +
  109479. +#ifdef DEBUG
  109480. +/**
  109481. + * This function is for debug only. It checks that a valid halt status is set
  109482. + * and that HCCHARn.chdis is clear. If there's a problem, corrective action is
  109483. + * taken and a warning is issued.
  109484. + * @return 1 if halt status is ok, 0 otherwise.
  109485. + */
  109486. +static inline int halt_status_ok(dwc_otg_hcd_t * hcd,
  109487. + dwc_hc_t * hc,
  109488. + dwc_otg_hc_regs_t * hc_regs,
  109489. + dwc_otg_qtd_t * qtd)
  109490. +{
  109491. + hcchar_data_t hcchar;
  109492. + hctsiz_data_t hctsiz;
  109493. + hcint_data_t hcint;
  109494. + hcintmsk_data_t hcintmsk;
  109495. + hcsplt_data_t hcsplt;
  109496. +
  109497. + if (hc->halt_status == DWC_OTG_HC_XFER_NO_HALT_STATUS) {
  109498. + /*
  109499. + * This code is here only as a check. This condition should
  109500. + * never happen. Ignore the halt if it does occur.
  109501. + */
  109502. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  109503. + hctsiz.d32 = DWC_READ_REG32(&hc_regs->hctsiz);
  109504. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  109505. + hcintmsk.d32 = DWC_READ_REG32(&hc_regs->hcintmsk);
  109506. + hcsplt.d32 = DWC_READ_REG32(&hc_regs->hcsplt);
  109507. + DWC_WARN
  109508. + ("%s: hc->halt_status == DWC_OTG_HC_XFER_NO_HALT_STATUS, "
  109509. + "channel %d, hcchar 0x%08x, hctsiz 0x%08x, "
  109510. + "hcint 0x%08x, hcintmsk 0x%08x, "
  109511. + "hcsplt 0x%08x, qtd->complete_split %d\n", __func__,
  109512. + hc->hc_num, hcchar.d32, hctsiz.d32, hcint.d32,
  109513. + hcintmsk.d32, hcsplt.d32, qtd->complete_split);
  109514. +
  109515. + DWC_WARN("%s: no halt status, channel %d, ignoring interrupt\n",
  109516. + __func__, hc->hc_num);
  109517. + DWC_WARN("\n");
  109518. + clear_hc_int(hc_regs, chhltd);
  109519. + return 0;
  109520. + }
  109521. +
  109522. + /*
  109523. + * This code is here only as a check. hcchar.chdis should
  109524. + * never be set when the halt interrupt occurs. Halt the
  109525. + * channel again if it does occur.
  109526. + */
  109527. + hcchar.d32 = DWC_READ_REG32(&hc_regs->hcchar);
  109528. + if (hcchar.b.chdis) {
  109529. + DWC_WARN("%s: hcchar.chdis set unexpectedly, "
  109530. + "hcchar 0x%08x, trying to halt again\n",
  109531. + __func__, hcchar.d32);
  109532. + clear_hc_int(hc_regs, chhltd);
  109533. + hc->halt_pending = 0;
  109534. + halt_channel(hcd, hc, qtd, hc->halt_status);
  109535. + return 0;
  109536. + }
  109537. +
  109538. + return 1;
  109539. +}
  109540. +#endif
  109541. +
  109542. +/**
  109543. + * Handles a host Channel Halted interrupt in DMA mode. This handler
  109544. + * determines the reason the channel halted and proceeds accordingly.
  109545. + */
  109546. +static void handle_hc_chhltd_intr_dma(dwc_otg_hcd_t * hcd,
  109547. + dwc_hc_t * hc,
  109548. + dwc_otg_hc_regs_t * hc_regs,
  109549. + dwc_otg_qtd_t * qtd)
  109550. +{
  109551. + int out_nak_enh = 0;
  109552. + hcint_data_t hcint;
  109553. + hcintmsk_data_t hcintmsk;
  109554. + /* For core with OUT NAK enhancement, the flow for high-
  109555. + * speed CONTROL/BULK OUT is handled a little differently.
  109556. + */
  109557. + if (hcd->core_if->snpsid >= OTG_CORE_REV_2_71a) {
  109558. + if (hc->speed == DWC_OTG_EP_SPEED_HIGH && !hc->ep_is_in &&
  109559. + (hc->ep_type == DWC_OTG_EP_TYPE_CONTROL ||
  109560. + hc->ep_type == DWC_OTG_EP_TYPE_BULK)) {
  109561. + out_nak_enh = 1;
  109562. + }
  109563. + }
  109564. +
  109565. + if (hc->halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE ||
  109566. + (hc->halt_status == DWC_OTG_HC_XFER_AHB_ERR
  109567. + && !hcd->core_if->dma_desc_enable)) {
  109568. + /*
  109569. + * Just release the channel. A dequeue can happen on a
  109570. + * transfer timeout. In the case of an AHB Error, the channel
  109571. + * was forced to halt because there's no way to gracefully
  109572. + * recover.
  109573. + */
  109574. + if (hcd->core_if->dma_desc_enable)
  109575. + dwc_otg_hcd_complete_xfer_ddma(hcd, hc, hc_regs,
  109576. + hc->halt_status);
  109577. + else
  109578. + release_channel(hcd, hc, qtd, hc->halt_status);
  109579. + return;
  109580. + }
  109581. +
  109582. + /* Read the HCINTn register to determine the cause for the halt. */
  109583. +
  109584. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  109585. + hcintmsk.d32 = DWC_READ_REG32(&hc_regs->hcintmsk);
  109586. +
  109587. + if (hcint.b.xfercomp) {
  109588. + /** @todo This is here because of a possible hardware bug. Spec
  109589. + * says that on SPLIT-ISOC OUT transfers in DMA mode that a HALT
  109590. + * interrupt w/ACK bit set should occur, but I only see the
  109591. + * XFERCOMP bit, even with it masked out. This is a workaround
  109592. + * for that behavior. Should fix this when hardware is fixed.
  109593. + */
  109594. + if (hc->ep_type == DWC_OTG_EP_TYPE_ISOC && !hc->ep_is_in) {
  109595. + handle_hc_ack_intr(hcd, hc, hc_regs, qtd);
  109596. + }
  109597. + handle_hc_xfercomp_intr(hcd, hc, hc_regs, qtd);
  109598. + } else if (hcint.b.stall) {
  109599. + handle_hc_stall_intr(hcd, hc, hc_regs, qtd);
  109600. + } else if (hcint.b.xacterr && !hcd->core_if->dma_desc_enable) {
  109601. + if (out_nak_enh) {
  109602. + if (hcint.b.nyet || hcint.b.nak || hcint.b.ack) {
  109603. + DWC_DEBUGPL(DBG_HCD, "XactErr with NYET/NAK/ACK\n");
  109604. + qtd->error_count = 0;
  109605. + } else {
  109606. + DWC_DEBUGPL(DBG_HCD, "XactErr without NYET/NAK/ACK\n");
  109607. + }
  109608. + }
  109609. +
  109610. + /*
  109611. + * Must handle xacterr before nak or ack. Could get a xacterr
  109612. + * at the same time as either of these on a BULK/CONTROL OUT
  109613. + * that started with a PING. The xacterr takes precedence.
  109614. + */
  109615. + handle_hc_xacterr_intr(hcd, hc, hc_regs, qtd);
  109616. + } else if (hcint.b.xcs_xact && hcd->core_if->dma_desc_enable) {
  109617. + handle_hc_xacterr_intr(hcd, hc, hc_regs, qtd);
  109618. + } else if (hcint.b.ahberr && hcd->core_if->dma_desc_enable) {
  109619. + handle_hc_ahberr_intr(hcd, hc, hc_regs, qtd);
  109620. + } else if (hcint.b.bblerr) {
  109621. + handle_hc_babble_intr(hcd, hc, hc_regs, qtd);
  109622. + } else if (hcint.b.frmovrun) {
  109623. + handle_hc_frmovrun_intr(hcd, hc, hc_regs, qtd);
  109624. + } else if (hcint.b.datatglerr) {
  109625. + handle_hc_datatglerr_intr(hcd, hc, hc_regs, qtd);
  109626. + } else if (!out_nak_enh) {
  109627. + if (hcint.b.nyet) {
  109628. + /*
  109629. + * Must handle nyet before nak or ack. Could get a nyet at the
  109630. + * same time as either of those on a BULK/CONTROL OUT that
  109631. + * started with a PING. The nyet takes precedence.
  109632. + */
  109633. + handle_hc_nyet_intr(hcd, hc, hc_regs, qtd);
  109634. + } else if (hcint.b.nak && !hcintmsk.b.nak) {
  109635. + /*
  109636. + * If nak is not masked, it's because a non-split IN transfer
  109637. + * is in an error state. In that case, the nak is handled by
  109638. + * the nak interrupt handler, not here. Handle nak here for
  109639. + * BULK/CONTROL OUT transfers, which halt on a NAK to allow
  109640. + * rewinding the buffer pointer.
  109641. + */
  109642. + handle_hc_nak_intr(hcd, hc, hc_regs, qtd);
  109643. + } else if (hcint.b.ack && !hcintmsk.b.ack) {
  109644. + /*
  109645. + * If ack is not masked, it's because a non-split IN transfer
  109646. + * is in an error state. In that case, the ack is handled by
  109647. + * the ack interrupt handler, not here. Handle ack here for
  109648. + * split transfers. Start splits halt on ACK.
  109649. + */
  109650. + handle_hc_ack_intr(hcd, hc, hc_regs, qtd);
  109651. + } else {
  109652. + if (hc->ep_type == DWC_OTG_EP_TYPE_INTR ||
  109653. + hc->ep_type == DWC_OTG_EP_TYPE_ISOC) {
  109654. + /*
  109655. + * A periodic transfer halted with no other channel
  109656. + * interrupts set. Assume it was halted by the core
  109657. + * because it could not be completed in its scheduled
  109658. + * (micro)frame.
  109659. + */
  109660. +#ifdef DEBUG
  109661. + DWC_PRINTF
  109662. + ("%s: Halt channel %d (assume incomplete periodic transfer)\n",
  109663. + __func__, hc->hc_num);
  109664. +#endif
  109665. + halt_channel(hcd, hc, qtd,
  109666. + DWC_OTG_HC_XFER_PERIODIC_INCOMPLETE);
  109667. + } else {
  109668. + DWC_ERROR
  109669. + ("%s: Channel %d, DMA Mode -- ChHltd set, but reason "
  109670. + "for halting is unknown, hcint 0x%08x, intsts 0x%08x\n",
  109671. + __func__, hc->hc_num, hcint.d32,
  109672. + DWC_READ_REG32(&hcd->
  109673. + core_if->core_global_regs->
  109674. + gintsts));
  109675. + /* Failthrough: use 3-strikes rule */
  109676. + qtd->error_count++;
  109677. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109678. + update_urb_state_xfer_intr(hc, hc_regs,
  109679. + qtd->urb, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109680. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109681. + }
  109682. +
  109683. + }
  109684. + } else {
  109685. + DWC_PRINTF("NYET/NAK/ACK/other in non-error case, 0x%08x\n",
  109686. + hcint.d32);
  109687. + /* Failthrough: use 3-strikes rule */
  109688. + qtd->error_count++;
  109689. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109690. + update_urb_state_xfer_intr(hc, hc_regs,
  109691. + qtd->urb, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109692. + halt_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_XACT_ERR);
  109693. + }
  109694. +}
  109695. +
  109696. +/**
  109697. + * Handles a host channel Channel Halted interrupt.
  109698. + *
  109699. + * In slave mode, this handler is called only when the driver specifically
  109700. + * requests a halt. This occurs during handling other host channel interrupts
  109701. + * (e.g. nak, xacterr, stall, nyet, etc.).
  109702. + *
  109703. + * In DMA mode, this is the interrupt that occurs when the core has finished
  109704. + * processing a transfer on a channel. Other host channel interrupts (except
  109705. + * ahberr) are disabled in DMA mode.
  109706. + */
  109707. +static int32_t handle_hc_chhltd_intr(dwc_otg_hcd_t * hcd,
  109708. + dwc_hc_t * hc,
  109709. + dwc_otg_hc_regs_t * hc_regs,
  109710. + dwc_otg_qtd_t * qtd)
  109711. +{
  109712. + DWC_DEBUGPL(DBG_HCDI, "--Host Channel %d Interrupt: "
  109713. + "Channel Halted--\n", hc->hc_num);
  109714. +
  109715. + if (hcd->core_if->dma_enable) {
  109716. + handle_hc_chhltd_intr_dma(hcd, hc, hc_regs, qtd);
  109717. + } else {
  109718. +#ifdef DEBUG
  109719. + if (!halt_status_ok(hcd, hc, hc_regs, qtd)) {
  109720. + return 1;
  109721. + }
  109722. +#endif
  109723. + release_channel(hcd, hc, qtd, hc->halt_status);
  109724. + }
  109725. +
  109726. + return 1;
  109727. +}
  109728. +
  109729. +
  109730. +/**
  109731. + * dwc_otg_fiq_unmangle_isoc() - Update the iso_frame_desc structure on
  109732. + * FIQ transfer completion
  109733. + * @hcd: Pointer to dwc_otg_hcd struct
  109734. + * @num: Host channel number
  109735. + *
  109736. + * 1. Un-mangle the status as recorded in each iso_frame_desc status
  109737. + * 2. Copy it from the dwc_otg_urb into the real URB
  109738. + */
  109739. +void dwc_otg_fiq_unmangle_isoc(dwc_otg_hcd_t *hcd, dwc_otg_qh_t *qh, dwc_otg_qtd_t *qtd, uint32_t num)
  109740. +{
  109741. + struct dwc_otg_hcd_urb *dwc_urb = qtd->urb;
  109742. + int nr_frames = dwc_urb->packet_count;
  109743. + int i;
  109744. + hcint_data_t frame_hcint;
  109745. +
  109746. + for (i = 0; i < nr_frames; i++) {
  109747. + frame_hcint.d32 = dwc_urb->iso_descs[i].status;
  109748. + if (frame_hcint.b.xfercomp) {
  109749. + dwc_urb->iso_descs[i].status = 0;
  109750. + dwc_urb->actual_length += dwc_urb->iso_descs[i].actual_length;
  109751. + } else if (frame_hcint.b.frmovrun) {
  109752. + if (qh->ep_is_in)
  109753. + dwc_urb->iso_descs[i].status = -DWC_E_NO_STREAM_RES;
  109754. + else
  109755. + dwc_urb->iso_descs[i].status = -DWC_E_COMMUNICATION;
  109756. + dwc_urb->error_count++;
  109757. + dwc_urb->iso_descs[i].actual_length = 0;
  109758. + } else if (frame_hcint.b.xacterr) {
  109759. + dwc_urb->iso_descs[i].status = -DWC_E_PROTOCOL;
  109760. + dwc_urb->error_count++;
  109761. + dwc_urb->iso_descs[i].actual_length = 0;
  109762. + } else if (frame_hcint.b.bblerr) {
  109763. + dwc_urb->iso_descs[i].status = -DWC_E_OVERFLOW;
  109764. + dwc_urb->error_count++;
  109765. + dwc_urb->iso_descs[i].actual_length = 0;
  109766. + } else {
  109767. + /* Something went wrong */
  109768. + dwc_urb->iso_descs[i].status = -1;
  109769. + dwc_urb->iso_descs[i].actual_length = 0;
  109770. + dwc_urb->error_count++;
  109771. + }
  109772. + }
  109773. + qh->sched_frame = dwc_frame_num_inc(qh->sched_frame, qh->interval * (nr_frames - 1));
  109774. +
  109775. + //printk_ratelimited(KERN_INFO "%s: HS isochronous of %d/%d frames with %d errors complete\n",
  109776. + // __FUNCTION__, i, dwc_urb->packet_count, dwc_urb->error_count);
  109777. +}
  109778. +
  109779. +/**
  109780. + * dwc_otg_fiq_unsetup_per_dma() - Remove data from bounce buffers for split transactions
  109781. + * @hcd: Pointer to dwc_otg_hcd struct
  109782. + * @num: Host channel number
  109783. + *
  109784. + * Copies data from the FIQ bounce buffers into the URB's transfer buffer. Does not modify URB state.
  109785. + * Returns total length of data or -1 if the buffers were not used.
  109786. + *
  109787. + */
  109788. +int dwc_otg_fiq_unsetup_per_dma(dwc_otg_hcd_t *hcd, dwc_otg_qh_t *qh, dwc_otg_qtd_t *qtd, uint32_t num)
  109789. +{
  109790. + dwc_hc_t *hc = qh->channel;
  109791. + struct fiq_dma_blob *blob = hcd->fiq_dmab;
  109792. + struct fiq_channel_state *st = &hcd->fiq_state->channel[num];
  109793. + uint8_t *ptr = NULL;
  109794. + int index = 0, len = 0;
  109795. + int i = 0;
  109796. + if (hc->ep_is_in) {
  109797. + /* Copy data out of the DMA bounce buffers to the URB's buffer.
  109798. + * The align_buf is ignored as this is ignored on FSM enqueue. */
  109799. + ptr = qtd->urb->buf;
  109800. + if (qh->ep_type == UE_ISOCHRONOUS) {
  109801. + /* Isoc IN transactions - grab the offset of the iso_frame_desc into the URB transfer buffer */
  109802. + index = qtd->isoc_frame_index;
  109803. + ptr += qtd->urb->iso_descs[index].offset;
  109804. + } else {
  109805. + /* Need to increment by actual_length for interrupt IN */
  109806. + ptr += qtd->urb->actual_length;
  109807. + }
  109808. +
  109809. + for (i = 0; i < st->dma_info.index; i++) {
  109810. + len += st->dma_info.slot_len[i];
  109811. + dwc_memcpy(ptr, &blob->channel[num].index[i].buf[0], st->dma_info.slot_len[i]);
  109812. + ptr += st->dma_info.slot_len[i];
  109813. + }
  109814. + return len;
  109815. + } else {
  109816. + /* OUT endpoints - nothing to do. */
  109817. + return -1;
  109818. + }
  109819. +
  109820. +}
  109821. +/**
  109822. + * dwc_otg_hcd_handle_hc_fsm() - handle an unmasked channel interrupt
  109823. + * from a channel handled in the FIQ
  109824. + * @hcd: Pointer to dwc_otg_hcd struct
  109825. + * @num: Host channel number
  109826. + *
  109827. + * If a host channel interrupt was received by the IRQ and this was a channel
  109828. + * used by the FIQ, the execution flow for transfer completion is substantially
  109829. + * different from the normal (messy) path. This function and its friends handles
  109830. + * channel cleanup and transaction completion from a FIQ transaction.
  109831. + */
  109832. +void dwc_otg_hcd_handle_hc_fsm(dwc_otg_hcd_t *hcd, uint32_t num)
  109833. +{
  109834. + struct fiq_channel_state *st = &hcd->fiq_state->channel[num];
  109835. + dwc_hc_t *hc = hcd->hc_ptr_array[num];
  109836. + dwc_otg_qtd_t *qtd = DWC_CIRCLEQ_FIRST(&hc->qh->qtd_list);
  109837. + dwc_otg_qh_t *qh = hc->qh;
  109838. + dwc_otg_hc_regs_t *hc_regs = hcd->core_if->host_if->hc_regs[num];
  109839. + hcint_data_t hcint = hcd->fiq_state->channel[num].hcint_copy;
  109840. + int hostchannels = 0;
  109841. + fiq_print(FIQDBG_INT, hcd->fiq_state, "OUT %01d %01d ", num , st->fsm);
  109842. +
  109843. + hostchannels = hcd->available_host_channels;
  109844. + switch (st->fsm) {
  109845. + case FIQ_TEST:
  109846. + break;
  109847. +
  109848. + case FIQ_DEQUEUE_ISSUED:
  109849. + /* hc_halt was called. QTD no longer exists. */
  109850. + /* TODO: for a nonperiodic split transaction, need to issue a
  109851. + * CLEAR_TT_BUFFER hub command if we were in the start-split phase.
  109852. + */
  109853. + release_channel(hcd, hc, NULL, hc->halt_status);
  109854. + break;
  109855. +
  109856. + case FIQ_NP_SPLIT_DONE:
  109857. + /* Nonperiodic transaction complete. */
  109858. + if (!hc->ep_is_in) {
  109859. + qtd->ssplit_out_xfer_count = hc->xfer_len;
  109860. + }
  109861. + if (hcint.b.xfercomp) {
  109862. + handle_hc_xfercomp_intr(hcd, hc, hc_regs, qtd);
  109863. + } else if (hcint.b.nak) {
  109864. + handle_hc_nak_intr(hcd, hc, hc_regs, qtd);
  109865. + }
  109866. + break;
  109867. +
  109868. + case FIQ_NP_SPLIT_HS_ABORTED:
  109869. + /* A HS abort is a 3-strikes on the HS bus at any point in the transaction.
  109870. + * Normally a CLEAR_TT_BUFFER hub command would be required: we can't do that
  109871. + * because there's no guarantee which order a non-periodic split happened in.
  109872. + * We could end up clearing a perfectly good transaction out of the buffer.
  109873. + */
  109874. + if (hcint.b.xacterr) {
  109875. + qtd->error_count += st->nr_errors;
  109876. + handle_hc_xacterr_intr(hcd, hc, hc_regs, qtd);
  109877. + } else if (hcint.b.ahberr) {
  109878. + handle_hc_ahberr_intr(hcd, hc, hc_regs, qtd);
  109879. + } else {
  109880. + local_fiq_disable();
  109881. + BUG();
  109882. + }
  109883. + break;
  109884. +
  109885. + case FIQ_NP_SPLIT_LS_ABORTED:
  109886. + /* A few cases can cause this - either an unknown state on a SSPLIT or
  109887. + * STALL/data toggle error response on a CSPLIT */
  109888. + if (hcint.b.stall) {
  109889. + handle_hc_stall_intr(hcd, hc, hc_regs, qtd);
  109890. + } else if (hcint.b.datatglerr) {
  109891. + handle_hc_datatglerr_intr(hcd, hc, hc_regs, qtd);
  109892. + } else if (hcint.b.bblerr) {
  109893. + handle_hc_babble_intr(hcd, hc, hc_regs, qtd);
  109894. + } else if (hcint.b.ahberr) {
  109895. + handle_hc_ahberr_intr(hcd, hc, hc_regs, qtd);
  109896. + } else {
  109897. + local_fiq_disable();
  109898. + BUG();
  109899. + }
  109900. + break;
  109901. +
  109902. + case FIQ_PER_SPLIT_DONE:
  109903. + /* Isoc IN or Interrupt IN/OUT */
  109904. +
  109905. + /* Flow control here is different from the normal execution by the driver.
  109906. + * We need to completely ignore most of the driver's method of handling
  109907. + * split transactions and do it ourselves.
  109908. + */
  109909. + if (hc->ep_type == UE_INTERRUPT) {
  109910. + if (hcint.b.nak) {
  109911. + handle_hc_nak_intr(hcd, hc, hc_regs, qtd);
  109912. + } else if (hc->ep_is_in) {
  109913. + int len;
  109914. + len = dwc_otg_fiq_unsetup_per_dma(hcd, hc->qh, qtd, num);
  109915. + //printk(KERN_NOTICE "FIQ Transaction: hc=%d len=%d urb_len = %d\n", num, len, qtd->urb->length);
  109916. + qtd->urb->actual_length += len;
  109917. + if (qtd->urb->actual_length >= qtd->urb->length) {
  109918. + qtd->urb->status = 0;
  109919. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, qtd->urb->status);
  109920. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109921. + } else {
  109922. + /* Interrupt transfer not complete yet - is it a short read? */
  109923. + if (len < hc->max_packet) {
  109924. + /* Interrupt transaction complete */
  109925. + qtd->urb->status = 0;
  109926. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, qtd->urb->status);
  109927. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109928. + } else {
  109929. + /* Further transactions required */
  109930. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  109931. + }
  109932. + }
  109933. + } else {
  109934. + /* Interrupt OUT complete. */
  109935. + dwc_otg_hcd_save_data_toggle(hc, hc_regs, qtd);
  109936. + qtd->urb->actual_length += hc->xfer_len;
  109937. + if (qtd->urb->actual_length >= qtd->urb->length) {
  109938. + qtd->urb->status = 0;
  109939. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, qtd->urb->status);
  109940. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109941. + } else {
  109942. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  109943. + }
  109944. + }
  109945. + } else {
  109946. + /* ISOC IN complete. */
  109947. + struct dwc_otg_hcd_iso_packet_desc *frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  109948. + int len = 0;
  109949. + /* Record errors, update qtd. */
  109950. + if (st->nr_errors) {
  109951. + frame_desc->actual_length = 0;
  109952. + frame_desc->status = -DWC_E_PROTOCOL;
  109953. + } else {
  109954. + frame_desc->status = 0;
  109955. + /* Unswizzle dma */
  109956. + len = dwc_otg_fiq_unsetup_per_dma(hcd, qh, qtd, num);
  109957. + frame_desc->actual_length = len;
  109958. + }
  109959. + qtd->isoc_frame_index++;
  109960. + if (qtd->isoc_frame_index == qtd->urb->packet_count) {
  109961. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  109962. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109963. + } else {
  109964. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  109965. + }
  109966. + }
  109967. + break;
  109968. +
  109969. + case FIQ_PER_ISO_OUT_DONE: {
  109970. + struct dwc_otg_hcd_iso_packet_desc *frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  109971. + /* Record errors, update qtd. */
  109972. + if (st->nr_errors) {
  109973. + frame_desc->actual_length = 0;
  109974. + frame_desc->status = -DWC_E_PROTOCOL;
  109975. + } else {
  109976. + frame_desc->status = 0;
  109977. + frame_desc->actual_length = frame_desc->length;
  109978. + }
  109979. + qtd->isoc_frame_index++;
  109980. + qtd->isoc_split_offset = 0;
  109981. + if (qtd->isoc_frame_index == qtd->urb->packet_count) {
  109982. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  109983. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  109984. + } else {
  109985. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  109986. + }
  109987. + }
  109988. + break;
  109989. +
  109990. + case FIQ_PER_SPLIT_NYET_ABORTED:
  109991. + /* Doh. lost the data. */
  109992. + printk_ratelimited(KERN_INFO "Transfer to device %d endpoint 0x%x frame %d failed "
  109993. + "- FIQ reported NYET. Data may have been lost.\n",
  109994. + hc->dev_addr, hc->ep_num, dwc_otg_hcd_get_frame_number(hcd) >> 3);
  109995. + if (hc->ep_type == UE_ISOCHRONOUS) {
  109996. + struct dwc_otg_hcd_iso_packet_desc *frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  109997. + /* Record errors, update qtd. */
  109998. + frame_desc->actual_length = 0;
  109999. + frame_desc->status = -DWC_E_PROTOCOL;
  110000. + qtd->isoc_frame_index++;
  110001. + qtd->isoc_split_offset = 0;
  110002. + if (qtd->isoc_frame_index == qtd->urb->packet_count) {
  110003. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  110004. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  110005. + } else {
  110006. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  110007. + }
  110008. + } else {
  110009. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  110010. + }
  110011. + break;
  110012. +
  110013. + case FIQ_HS_ISOC_DONE:
  110014. + /* The FIQ has performed a whole pile of isochronous transactions.
  110015. + * The status is recorded as the interrupt state should the transaction
  110016. + * fail.
  110017. + */
  110018. + dwc_otg_fiq_unmangle_isoc(hcd, qh, qtd, num);
  110019. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  110020. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  110021. + break;
  110022. +
  110023. + case FIQ_PER_SPLIT_LS_ABORTED:
  110024. + if (hcint.b.xacterr) {
  110025. + /* Hub has responded with an ERR packet. Device
  110026. + * has been unplugged or the port has been disabled.
  110027. + * TODO: need to issue a reset to the hub port. */
  110028. + qtd->error_count += 3;
  110029. + handle_hc_xacterr_intr(hcd, hc, hc_regs, qtd);
  110030. + } else if (hcint.b.stall) {
  110031. + handle_hc_stall_intr(hcd, hc, hc_regs, qtd);
  110032. + } else if (hcint.b.bblerr) {
  110033. + handle_hc_babble_intr(hcd, hc, hc_regs, qtd);
  110034. + } else {
  110035. + printk_ratelimited(KERN_INFO "Transfer to device %d endpoint 0x%x failed "
  110036. + "- FIQ reported FSM=%d. Data may have been lost.\n",
  110037. + st->fsm, hc->dev_addr, hc->ep_num);
  110038. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  110039. + }
  110040. + break;
  110041. +
  110042. + case FIQ_PER_SPLIT_HS_ABORTED:
  110043. + /* Either the SSPLIT phase suffered transaction errors or something
  110044. + * unexpected happened.
  110045. + */
  110046. + qtd->error_count += 3;
  110047. + handle_hc_xacterr_intr(hcd, hc, hc_regs, qtd);
  110048. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  110049. + break;
  110050. +
  110051. + case FIQ_PER_SPLIT_TIMEOUT:
  110052. + /* Couldn't complete in the nominated frame */
  110053. + printk(KERN_INFO "Transfer to device %d endpoint 0x%x frame %d failed "
  110054. + "- FIQ timed out. Data may have been lost.\n",
  110055. + hc->dev_addr, hc->ep_num, dwc_otg_hcd_get_frame_number(hcd) >> 3);
  110056. + if (hc->ep_type == UE_ISOCHRONOUS) {
  110057. + struct dwc_otg_hcd_iso_packet_desc *frame_desc = &qtd->urb->iso_descs[qtd->isoc_frame_index];
  110058. + /* Record errors, update qtd. */
  110059. + frame_desc->actual_length = 0;
  110060. + if (hc->ep_is_in) {
  110061. + frame_desc->status = -DWC_E_NO_STREAM_RES;
  110062. + } else {
  110063. + frame_desc->status = -DWC_E_COMMUNICATION;
  110064. + }
  110065. + qtd->isoc_frame_index++;
  110066. + if (qtd->isoc_frame_index == qtd->urb->packet_count) {
  110067. + hcd->fops->complete(hcd, qtd->urb->priv, qtd->urb, 0);
  110068. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_URB_COMPLETE);
  110069. + } else {
  110070. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_COMPLETE);
  110071. + }
  110072. + } else {
  110073. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  110074. + }
  110075. + break;
  110076. +
  110077. + default:
  110078. + DWC_WARN("Unexpected state received on hc=%d fsm=%d on transfer to device %d ep 0x%x",
  110079. + hc->hc_num, st->fsm, hc->dev_addr, hc->ep_num);
  110080. + qtd->error_count++;
  110081. + release_channel(hcd, hc, qtd, DWC_OTG_HC_XFER_NO_HALT_STATUS);
  110082. + }
  110083. + return;
  110084. +}
  110085. +
  110086. +/** Handles interrupt for a specific Host Channel */
  110087. +int32_t dwc_otg_hcd_handle_hc_n_intr(dwc_otg_hcd_t * dwc_otg_hcd, uint32_t num)
  110088. +{
  110089. + int retval = 0;
  110090. + hcint_data_t hcint;
  110091. + hcintmsk_data_t hcintmsk;
  110092. + dwc_hc_t *hc;
  110093. + dwc_otg_hc_regs_t *hc_regs;
  110094. + dwc_otg_qtd_t *qtd;
  110095. +
  110096. + DWC_DEBUGPL(DBG_HCDV, "--Host Channel Interrupt--, Channel %d\n", num);
  110097. +
  110098. + hc = dwc_otg_hcd->hc_ptr_array[num];
  110099. + hc_regs = dwc_otg_hcd->core_if->host_if->hc_regs[num];
  110100. + if(hc->halt_status == DWC_OTG_HC_XFER_URB_DEQUEUE) {
  110101. + /* We are responding to a channel disable. Driver
  110102. + * state is cleared - our qtd has gone away.
  110103. + */
  110104. + release_channel(dwc_otg_hcd, hc, NULL, hc->halt_status);
  110105. + return 1;
  110106. + }
  110107. + qtd = DWC_CIRCLEQ_FIRST(&hc->qh->qtd_list);
  110108. +
  110109. + /*
  110110. + * FSM mode: Check to see if this is a HC interrupt from a channel handled by the FIQ.
  110111. + * Execution path is fundamentally different for the channels after a FIQ has completed
  110112. + * a split transaction.
  110113. + */
  110114. + if (fiq_fsm_enable) {
  110115. + switch (dwc_otg_hcd->fiq_state->channel[num].fsm) {
  110116. + case FIQ_PASSTHROUGH:
  110117. + break;
  110118. + case FIQ_PASSTHROUGH_ERRORSTATE:
  110119. + /* Hook into the error count */
  110120. + fiq_print(FIQDBG_ERR, dwc_otg_hcd->fiq_state, "HCDERR%02d", num);
  110121. + if (!dwc_otg_hcd->fiq_state->channel[num].nr_errors) {
  110122. + qtd->error_count = 0;
  110123. + fiq_print(FIQDBG_ERR, dwc_otg_hcd->fiq_state, "RESET ");
  110124. + }
  110125. + break;
  110126. + default:
  110127. + dwc_otg_hcd_handle_hc_fsm(dwc_otg_hcd, num);
  110128. + return 1;
  110129. + }
  110130. + }
  110131. +
  110132. + hcint.d32 = DWC_READ_REG32(&hc_regs->hcint);
  110133. + hcintmsk.d32 = DWC_READ_REG32(&hc_regs->hcintmsk);
  110134. + hcint.d32 = hcint.d32 & hcintmsk.d32;
  110135. + if (!dwc_otg_hcd->core_if->dma_enable) {
  110136. + if (hcint.b.chhltd && hcint.d32 != 0x2) {
  110137. + hcint.b.chhltd = 0;
  110138. + }
  110139. + }
  110140. +
  110141. + if (hcint.b.xfercomp) {
  110142. + retval |=
  110143. + handle_hc_xfercomp_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110144. + /*
  110145. + * If NYET occurred at same time as Xfer Complete, the NYET is
  110146. + * handled by the Xfer Complete interrupt handler. Don't want
  110147. + * to call the NYET interrupt handler in this case.
  110148. + */
  110149. + hcint.b.nyet = 0;
  110150. + }
  110151. + if (hcint.b.chhltd) {
  110152. + retval |= handle_hc_chhltd_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110153. + }
  110154. + if (hcint.b.ahberr) {
  110155. + retval |= handle_hc_ahberr_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110156. + }
  110157. + if (hcint.b.stall) {
  110158. + retval |= handle_hc_stall_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110159. + }
  110160. + if (hcint.b.nak) {
  110161. + retval |= handle_hc_nak_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110162. + }
  110163. + if (hcint.b.ack) {
  110164. + if(!hcint.b.chhltd)
  110165. + retval |= handle_hc_ack_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110166. + }
  110167. + if (hcint.b.nyet) {
  110168. + retval |= handle_hc_nyet_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110169. + }
  110170. + if (hcint.b.xacterr) {
  110171. + retval |= handle_hc_xacterr_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110172. + }
  110173. + if (hcint.b.bblerr) {
  110174. + retval |= handle_hc_babble_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110175. + }
  110176. + if (hcint.b.frmovrun) {
  110177. + retval |=
  110178. + handle_hc_frmovrun_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110179. + }
  110180. + if (hcint.b.datatglerr) {
  110181. + retval |=
  110182. + handle_hc_datatglerr_intr(dwc_otg_hcd, hc, hc_regs, qtd);
  110183. + }
  110184. +
  110185. + return retval;
  110186. +}
  110187. +#endif /* DWC_DEVICE_ONLY */
  110188. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_linux.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_linux.c
  110189. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_linux.c 1970-01-01 01:00:00.000000000 +0100
  110190. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_linux.c 2015-11-29 09:42:39.919098694 +0100
  110191. @@ -0,0 +1,999 @@
  110192. +
  110193. +/* ==========================================================================
  110194. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd_linux.c $
  110195. + * $Revision: #20 $
  110196. + * $Date: 2011/10/26 $
  110197. + * $Change: 1872981 $
  110198. + *
  110199. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  110200. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  110201. + * otherwise expressly agreed to in writing between Synopsys and you.
  110202. + *
  110203. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  110204. + * any End User Software License Agreement or Agreement for Licensed Product
  110205. + * with Synopsys or any supplement thereto. You are permitted to use and
  110206. + * redistribute this Software in source and binary forms, with or without
  110207. + * modification, provided that redistributions of source code must retain this
  110208. + * notice. You may not view, use, disclose, copy or distribute this file or
  110209. + * any information contained herein except pursuant to this license grant from
  110210. + * Synopsys. If you do not agree with this notice, including the disclaimer
  110211. + * below, then you are not authorized to use the Software.
  110212. + *
  110213. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  110214. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  110215. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  110216. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  110217. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  110218. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  110219. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  110220. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  110221. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  110222. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  110223. + * DAMAGE.
  110224. + * ========================================================================== */
  110225. +#ifndef DWC_DEVICE_ONLY
  110226. +
  110227. +/**
  110228. + * @file
  110229. + *
  110230. + * This file contains the implementation of the HCD. In Linux, the HCD
  110231. + * implements the hc_driver API.
  110232. + */
  110233. +#include <linux/kernel.h>
  110234. +#include <linux/module.h>
  110235. +#include <linux/moduleparam.h>
  110236. +#include <linux/init.h>
  110237. +#include <linux/device.h>
  110238. +#include <linux/errno.h>
  110239. +#include <linux/list.h>
  110240. +#include <linux/interrupt.h>
  110241. +#include <linux/string.h>
  110242. +#include <linux/dma-mapping.h>
  110243. +#include <linux/version.h>
  110244. +#include <asm/io.h>
  110245. +#include <asm/fiq.h>
  110246. +#include <linux/usb.h>
  110247. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,35)
  110248. +#include <../drivers/usb/core/hcd.h>
  110249. +#else
  110250. +#include <linux/usb/hcd.h>
  110251. +#endif
  110252. +#include <asm/bug.h>
  110253. +
  110254. +#if (LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30))
  110255. +#define USB_URB_EP_LINKING 1
  110256. +#else
  110257. +#define USB_URB_EP_LINKING 0
  110258. +#endif
  110259. +
  110260. +#include "dwc_otg_hcd_if.h"
  110261. +#include "dwc_otg_dbg.h"
  110262. +#include "dwc_otg_driver.h"
  110263. +#include "dwc_otg_hcd.h"
  110264. +
  110265. +extern unsigned char _dwc_otg_fiq_stub, _dwc_otg_fiq_stub_end;
  110266. +
  110267. +/**
  110268. + * Gets the endpoint number from a _bEndpointAddress argument. The endpoint is
  110269. + * qualified with its direction (possible 32 endpoints per device).
  110270. + */
  110271. +#define dwc_ep_addr_to_endpoint(_bEndpointAddress_) ((_bEndpointAddress_ & USB_ENDPOINT_NUMBER_MASK) | \
  110272. + ((_bEndpointAddress_ & USB_DIR_IN) != 0) << 4)
  110273. +
  110274. +static const char dwc_otg_hcd_name[] = "dwc_otg_hcd";
  110275. +
  110276. +extern bool fiq_enable;
  110277. +
  110278. +/** @name Linux HC Driver API Functions */
  110279. +/** @{ */
  110280. +/* manage i/o requests, device state */
  110281. +static int dwc_otg_urb_enqueue(struct usb_hcd *hcd,
  110282. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  110283. + struct usb_host_endpoint *ep,
  110284. +#endif
  110285. + struct urb *urb, gfp_t mem_flags);
  110286. +
  110287. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30)
  110288. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  110289. +static int dwc_otg_urb_dequeue(struct usb_hcd *hcd, struct urb *urb);
  110290. +#endif
  110291. +#else /* kernels at or post 2.6.30 */
  110292. +static int dwc_otg_urb_dequeue(struct usb_hcd *hcd,
  110293. + struct urb *urb, int status);
  110294. +#endif /* LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30) */
  110295. +
  110296. +static void endpoint_disable(struct usb_hcd *hcd, struct usb_host_endpoint *ep);
  110297. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30)
  110298. +static void endpoint_reset(struct usb_hcd *hcd, struct usb_host_endpoint *ep);
  110299. +#endif
  110300. +static irqreturn_t dwc_otg_hcd_irq(struct usb_hcd *hcd);
  110301. +extern int hcd_start(struct usb_hcd *hcd);
  110302. +extern void hcd_stop(struct usb_hcd *hcd);
  110303. +static int get_frame_number(struct usb_hcd *hcd);
  110304. +extern int hub_status_data(struct usb_hcd *hcd, char *buf);
  110305. +extern int hub_control(struct usb_hcd *hcd,
  110306. + u16 typeReq,
  110307. + u16 wValue, u16 wIndex, char *buf, u16 wLength);
  110308. +
  110309. +struct wrapper_priv_data {
  110310. + dwc_otg_hcd_t *dwc_otg_hcd;
  110311. +};
  110312. +
  110313. +/** @} */
  110314. +
  110315. +static struct hc_driver dwc_otg_hc_driver = {
  110316. +
  110317. + .description = dwc_otg_hcd_name,
  110318. + .product_desc = "DWC OTG Controller",
  110319. + .hcd_priv_size = sizeof(struct wrapper_priv_data),
  110320. +
  110321. + .irq = dwc_otg_hcd_irq,
  110322. +
  110323. + .flags = HCD_MEMORY | HCD_USB2,
  110324. +
  110325. + //.reset =
  110326. + .start = hcd_start,
  110327. + //.suspend =
  110328. + //.resume =
  110329. + .stop = hcd_stop,
  110330. +
  110331. + .urb_enqueue = dwc_otg_urb_enqueue,
  110332. + .urb_dequeue = dwc_otg_urb_dequeue,
  110333. + .endpoint_disable = endpoint_disable,
  110334. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30)
  110335. + .endpoint_reset = endpoint_reset,
  110336. +#endif
  110337. + .get_frame_number = get_frame_number,
  110338. +
  110339. + .hub_status_data = hub_status_data,
  110340. + .hub_control = hub_control,
  110341. + //.bus_suspend =
  110342. + //.bus_resume =
  110343. +};
  110344. +
  110345. +/** Gets the dwc_otg_hcd from a struct usb_hcd */
  110346. +static inline dwc_otg_hcd_t *hcd_to_dwc_otg_hcd(struct usb_hcd *hcd)
  110347. +{
  110348. + struct wrapper_priv_data *p;
  110349. + p = (struct wrapper_priv_data *)(hcd->hcd_priv);
  110350. + return p->dwc_otg_hcd;
  110351. +}
  110352. +
  110353. +/** Gets the struct usb_hcd that contains a dwc_otg_hcd_t. */
  110354. +static inline struct usb_hcd *dwc_otg_hcd_to_hcd(dwc_otg_hcd_t * dwc_otg_hcd)
  110355. +{
  110356. + return dwc_otg_hcd_get_priv_data(dwc_otg_hcd);
  110357. +}
  110358. +
  110359. +/** Gets the usb_host_endpoint associated with an URB. */
  110360. +inline struct usb_host_endpoint *dwc_urb_to_endpoint(struct urb *urb)
  110361. +{
  110362. + struct usb_device *dev = urb->dev;
  110363. + int ep_num = usb_pipeendpoint(urb->pipe);
  110364. +
  110365. + if (usb_pipein(urb->pipe))
  110366. + return dev->ep_in[ep_num];
  110367. + else
  110368. + return dev->ep_out[ep_num];
  110369. +}
  110370. +
  110371. +static int _disconnect(dwc_otg_hcd_t * hcd)
  110372. +{
  110373. + struct usb_hcd *usb_hcd = dwc_otg_hcd_to_hcd(hcd);
  110374. +
  110375. + usb_hcd->self.is_b_host = 0;
  110376. + return 0;
  110377. +}
  110378. +
  110379. +static int _start(dwc_otg_hcd_t * hcd)
  110380. +{
  110381. + struct usb_hcd *usb_hcd = dwc_otg_hcd_to_hcd(hcd);
  110382. +
  110383. + usb_hcd->self.is_b_host = dwc_otg_hcd_is_b_host(hcd);
  110384. + hcd_start(usb_hcd);
  110385. +
  110386. + return 0;
  110387. +}
  110388. +
  110389. +static int _hub_info(dwc_otg_hcd_t * hcd, void *urb_handle, uint32_t * hub_addr,
  110390. + uint32_t * port_addr)
  110391. +{
  110392. + struct urb *urb = (struct urb *)urb_handle;
  110393. + struct usb_bus *bus;
  110394. +#if 1 //GRAYG - temporary
  110395. + if (NULL == urb_handle)
  110396. + DWC_ERROR("**** %s - NULL URB handle\n", __func__);//GRAYG
  110397. + if (NULL == urb->dev)
  110398. + DWC_ERROR("**** %s - URB has no device\n", __func__);//GRAYG
  110399. + if (NULL == port_addr)
  110400. + DWC_ERROR("**** %s - NULL port_address\n", __func__);//GRAYG
  110401. +#endif
  110402. + if (urb->dev->tt) {
  110403. + if (NULL == urb->dev->tt->hub) {
  110404. + DWC_ERROR("**** %s - (URB's transactor has no TT - giving no hub)\n",
  110405. + __func__); //GRAYG
  110406. + //*hub_addr = (u8)usb_pipedevice(urb->pipe); //GRAYG
  110407. + *hub_addr = 0; //GRAYG
  110408. + // we probably shouldn't have a transaction translator if
  110409. + // there's no associated hub?
  110410. + } else {
  110411. + bus = hcd_to_bus(dwc_otg_hcd_to_hcd(hcd));
  110412. + if (urb->dev->tt->hub == bus->root_hub)
  110413. + *hub_addr = 0;
  110414. + else
  110415. + *hub_addr = urb->dev->tt->hub->devnum;
  110416. + }
  110417. + *port_addr = urb->dev->tt->multi ? urb->dev->ttport : 1;
  110418. + } else {
  110419. + *hub_addr = 0;
  110420. + *port_addr = urb->dev->ttport;
  110421. + }
  110422. + return 0;
  110423. +}
  110424. +
  110425. +static int _speed(dwc_otg_hcd_t * hcd, void *urb_handle)
  110426. +{
  110427. + struct urb *urb = (struct urb *)urb_handle;
  110428. + return urb->dev->speed;
  110429. +}
  110430. +
  110431. +static int _get_b_hnp_enable(dwc_otg_hcd_t * hcd)
  110432. +{
  110433. + struct usb_hcd *usb_hcd = dwc_otg_hcd_to_hcd(hcd);
  110434. + return usb_hcd->self.b_hnp_enable;
  110435. +}
  110436. +
  110437. +static void allocate_bus_bandwidth(struct usb_hcd *hcd, uint32_t bw,
  110438. + struct urb *urb)
  110439. +{
  110440. + hcd_to_bus(hcd)->bandwidth_allocated += bw / urb->interval;
  110441. + if (usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) {
  110442. + hcd_to_bus(hcd)->bandwidth_isoc_reqs++;
  110443. + } else {
  110444. + hcd_to_bus(hcd)->bandwidth_int_reqs++;
  110445. + }
  110446. +}
  110447. +
  110448. +static void free_bus_bandwidth(struct usb_hcd *hcd, uint32_t bw,
  110449. + struct urb *urb)
  110450. +{
  110451. + hcd_to_bus(hcd)->bandwidth_allocated -= bw / urb->interval;
  110452. + if (usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) {
  110453. + hcd_to_bus(hcd)->bandwidth_isoc_reqs--;
  110454. + } else {
  110455. + hcd_to_bus(hcd)->bandwidth_int_reqs--;
  110456. + }
  110457. +}
  110458. +
  110459. +/**
  110460. + * Sets the final status of an URB and returns it to the device driver. Any
  110461. + * required cleanup of the URB is performed. The HCD lock should be held on
  110462. + * entry.
  110463. + */
  110464. +static int _complete(dwc_otg_hcd_t * hcd, void *urb_handle,
  110465. + dwc_otg_hcd_urb_t * dwc_otg_urb, int32_t status)
  110466. +{
  110467. + struct urb *urb = (struct urb *)urb_handle;
  110468. + urb_tq_entry_t *new_entry;
  110469. + int rc = 0;
  110470. + if (CHK_DEBUG_LEVEL(DBG_HCDV | DBG_HCD_URB)) {
  110471. + DWC_PRINTF("%s: urb %p, device %d, ep %d %s, status=%d\n",
  110472. + __func__, urb, usb_pipedevice(urb->pipe),
  110473. + usb_pipeendpoint(urb->pipe),
  110474. + usb_pipein(urb->pipe) ? "IN" : "OUT", status);
  110475. + if (usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) {
  110476. + int i;
  110477. + for (i = 0; i < urb->number_of_packets; i++) {
  110478. + DWC_PRINTF(" ISO Desc %d status: %d\n",
  110479. + i, urb->iso_frame_desc[i].status);
  110480. + }
  110481. + }
  110482. + }
  110483. + new_entry = DWC_ALLOC_ATOMIC(sizeof(urb_tq_entry_t));
  110484. + urb->actual_length = dwc_otg_hcd_urb_get_actual_length(dwc_otg_urb);
  110485. + /* Convert status value. */
  110486. + switch (status) {
  110487. + case -DWC_E_PROTOCOL:
  110488. + status = -EPROTO;
  110489. + break;
  110490. + case -DWC_E_IN_PROGRESS:
  110491. + status = -EINPROGRESS;
  110492. + break;
  110493. + case -DWC_E_PIPE:
  110494. + status = -EPIPE;
  110495. + break;
  110496. + case -DWC_E_IO:
  110497. + status = -EIO;
  110498. + break;
  110499. + case -DWC_E_TIMEOUT:
  110500. + status = -ETIMEDOUT;
  110501. + break;
  110502. + case -DWC_E_OVERFLOW:
  110503. + status = -EOVERFLOW;
  110504. + break;
  110505. + case -DWC_E_SHUTDOWN:
  110506. + status = -ESHUTDOWN;
  110507. + break;
  110508. + default:
  110509. + if (status) {
  110510. + DWC_PRINTF("Uknown urb status %d\n", status);
  110511. +
  110512. + }
  110513. + }
  110514. +
  110515. + if (usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) {
  110516. + int i;
  110517. +
  110518. + urb->error_count = dwc_otg_hcd_urb_get_error_count(dwc_otg_urb);
  110519. + for (i = 0; i < urb->number_of_packets; ++i) {
  110520. + urb->iso_frame_desc[i].actual_length =
  110521. + dwc_otg_hcd_urb_get_iso_desc_actual_length
  110522. + (dwc_otg_urb, i);
  110523. + urb->iso_frame_desc[i].status =
  110524. + dwc_otg_hcd_urb_get_iso_desc_status(dwc_otg_urb, i);
  110525. + }
  110526. + }
  110527. +
  110528. + urb->status = status;
  110529. + urb->hcpriv = NULL;
  110530. + if (!status) {
  110531. + if ((urb->transfer_flags & URB_SHORT_NOT_OK) &&
  110532. + (urb->actual_length < urb->transfer_buffer_length)) {
  110533. + urb->status = -EREMOTEIO;
  110534. + }
  110535. + }
  110536. +
  110537. + if ((usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) ||
  110538. + (usb_pipetype(urb->pipe) == PIPE_INTERRUPT)) {
  110539. + struct usb_host_endpoint *ep = dwc_urb_to_endpoint(urb);
  110540. + if (ep) {
  110541. + free_bus_bandwidth(dwc_otg_hcd_to_hcd(hcd),
  110542. + dwc_otg_hcd_get_ep_bandwidth(hcd,
  110543. + ep->hcpriv),
  110544. + urb);
  110545. + }
  110546. + }
  110547. + DWC_FREE(dwc_otg_urb);
  110548. + if (!new_entry) {
  110549. + DWC_ERROR("dwc_otg_hcd: complete: cannot allocate URB TQ entry\n");
  110550. + urb->status = -EPROTO;
  110551. + /* don't schedule the tasklet -
  110552. + * directly return the packet here with error. */
  110553. +#if USB_URB_EP_LINKING
  110554. + usb_hcd_unlink_urb_from_ep(dwc_otg_hcd_to_hcd(hcd), urb);
  110555. +#endif
  110556. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  110557. + usb_hcd_giveback_urb(dwc_otg_hcd_to_hcd(hcd), urb);
  110558. +#else
  110559. + usb_hcd_giveback_urb(dwc_otg_hcd_to_hcd(hcd), urb, urb->status);
  110560. +#endif
  110561. + } else {
  110562. + new_entry->urb = urb;
  110563. +#if USB_URB_EP_LINKING
  110564. + rc = usb_hcd_check_unlink_urb(dwc_otg_hcd_to_hcd(hcd), urb, urb->status);
  110565. + if(0 == rc) {
  110566. + usb_hcd_unlink_urb_from_ep(dwc_otg_hcd_to_hcd(hcd), urb);
  110567. + }
  110568. +#endif
  110569. + if(0 == rc) {
  110570. + DWC_TAILQ_INSERT_TAIL(&hcd->completed_urb_list, new_entry,
  110571. + urb_tq_entries);
  110572. + DWC_TASK_HI_SCHEDULE(hcd->completion_tasklet);
  110573. + }
  110574. + }
  110575. + return 0;
  110576. +}
  110577. +
  110578. +static struct dwc_otg_hcd_function_ops hcd_fops = {
  110579. + .start = _start,
  110580. + .disconnect = _disconnect,
  110581. + .hub_info = _hub_info,
  110582. + .speed = _speed,
  110583. + .complete = _complete,
  110584. + .get_b_hnp_enable = _get_b_hnp_enable,
  110585. +};
  110586. +
  110587. +static struct fiq_handler fh = {
  110588. + .name = "usb_fiq",
  110589. +};
  110590. +
  110591. +static void hcd_init_fiq(void *cookie)
  110592. +{
  110593. + dwc_otg_device_t *otg_dev = cookie;
  110594. + dwc_otg_hcd_t *dwc_otg_hcd = otg_dev->hcd;
  110595. + struct pt_regs regs;
  110596. +
  110597. + if (claim_fiq(&fh)) {
  110598. + DWC_ERROR("Can't claim FIQ");
  110599. + BUG();
  110600. + }
  110601. + DWC_WARN("FIQ on core %d at 0x%08x",
  110602. + smp_processor_id(),
  110603. + (fiq_fsm_enable ? (int)&dwc_otg_fiq_fsm : (int)&dwc_otg_fiq_nop));
  110604. + DWC_WARN("FIQ ASM at 0x%08x length %d", (int)&_dwc_otg_fiq_stub, (int)(&_dwc_otg_fiq_stub_end - &_dwc_otg_fiq_stub));
  110605. + set_fiq_handler((void *) &_dwc_otg_fiq_stub, &_dwc_otg_fiq_stub_end - &_dwc_otg_fiq_stub);
  110606. + memset(&regs,0,sizeof(regs));
  110607. +
  110608. + regs.ARM_r8 = (long) dwc_otg_hcd->fiq_state;
  110609. + if (fiq_fsm_enable) {
  110610. + regs.ARM_r9 = dwc_otg_hcd->core_if->core_params->host_channels;
  110611. + //regs.ARM_r10 = dwc_otg_hcd->dma;
  110612. + regs.ARM_fp = (long) dwc_otg_fiq_fsm;
  110613. + } else {
  110614. + regs.ARM_fp = (long) dwc_otg_fiq_nop;
  110615. + }
  110616. +
  110617. + regs.ARM_sp = (long) dwc_otg_hcd->fiq_stack + (sizeof(struct fiq_stack) - 4);
  110618. +
  110619. +// __show_regs(&regs);
  110620. + set_fiq_regs(&regs);
  110621. +
  110622. + //Set the mphi periph to the required registers
  110623. + dwc_otg_hcd->fiq_state->mphi_regs.base = otg_dev->os_dep.mphi_base;
  110624. + dwc_otg_hcd->fiq_state->mphi_regs.ctrl = otg_dev->os_dep.mphi_base + 0x4c;
  110625. + dwc_otg_hcd->fiq_state->mphi_regs.outdda = otg_dev->os_dep.mphi_base + 0x28;
  110626. + dwc_otg_hcd->fiq_state->mphi_regs.outddb = otg_dev->os_dep.mphi_base + 0x2c;
  110627. + dwc_otg_hcd->fiq_state->mphi_regs.intstat = otg_dev->os_dep.mphi_base + 0x50;
  110628. + dwc_otg_hcd->fiq_state->dwc_regs_base = otg_dev->os_dep.base;
  110629. + DWC_WARN("MPHI regs_base at 0x%08x", (int)dwc_otg_hcd->fiq_state->mphi_regs.base);
  110630. + //Enable mphi peripheral
  110631. + writel((1<<31),dwc_otg_hcd->fiq_state->mphi_regs.ctrl);
  110632. +#ifdef DEBUG
  110633. + if (readl(dwc_otg_hcd->fiq_state->mphi_regs.ctrl) & 0x80000000)
  110634. + DWC_WARN("MPHI periph has been enabled");
  110635. + else
  110636. + DWC_WARN("MPHI periph has NOT been enabled");
  110637. +#endif
  110638. + // Enable FIQ interrupt from USB peripheral
  110639. +#ifdef CONFIG_ARCH_BCM2835
  110640. + enable_fiq(platform_get_irq(otg_dev->os_dep.platformdev, 1));
  110641. +#else
  110642. + enable_fiq(INTERRUPT_VC_USB);
  110643. +#endif
  110644. + local_fiq_enable();
  110645. +}
  110646. +
  110647. +/**
  110648. + * Initializes the HCD. This function allocates memory for and initializes the
  110649. + * static parts of the usb_hcd and dwc_otg_hcd structures. It also registers the
  110650. + * USB bus with the core and calls the hc_driver->start() function. It returns
  110651. + * a negative error on failure.
  110652. + */
  110653. +int hcd_init(dwc_bus_dev_t *_dev)
  110654. +{
  110655. + struct usb_hcd *hcd = NULL;
  110656. + dwc_otg_hcd_t *dwc_otg_hcd = NULL;
  110657. + dwc_otg_device_t *otg_dev = DWC_OTG_BUSDRVDATA(_dev);
  110658. + int retval = 0;
  110659. + u64 dmamask;
  110660. +
  110661. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD INIT otg_dev=%p\n", otg_dev);
  110662. +
  110663. + /* Set device flags indicating whether the HCD supports DMA. */
  110664. + if (dwc_otg_is_dma_enable(otg_dev->core_if))
  110665. + dmamask = DMA_BIT_MASK(32);
  110666. + else
  110667. + dmamask = 0;
  110668. +
  110669. +#if defined(LM_INTERFACE) || defined(PLATFORM_INTERFACE)
  110670. + dma_set_mask(&_dev->dev, dmamask);
  110671. + dma_set_coherent_mask(&_dev->dev, dmamask);
  110672. +#elif defined(PCI_INTERFACE)
  110673. + pci_set_dma_mask(_dev, dmamask);
  110674. + pci_set_consistent_dma_mask(_dev, dmamask);
  110675. +#endif
  110676. +
  110677. + /*
  110678. + * Allocate memory for the base HCD plus the DWC OTG HCD.
  110679. + * Initialize the base HCD.
  110680. + */
  110681. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30)
  110682. + hcd = usb_create_hcd(&dwc_otg_hc_driver, &_dev->dev, _dev->dev.bus_id);
  110683. +#else
  110684. + hcd = usb_create_hcd(&dwc_otg_hc_driver, &_dev->dev, dev_name(&_dev->dev));
  110685. + hcd->has_tt = 1;
  110686. +// hcd->uses_new_polling = 1;
  110687. +// hcd->poll_rh = 0;
  110688. +#endif
  110689. + if (!hcd) {
  110690. + retval = -ENOMEM;
  110691. + goto error1;
  110692. + }
  110693. +
  110694. + hcd->regs = otg_dev->os_dep.base;
  110695. +
  110696. +
  110697. + /* Initialize the DWC OTG HCD. */
  110698. + dwc_otg_hcd = dwc_otg_hcd_alloc_hcd();
  110699. + if (!dwc_otg_hcd) {
  110700. + goto error2;
  110701. + }
  110702. + ((struct wrapper_priv_data *)(hcd->hcd_priv))->dwc_otg_hcd =
  110703. + dwc_otg_hcd;
  110704. + otg_dev->hcd = dwc_otg_hcd;
  110705. +
  110706. + if (dwc_otg_hcd_init(dwc_otg_hcd, otg_dev->core_if)) {
  110707. + goto error2;
  110708. + }
  110709. +
  110710. + if (fiq_enable) {
  110711. + if (num_online_cpus() > 1) {
  110712. + /* bcm2709: can run the FIQ on a separate core to IRQs */
  110713. + smp_call_function_single(1, hcd_init_fiq, otg_dev, 1);
  110714. + } else {
  110715. + smp_call_function_single(0, hcd_init_fiq, otg_dev, 1);
  110716. + }
  110717. + }
  110718. +
  110719. + otg_dev->hcd->otg_dev = otg_dev;
  110720. + hcd->self.otg_port = dwc_otg_hcd_otg_port(dwc_otg_hcd);
  110721. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,33) //don't support for LM(with 2.6.20.1 kernel)
  110722. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,35) //version field absent later
  110723. + hcd->self.otg_version = dwc_otg_get_otg_version(otg_dev->core_if);
  110724. +#endif
  110725. + /* Don't support SG list at this point */
  110726. + hcd->self.sg_tablesize = 0;
  110727. +#endif
  110728. + /*
  110729. + * Finish generic HCD initialization and start the HCD. This function
  110730. + * allocates the DMA buffer pool, registers the USB bus, requests the
  110731. + * IRQ line, and calls hcd_start method.
  110732. + */
  110733. +#ifdef PLATFORM_INTERFACE
  110734. + retval = usb_add_hcd(hcd, platform_get_irq(_dev, fiq_enable ? 0 : 1), IRQF_SHARED);
  110735. +#else
  110736. + retval = usb_add_hcd(hcd, _dev->irq, IRQF_SHARED);
  110737. +#endif
  110738. + if (retval < 0) {
  110739. + goto error2;
  110740. + }
  110741. +
  110742. + dwc_otg_hcd_set_priv_data(dwc_otg_hcd, hcd);
  110743. + return 0;
  110744. +
  110745. +error2:
  110746. + usb_put_hcd(hcd);
  110747. +error1:
  110748. + return retval;
  110749. +}
  110750. +
  110751. +/**
  110752. + * Removes the HCD.
  110753. + * Frees memory and resources associated with the HCD and deregisters the bus.
  110754. + */
  110755. +void hcd_remove(dwc_bus_dev_t *_dev)
  110756. +{
  110757. + dwc_otg_device_t *otg_dev = DWC_OTG_BUSDRVDATA(_dev);
  110758. + dwc_otg_hcd_t *dwc_otg_hcd;
  110759. + struct usb_hcd *hcd;
  110760. +
  110761. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD REMOVE otg_dev=%p\n", otg_dev);
  110762. +
  110763. + if (!otg_dev) {
  110764. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev NULL!\n", __func__);
  110765. + return;
  110766. + }
  110767. +
  110768. + dwc_otg_hcd = otg_dev->hcd;
  110769. +
  110770. + if (!dwc_otg_hcd) {
  110771. + DWC_DEBUGPL(DBG_ANY, "%s: otg_dev->hcd NULL!\n", __func__);
  110772. + return;
  110773. + }
  110774. +
  110775. + hcd = dwc_otg_hcd_to_hcd(dwc_otg_hcd);
  110776. +
  110777. + if (!hcd) {
  110778. + DWC_DEBUGPL(DBG_ANY,
  110779. + "%s: dwc_otg_hcd_to_hcd(dwc_otg_hcd) NULL!\n",
  110780. + __func__);
  110781. + return;
  110782. + }
  110783. + usb_remove_hcd(hcd);
  110784. + dwc_otg_hcd_set_priv_data(dwc_otg_hcd, NULL);
  110785. + dwc_otg_hcd_remove(dwc_otg_hcd);
  110786. + usb_put_hcd(hcd);
  110787. +}
  110788. +
  110789. +/* =========================================================================
  110790. + * Linux HC Driver Functions
  110791. + * ========================================================================= */
  110792. +
  110793. +/** Initializes the DWC_otg controller and its root hub and prepares it for host
  110794. + * mode operation. Activates the root port. Returns 0 on success and a negative
  110795. + * error code on failure. */
  110796. +int hcd_start(struct usb_hcd *hcd)
  110797. +{
  110798. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  110799. + struct usb_bus *bus;
  110800. +
  110801. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD START\n");
  110802. + bus = hcd_to_bus(hcd);
  110803. +
  110804. + hcd->state = HC_STATE_RUNNING;
  110805. + if (dwc_otg_hcd_start(dwc_otg_hcd, &hcd_fops)) {
  110806. + return 0;
  110807. + }
  110808. +
  110809. + /* Initialize and connect root hub if one is not already attached */
  110810. + if (bus->root_hub) {
  110811. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD Has Root Hub\n");
  110812. + /* Inform the HUB driver to resume. */
  110813. + usb_hcd_resume_root_hub(hcd);
  110814. + }
  110815. +
  110816. + return 0;
  110817. +}
  110818. +
  110819. +/**
  110820. + * Halts the DWC_otg host mode operations in a clean manner. USB transfers are
  110821. + * stopped.
  110822. + */
  110823. +void hcd_stop(struct usb_hcd *hcd)
  110824. +{
  110825. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  110826. +
  110827. + dwc_otg_hcd_stop(dwc_otg_hcd);
  110828. +}
  110829. +
  110830. +/** Returns the current frame number. */
  110831. +static int get_frame_number(struct usb_hcd *hcd)
  110832. +{
  110833. + hprt0_data_t hprt0;
  110834. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  110835. + hprt0.d32 = DWC_READ_REG32(dwc_otg_hcd->core_if->host_if->hprt0);
  110836. + if (hprt0.b.prtspd == DWC_HPRT0_PRTSPD_HIGH_SPEED)
  110837. + return dwc_otg_hcd_get_frame_number(dwc_otg_hcd) >> 3;
  110838. + else
  110839. + return dwc_otg_hcd_get_frame_number(dwc_otg_hcd);
  110840. +}
  110841. +
  110842. +#ifdef DEBUG
  110843. +static void dump_urb_info(struct urb *urb, char *fn_name)
  110844. +{
  110845. + DWC_PRINTF("%s, urb %p\n", fn_name, urb);
  110846. + DWC_PRINTF(" Device address: %d\n", usb_pipedevice(urb->pipe));
  110847. + DWC_PRINTF(" Endpoint: %d, %s\n", usb_pipeendpoint(urb->pipe),
  110848. + (usb_pipein(urb->pipe) ? "IN" : "OUT"));
  110849. + DWC_PRINTF(" Endpoint type: %s\n", ( {
  110850. + char *pipetype;
  110851. + switch (usb_pipetype(urb->pipe)) {
  110852. +case PIPE_CONTROL:
  110853. +pipetype = "CONTROL"; break; case PIPE_BULK:
  110854. +pipetype = "BULK"; break; case PIPE_INTERRUPT:
  110855. +pipetype = "INTERRUPT"; break; case PIPE_ISOCHRONOUS:
  110856. +pipetype = "ISOCHRONOUS"; break; default:
  110857. + pipetype = "UNKNOWN"; break;};
  110858. + pipetype;}
  110859. + )) ;
  110860. + DWC_PRINTF(" Speed: %s\n", ( {
  110861. + char *speed; switch (urb->dev->speed) {
  110862. +case USB_SPEED_HIGH:
  110863. +speed = "HIGH"; break; case USB_SPEED_FULL:
  110864. +speed = "FULL"; break; case USB_SPEED_LOW:
  110865. +speed = "LOW"; break; default:
  110866. + speed = "UNKNOWN"; break;};
  110867. + speed;}
  110868. + )) ;
  110869. + DWC_PRINTF(" Max packet size: %d\n",
  110870. + usb_maxpacket(urb->dev, urb->pipe, usb_pipeout(urb->pipe)));
  110871. + DWC_PRINTF(" Data buffer length: %d\n", urb->transfer_buffer_length);
  110872. + DWC_PRINTF(" Transfer buffer: %p, Transfer DMA: %p\n",
  110873. + urb->transfer_buffer, (void *)urb->transfer_dma);
  110874. + DWC_PRINTF(" Setup buffer: %p, Setup DMA: %p\n",
  110875. + urb->setup_packet, (void *)urb->setup_dma);
  110876. + DWC_PRINTF(" Interval: %d\n", urb->interval);
  110877. + if (usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS) {
  110878. + int i;
  110879. + for (i = 0; i < urb->number_of_packets; i++) {
  110880. + DWC_PRINTF(" ISO Desc %d:\n", i);
  110881. + DWC_PRINTF(" offset: %d, length %d\n",
  110882. + urb->iso_frame_desc[i].offset,
  110883. + urb->iso_frame_desc[i].length);
  110884. + }
  110885. + }
  110886. +}
  110887. +#endif
  110888. +
  110889. +/** Starts processing a USB transfer request specified by a USB Request Block
  110890. + * (URB). mem_flags indicates the type of memory allocation to use while
  110891. + * processing this URB. */
  110892. +static int dwc_otg_urb_enqueue(struct usb_hcd *hcd,
  110893. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  110894. + struct usb_host_endpoint *ep,
  110895. +#endif
  110896. + struct urb *urb, gfp_t mem_flags)
  110897. +{
  110898. + int retval = 0;
  110899. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,28)
  110900. + struct usb_host_endpoint *ep = urb->ep;
  110901. +#endif
  110902. + dwc_irqflags_t irqflags;
  110903. + void **ref_ep_hcpriv = &ep->hcpriv;
  110904. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  110905. + dwc_otg_hcd_urb_t *dwc_otg_urb;
  110906. + int i;
  110907. + int alloc_bandwidth = 0;
  110908. + uint8_t ep_type = 0;
  110909. + uint32_t flags = 0;
  110910. + void *buf;
  110911. +
  110912. +#ifdef DEBUG
  110913. + if (CHK_DEBUG_LEVEL(DBG_HCDV | DBG_HCD_URB)) {
  110914. + dump_urb_info(urb, "dwc_otg_urb_enqueue");
  110915. + }
  110916. +#endif
  110917. +
  110918. + if (!urb->transfer_buffer && urb->transfer_buffer_length)
  110919. + return -EINVAL;
  110920. +
  110921. + if ((usb_pipetype(urb->pipe) == PIPE_ISOCHRONOUS)
  110922. + || (usb_pipetype(urb->pipe) == PIPE_INTERRUPT)) {
  110923. + if (!dwc_otg_hcd_is_bandwidth_allocated
  110924. + (dwc_otg_hcd, ref_ep_hcpriv)) {
  110925. + alloc_bandwidth = 1;
  110926. + }
  110927. + }
  110928. +
  110929. + switch (usb_pipetype(urb->pipe)) {
  110930. + case PIPE_CONTROL:
  110931. + ep_type = USB_ENDPOINT_XFER_CONTROL;
  110932. + break;
  110933. + case PIPE_ISOCHRONOUS:
  110934. + ep_type = USB_ENDPOINT_XFER_ISOC;
  110935. + break;
  110936. + case PIPE_BULK:
  110937. + ep_type = USB_ENDPOINT_XFER_BULK;
  110938. + break;
  110939. + case PIPE_INTERRUPT:
  110940. + ep_type = USB_ENDPOINT_XFER_INT;
  110941. + break;
  110942. + default:
  110943. + DWC_WARN("Wrong EP type - %d\n", usb_pipetype(urb->pipe));
  110944. + }
  110945. +
  110946. + /* # of packets is often 0 - do we really need to call this then? */
  110947. + dwc_otg_urb = dwc_otg_hcd_urb_alloc(dwc_otg_hcd,
  110948. + urb->number_of_packets,
  110949. + mem_flags == GFP_ATOMIC ? 1 : 0);
  110950. +
  110951. + if(dwc_otg_urb == NULL)
  110952. + return -ENOMEM;
  110953. +
  110954. + if (!dwc_otg_urb && urb->number_of_packets)
  110955. + return -ENOMEM;
  110956. +
  110957. + dwc_otg_hcd_urb_set_pipeinfo(dwc_otg_urb, usb_pipedevice(urb->pipe),
  110958. + usb_pipeendpoint(urb->pipe), ep_type,
  110959. + usb_pipein(urb->pipe),
  110960. + usb_maxpacket(urb->dev, urb->pipe,
  110961. + !(usb_pipein(urb->pipe))));
  110962. +
  110963. + buf = urb->transfer_buffer;
  110964. + if (hcd->self.uses_dma && !buf && urb->transfer_buffer_length) {
  110965. + /*
  110966. + * Calculate virtual address from physical address,
  110967. + * because some class driver may not fill transfer_buffer.
  110968. + * In Buffer DMA mode virual address is used,
  110969. + * when handling non DWORD aligned buffers.
  110970. + */
  110971. + buf = (void *)__bus_to_virt((unsigned long)urb->transfer_dma);
  110972. + dev_warn_once(&urb->dev->dev,
  110973. + "USB transfer_buffer was NULL, will use __bus_to_virt(%pad)=%p\n",
  110974. + &urb->transfer_dma, buf);
  110975. + }
  110976. +
  110977. + if (!(urb->transfer_flags & URB_NO_INTERRUPT))
  110978. + flags |= URB_GIVEBACK_ASAP;
  110979. + if (urb->transfer_flags & URB_ZERO_PACKET)
  110980. + flags |= URB_SEND_ZERO_PACKET;
  110981. +
  110982. + dwc_otg_hcd_urb_set_params(dwc_otg_urb, urb, buf,
  110983. + urb->transfer_dma,
  110984. + urb->transfer_buffer_length,
  110985. + urb->setup_packet,
  110986. + urb->setup_dma, flags, urb->interval);
  110987. +
  110988. + for (i = 0; i < urb->number_of_packets; ++i) {
  110989. + dwc_otg_hcd_urb_set_iso_desc_params(dwc_otg_urb, i,
  110990. + urb->
  110991. + iso_frame_desc[i].offset,
  110992. + urb->
  110993. + iso_frame_desc[i].length);
  110994. + }
  110995. +
  110996. + DWC_SPINLOCK_IRQSAVE(dwc_otg_hcd->lock, &irqflags);
  110997. + urb->hcpriv = dwc_otg_urb;
  110998. +#if USB_URB_EP_LINKING
  110999. + retval = usb_hcd_link_urb_to_ep(hcd, urb);
  111000. + if (0 == retval)
  111001. +#endif
  111002. + {
  111003. + retval = dwc_otg_hcd_urb_enqueue(dwc_otg_hcd, dwc_otg_urb,
  111004. + /*(dwc_otg_qh_t **)*/
  111005. + ref_ep_hcpriv, 1);
  111006. + if (0 == retval) {
  111007. + if (alloc_bandwidth) {
  111008. + allocate_bus_bandwidth(hcd,
  111009. + dwc_otg_hcd_get_ep_bandwidth(
  111010. + dwc_otg_hcd, *ref_ep_hcpriv),
  111011. + urb);
  111012. + }
  111013. + } else {
  111014. + DWC_DEBUGPL(DBG_HCD, "DWC OTG dwc_otg_hcd_urb_enqueue failed rc %d\n", retval);
  111015. +#if USB_URB_EP_LINKING
  111016. + usb_hcd_unlink_urb_from_ep(hcd, urb);
  111017. +#endif
  111018. + DWC_FREE(dwc_otg_urb);
  111019. + urb->hcpriv = NULL;
  111020. + if (retval == -DWC_E_NO_DEVICE)
  111021. + retval = -ENODEV;
  111022. + }
  111023. + }
  111024. +#if USB_URB_EP_LINKING
  111025. + else
  111026. + {
  111027. + DWC_FREE(dwc_otg_urb);
  111028. + urb->hcpriv = NULL;
  111029. + }
  111030. +#endif
  111031. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock, irqflags);
  111032. + return retval;
  111033. +}
  111034. +
  111035. +/** Aborts/cancels a USB transfer request. Always returns 0 to indicate
  111036. + * success. */
  111037. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  111038. +static int dwc_otg_urb_dequeue(struct usb_hcd *hcd, struct urb *urb)
  111039. +#else
  111040. +static int dwc_otg_urb_dequeue(struct usb_hcd *hcd, struct urb *urb, int status)
  111041. +#endif
  111042. +{
  111043. + dwc_irqflags_t flags;
  111044. + dwc_otg_hcd_t *dwc_otg_hcd;
  111045. + int rc;
  111046. +
  111047. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD URB Dequeue\n");
  111048. +
  111049. + dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  111050. +
  111051. +#ifdef DEBUG
  111052. + if (CHK_DEBUG_LEVEL(DBG_HCDV | DBG_HCD_URB)) {
  111053. + dump_urb_info(urb, "dwc_otg_urb_dequeue");
  111054. + }
  111055. +#endif
  111056. +
  111057. + DWC_SPINLOCK_IRQSAVE(dwc_otg_hcd->lock, &flags);
  111058. + rc = usb_hcd_check_unlink_urb(hcd, urb, status);
  111059. + if (0 == rc) {
  111060. + if(urb->hcpriv != NULL) {
  111061. + dwc_otg_hcd_urb_dequeue(dwc_otg_hcd,
  111062. + (dwc_otg_hcd_urb_t *)urb->hcpriv);
  111063. +
  111064. + DWC_FREE(urb->hcpriv);
  111065. + urb->hcpriv = NULL;
  111066. + }
  111067. + }
  111068. +
  111069. + if (0 == rc) {
  111070. + /* Higher layer software sets URB status. */
  111071. +#if USB_URB_EP_LINKING
  111072. + usb_hcd_unlink_urb_from_ep(hcd, urb);
  111073. +#endif
  111074. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock, flags);
  111075. +
  111076. +
  111077. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  111078. + usb_hcd_giveback_urb(hcd, urb);
  111079. +#else
  111080. + usb_hcd_giveback_urb(hcd, urb, status);
  111081. +#endif
  111082. + if (CHK_DEBUG_LEVEL(DBG_HCDV | DBG_HCD_URB)) {
  111083. + DWC_PRINTF("Called usb_hcd_giveback_urb() \n");
  111084. + DWC_PRINTF(" 1urb->status = %d\n", urb->status);
  111085. + }
  111086. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD URB Dequeue OK\n");
  111087. + } else {
  111088. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock, flags);
  111089. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD URB Dequeue failed - rc %d\n",
  111090. + rc);
  111091. + }
  111092. +
  111093. + return rc;
  111094. +}
  111095. +
  111096. +/* Frees resources in the DWC_otg controller related to a given endpoint. Also
  111097. + * clears state in the HCD related to the endpoint. Any URBs for the endpoint
  111098. + * must already be dequeued. */
  111099. +static void endpoint_disable(struct usb_hcd *hcd, struct usb_host_endpoint *ep)
  111100. +{
  111101. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  111102. +
  111103. + DWC_DEBUGPL(DBG_HCD,
  111104. + "DWC OTG HCD EP DISABLE: _bEndpointAddress=0x%02x, "
  111105. + "endpoint=%d\n", ep->desc.bEndpointAddress,
  111106. + dwc_ep_addr_to_endpoint(ep->desc.bEndpointAddress));
  111107. + dwc_otg_hcd_endpoint_disable(dwc_otg_hcd, ep->hcpriv, 250);
  111108. + ep->hcpriv = NULL;
  111109. +}
  111110. +
  111111. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30)
  111112. +/* Resets endpoint specific parameter values, in current version used to reset
  111113. + * the data toggle(as a WA). This function can be called from usb_clear_halt routine */
  111114. +static void endpoint_reset(struct usb_hcd *hcd, struct usb_host_endpoint *ep)
  111115. +{
  111116. + dwc_irqflags_t flags;
  111117. + struct usb_device *udev = NULL;
  111118. + int epnum = usb_endpoint_num(&ep->desc);
  111119. + int is_out = usb_endpoint_dir_out(&ep->desc);
  111120. + int is_control = usb_endpoint_xfer_control(&ep->desc);
  111121. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  111122. + struct device *dev = DWC_OTG_OS_GETDEV(dwc_otg_hcd->otg_dev->os_dep);
  111123. +
  111124. + if (dev)
  111125. + udev = to_usb_device(dev);
  111126. + else
  111127. + return;
  111128. +
  111129. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD EP RESET: Endpoint Num=0x%02d\n", epnum);
  111130. +
  111131. + DWC_SPINLOCK_IRQSAVE(dwc_otg_hcd->lock, &flags);
  111132. + usb_settoggle(udev, epnum, is_out, 0);
  111133. + if (is_control)
  111134. + usb_settoggle(udev, epnum, !is_out, 0);
  111135. +
  111136. + if (ep->hcpriv) {
  111137. + dwc_otg_hcd_endpoint_reset(dwc_otg_hcd, ep->hcpriv);
  111138. + }
  111139. + DWC_SPINUNLOCK_IRQRESTORE(dwc_otg_hcd->lock, flags);
  111140. +}
  111141. +#endif
  111142. +
  111143. +/** Handles host mode interrupts for the DWC_otg controller. Returns IRQ_NONE if
  111144. + * there was no interrupt to handle. Returns IRQ_HANDLED if there was a valid
  111145. + * interrupt.
  111146. + *
  111147. + * This function is called by the USB core when an interrupt occurs */
  111148. +static irqreturn_t dwc_otg_hcd_irq(struct usb_hcd *hcd)
  111149. +{
  111150. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  111151. + int32_t retval = dwc_otg_hcd_handle_intr(dwc_otg_hcd);
  111152. + if (retval != 0) {
  111153. + S3C2410X_CLEAR_EINTPEND();
  111154. + }
  111155. + return IRQ_RETVAL(retval);
  111156. +}
  111157. +
  111158. +/** Creates Status Change bitmap for the root hub and root port. The bitmap is
  111159. + * returned in buf. Bit 0 is the status change indicator for the root hub. Bit 1
  111160. + * is the status change indicator for the single root port. Returns 1 if either
  111161. + * change indicator is 1, otherwise returns 0. */
  111162. +int hub_status_data(struct usb_hcd *hcd, char *buf)
  111163. +{
  111164. + dwc_otg_hcd_t *dwc_otg_hcd = hcd_to_dwc_otg_hcd(hcd);
  111165. +
  111166. + buf[0] = 0;
  111167. + buf[0] |= (dwc_otg_hcd_is_status_changed(dwc_otg_hcd, 1)) << 1;
  111168. +
  111169. + return (buf[0] != 0);
  111170. +}
  111171. +
  111172. +/** Handles hub class-specific requests. */
  111173. +int hub_control(struct usb_hcd *hcd,
  111174. + u16 typeReq, u16 wValue, u16 wIndex, char *buf, u16 wLength)
  111175. +{
  111176. + int retval;
  111177. +
  111178. + retval = dwc_otg_hcd_hub_control(hcd_to_dwc_otg_hcd(hcd),
  111179. + typeReq, wValue, wIndex, buf, wLength);
  111180. +
  111181. + switch (retval) {
  111182. + case -DWC_E_INVALID:
  111183. + retval = -EINVAL;
  111184. + break;
  111185. + }
  111186. +
  111187. + return retval;
  111188. +}
  111189. +
  111190. +#endif /* DWC_DEVICE_ONLY */
  111191. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_queue.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_queue.c
  111192. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_hcd_queue.c 1970-01-01 01:00:00.000000000 +0100
  111193. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_hcd_queue.c 2015-11-29 09:42:39.919098694 +0100
  111194. @@ -0,0 +1,957 @@
  111195. +/* ==========================================================================
  111196. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_hcd_queue.c $
  111197. + * $Revision: #44 $
  111198. + * $Date: 2011/10/26 $
  111199. + * $Change: 1873028 $
  111200. + *
  111201. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  111202. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  111203. + * otherwise expressly agreed to in writing between Synopsys and you.
  111204. + *
  111205. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  111206. + * any End User Software License Agreement or Agreement for Licensed Product
  111207. + * with Synopsys or any supplement thereto. You are permitted to use and
  111208. + * redistribute this Software in source and binary forms, with or without
  111209. + * modification, provided that redistributions of source code must retain this
  111210. + * notice. You may not view, use, disclose, copy or distribute this file or
  111211. + * any information contained herein except pursuant to this license grant from
  111212. + * Synopsys. If you do not agree with this notice, including the disclaimer
  111213. + * below, then you are not authorized to use the Software.
  111214. + *
  111215. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  111216. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  111217. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  111218. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  111219. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  111220. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  111221. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  111222. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  111223. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  111224. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  111225. + * DAMAGE.
  111226. + * ========================================================================== */
  111227. +#ifndef DWC_DEVICE_ONLY
  111228. +
  111229. +/**
  111230. + * @file
  111231. + *
  111232. + * This file contains the functions to manage Queue Heads and Queue
  111233. + * Transfer Descriptors.
  111234. + */
  111235. +
  111236. +#include "dwc_otg_hcd.h"
  111237. +#include "dwc_otg_regs.h"
  111238. +
  111239. +extern bool microframe_schedule;
  111240. +
  111241. +/**
  111242. + * Free each QTD in the QH's QTD-list then free the QH. QH should already be
  111243. + * removed from a list. QTD list should already be empty if called from URB
  111244. + * Dequeue.
  111245. + *
  111246. + * @param hcd HCD instance.
  111247. + * @param qh The QH to free.
  111248. + */
  111249. +void dwc_otg_hcd_qh_free(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111250. +{
  111251. + dwc_otg_qtd_t *qtd, *qtd_tmp;
  111252. + dwc_irqflags_t flags;
  111253. +
  111254. + /* Free each QTD in the QTD list */
  111255. + DWC_SPINLOCK_IRQSAVE(hcd->lock, &flags);
  111256. + DWC_CIRCLEQ_FOREACH_SAFE(qtd, qtd_tmp, &qh->qtd_list, qtd_list_entry) {
  111257. + DWC_CIRCLEQ_REMOVE(&qh->qtd_list, qtd, qtd_list_entry);
  111258. + dwc_otg_hcd_qtd_free(qtd);
  111259. + }
  111260. +
  111261. + if (hcd->core_if->dma_desc_enable) {
  111262. + dwc_otg_hcd_qh_free_ddma(hcd, qh);
  111263. + } else if (qh->dw_align_buf) {
  111264. + uint32_t buf_size;
  111265. + if (qh->ep_type == UE_ISOCHRONOUS) {
  111266. + buf_size = 4096;
  111267. + } else {
  111268. + buf_size = hcd->core_if->core_params->max_transfer_size;
  111269. + }
  111270. + DWC_DMA_FREE(buf_size, qh->dw_align_buf, qh->dw_align_buf_dma);
  111271. + }
  111272. +
  111273. + DWC_FREE(qh);
  111274. + DWC_SPINUNLOCK_IRQRESTORE(hcd->lock, flags);
  111275. + return;
  111276. +}
  111277. +
  111278. +#define BitStuffTime(bytecount) ((8 * 7* bytecount) / 6)
  111279. +#define HS_HOST_DELAY 5 /* nanoseconds */
  111280. +#define FS_LS_HOST_DELAY 1000 /* nanoseconds */
  111281. +#define HUB_LS_SETUP 333 /* nanoseconds */
  111282. +#define NS_TO_US(ns) ((ns + 500) / 1000)
  111283. + /* convert & round nanoseconds to microseconds */
  111284. +
  111285. +static uint32_t calc_bus_time(int speed, int is_in, int is_isoc, int bytecount)
  111286. +{
  111287. + unsigned long retval;
  111288. +
  111289. + switch (speed) {
  111290. + case USB_SPEED_HIGH:
  111291. + if (is_isoc) {
  111292. + retval =
  111293. + ((38 * 8 * 2083) +
  111294. + (2083 * (3 + BitStuffTime(bytecount)))) / 1000 +
  111295. + HS_HOST_DELAY;
  111296. + } else {
  111297. + retval =
  111298. + ((55 * 8 * 2083) +
  111299. + (2083 * (3 + BitStuffTime(bytecount)))) / 1000 +
  111300. + HS_HOST_DELAY;
  111301. + }
  111302. + break;
  111303. + case USB_SPEED_FULL:
  111304. + if (is_isoc) {
  111305. + retval =
  111306. + (8354 * (31 + 10 * BitStuffTime(bytecount))) / 1000;
  111307. + if (is_in) {
  111308. + retval = 7268 + FS_LS_HOST_DELAY + retval;
  111309. + } else {
  111310. + retval = 6265 + FS_LS_HOST_DELAY + retval;
  111311. + }
  111312. + } else {
  111313. + retval =
  111314. + (8354 * (31 + 10 * BitStuffTime(bytecount))) / 1000;
  111315. + retval = 9107 + FS_LS_HOST_DELAY + retval;
  111316. + }
  111317. + break;
  111318. + case USB_SPEED_LOW:
  111319. + if (is_in) {
  111320. + retval =
  111321. + (67667 * (31 + 10 * BitStuffTime(bytecount))) /
  111322. + 1000;
  111323. + retval =
  111324. + 64060 + (2 * HUB_LS_SETUP) + FS_LS_HOST_DELAY +
  111325. + retval;
  111326. + } else {
  111327. + retval =
  111328. + (66700 * (31 + 10 * BitStuffTime(bytecount))) /
  111329. + 1000;
  111330. + retval =
  111331. + 64107 + (2 * HUB_LS_SETUP) + FS_LS_HOST_DELAY +
  111332. + retval;
  111333. + }
  111334. + break;
  111335. + default:
  111336. + DWC_WARN("Unknown device speed\n");
  111337. + retval = -1;
  111338. + }
  111339. +
  111340. + return NS_TO_US(retval);
  111341. +}
  111342. +
  111343. +/**
  111344. + * Initializes a QH structure.
  111345. + *
  111346. + * @param hcd The HCD state structure for the DWC OTG controller.
  111347. + * @param qh The QH to init.
  111348. + * @param urb Holds the information about the device/endpoint that we need
  111349. + * to initialize the QH.
  111350. + */
  111351. +#define SCHEDULE_SLOP 10
  111352. +void qh_init(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh, dwc_otg_hcd_urb_t * urb)
  111353. +{
  111354. + char *speed, *type;
  111355. + int dev_speed;
  111356. + uint32_t hub_addr, hub_port;
  111357. +
  111358. + dwc_memset(qh, 0, sizeof(dwc_otg_qh_t));
  111359. +
  111360. + /* Initialize QH */
  111361. + qh->ep_type = dwc_otg_hcd_get_pipe_type(&urb->pipe_info);
  111362. + qh->ep_is_in = dwc_otg_hcd_is_pipe_in(&urb->pipe_info) ? 1 : 0;
  111363. +
  111364. + qh->data_toggle = DWC_OTG_HC_PID_DATA0;
  111365. + qh->maxp = dwc_otg_hcd_get_mps(&urb->pipe_info);
  111366. + DWC_CIRCLEQ_INIT(&qh->qtd_list);
  111367. + DWC_LIST_INIT(&qh->qh_list_entry);
  111368. + qh->channel = NULL;
  111369. +
  111370. + /* FS/LS Enpoint on HS Hub
  111371. + * NOT virtual root hub */
  111372. + dev_speed = hcd->fops->speed(hcd, urb->priv);
  111373. +
  111374. + hcd->fops->hub_info(hcd, urb->priv, &hub_addr, &hub_port);
  111375. + qh->do_split = 0;
  111376. + if (microframe_schedule)
  111377. + qh->speed = dev_speed;
  111378. +
  111379. + qh->nak_frame = 0xffff;
  111380. +
  111381. + if (((dev_speed == USB_SPEED_LOW) ||
  111382. + (dev_speed == USB_SPEED_FULL)) &&
  111383. + (hub_addr != 0 && hub_addr != 1)) {
  111384. + DWC_DEBUGPL(DBG_HCD,
  111385. + "QH init: EP %d: TT found at hub addr %d, for port %d\n",
  111386. + dwc_otg_hcd_get_ep_num(&urb->pipe_info), hub_addr,
  111387. + hub_port);
  111388. + qh->do_split = 1;
  111389. + qh->skip_count = 0;
  111390. + }
  111391. +
  111392. + if (qh->ep_type == UE_INTERRUPT || qh->ep_type == UE_ISOCHRONOUS) {
  111393. + /* Compute scheduling parameters once and save them. */
  111394. + hprt0_data_t hprt;
  111395. +
  111396. + /** @todo Account for split transfers in the bus time. */
  111397. + int bytecount =
  111398. + dwc_hb_mult(qh->maxp) * dwc_max_packet(qh->maxp);
  111399. +
  111400. + qh->usecs =
  111401. + calc_bus_time((qh->do_split ? USB_SPEED_HIGH : dev_speed),
  111402. + qh->ep_is_in, (qh->ep_type == UE_ISOCHRONOUS),
  111403. + bytecount);
  111404. + /* Start in a slightly future (micro)frame. */
  111405. + qh->sched_frame = dwc_frame_num_inc(hcd->frame_number,
  111406. + SCHEDULE_SLOP);
  111407. + qh->interval = urb->interval;
  111408. +
  111409. +#if 0
  111410. + /* Increase interrupt polling rate for debugging. */
  111411. + if (qh->ep_type == UE_INTERRUPT) {
  111412. + qh->interval = 8;
  111413. + }
  111414. +#endif
  111415. + hprt.d32 = DWC_READ_REG32(hcd->core_if->host_if->hprt0);
  111416. + if ((hprt.b.prtspd == DWC_HPRT0_PRTSPD_HIGH_SPEED) &&
  111417. + ((dev_speed == USB_SPEED_LOW) ||
  111418. + (dev_speed == USB_SPEED_FULL))) {
  111419. + qh->interval *= 8;
  111420. + qh->sched_frame |= 0x7;
  111421. + qh->start_split_frame = qh->sched_frame;
  111422. + }
  111423. +
  111424. + }
  111425. +
  111426. + DWC_DEBUGPL(DBG_HCD, "DWC OTG HCD QH Initialized\n");
  111427. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - qh = %p\n", qh);
  111428. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - Device Address = %d\n",
  111429. + dwc_otg_hcd_get_dev_addr(&urb->pipe_info));
  111430. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - Endpoint %d, %s\n",
  111431. + dwc_otg_hcd_get_ep_num(&urb->pipe_info),
  111432. + dwc_otg_hcd_is_pipe_in(&urb->pipe_info) ? "IN" : "OUT");
  111433. + switch (dev_speed) {
  111434. + case USB_SPEED_LOW:
  111435. + qh->dev_speed = DWC_OTG_EP_SPEED_LOW;
  111436. + speed = "low";
  111437. + break;
  111438. + case USB_SPEED_FULL:
  111439. + qh->dev_speed = DWC_OTG_EP_SPEED_FULL;
  111440. + speed = "full";
  111441. + break;
  111442. + case USB_SPEED_HIGH:
  111443. + qh->dev_speed = DWC_OTG_EP_SPEED_HIGH;
  111444. + speed = "high";
  111445. + break;
  111446. + default:
  111447. + speed = "?";
  111448. + break;
  111449. + }
  111450. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - Speed = %s\n", speed);
  111451. +
  111452. + switch (qh->ep_type) {
  111453. + case UE_ISOCHRONOUS:
  111454. + type = "isochronous";
  111455. + break;
  111456. + case UE_INTERRUPT:
  111457. + type = "interrupt";
  111458. + break;
  111459. + case UE_CONTROL:
  111460. + type = "control";
  111461. + break;
  111462. + case UE_BULK:
  111463. + type = "bulk";
  111464. + break;
  111465. + default:
  111466. + type = "?";
  111467. + break;
  111468. + }
  111469. +
  111470. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - Type = %s\n", type);
  111471. +
  111472. +#ifdef DEBUG
  111473. + if (qh->ep_type == UE_INTERRUPT) {
  111474. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - usecs = %d\n",
  111475. + qh->usecs);
  111476. + DWC_DEBUGPL(DBG_HCDV, "DWC OTG HCD QH - interval = %d\n",
  111477. + qh->interval);
  111478. + }
  111479. +#endif
  111480. +
  111481. +}
  111482. +
  111483. +/**
  111484. + * This function allocates and initializes a QH.
  111485. + *
  111486. + * @param hcd The HCD state structure for the DWC OTG controller.
  111487. + * @param urb Holds the information about the device/endpoint that we need
  111488. + * to initialize the QH.
  111489. + * @param atomic_alloc Flag to do atomic allocation if needed
  111490. + *
  111491. + * @return Returns pointer to the newly allocated QH, or NULL on error. */
  111492. +dwc_otg_qh_t *dwc_otg_hcd_qh_create(dwc_otg_hcd_t * hcd,
  111493. + dwc_otg_hcd_urb_t * urb, int atomic_alloc)
  111494. +{
  111495. + dwc_otg_qh_t *qh;
  111496. +
  111497. + /* Allocate memory */
  111498. + /** @todo add memflags argument */
  111499. + qh = dwc_otg_hcd_qh_alloc(atomic_alloc);
  111500. + if (qh == NULL) {
  111501. + DWC_ERROR("qh allocation failed");
  111502. + return NULL;
  111503. + }
  111504. +
  111505. + qh_init(hcd, qh, urb);
  111506. +
  111507. + if (hcd->core_if->dma_desc_enable
  111508. + && (dwc_otg_hcd_qh_init_ddma(hcd, qh) < 0)) {
  111509. + dwc_otg_hcd_qh_free(hcd, qh);
  111510. + return NULL;
  111511. + }
  111512. +
  111513. + return qh;
  111514. +}
  111515. +
  111516. +/* microframe_schedule=0 start */
  111517. +
  111518. +/**
  111519. + * Checks that a channel is available for a periodic transfer.
  111520. + *
  111521. + * @return 0 if successful, negative error code otherise.
  111522. + */
  111523. +static int periodic_channel_available(dwc_otg_hcd_t * hcd)
  111524. +{
  111525. + /*
  111526. + * Currently assuming that there is a dedicated host channnel for each
  111527. + * periodic transaction plus at least one host channel for
  111528. + * non-periodic transactions.
  111529. + */
  111530. + int status;
  111531. + int num_channels;
  111532. +
  111533. + num_channels = hcd->core_if->core_params->host_channels;
  111534. + if ((hcd->periodic_channels + hcd->non_periodic_channels < num_channels)
  111535. + && (hcd->periodic_channels < num_channels - 1)) {
  111536. + status = 0;
  111537. + } else {
  111538. + DWC_INFO("%s: Total channels: %d, Periodic: %d, Non-periodic: %d\n",
  111539. + __func__, num_channels, hcd->periodic_channels, hcd->non_periodic_channels); //NOTICE
  111540. + status = -DWC_E_NO_SPACE;
  111541. + }
  111542. +
  111543. + return status;
  111544. +}
  111545. +
  111546. +/**
  111547. + * Checks that there is sufficient bandwidth for the specified QH in the
  111548. + * periodic schedule. For simplicity, this calculation assumes that all the
  111549. + * transfers in the periodic schedule may occur in the same (micro)frame.
  111550. + *
  111551. + * @param hcd The HCD state structure for the DWC OTG controller.
  111552. + * @param qh QH containing periodic bandwidth required.
  111553. + *
  111554. + * @return 0 if successful, negative error code otherwise.
  111555. + */
  111556. +static int check_periodic_bandwidth(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111557. +{
  111558. + int status;
  111559. + int16_t max_claimed_usecs;
  111560. +
  111561. + status = 0;
  111562. +
  111563. + if ((qh->dev_speed == DWC_OTG_EP_SPEED_HIGH) || qh->do_split) {
  111564. + /*
  111565. + * High speed mode.
  111566. + * Max periodic usecs is 80% x 125 usec = 100 usec.
  111567. + */
  111568. +
  111569. + max_claimed_usecs = 100 - qh->usecs;
  111570. + } else {
  111571. + /*
  111572. + * Full speed mode.
  111573. + * Max periodic usecs is 90% x 1000 usec = 900 usec.
  111574. + */
  111575. + max_claimed_usecs = 900 - qh->usecs;
  111576. + }
  111577. +
  111578. + if (hcd->periodic_usecs > max_claimed_usecs) {
  111579. + DWC_INFO("%s: already claimed usecs %d, required usecs %d\n", __func__, hcd->periodic_usecs, qh->usecs); //NOTICE
  111580. + status = -DWC_E_NO_SPACE;
  111581. + }
  111582. +
  111583. + return status;
  111584. +}
  111585. +
  111586. +/* microframe_schedule=0 end */
  111587. +
  111588. +/**
  111589. + * Microframe scheduler
  111590. + * track the total use in hcd->frame_usecs
  111591. + * keep each qh use in qh->frame_usecs
  111592. + * when surrendering the qh then donate the time back
  111593. + */
  111594. +const unsigned short max_uframe_usecs[]={ 100, 100, 100, 100, 100, 100, 30, 0 };
  111595. +
  111596. +/*
  111597. + * called from dwc_otg_hcd.c:dwc_otg_hcd_init
  111598. + */
  111599. +int init_hcd_usecs(dwc_otg_hcd_t *_hcd)
  111600. +{
  111601. + int i;
  111602. + for (i=0; i<8; i++) {
  111603. + _hcd->frame_usecs[i] = max_uframe_usecs[i];
  111604. + }
  111605. + return 0;
  111606. +}
  111607. +
  111608. +static int find_single_uframe(dwc_otg_hcd_t * _hcd, dwc_otg_qh_t * _qh)
  111609. +{
  111610. + int i;
  111611. + unsigned short utime;
  111612. + int t_left;
  111613. + int ret;
  111614. + int done;
  111615. +
  111616. + ret = -1;
  111617. + utime = _qh->usecs;
  111618. + t_left = utime;
  111619. + i = 0;
  111620. + done = 0;
  111621. + while (done == 0) {
  111622. + /* At the start _hcd->frame_usecs[i] = max_uframe_usecs[i]; */
  111623. + if (utime <= _hcd->frame_usecs[i]) {
  111624. + _hcd->frame_usecs[i] -= utime;
  111625. + _qh->frame_usecs[i] += utime;
  111626. + t_left -= utime;
  111627. + ret = i;
  111628. + done = 1;
  111629. + return ret;
  111630. + } else {
  111631. + i++;
  111632. + if (i == 8) {
  111633. + done = 1;
  111634. + ret = -1;
  111635. + }
  111636. + }
  111637. + }
  111638. + return ret;
  111639. + }
  111640. +
  111641. +/*
  111642. + * use this for FS apps that can span multiple uframes
  111643. + */
  111644. +static int find_multi_uframe(dwc_otg_hcd_t * _hcd, dwc_otg_qh_t * _qh)
  111645. +{
  111646. + int i;
  111647. + int j;
  111648. + unsigned short utime;
  111649. + int t_left;
  111650. + int ret;
  111651. + int done;
  111652. + unsigned short xtime;
  111653. +
  111654. + ret = -1;
  111655. + utime = _qh->usecs;
  111656. + t_left = utime;
  111657. + i = 0;
  111658. + done = 0;
  111659. +loop:
  111660. + while (done == 0) {
  111661. + if(_hcd->frame_usecs[i] <= 0) {
  111662. + i++;
  111663. + if (i == 8) {
  111664. + done = 1;
  111665. + ret = -1;
  111666. + }
  111667. + goto loop;
  111668. + }
  111669. +
  111670. + /*
  111671. + * we need n consecutive slots
  111672. + * so use j as a start slot j plus j+1 must be enough time (for now)
  111673. + */
  111674. + xtime= _hcd->frame_usecs[i];
  111675. + for (j = i+1 ; j < 8 ; j++ ) {
  111676. + /*
  111677. + * if we add this frame remaining time to xtime we may
  111678. + * be OK, if not we need to test j for a complete frame
  111679. + */
  111680. + if ((xtime+_hcd->frame_usecs[j]) < utime) {
  111681. + if (_hcd->frame_usecs[j] < max_uframe_usecs[j]) {
  111682. + j = 8;
  111683. + ret = -1;
  111684. + continue;
  111685. + }
  111686. + }
  111687. + if (xtime >= utime) {
  111688. + ret = i;
  111689. + j = 8; /* stop loop with a good value ret */
  111690. + continue;
  111691. + }
  111692. + /* add the frame time to x time */
  111693. + xtime += _hcd->frame_usecs[j];
  111694. + /* we must have a fully available next frame or break */
  111695. + if ((xtime < utime)
  111696. + && (_hcd->frame_usecs[j] == max_uframe_usecs[j])) {
  111697. + ret = -1;
  111698. + j = 8; /* stop loop with a bad value ret */
  111699. + continue;
  111700. + }
  111701. + }
  111702. + if (ret >= 0) {
  111703. + t_left = utime;
  111704. + for (j = i; (t_left>0) && (j < 8); j++ ) {
  111705. + t_left -= _hcd->frame_usecs[j];
  111706. + if ( t_left <= 0 ) {
  111707. + _qh->frame_usecs[j] += _hcd->frame_usecs[j] + t_left;
  111708. + _hcd->frame_usecs[j]= -t_left;
  111709. + ret = i;
  111710. + done = 1;
  111711. + } else {
  111712. + _qh->frame_usecs[j] += _hcd->frame_usecs[j];
  111713. + _hcd->frame_usecs[j] = 0;
  111714. + }
  111715. + }
  111716. + } else {
  111717. + i++;
  111718. + if (i == 8) {
  111719. + done = 1;
  111720. + ret = -1;
  111721. + }
  111722. + }
  111723. + }
  111724. + return ret;
  111725. +}
  111726. +
  111727. +static int find_uframe(dwc_otg_hcd_t * _hcd, dwc_otg_qh_t * _qh)
  111728. +{
  111729. + int ret;
  111730. + ret = -1;
  111731. +
  111732. + if (_qh->speed == USB_SPEED_HIGH) {
  111733. + /* if this is a hs transaction we need a full frame */
  111734. + ret = find_single_uframe(_hcd, _qh);
  111735. + } else {
  111736. + /* if this is a fs transaction we may need a sequence of frames */
  111737. + ret = find_multi_uframe(_hcd, _qh);
  111738. + }
  111739. + return ret;
  111740. +}
  111741. +
  111742. +/**
  111743. + * Checks that the max transfer size allowed in a host channel is large enough
  111744. + * to handle the maximum data transfer in a single (micro)frame for a periodic
  111745. + * transfer.
  111746. + *
  111747. + * @param hcd The HCD state structure for the DWC OTG controller.
  111748. + * @param qh QH for a periodic endpoint.
  111749. + *
  111750. + * @return 0 if successful, negative error code otherwise.
  111751. + */
  111752. +static int check_max_xfer_size(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111753. +{
  111754. + int status;
  111755. + uint32_t max_xfer_size;
  111756. + uint32_t max_channel_xfer_size;
  111757. +
  111758. + status = 0;
  111759. +
  111760. + max_xfer_size = dwc_max_packet(qh->maxp) * dwc_hb_mult(qh->maxp);
  111761. + max_channel_xfer_size = hcd->core_if->core_params->max_transfer_size;
  111762. +
  111763. + if (max_xfer_size > max_channel_xfer_size) {
  111764. + DWC_INFO("%s: Periodic xfer length %d > " "max xfer length for channel %d\n",
  111765. + __func__, max_xfer_size, max_channel_xfer_size); //NOTICE
  111766. + status = -DWC_E_NO_SPACE;
  111767. + }
  111768. +
  111769. + return status;
  111770. +}
  111771. +
  111772. +
  111773. +
  111774. +/**
  111775. + * Schedules an interrupt or isochronous transfer in the periodic schedule.
  111776. + *
  111777. + * @param hcd The HCD state structure for the DWC OTG controller.
  111778. + * @param qh QH for the periodic transfer. The QH should already contain the
  111779. + * scheduling information.
  111780. + *
  111781. + * @return 0 if successful, negative error code otherwise.
  111782. + */
  111783. +static int schedule_periodic(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111784. +{
  111785. + int status = 0;
  111786. +
  111787. + if (microframe_schedule) {
  111788. + int frame;
  111789. + status = find_uframe(hcd, qh);
  111790. + frame = -1;
  111791. + if (status == 0) {
  111792. + frame = 7;
  111793. + } else {
  111794. + if (status > 0 )
  111795. + frame = status-1;
  111796. + }
  111797. +
  111798. + /* Set the new frame up */
  111799. + if (frame > -1) {
  111800. + qh->sched_frame &= ~0x7;
  111801. + qh->sched_frame |= (frame & 7);
  111802. + }
  111803. +
  111804. + if (status != -1)
  111805. + status = 0;
  111806. + } else {
  111807. + status = periodic_channel_available(hcd);
  111808. + if (status) {
  111809. + DWC_INFO("%s: No host channel available for periodic " "transfer.\n", __func__); //NOTICE
  111810. + return status;
  111811. + }
  111812. +
  111813. + status = check_periodic_bandwidth(hcd, qh);
  111814. + }
  111815. + if (status) {
  111816. + DWC_INFO("%s: Insufficient periodic bandwidth for "
  111817. + "periodic transfer.\n", __func__);
  111818. + return status;
  111819. + }
  111820. + status = check_max_xfer_size(hcd, qh);
  111821. + if (status) {
  111822. + DWC_INFO("%s: Channel max transfer size too small "
  111823. + "for periodic transfer.\n", __func__);
  111824. + return status;
  111825. + }
  111826. +
  111827. + if (hcd->core_if->dma_desc_enable) {
  111828. + /* Don't rely on SOF and start in ready schedule */
  111829. + DWC_LIST_INSERT_TAIL(&hcd->periodic_sched_ready, &qh->qh_list_entry);
  111830. + }
  111831. + else {
  111832. + if(fiq_enable && (DWC_LIST_EMPTY(&hcd->periodic_sched_inactive) || dwc_frame_num_le(qh->sched_frame, hcd->fiq_state->next_sched_frame)))
  111833. + {
  111834. + hcd->fiq_state->next_sched_frame = qh->sched_frame;
  111835. +
  111836. + }
  111837. + /* Always start in the inactive schedule. */
  111838. + DWC_LIST_INSERT_TAIL(&hcd->periodic_sched_inactive, &qh->qh_list_entry);
  111839. + }
  111840. +
  111841. + if (!microframe_schedule) {
  111842. + /* Reserve the periodic channel. */
  111843. + hcd->periodic_channels++;
  111844. + }
  111845. +
  111846. + /* Update claimed usecs per (micro)frame. */
  111847. + hcd->periodic_usecs += qh->usecs;
  111848. +
  111849. + return status;
  111850. +}
  111851. +
  111852. +
  111853. +/**
  111854. + * This function adds a QH to either the non periodic or periodic schedule if
  111855. + * it is not already in the schedule. If the QH is already in the schedule, no
  111856. + * action is taken.
  111857. + *
  111858. + * @return 0 if successful, negative error code otherwise.
  111859. + */
  111860. +int dwc_otg_hcd_qh_add(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111861. +{
  111862. + int status = 0;
  111863. + gintmsk_data_t intr_mask = {.d32 = 0 };
  111864. +
  111865. + if (!DWC_LIST_EMPTY(&qh->qh_list_entry)) {
  111866. + /* QH already in a schedule. */
  111867. + return status;
  111868. + }
  111869. +
  111870. + /* Add the new QH to the appropriate schedule */
  111871. + if (dwc_qh_is_non_per(qh)) {
  111872. + /* Always start in the inactive schedule. */
  111873. + DWC_LIST_INSERT_TAIL(&hcd->non_periodic_sched_inactive,
  111874. + &qh->qh_list_entry);
  111875. + //hcd->fiq_state->kick_np_queues = 1;
  111876. + } else {
  111877. + status = schedule_periodic(hcd, qh);
  111878. + if ( !hcd->periodic_qh_count ) {
  111879. + intr_mask.b.sofintr = 1;
  111880. + if (fiq_enable) {
  111881. + local_fiq_disable();
  111882. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  111883. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, intr_mask.d32, intr_mask.d32);
  111884. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  111885. + local_fiq_enable();
  111886. + } else {
  111887. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, intr_mask.d32, intr_mask.d32);
  111888. + }
  111889. + }
  111890. + hcd->periodic_qh_count++;
  111891. + }
  111892. +
  111893. + return status;
  111894. +}
  111895. +
  111896. +/**
  111897. + * Removes an interrupt or isochronous transfer from the periodic schedule.
  111898. + *
  111899. + * @param hcd The HCD state structure for the DWC OTG controller.
  111900. + * @param qh QH for the periodic transfer.
  111901. + */
  111902. +static void deschedule_periodic(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111903. +{
  111904. + int i;
  111905. + DWC_LIST_REMOVE_INIT(&qh->qh_list_entry);
  111906. +
  111907. + /* Update claimed usecs per (micro)frame. */
  111908. + hcd->periodic_usecs -= qh->usecs;
  111909. +
  111910. + if (!microframe_schedule) {
  111911. + /* Release the periodic channel reservation. */
  111912. + hcd->periodic_channels--;
  111913. + } else {
  111914. + for (i = 0; i < 8; i++) {
  111915. + hcd->frame_usecs[i] += qh->frame_usecs[i];
  111916. + qh->frame_usecs[i] = 0;
  111917. + }
  111918. + }
  111919. +}
  111920. +
  111921. +/**
  111922. + * Removes a QH from either the non-periodic or periodic schedule. Memory is
  111923. + * not freed.
  111924. + *
  111925. + * @param hcd The HCD state structure.
  111926. + * @param qh QH to remove from schedule. */
  111927. +void dwc_otg_hcd_qh_remove(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh)
  111928. +{
  111929. + gintmsk_data_t intr_mask = {.d32 = 0 };
  111930. +
  111931. + if (DWC_LIST_EMPTY(&qh->qh_list_entry)) {
  111932. + /* QH is not in a schedule. */
  111933. + return;
  111934. + }
  111935. +
  111936. + if (dwc_qh_is_non_per(qh)) {
  111937. + if (hcd->non_periodic_qh_ptr == &qh->qh_list_entry) {
  111938. + hcd->non_periodic_qh_ptr =
  111939. + hcd->non_periodic_qh_ptr->next;
  111940. + }
  111941. + DWC_LIST_REMOVE_INIT(&qh->qh_list_entry);
  111942. + //if (!DWC_LIST_EMPTY(&hcd->non_periodic_sched_inactive))
  111943. + // hcd->fiq_state->kick_np_queues = 1;
  111944. + } else {
  111945. + deschedule_periodic(hcd, qh);
  111946. + hcd->periodic_qh_count--;
  111947. + if( !hcd->periodic_qh_count && !fiq_fsm_enable ) {
  111948. + intr_mask.b.sofintr = 1;
  111949. + if (fiq_enable) {
  111950. + local_fiq_disable();
  111951. + fiq_fsm_spin_lock(&hcd->fiq_state->lock);
  111952. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, intr_mask.d32, 0);
  111953. + fiq_fsm_spin_unlock(&hcd->fiq_state->lock);
  111954. + local_fiq_enable();
  111955. + } else {
  111956. + DWC_MODIFY_REG32(&hcd->core_if->core_global_regs->gintmsk, intr_mask.d32, 0);
  111957. + }
  111958. + }
  111959. + }
  111960. +}
  111961. +
  111962. +/**
  111963. + * Deactivates a QH. For non-periodic QHs, removes the QH from the active
  111964. + * non-periodic schedule. The QH is added to the inactive non-periodic
  111965. + * schedule if any QTDs are still attached to the QH.
  111966. + *
  111967. + * For periodic QHs, the QH is removed from the periodic queued schedule. If
  111968. + * there are any QTDs still attached to the QH, the QH is added to either the
  111969. + * periodic inactive schedule or the periodic ready schedule and its next
  111970. + * scheduled frame is calculated. The QH is placed in the ready schedule if
  111971. + * the scheduled frame has been reached already. Otherwise it's placed in the
  111972. + * inactive schedule. If there are no QTDs attached to the QH, the QH is
  111973. + * completely removed from the periodic schedule.
  111974. + */
  111975. +void dwc_otg_hcd_qh_deactivate(dwc_otg_hcd_t * hcd, dwc_otg_qh_t * qh,
  111976. + int sched_next_periodic_split)
  111977. +{
  111978. + if (dwc_qh_is_non_per(qh)) {
  111979. + dwc_otg_hcd_qh_remove(hcd, qh);
  111980. + if (!DWC_CIRCLEQ_EMPTY(&qh->qtd_list)) {
  111981. + /* Add back to inactive non-periodic schedule. */
  111982. + dwc_otg_hcd_qh_add(hcd, qh);
  111983. + //hcd->fiq_state->kick_np_queues = 1;
  111984. + }
  111985. + } else {
  111986. + uint16_t frame_number = dwc_otg_hcd_get_frame_number(hcd);
  111987. +
  111988. + if (qh->do_split) {
  111989. + /* Schedule the next continuing periodic split transfer */
  111990. + if (sched_next_periodic_split) {
  111991. +
  111992. + qh->sched_frame = frame_number;
  111993. +
  111994. + if (dwc_frame_num_le(frame_number,
  111995. + dwc_frame_num_inc
  111996. + (qh->start_split_frame,
  111997. + 1))) {
  111998. + /*
  111999. + * Allow one frame to elapse after start
  112000. + * split microframe before scheduling
  112001. + * complete split, but DONT if we are
  112002. + * doing the next start split in the
  112003. + * same frame for an ISOC out.
  112004. + */
  112005. + if ((qh->ep_type != UE_ISOCHRONOUS) ||
  112006. + (qh->ep_is_in != 0)) {
  112007. + qh->sched_frame =
  112008. + dwc_frame_num_inc(qh->sched_frame, 1);
  112009. + }
  112010. + }
  112011. + } else {
  112012. + qh->sched_frame =
  112013. + dwc_frame_num_inc(qh->start_split_frame,
  112014. + qh->interval);
  112015. + if (dwc_frame_num_le
  112016. + (qh->sched_frame, frame_number)) {
  112017. + qh->sched_frame = frame_number;
  112018. + }
  112019. + qh->sched_frame |= 0x7;
  112020. + qh->start_split_frame = qh->sched_frame;
  112021. + }
  112022. + } else {
  112023. + qh->sched_frame =
  112024. + dwc_frame_num_inc(qh->sched_frame, qh->interval);
  112025. + if (dwc_frame_num_le(qh->sched_frame, frame_number)) {
  112026. + qh->sched_frame = frame_number;
  112027. + }
  112028. + }
  112029. +
  112030. + if (DWC_CIRCLEQ_EMPTY(&qh->qtd_list)) {
  112031. + dwc_otg_hcd_qh_remove(hcd, qh);
  112032. + } else {
  112033. + /*
  112034. + * Remove from periodic_sched_queued and move to
  112035. + * appropriate queue.
  112036. + */
  112037. + if ((microframe_schedule && dwc_frame_num_le(qh->sched_frame, frame_number)) ||
  112038. + (!microframe_schedule && qh->sched_frame == frame_number)) {
  112039. + DWC_LIST_MOVE_HEAD(&hcd->periodic_sched_ready,
  112040. + &qh->qh_list_entry);
  112041. + } else {
  112042. + if(fiq_enable && !dwc_frame_num_le(hcd->fiq_state->next_sched_frame, qh->sched_frame))
  112043. + {
  112044. + hcd->fiq_state->next_sched_frame = qh->sched_frame;
  112045. + }
  112046. +
  112047. + DWC_LIST_MOVE_HEAD
  112048. + (&hcd->periodic_sched_inactive,
  112049. + &qh->qh_list_entry);
  112050. + }
  112051. + }
  112052. + }
  112053. +}
  112054. +
  112055. +/**
  112056. + * This function allocates and initializes a QTD.
  112057. + *
  112058. + * @param urb The URB to create a QTD from. Each URB-QTD pair will end up
  112059. + * pointing to each other so each pair should have a unique correlation.
  112060. + * @param atomic_alloc Flag to do atomic alloc if needed
  112061. + *
  112062. + * @return Returns pointer to the newly allocated QTD, or NULL on error. */
  112063. +dwc_otg_qtd_t *dwc_otg_hcd_qtd_create(dwc_otg_hcd_urb_t * urb, int atomic_alloc)
  112064. +{
  112065. + dwc_otg_qtd_t *qtd;
  112066. +
  112067. + qtd = dwc_otg_hcd_qtd_alloc(atomic_alloc);
  112068. + if (qtd == NULL) {
  112069. + return NULL;
  112070. + }
  112071. +
  112072. + dwc_otg_hcd_qtd_init(qtd, urb);
  112073. + return qtd;
  112074. +}
  112075. +
  112076. +/**
  112077. + * Initializes a QTD structure.
  112078. + *
  112079. + * @param qtd The QTD to initialize.
  112080. + * @param urb The URB to use for initialization. */
  112081. +void dwc_otg_hcd_qtd_init(dwc_otg_qtd_t * qtd, dwc_otg_hcd_urb_t * urb)
  112082. +{
  112083. + dwc_memset(qtd, 0, sizeof(dwc_otg_qtd_t));
  112084. + qtd->urb = urb;
  112085. + if (dwc_otg_hcd_get_pipe_type(&urb->pipe_info) == UE_CONTROL) {
  112086. + /*
  112087. + * The only time the QTD data toggle is used is on the data
  112088. + * phase of control transfers. This phase always starts with
  112089. + * DATA1.
  112090. + */
  112091. + qtd->data_toggle = DWC_OTG_HC_PID_DATA1;
  112092. + qtd->control_phase = DWC_OTG_CONTROL_SETUP;
  112093. + }
  112094. +
  112095. + /* start split */
  112096. + qtd->complete_split = 0;
  112097. + qtd->isoc_split_pos = DWC_HCSPLIT_XACTPOS_ALL;
  112098. + qtd->isoc_split_offset = 0;
  112099. + qtd->in_process = 0;
  112100. +
  112101. + /* Store the qtd ptr in the urb to reference what QTD. */
  112102. + urb->qtd = qtd;
  112103. + return;
  112104. +}
  112105. +
  112106. +/**
  112107. + * This function adds a QTD to the QTD-list of a QH. It will find the correct
  112108. + * QH to place the QTD into. If it does not find a QH, then it will create a
  112109. + * new QH. If the QH to which the QTD is added is not currently scheduled, it
  112110. + * is placed into the proper schedule based on its EP type.
  112111. + * HCD lock must be held and interrupts must be disabled on entry
  112112. + *
  112113. + * @param[in] qtd The QTD to add
  112114. + * @param[in] hcd The DWC HCD structure
  112115. + * @param[out] qh out parameter to return queue head
  112116. + * @param atomic_alloc Flag to do atomic alloc if needed
  112117. + *
  112118. + * @return 0 if successful, negative error code otherwise.
  112119. + */
  112120. +int dwc_otg_hcd_qtd_add(dwc_otg_qtd_t * qtd,
  112121. + dwc_otg_hcd_t * hcd, dwc_otg_qh_t ** qh, int atomic_alloc)
  112122. +{
  112123. + int retval = 0;
  112124. + dwc_otg_hcd_urb_t *urb = qtd->urb;
  112125. +
  112126. + /*
  112127. + * Get the QH which holds the QTD-list to insert to. Create QH if it
  112128. + * doesn't exist.
  112129. + */
  112130. + if (*qh == NULL) {
  112131. + *qh = dwc_otg_hcd_qh_create(hcd, urb, atomic_alloc);
  112132. + if (*qh == NULL) {
  112133. + retval = -DWC_E_NO_MEMORY;
  112134. + goto done;
  112135. + } else {
  112136. + if (fiq_enable)
  112137. + hcd->fiq_state->kick_np_queues = 1;
  112138. + }
  112139. + }
  112140. + retval = dwc_otg_hcd_qh_add(hcd, *qh);
  112141. + if (retval == 0) {
  112142. + DWC_CIRCLEQ_INSERT_TAIL(&((*qh)->qtd_list), qtd,
  112143. + qtd_list_entry);
  112144. + qtd->qh = *qh;
  112145. + }
  112146. +done:
  112147. +
  112148. + return retval;
  112149. +}
  112150. +
  112151. +#endif /* DWC_DEVICE_ONLY */
  112152. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_os_dep.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_os_dep.h
  112153. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_os_dep.h 1970-01-01 01:00:00.000000000 +0100
  112154. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_os_dep.h 2015-11-29 09:42:39.923098428 +0100
  112155. @@ -0,0 +1,188 @@
  112156. +#ifndef _DWC_OS_DEP_H_
  112157. +#define _DWC_OS_DEP_H_
  112158. +
  112159. +/**
  112160. + * @file
  112161. + *
  112162. + * This file contains OS dependent structures.
  112163. + *
  112164. + */
  112165. +
  112166. +#include <linux/kernel.h>
  112167. +#include <linux/module.h>
  112168. +#include <linux/moduleparam.h>
  112169. +#include <linux/init.h>
  112170. +#include <linux/device.h>
  112171. +#include <linux/errno.h>
  112172. +#include <linux/types.h>
  112173. +#include <linux/slab.h>
  112174. +#include <linux/list.h>
  112175. +#include <linux/interrupt.h>
  112176. +#include <linux/ctype.h>
  112177. +#include <linux/string.h>
  112178. +#include <linux/dma-mapping.h>
  112179. +#include <linux/jiffies.h>
  112180. +#include <linux/delay.h>
  112181. +#include <linux/timer.h>
  112182. +#include <linux/workqueue.h>
  112183. +#include <linux/stat.h>
  112184. +#include <linux/pci.h>
  112185. +
  112186. +#include <linux/version.h>
  112187. +
  112188. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,20)
  112189. +# include <linux/irq.h>
  112190. +#endif
  112191. +
  112192. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,21)
  112193. +# include <linux/usb/ch9.h>
  112194. +#else
  112195. +# include <linux/usb_ch9.h>
  112196. +#endif
  112197. +
  112198. +#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,24)
  112199. +# include <linux/usb/gadget.h>
  112200. +#else
  112201. +# include <linux/usb_gadget.h>
  112202. +#endif
  112203. +
  112204. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,20)
  112205. +# include <asm/irq.h>
  112206. +#endif
  112207. +
  112208. +#ifdef PCI_INTERFACE
  112209. +# include <asm/io.h>
  112210. +#endif
  112211. +
  112212. +#ifdef LM_INTERFACE
  112213. +# include <asm/unaligned.h>
  112214. +# include <asm/sizes.h>
  112215. +# include <asm/param.h>
  112216. +# include <asm/io.h>
  112217. +# if (LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30))
  112218. +# include <asm/arch/hardware.h>
  112219. +# include <asm/arch/lm.h>
  112220. +# include <asm/arch/irqs.h>
  112221. +# include <asm/arch/regs-irq.h>
  112222. +# else
  112223. +/* in 2.6.31, at least, we seem to have lost the generic LM infrastructure -
  112224. + here we assume that the machine architecture provides definitions
  112225. + in its own header
  112226. +*/
  112227. +# include <mach/lm.h>
  112228. +# include <mach/hardware.h>
  112229. +# endif
  112230. +#endif
  112231. +
  112232. +#ifdef PLATFORM_INTERFACE
  112233. +#include <linux/platform_device.h>
  112234. +#include <asm/mach/map.h>
  112235. +#endif
  112236. +
  112237. +/** The OS page size */
  112238. +#define DWC_OS_PAGE_SIZE PAGE_SIZE
  112239. +
  112240. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,14)
  112241. +typedef int gfp_t;
  112242. +#endif
  112243. +
  112244. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,18)
  112245. +# define IRQF_SHARED SA_SHIRQ
  112246. +#endif
  112247. +
  112248. +typedef struct os_dependent {
  112249. + /** Base address returned from ioremap() */
  112250. + void *base;
  112251. +
  112252. + /** Register offset for Diagnostic API */
  112253. + uint32_t reg_offset;
  112254. +
  112255. + /** Base address for MPHI peripheral */
  112256. + void *mphi_base;
  112257. +
  112258. +#ifdef LM_INTERFACE
  112259. + struct lm_device *lmdev;
  112260. +#elif defined(PCI_INTERFACE)
  112261. + struct pci_dev *pcidev;
  112262. +
  112263. + /** Start address of a PCI region */
  112264. + resource_size_t rsrc_start;
  112265. +
  112266. + /** Length address of a PCI region */
  112267. + resource_size_t rsrc_len;
  112268. +#elif defined(PLATFORM_INTERFACE)
  112269. + struct platform_device *platformdev;
  112270. +#endif
  112271. +
  112272. +} os_dependent_t;
  112273. +
  112274. +#ifdef __cplusplus
  112275. +}
  112276. +#endif
  112277. +
  112278. +
  112279. +
  112280. +/* Type for the our device on the chosen bus */
  112281. +#if defined(LM_INTERFACE)
  112282. +typedef struct lm_device dwc_bus_dev_t;
  112283. +#elif defined(PCI_INTERFACE)
  112284. +typedef struct pci_dev dwc_bus_dev_t;
  112285. +#elif defined(PLATFORM_INTERFACE)
  112286. +typedef struct platform_device dwc_bus_dev_t;
  112287. +#endif
  112288. +
  112289. +/* Helper macro to retrieve drvdata from the device on the chosen bus */
  112290. +#if defined(LM_INTERFACE)
  112291. +#define DWC_OTG_BUSDRVDATA(_dev) lm_get_drvdata(_dev)
  112292. +#elif defined(PCI_INTERFACE)
  112293. +#define DWC_OTG_BUSDRVDATA(_dev) pci_get_drvdata(_dev)
  112294. +#elif defined(PLATFORM_INTERFACE)
  112295. +#define DWC_OTG_BUSDRVDATA(_dev) platform_get_drvdata(_dev)
  112296. +#endif
  112297. +
  112298. +/**
  112299. + * Helper macro returning the otg_device structure of a given struct device
  112300. + *
  112301. + * c.f. static dwc_otg_device_t *dwc_otg_drvdev(struct device *_dev)
  112302. + */
  112303. +#ifdef LM_INTERFACE
  112304. +#define DWC_OTG_GETDRVDEV(_var, _dev) do { \
  112305. + struct lm_device *lm_dev = \
  112306. + container_of(_dev, struct lm_device, dev); \
  112307. + _var = lm_get_drvdata(lm_dev); \
  112308. + } while (0)
  112309. +
  112310. +#elif defined(PCI_INTERFACE)
  112311. +#define DWC_OTG_GETDRVDEV(_var, _dev) do { \
  112312. + _var = dev_get_drvdata(_dev); \
  112313. + } while (0)
  112314. +
  112315. +#elif defined(PLATFORM_INTERFACE)
  112316. +#define DWC_OTG_GETDRVDEV(_var, _dev) do { \
  112317. + struct platform_device *platform_dev = \
  112318. + container_of(_dev, struct platform_device, dev); \
  112319. + _var = platform_get_drvdata(platform_dev); \
  112320. + } while (0)
  112321. +#endif
  112322. +
  112323. +
  112324. +/**
  112325. + * Helper macro returning the struct dev of the given struct os_dependent
  112326. + *
  112327. + * c.f. static struct device *dwc_otg_getdev(struct os_dependent *osdep)
  112328. + */
  112329. +#ifdef LM_INTERFACE
  112330. +#define DWC_OTG_OS_GETDEV(_osdep) \
  112331. + ((_osdep).lmdev == NULL? NULL: &(_osdep).lmdev->dev)
  112332. +#elif defined(PCI_INTERFACE)
  112333. +#define DWC_OTG_OS_GETDEV(_osdep) \
  112334. + ((_osdep).pci_dev == NULL? NULL: &(_osdep).pci_dev->dev)
  112335. +#elif defined(PLATFORM_INTERFACE)
  112336. +#define DWC_OTG_OS_GETDEV(_osdep) \
  112337. + ((_osdep).platformdev == NULL? NULL: &(_osdep).platformdev->dev)
  112338. +#endif
  112339. +
  112340. +
  112341. +
  112342. +
  112343. +#endif /* _DWC_OS_DEP_H_ */
  112344. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd.c
  112345. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd.c 1970-01-01 01:00:00.000000000 +0100
  112346. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd.c 2015-11-29 09:42:39.923098428 +0100
  112347. @@ -0,0 +1,2712 @@
  112348. +/* ==========================================================================
  112349. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_pcd.c $
  112350. + * $Revision: #101 $
  112351. + * $Date: 2012/08/10 $
  112352. + * $Change: 2047372 $
  112353. + *
  112354. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  112355. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  112356. + * otherwise expressly agreed to in writing between Synopsys and you.
  112357. + *
  112358. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  112359. + * any End User Software License Agreement or Agreement for Licensed Product
  112360. + * with Synopsys or any supplement thereto. You are permitted to use and
  112361. + * redistribute this Software in source and binary forms, with or without
  112362. + * modification, provided that redistributions of source code must retain this
  112363. + * notice. You may not view, use, disclose, copy or distribute this file or
  112364. + * any information contained herein except pursuant to this license grant from
  112365. + * Synopsys. If you do not agree with this notice, including the disclaimer
  112366. + * below, then you are not authorized to use the Software.
  112367. + *
  112368. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  112369. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  112370. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  112371. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  112372. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  112373. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  112374. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  112375. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  112376. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  112377. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  112378. + * DAMAGE.
  112379. + * ========================================================================== */
  112380. +#ifndef DWC_HOST_ONLY
  112381. +
  112382. +/** @file
  112383. + * This file implements PCD Core. All code in this file is portable and doesn't
  112384. + * use any OS specific functions.
  112385. + * PCD Core provides Interface, defined in <code><dwc_otg_pcd_if.h></code>
  112386. + * header file, which can be used to implement OS specific PCD interface.
  112387. + *
  112388. + * An important function of the PCD is managing interrupts generated
  112389. + * by the DWC_otg controller. The implementation of the DWC_otg device
  112390. + * mode interrupt service routines is in dwc_otg_pcd_intr.c.
  112391. + *
  112392. + * @todo Add Device Mode test modes (Test J mode, Test K mode, etc).
  112393. + * @todo Does it work when the request size is greater than DEPTSIZ
  112394. + * transfer size
  112395. + *
  112396. + */
  112397. +
  112398. +#include "dwc_otg_pcd.h"
  112399. +
  112400. +#ifdef DWC_UTE_CFI
  112401. +#include "dwc_otg_cfi.h"
  112402. +
  112403. +extern int init_cfi(cfiobject_t * cfiobj);
  112404. +#endif
  112405. +
  112406. +/**
  112407. + * Choose endpoint from ep arrays using usb_ep structure.
  112408. + */
  112409. +static dwc_otg_pcd_ep_t *get_ep_from_handle(dwc_otg_pcd_t * pcd, void *handle)
  112410. +{
  112411. + int i;
  112412. + if (pcd->ep0.priv == handle) {
  112413. + return &pcd->ep0;
  112414. + }
  112415. + for (i = 0; i < MAX_EPS_CHANNELS - 1; i++) {
  112416. + if (pcd->in_ep[i].priv == handle)
  112417. + return &pcd->in_ep[i];
  112418. + if (pcd->out_ep[i].priv == handle)
  112419. + return &pcd->out_ep[i];
  112420. + }
  112421. +
  112422. + return NULL;
  112423. +}
  112424. +
  112425. +/**
  112426. + * This function completes a request. It call's the request call back.
  112427. + */
  112428. +void dwc_otg_request_done(dwc_otg_pcd_ep_t * ep, dwc_otg_pcd_request_t * req,
  112429. + int32_t status)
  112430. +{
  112431. + unsigned stopped = ep->stopped;
  112432. +
  112433. + DWC_DEBUGPL(DBG_PCDV, "%s(ep %p req %p)\n", __func__, ep, req);
  112434. + DWC_CIRCLEQ_REMOVE_INIT(&ep->queue, req, queue_entry);
  112435. +
  112436. + /* don't modify queue heads during completion callback */
  112437. + ep->stopped = 1;
  112438. + /* spin_unlock/spin_lock now done in fops->complete() */
  112439. + ep->pcd->fops->complete(ep->pcd, ep->priv, req->priv, status,
  112440. + req->actual);
  112441. +
  112442. + if (ep->pcd->request_pending > 0) {
  112443. + --ep->pcd->request_pending;
  112444. + }
  112445. +
  112446. + ep->stopped = stopped;
  112447. + DWC_FREE(req);
  112448. +}
  112449. +
  112450. +/**
  112451. + * This function terminates all the requsts in the EP request queue.
  112452. + */
  112453. +void dwc_otg_request_nuke(dwc_otg_pcd_ep_t * ep)
  112454. +{
  112455. + dwc_otg_pcd_request_t *req;
  112456. +
  112457. + ep->stopped = 1;
  112458. +
  112459. + /* called with irqs blocked?? */
  112460. + while (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  112461. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  112462. + dwc_otg_request_done(ep, req, -DWC_E_SHUTDOWN);
  112463. + }
  112464. +}
  112465. +
  112466. +void dwc_otg_pcd_start(dwc_otg_pcd_t * pcd,
  112467. + const struct dwc_otg_pcd_function_ops *fops)
  112468. +{
  112469. + pcd->fops = fops;
  112470. +}
  112471. +
  112472. +/**
  112473. + * PCD Callback function for initializing the PCD when switching to
  112474. + * device mode.
  112475. + *
  112476. + * @param p void pointer to the <code>dwc_otg_pcd_t</code>
  112477. + */
  112478. +static int32_t dwc_otg_pcd_start_cb(void *p)
  112479. +{
  112480. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) p;
  112481. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  112482. +
  112483. + /*
  112484. + * Initialized the Core for Device mode.
  112485. + */
  112486. + if (dwc_otg_is_device_mode(core_if)) {
  112487. + dwc_otg_core_dev_init(core_if);
  112488. + /* Set core_if's lock pointer to the pcd->lock */
  112489. + core_if->lock = pcd->lock;
  112490. + }
  112491. + return 1;
  112492. +}
  112493. +
  112494. +/** CFI-specific buffer allocation function for EP */
  112495. +#ifdef DWC_UTE_CFI
  112496. +uint8_t *cfiw_ep_alloc_buffer(dwc_otg_pcd_t * pcd, void *pep, dwc_dma_t * addr,
  112497. + size_t buflen, int flags)
  112498. +{
  112499. + dwc_otg_pcd_ep_t *ep;
  112500. + ep = get_ep_from_handle(pcd, pep);
  112501. + if (!ep) {
  112502. + DWC_WARN("bad ep\n");
  112503. + return -DWC_E_INVALID;
  112504. + }
  112505. +
  112506. + return pcd->cfi->ops.ep_alloc_buf(pcd->cfi, pcd, ep, addr, buflen,
  112507. + flags);
  112508. +}
  112509. +#else
  112510. +uint8_t *cfiw_ep_alloc_buffer(dwc_otg_pcd_t * pcd, void *pep, dwc_dma_t * addr,
  112511. + size_t buflen, int flags);
  112512. +#endif
  112513. +
  112514. +/**
  112515. + * PCD Callback function for notifying the PCD when resuming from
  112516. + * suspend.
  112517. + *
  112518. + * @param p void pointer to the <code>dwc_otg_pcd_t</code>
  112519. + */
  112520. +static int32_t dwc_otg_pcd_resume_cb(void *p)
  112521. +{
  112522. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) p;
  112523. +
  112524. + if (pcd->fops->resume) {
  112525. + pcd->fops->resume(pcd);
  112526. + }
  112527. +
  112528. + /* Stop the SRP timeout timer. */
  112529. + if ((GET_CORE_IF(pcd)->core_params->phy_type != DWC_PHY_TYPE_PARAM_FS)
  112530. + || (!GET_CORE_IF(pcd)->core_params->i2c_enable)) {
  112531. + if (GET_CORE_IF(pcd)->srp_timer_started) {
  112532. + GET_CORE_IF(pcd)->srp_timer_started = 0;
  112533. + DWC_TIMER_CANCEL(GET_CORE_IF(pcd)->srp_timer);
  112534. + }
  112535. + }
  112536. + return 1;
  112537. +}
  112538. +
  112539. +/**
  112540. + * PCD Callback function for notifying the PCD device is suspended.
  112541. + *
  112542. + * @param p void pointer to the <code>dwc_otg_pcd_t</code>
  112543. + */
  112544. +static int32_t dwc_otg_pcd_suspend_cb(void *p)
  112545. +{
  112546. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) p;
  112547. +
  112548. + if (pcd->fops->suspend) {
  112549. + DWC_SPINUNLOCK(pcd->lock);
  112550. + pcd->fops->suspend(pcd);
  112551. + DWC_SPINLOCK(pcd->lock);
  112552. + }
  112553. +
  112554. + return 1;
  112555. +}
  112556. +
  112557. +/**
  112558. + * PCD Callback function for stopping the PCD when switching to Host
  112559. + * mode.
  112560. + *
  112561. + * @param p void pointer to the <code>dwc_otg_pcd_t</code>
  112562. + */
  112563. +static int32_t dwc_otg_pcd_stop_cb(void *p)
  112564. +{
  112565. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) p;
  112566. + extern void dwc_otg_pcd_stop(dwc_otg_pcd_t * _pcd);
  112567. +
  112568. + dwc_otg_pcd_stop(pcd);
  112569. + return 1;
  112570. +}
  112571. +
  112572. +/**
  112573. + * PCD Callback structure for handling mode switching.
  112574. + */
  112575. +static dwc_otg_cil_callbacks_t pcd_callbacks = {
  112576. + .start = dwc_otg_pcd_start_cb,
  112577. + .stop = dwc_otg_pcd_stop_cb,
  112578. + .suspend = dwc_otg_pcd_suspend_cb,
  112579. + .resume_wakeup = dwc_otg_pcd_resume_cb,
  112580. + .p = 0, /* Set at registration */
  112581. +};
  112582. +
  112583. +/**
  112584. + * This function allocates a DMA Descriptor chain for the Endpoint
  112585. + * buffer to be used for a transfer to/from the specified endpoint.
  112586. + */
  112587. +dwc_otg_dev_dma_desc_t *dwc_otg_ep_alloc_desc_chain(dwc_dma_t * dma_desc_addr,
  112588. + uint32_t count)
  112589. +{
  112590. + return DWC_DMA_ALLOC_ATOMIC(count * sizeof(dwc_otg_dev_dma_desc_t),
  112591. + dma_desc_addr);
  112592. +}
  112593. +
  112594. +/**
  112595. + * This function frees a DMA Descriptor chain that was allocated by ep_alloc_desc.
  112596. + */
  112597. +void dwc_otg_ep_free_desc_chain(dwc_otg_dev_dma_desc_t * desc_addr,
  112598. + uint32_t dma_desc_addr, uint32_t count)
  112599. +{
  112600. + DWC_DMA_FREE(count * sizeof(dwc_otg_dev_dma_desc_t), desc_addr,
  112601. + dma_desc_addr);
  112602. +}
  112603. +
  112604. +#ifdef DWC_EN_ISOC
  112605. +
  112606. +/**
  112607. + * This function initializes a descriptor chain for Isochronous transfer
  112608. + *
  112609. + * @param core_if Programming view of DWC_otg controller.
  112610. + * @param dwc_ep The EP to start the transfer on.
  112611. + *
  112612. + */
  112613. +void dwc_otg_iso_ep_start_ddma_transfer(dwc_otg_core_if_t * core_if,
  112614. + dwc_ep_t * dwc_ep)
  112615. +{
  112616. +
  112617. + dsts_data_t dsts = {.d32 = 0 };
  112618. + depctl_data_t depctl = {.d32 = 0 };
  112619. + volatile uint32_t *addr;
  112620. + int i, j;
  112621. + uint32_t len;
  112622. +
  112623. + if (dwc_ep->is_in)
  112624. + dwc_ep->desc_cnt = dwc_ep->buf_proc_intrvl / dwc_ep->bInterval;
  112625. + else
  112626. + dwc_ep->desc_cnt =
  112627. + dwc_ep->buf_proc_intrvl * dwc_ep->pkt_per_frm /
  112628. + dwc_ep->bInterval;
  112629. +
  112630. + /** Allocate descriptors for double buffering */
  112631. + dwc_ep->iso_desc_addr =
  112632. + dwc_otg_ep_alloc_desc_chain(&dwc_ep->iso_dma_desc_addr,
  112633. + dwc_ep->desc_cnt * 2);
  112634. + if (dwc_ep->desc_addr) {
  112635. + DWC_WARN("%s, can't allocate DMA descriptor chain\n", __func__);
  112636. + return;
  112637. + }
  112638. +
  112639. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  112640. +
  112641. + /** ISO OUT EP */
  112642. + if (dwc_ep->is_in == 0) {
  112643. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  112644. + dwc_otg_dev_dma_desc_t *dma_desc = dwc_ep->iso_desc_addr;
  112645. + dma_addr_t dma_ad;
  112646. + uint32_t data_per_desc;
  112647. + dwc_otg_dev_out_ep_regs_t *out_regs =
  112648. + core_if->dev_if->out_ep_regs[dwc_ep->num];
  112649. + int offset;
  112650. +
  112651. + addr = &core_if->dev_if->out_ep_regs[dwc_ep->num]->doepctl;
  112652. + dma_ad = (dma_addr_t) DWC_READ_REG32(&(out_regs->doepdma));
  112653. +
  112654. + /** Buffer 0 descriptors setup */
  112655. + dma_ad = dwc_ep->dma_addr0;
  112656. +
  112657. + sts.b_iso_out.bs = BS_HOST_READY;
  112658. + sts.b_iso_out.rxsts = 0;
  112659. + sts.b_iso_out.l = 0;
  112660. + sts.b_iso_out.sp = 0;
  112661. + sts.b_iso_out.ioc = 0;
  112662. + sts.b_iso_out.pid = 0;
  112663. + sts.b_iso_out.framenum = 0;
  112664. +
  112665. + offset = 0;
  112666. + for (i = 0; i < dwc_ep->desc_cnt - dwc_ep->pkt_per_frm;
  112667. + i += dwc_ep->pkt_per_frm) {
  112668. +
  112669. + for (j = 0; j < dwc_ep->pkt_per_frm; ++j) {
  112670. + uint32_t len = (j + 1) * dwc_ep->maxpacket;
  112671. + if (len > dwc_ep->data_per_frame)
  112672. + data_per_desc =
  112673. + dwc_ep->data_per_frame -
  112674. + j * dwc_ep->maxpacket;
  112675. + else
  112676. + data_per_desc = dwc_ep->maxpacket;
  112677. + len = data_per_desc % 4;
  112678. + if (len)
  112679. + data_per_desc += 4 - len;
  112680. +
  112681. + sts.b_iso_out.rxbytes = data_per_desc;
  112682. + dma_desc->buf = dma_ad;
  112683. + dma_desc->status.d32 = sts.d32;
  112684. +
  112685. + offset += data_per_desc;
  112686. + dma_desc++;
  112687. + dma_ad += data_per_desc;
  112688. + }
  112689. + }
  112690. +
  112691. + for (j = 0; j < dwc_ep->pkt_per_frm - 1; ++j) {
  112692. + uint32_t len = (j + 1) * dwc_ep->maxpacket;
  112693. + if (len > dwc_ep->data_per_frame)
  112694. + data_per_desc =
  112695. + dwc_ep->data_per_frame -
  112696. + j * dwc_ep->maxpacket;
  112697. + else
  112698. + data_per_desc = dwc_ep->maxpacket;
  112699. + len = data_per_desc % 4;
  112700. + if (len)
  112701. + data_per_desc += 4 - len;
  112702. + sts.b_iso_out.rxbytes = data_per_desc;
  112703. + dma_desc->buf = dma_ad;
  112704. + dma_desc->status.d32 = sts.d32;
  112705. +
  112706. + offset += data_per_desc;
  112707. + dma_desc++;
  112708. + dma_ad += data_per_desc;
  112709. + }
  112710. +
  112711. + sts.b_iso_out.ioc = 1;
  112712. + len = (j + 1) * dwc_ep->maxpacket;
  112713. + if (len > dwc_ep->data_per_frame)
  112714. + data_per_desc =
  112715. + dwc_ep->data_per_frame - j * dwc_ep->maxpacket;
  112716. + else
  112717. + data_per_desc = dwc_ep->maxpacket;
  112718. + len = data_per_desc % 4;
  112719. + if (len)
  112720. + data_per_desc += 4 - len;
  112721. + sts.b_iso_out.rxbytes = data_per_desc;
  112722. +
  112723. + dma_desc->buf = dma_ad;
  112724. + dma_desc->status.d32 = sts.d32;
  112725. + dma_desc++;
  112726. +
  112727. + /** Buffer 1 descriptors setup */
  112728. + sts.b_iso_out.ioc = 0;
  112729. + dma_ad = dwc_ep->dma_addr1;
  112730. +
  112731. + offset = 0;
  112732. + for (i = 0; i < dwc_ep->desc_cnt - dwc_ep->pkt_per_frm;
  112733. + i += dwc_ep->pkt_per_frm) {
  112734. + for (j = 0; j < dwc_ep->pkt_per_frm; ++j) {
  112735. + uint32_t len = (j + 1) * dwc_ep->maxpacket;
  112736. + if (len > dwc_ep->data_per_frame)
  112737. + data_per_desc =
  112738. + dwc_ep->data_per_frame -
  112739. + j * dwc_ep->maxpacket;
  112740. + else
  112741. + data_per_desc = dwc_ep->maxpacket;
  112742. + len = data_per_desc % 4;
  112743. + if (len)
  112744. + data_per_desc += 4 - len;
  112745. +
  112746. + data_per_desc =
  112747. + sts.b_iso_out.rxbytes = data_per_desc;
  112748. + dma_desc->buf = dma_ad;
  112749. + dma_desc->status.d32 = sts.d32;
  112750. +
  112751. + offset += data_per_desc;
  112752. + dma_desc++;
  112753. + dma_ad += data_per_desc;
  112754. + }
  112755. + }
  112756. + for (j = 0; j < dwc_ep->pkt_per_frm - 1; ++j) {
  112757. + data_per_desc =
  112758. + ((j + 1) * dwc_ep->maxpacket >
  112759. + dwc_ep->data_per_frame) ? dwc_ep->data_per_frame -
  112760. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  112761. + data_per_desc +=
  112762. + (data_per_desc % 4) ? (4 - data_per_desc % 4) : 0;
  112763. + sts.b_iso_out.rxbytes = data_per_desc;
  112764. + dma_desc->buf = dma_ad;
  112765. + dma_desc->status.d32 = sts.d32;
  112766. +
  112767. + offset += data_per_desc;
  112768. + dma_desc++;
  112769. + dma_ad += data_per_desc;
  112770. + }
  112771. +
  112772. + sts.b_iso_out.ioc = 1;
  112773. + sts.b_iso_out.l = 1;
  112774. + data_per_desc =
  112775. + ((j + 1) * dwc_ep->maxpacket >
  112776. + dwc_ep->data_per_frame) ? dwc_ep->data_per_frame -
  112777. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  112778. + data_per_desc +=
  112779. + (data_per_desc % 4) ? (4 - data_per_desc % 4) : 0;
  112780. + sts.b_iso_out.rxbytes = data_per_desc;
  112781. +
  112782. + dma_desc->buf = dma_ad;
  112783. + dma_desc->status.d32 = sts.d32;
  112784. +
  112785. + dwc_ep->next_frame = 0;
  112786. +
  112787. + /** Write dma_ad into DOEPDMA register */
  112788. + DWC_WRITE_REG32(&(out_regs->doepdma),
  112789. + (uint32_t) dwc_ep->iso_dma_desc_addr);
  112790. +
  112791. + }
  112792. + /** ISO IN EP */
  112793. + else {
  112794. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  112795. + dwc_otg_dev_dma_desc_t *dma_desc = dwc_ep->iso_desc_addr;
  112796. + dma_addr_t dma_ad;
  112797. + dwc_otg_dev_in_ep_regs_t *in_regs =
  112798. + core_if->dev_if->in_ep_regs[dwc_ep->num];
  112799. + unsigned int frmnumber;
  112800. + fifosize_data_t txfifosize, rxfifosize;
  112801. +
  112802. + txfifosize.d32 =
  112803. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[dwc_ep->num]->
  112804. + dtxfsts);
  112805. + rxfifosize.d32 =
  112806. + DWC_READ_REG32(&core_if->core_global_regs->grxfsiz);
  112807. +
  112808. + addr = &core_if->dev_if->in_ep_regs[dwc_ep->num]->diepctl;
  112809. +
  112810. + dma_ad = dwc_ep->dma_addr0;
  112811. +
  112812. + dsts.d32 =
  112813. + DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  112814. +
  112815. + sts.b_iso_in.bs = BS_HOST_READY;
  112816. + sts.b_iso_in.txsts = 0;
  112817. + sts.b_iso_in.sp =
  112818. + (dwc_ep->data_per_frame % dwc_ep->maxpacket) ? 1 : 0;
  112819. + sts.b_iso_in.ioc = 0;
  112820. + sts.b_iso_in.pid = dwc_ep->pkt_per_frm;
  112821. +
  112822. + frmnumber = dwc_ep->next_frame;
  112823. +
  112824. + sts.b_iso_in.framenum = frmnumber;
  112825. + sts.b_iso_in.txbytes = dwc_ep->data_per_frame;
  112826. + sts.b_iso_in.l = 0;
  112827. +
  112828. + /** Buffer 0 descriptors setup */
  112829. + for (i = 0; i < dwc_ep->desc_cnt - 1; i++) {
  112830. + dma_desc->buf = dma_ad;
  112831. + dma_desc->status.d32 = sts.d32;
  112832. + dma_desc++;
  112833. +
  112834. + dma_ad += dwc_ep->data_per_frame;
  112835. + sts.b_iso_in.framenum += dwc_ep->bInterval;
  112836. + }
  112837. +
  112838. + sts.b_iso_in.ioc = 1;
  112839. + dma_desc->buf = dma_ad;
  112840. + dma_desc->status.d32 = sts.d32;
  112841. + ++dma_desc;
  112842. +
  112843. + /** Buffer 1 descriptors setup */
  112844. + sts.b_iso_in.ioc = 0;
  112845. + dma_ad = dwc_ep->dma_addr1;
  112846. +
  112847. + for (i = 0; i < dwc_ep->desc_cnt - dwc_ep->pkt_per_frm;
  112848. + i += dwc_ep->pkt_per_frm) {
  112849. + dma_desc->buf = dma_ad;
  112850. + dma_desc->status.d32 = sts.d32;
  112851. + dma_desc++;
  112852. +
  112853. + dma_ad += dwc_ep->data_per_frame;
  112854. + sts.b_iso_in.framenum += dwc_ep->bInterval;
  112855. +
  112856. + sts.b_iso_in.ioc = 0;
  112857. + }
  112858. + sts.b_iso_in.ioc = 1;
  112859. + sts.b_iso_in.l = 1;
  112860. +
  112861. + dma_desc->buf = dma_ad;
  112862. + dma_desc->status.d32 = sts.d32;
  112863. +
  112864. + dwc_ep->next_frame = sts.b_iso_in.framenum + dwc_ep->bInterval;
  112865. +
  112866. + /** Write dma_ad into diepdma register */
  112867. + DWC_WRITE_REG32(&(in_regs->diepdma),
  112868. + (uint32_t) dwc_ep->iso_dma_desc_addr);
  112869. + }
  112870. + /** Enable endpoint, clear nak */
  112871. + depctl.d32 = 0;
  112872. + depctl.b.epena = 1;
  112873. + depctl.b.usbactep = 1;
  112874. + depctl.b.cnak = 1;
  112875. +
  112876. + DWC_MODIFY_REG32(addr, depctl.d32, depctl.d32);
  112877. + depctl.d32 = DWC_READ_REG32(addr);
  112878. +}
  112879. +
  112880. +/**
  112881. + * This function initializes a descriptor chain for Isochronous transfer
  112882. + *
  112883. + * @param core_if Programming view of DWC_otg controller.
  112884. + * @param ep The EP to start the transfer on.
  112885. + *
  112886. + */
  112887. +void dwc_otg_iso_ep_start_buf_transfer(dwc_otg_core_if_t * core_if,
  112888. + dwc_ep_t * ep)
  112889. +{
  112890. + depctl_data_t depctl = {.d32 = 0 };
  112891. + volatile uint32_t *addr;
  112892. +
  112893. + if (ep->is_in) {
  112894. + addr = &core_if->dev_if->in_ep_regs[ep->num]->diepctl;
  112895. + } else {
  112896. + addr = &core_if->dev_if->out_ep_regs[ep->num]->doepctl;
  112897. + }
  112898. +
  112899. + if (core_if->dma_enable == 0 || core_if->dma_desc_enable != 0) {
  112900. + return;
  112901. + } else {
  112902. + deptsiz_data_t deptsiz = {.d32 = 0 };
  112903. +
  112904. + ep->xfer_len =
  112905. + ep->data_per_frame * ep->buf_proc_intrvl / ep->bInterval;
  112906. + ep->pkt_cnt =
  112907. + (ep->xfer_len - 1 + ep->maxpacket) / ep->maxpacket;
  112908. + ep->xfer_count = 0;
  112909. + ep->xfer_buff =
  112910. + (ep->proc_buf_num) ? ep->xfer_buff1 : ep->xfer_buff0;
  112911. + ep->dma_addr =
  112912. + (ep->proc_buf_num) ? ep->dma_addr1 : ep->dma_addr0;
  112913. +
  112914. + if (ep->is_in) {
  112915. + /* Program the transfer size and packet count
  112916. + * as follows: xfersize = N * maxpacket +
  112917. + * short_packet pktcnt = N + (short_packet
  112918. + * exist ? 1 : 0)
  112919. + */
  112920. + deptsiz.b.mc = ep->pkt_per_frm;
  112921. + deptsiz.b.xfersize = ep->xfer_len;
  112922. + deptsiz.b.pktcnt =
  112923. + (ep->xfer_len - 1 + ep->maxpacket) / ep->maxpacket;
  112924. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  112925. + dieptsiz, deptsiz.d32);
  112926. +
  112927. + /* Write the DMA register */
  112928. + DWC_WRITE_REG32(&
  112929. + (core_if->dev_if->in_ep_regs[ep->num]->
  112930. + diepdma), (uint32_t) ep->dma_addr);
  112931. +
  112932. + } else {
  112933. + deptsiz.b.pktcnt =
  112934. + (ep->xfer_len + (ep->maxpacket - 1)) /
  112935. + ep->maxpacket;
  112936. + deptsiz.b.xfersize = deptsiz.b.pktcnt * ep->maxpacket;
  112937. +
  112938. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[ep->num]->
  112939. + doeptsiz, deptsiz.d32);
  112940. +
  112941. + /* Write the DMA register */
  112942. + DWC_WRITE_REG32(&
  112943. + (core_if->dev_if->out_ep_regs[ep->num]->
  112944. + doepdma), (uint32_t) ep->dma_addr);
  112945. +
  112946. + }
  112947. + /** Enable endpoint, clear nak */
  112948. + depctl.d32 = 0;
  112949. + depctl.b.epena = 1;
  112950. + depctl.b.cnak = 1;
  112951. +
  112952. + DWC_MODIFY_REG32(addr, depctl.d32, depctl.d32);
  112953. + }
  112954. +}
  112955. +
  112956. +/**
  112957. + * This function does the setup for a data transfer for an EP and
  112958. + * starts the transfer. For an IN transfer, the packets will be
  112959. + * loaded into the appropriate Tx FIFO in the ISR. For OUT transfers,
  112960. + * the packets are unloaded from the Rx FIFO in the ISR.
  112961. + *
  112962. + * @param core_if Programming view of DWC_otg controller.
  112963. + * @param ep The EP to start the transfer on.
  112964. + */
  112965. +
  112966. +static void dwc_otg_iso_ep_start_transfer(dwc_otg_core_if_t * core_if,
  112967. + dwc_ep_t * ep)
  112968. +{
  112969. + if (core_if->dma_enable) {
  112970. + if (core_if->dma_desc_enable) {
  112971. + if (ep->is_in) {
  112972. + ep->desc_cnt = ep->pkt_cnt / ep->pkt_per_frm;
  112973. + } else {
  112974. + ep->desc_cnt = ep->pkt_cnt;
  112975. + }
  112976. + dwc_otg_iso_ep_start_ddma_transfer(core_if, ep);
  112977. + } else {
  112978. + if (core_if->pti_enh_enable) {
  112979. + dwc_otg_iso_ep_start_buf_transfer(core_if, ep);
  112980. + } else {
  112981. + ep->cur_pkt_addr =
  112982. + (ep->proc_buf_num) ? ep->xfer_buff1 : ep->
  112983. + xfer_buff0;
  112984. + ep->cur_pkt_dma_addr =
  112985. + (ep->proc_buf_num) ? ep->dma_addr1 : ep->
  112986. + dma_addr0;
  112987. + dwc_otg_iso_ep_start_frm_transfer(core_if, ep);
  112988. + }
  112989. + }
  112990. + } else {
  112991. + ep->cur_pkt_addr =
  112992. + (ep->proc_buf_num) ? ep->xfer_buff1 : ep->xfer_buff0;
  112993. + ep->cur_pkt_dma_addr =
  112994. + (ep->proc_buf_num) ? ep->dma_addr1 : ep->dma_addr0;
  112995. + dwc_otg_iso_ep_start_frm_transfer(core_if, ep);
  112996. + }
  112997. +}
  112998. +
  112999. +/**
  113000. + * This function stops transfer for an EP and
  113001. + * resets the ep's variables.
  113002. + *
  113003. + * @param core_if Programming view of DWC_otg controller.
  113004. + * @param ep The EP to start the transfer on.
  113005. + */
  113006. +
  113007. +void dwc_otg_iso_ep_stop_transfer(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  113008. +{
  113009. + depctl_data_t depctl = {.d32 = 0 };
  113010. + volatile uint32_t *addr;
  113011. +
  113012. + if (ep->is_in == 1) {
  113013. + addr = &core_if->dev_if->in_ep_regs[ep->num]->diepctl;
  113014. + } else {
  113015. + addr = &core_if->dev_if->out_ep_regs[ep->num]->doepctl;
  113016. + }
  113017. +
  113018. + /* disable the ep */
  113019. + depctl.d32 = DWC_READ_REG32(addr);
  113020. +
  113021. + depctl.b.epdis = 1;
  113022. + depctl.b.snak = 1;
  113023. +
  113024. + DWC_WRITE_REG32(addr, depctl.d32);
  113025. +
  113026. + if (core_if->dma_desc_enable &&
  113027. + ep->iso_desc_addr && ep->iso_dma_desc_addr) {
  113028. + dwc_otg_ep_free_desc_chain(ep->iso_desc_addr,
  113029. + ep->iso_dma_desc_addr,
  113030. + ep->desc_cnt * 2);
  113031. + }
  113032. +
  113033. + /* reset varibales */
  113034. + ep->dma_addr0 = 0;
  113035. + ep->dma_addr1 = 0;
  113036. + ep->xfer_buff0 = 0;
  113037. + ep->xfer_buff1 = 0;
  113038. + ep->data_per_frame = 0;
  113039. + ep->data_pattern_frame = 0;
  113040. + ep->sync_frame = 0;
  113041. + ep->buf_proc_intrvl = 0;
  113042. + ep->bInterval = 0;
  113043. + ep->proc_buf_num = 0;
  113044. + ep->pkt_per_frm = 0;
  113045. + ep->pkt_per_frm = 0;
  113046. + ep->desc_cnt = 0;
  113047. + ep->iso_desc_addr = 0;
  113048. + ep->iso_dma_desc_addr = 0;
  113049. +}
  113050. +
  113051. +int dwc_otg_pcd_iso_ep_start(dwc_otg_pcd_t * pcd, void *ep_handle,
  113052. + uint8_t * buf0, uint8_t * buf1, dwc_dma_t dma0,
  113053. + dwc_dma_t dma1, int sync_frame, int dp_frame,
  113054. + int data_per_frame, int start_frame,
  113055. + int buf_proc_intrvl, void *req_handle,
  113056. + int atomic_alloc)
  113057. +{
  113058. + dwc_otg_pcd_ep_t *ep;
  113059. + dwc_irqflags_t flags = 0;
  113060. + dwc_ep_t *dwc_ep;
  113061. + int32_t frm_data;
  113062. + dsts_data_t dsts;
  113063. + dwc_otg_core_if_t *core_if;
  113064. +
  113065. + ep = get_ep_from_handle(pcd, ep_handle);
  113066. +
  113067. + if (!ep || !ep->desc || ep->dwc_ep.num == 0) {
  113068. + DWC_WARN("bad ep\n");
  113069. + return -DWC_E_INVALID;
  113070. + }
  113071. +
  113072. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  113073. + core_if = GET_CORE_IF(pcd);
  113074. + dwc_ep = &ep->dwc_ep;
  113075. +
  113076. + if (ep->iso_req_handle) {
  113077. + DWC_WARN("ISO request in progress\n");
  113078. + }
  113079. +
  113080. + dwc_ep->dma_addr0 = dma0;
  113081. + dwc_ep->dma_addr1 = dma1;
  113082. +
  113083. + dwc_ep->xfer_buff0 = buf0;
  113084. + dwc_ep->xfer_buff1 = buf1;
  113085. +
  113086. + dwc_ep->data_per_frame = data_per_frame;
  113087. +
  113088. + /** @todo - pattern data support is to be implemented in the future */
  113089. + dwc_ep->data_pattern_frame = dp_frame;
  113090. + dwc_ep->sync_frame = sync_frame;
  113091. +
  113092. + dwc_ep->buf_proc_intrvl = buf_proc_intrvl;
  113093. +
  113094. + dwc_ep->bInterval = 1 << (ep->desc->bInterval - 1);
  113095. +
  113096. + dwc_ep->proc_buf_num = 0;
  113097. +
  113098. + dwc_ep->pkt_per_frm = 0;
  113099. + frm_data = ep->dwc_ep.data_per_frame;
  113100. + while (frm_data > 0) {
  113101. + dwc_ep->pkt_per_frm++;
  113102. + frm_data -= ep->dwc_ep.maxpacket;
  113103. + }
  113104. +
  113105. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  113106. +
  113107. + if (start_frame == -1) {
  113108. + dwc_ep->next_frame = dsts.b.soffn + 1;
  113109. + if (dwc_ep->bInterval != 1) {
  113110. + dwc_ep->next_frame =
  113111. + dwc_ep->next_frame + (dwc_ep->bInterval - 1 -
  113112. + dwc_ep->next_frame %
  113113. + dwc_ep->bInterval);
  113114. + }
  113115. + } else {
  113116. + dwc_ep->next_frame = start_frame;
  113117. + }
  113118. +
  113119. + if (!core_if->pti_enh_enable) {
  113120. + dwc_ep->pkt_cnt =
  113121. + dwc_ep->buf_proc_intrvl * dwc_ep->pkt_per_frm /
  113122. + dwc_ep->bInterval;
  113123. + } else {
  113124. + dwc_ep->pkt_cnt =
  113125. + (dwc_ep->data_per_frame *
  113126. + (dwc_ep->buf_proc_intrvl / dwc_ep->bInterval)
  113127. + - 1 + dwc_ep->maxpacket) / dwc_ep->maxpacket;
  113128. + }
  113129. +
  113130. + if (core_if->dma_desc_enable) {
  113131. + dwc_ep->desc_cnt =
  113132. + dwc_ep->buf_proc_intrvl * dwc_ep->pkt_per_frm /
  113133. + dwc_ep->bInterval;
  113134. + }
  113135. +
  113136. + if (atomic_alloc) {
  113137. + dwc_ep->pkt_info =
  113138. + DWC_ALLOC_ATOMIC(sizeof(iso_pkt_info_t) * dwc_ep->pkt_cnt);
  113139. + } else {
  113140. + dwc_ep->pkt_info =
  113141. + DWC_ALLOC(sizeof(iso_pkt_info_t) * dwc_ep->pkt_cnt);
  113142. + }
  113143. + if (!dwc_ep->pkt_info) {
  113144. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113145. + return -DWC_E_NO_MEMORY;
  113146. + }
  113147. + if (core_if->pti_enh_enable) {
  113148. + dwc_memset(dwc_ep->pkt_info, 0,
  113149. + sizeof(iso_pkt_info_t) * dwc_ep->pkt_cnt);
  113150. + }
  113151. +
  113152. + dwc_ep->cur_pkt = 0;
  113153. + ep->iso_req_handle = req_handle;
  113154. +
  113155. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113156. + dwc_otg_iso_ep_start_transfer(core_if, dwc_ep);
  113157. + return 0;
  113158. +}
  113159. +
  113160. +int dwc_otg_pcd_iso_ep_stop(dwc_otg_pcd_t * pcd, void *ep_handle,
  113161. + void *req_handle)
  113162. +{
  113163. + dwc_irqflags_t flags = 0;
  113164. + dwc_otg_pcd_ep_t *ep;
  113165. + dwc_ep_t *dwc_ep;
  113166. +
  113167. + ep = get_ep_from_handle(pcd, ep_handle);
  113168. + if (!ep || !ep->desc || ep->dwc_ep.num == 0) {
  113169. + DWC_WARN("bad ep\n");
  113170. + return -DWC_E_INVALID;
  113171. + }
  113172. + dwc_ep = &ep->dwc_ep;
  113173. +
  113174. + dwc_otg_iso_ep_stop_transfer(GET_CORE_IF(pcd), dwc_ep);
  113175. +
  113176. + DWC_FREE(dwc_ep->pkt_info);
  113177. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  113178. + if (ep->iso_req_handle != req_handle) {
  113179. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113180. + return -DWC_E_INVALID;
  113181. + }
  113182. +
  113183. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113184. +
  113185. + ep->iso_req_handle = 0;
  113186. + return 0;
  113187. +}
  113188. +
  113189. +/**
  113190. + * This function is used for perodical data exchnage between PCD and gadget drivers.
  113191. + * for Isochronous EPs
  113192. + *
  113193. + * - Every time a sync period completes this function is called to
  113194. + * perform data exchange between PCD and gadget
  113195. + */
  113196. +void dwc_otg_iso_buffer_done(dwc_otg_pcd_t * pcd, dwc_otg_pcd_ep_t * ep,
  113197. + void *req_handle)
  113198. +{
  113199. + int i;
  113200. + dwc_ep_t *dwc_ep;
  113201. +
  113202. + dwc_ep = &ep->dwc_ep;
  113203. +
  113204. + DWC_SPINUNLOCK(ep->pcd->lock);
  113205. + pcd->fops->isoc_complete(pcd, ep->priv, ep->iso_req_handle,
  113206. + dwc_ep->proc_buf_num ^ 0x1);
  113207. + DWC_SPINLOCK(ep->pcd->lock);
  113208. +
  113209. + for (i = 0; i < dwc_ep->pkt_cnt; ++i) {
  113210. + dwc_ep->pkt_info[i].status = 0;
  113211. + dwc_ep->pkt_info[i].offset = 0;
  113212. + dwc_ep->pkt_info[i].length = 0;
  113213. + }
  113214. +}
  113215. +
  113216. +int dwc_otg_pcd_get_iso_packet_count(dwc_otg_pcd_t * pcd, void *ep_handle,
  113217. + void *iso_req_handle)
  113218. +{
  113219. + dwc_otg_pcd_ep_t *ep;
  113220. + dwc_ep_t *dwc_ep;
  113221. +
  113222. + ep = get_ep_from_handle(pcd, ep_handle);
  113223. + if (!ep->desc || ep->dwc_ep.num == 0) {
  113224. + DWC_WARN("bad ep\n");
  113225. + return -DWC_E_INVALID;
  113226. + }
  113227. + dwc_ep = &ep->dwc_ep;
  113228. +
  113229. + return dwc_ep->pkt_cnt;
  113230. +}
  113231. +
  113232. +void dwc_otg_pcd_get_iso_packet_params(dwc_otg_pcd_t * pcd, void *ep_handle,
  113233. + void *iso_req_handle, int packet,
  113234. + int *status, int *actual, int *offset)
  113235. +{
  113236. + dwc_otg_pcd_ep_t *ep;
  113237. + dwc_ep_t *dwc_ep;
  113238. +
  113239. + ep = get_ep_from_handle(pcd, ep_handle);
  113240. + if (!ep)
  113241. + DWC_WARN("bad ep\n");
  113242. +
  113243. + dwc_ep = &ep->dwc_ep;
  113244. +
  113245. + *status = dwc_ep->pkt_info[packet].status;
  113246. + *actual = dwc_ep->pkt_info[packet].length;
  113247. + *offset = dwc_ep->pkt_info[packet].offset;
  113248. +}
  113249. +
  113250. +#endif /* DWC_EN_ISOC */
  113251. +
  113252. +static void dwc_otg_pcd_init_ep(dwc_otg_pcd_t * pcd, dwc_otg_pcd_ep_t * pcd_ep,
  113253. + uint32_t is_in, uint32_t ep_num)
  113254. +{
  113255. + /* Init EP structure */
  113256. + pcd_ep->desc = 0;
  113257. + pcd_ep->pcd = pcd;
  113258. + pcd_ep->stopped = 1;
  113259. + pcd_ep->queue_sof = 0;
  113260. +
  113261. + /* Init DWC ep structure */
  113262. + pcd_ep->dwc_ep.is_in = is_in;
  113263. + pcd_ep->dwc_ep.num = ep_num;
  113264. + pcd_ep->dwc_ep.active = 0;
  113265. + pcd_ep->dwc_ep.tx_fifo_num = 0;
  113266. + /* Control until ep is actvated */
  113267. + pcd_ep->dwc_ep.type = DWC_OTG_EP_TYPE_CONTROL;
  113268. + pcd_ep->dwc_ep.maxpacket = MAX_PACKET_SIZE;
  113269. + pcd_ep->dwc_ep.dma_addr = 0;
  113270. + pcd_ep->dwc_ep.start_xfer_buff = 0;
  113271. + pcd_ep->dwc_ep.xfer_buff = 0;
  113272. + pcd_ep->dwc_ep.xfer_len = 0;
  113273. + pcd_ep->dwc_ep.xfer_count = 0;
  113274. + pcd_ep->dwc_ep.sent_zlp = 0;
  113275. + pcd_ep->dwc_ep.total_len = 0;
  113276. + pcd_ep->dwc_ep.desc_addr = 0;
  113277. + pcd_ep->dwc_ep.dma_desc_addr = 0;
  113278. + DWC_CIRCLEQ_INIT(&pcd_ep->queue);
  113279. +}
  113280. +
  113281. +/**
  113282. + * Initialize ep's
  113283. + */
  113284. +static void dwc_otg_pcd_reinit(dwc_otg_pcd_t * pcd)
  113285. +{
  113286. + int i;
  113287. + uint32_t hwcfg1;
  113288. + dwc_otg_pcd_ep_t *ep;
  113289. + int in_ep_cntr, out_ep_cntr;
  113290. + uint32_t num_in_eps = (GET_CORE_IF(pcd))->dev_if->num_in_eps;
  113291. + uint32_t num_out_eps = (GET_CORE_IF(pcd))->dev_if->num_out_eps;
  113292. +
  113293. + /**
  113294. + * Initialize the EP0 structure.
  113295. + */
  113296. + ep = &pcd->ep0;
  113297. + dwc_otg_pcd_init_ep(pcd, ep, 0, 0);
  113298. +
  113299. + in_ep_cntr = 0;
  113300. + hwcfg1 = (GET_CORE_IF(pcd))->hwcfg1.d32 >> 3;
  113301. + for (i = 1; in_ep_cntr < num_in_eps; i++) {
  113302. + if ((hwcfg1 & 0x1) == 0) {
  113303. + dwc_otg_pcd_ep_t *ep = &pcd->in_ep[in_ep_cntr];
  113304. + in_ep_cntr++;
  113305. + /**
  113306. + * @todo NGS: Add direction to EP, based on contents
  113307. + * of HWCFG1. Need a copy of HWCFG1 in pcd structure?
  113308. + * sprintf(";r
  113309. + */
  113310. + dwc_otg_pcd_init_ep(pcd, ep, 1 /* IN */ , i);
  113311. +
  113312. + DWC_CIRCLEQ_INIT(&ep->queue);
  113313. + }
  113314. + hwcfg1 >>= 2;
  113315. + }
  113316. +
  113317. + out_ep_cntr = 0;
  113318. + hwcfg1 = (GET_CORE_IF(pcd))->hwcfg1.d32 >> 2;
  113319. + for (i = 1; out_ep_cntr < num_out_eps; i++) {
  113320. + if ((hwcfg1 & 0x1) == 0) {
  113321. + dwc_otg_pcd_ep_t *ep = &pcd->out_ep[out_ep_cntr];
  113322. + out_ep_cntr++;
  113323. + /**
  113324. + * @todo NGS: Add direction to EP, based on contents
  113325. + * of HWCFG1. Need a copy of HWCFG1 in pcd structure?
  113326. + * sprintf(";r
  113327. + */
  113328. + dwc_otg_pcd_init_ep(pcd, ep, 0 /* OUT */ , i);
  113329. + DWC_CIRCLEQ_INIT(&ep->queue);
  113330. + }
  113331. + hwcfg1 >>= 2;
  113332. + }
  113333. +
  113334. + pcd->ep0state = EP0_DISCONNECT;
  113335. + pcd->ep0.dwc_ep.maxpacket = MAX_EP0_SIZE;
  113336. + pcd->ep0.dwc_ep.type = DWC_OTG_EP_TYPE_CONTROL;
  113337. +}
  113338. +
  113339. +/**
  113340. + * This function is called when the SRP timer expires. The SRP should
  113341. + * complete within 6 seconds.
  113342. + */
  113343. +static void srp_timeout(void *ptr)
  113344. +{
  113345. + gotgctl_data_t gotgctl;
  113346. + dwc_otg_core_if_t *core_if = (dwc_otg_core_if_t *) ptr;
  113347. + volatile uint32_t *addr = &core_if->core_global_regs->gotgctl;
  113348. +
  113349. + gotgctl.d32 = DWC_READ_REG32(addr);
  113350. +
  113351. + core_if->srp_timer_started = 0;
  113352. +
  113353. + if (core_if->adp_enable) {
  113354. + if (gotgctl.b.bsesvld == 0) {
  113355. + gpwrdn_data_t gpwrdn = {.d32 = 0 };
  113356. + DWC_PRINTF("SRP Timeout BSESSVLD = 0\n");
  113357. + /* Power off the core */
  113358. + if (core_if->power_down == 2) {
  113359. + gpwrdn.b.pwrdnswtch = 1;
  113360. + DWC_MODIFY_REG32(&core_if->
  113361. + core_global_regs->gpwrdn,
  113362. + gpwrdn.d32, 0);
  113363. + }
  113364. +
  113365. + gpwrdn.d32 = 0;
  113366. + gpwrdn.b.pmuintsel = 1;
  113367. + gpwrdn.b.pmuactv = 1;
  113368. + DWC_MODIFY_REG32(&core_if->core_global_regs->gpwrdn, 0,
  113369. + gpwrdn.d32);
  113370. + dwc_otg_adp_probe_start(core_if);
  113371. + } else {
  113372. + DWC_PRINTF("SRP Timeout BSESSVLD = 1\n");
  113373. + core_if->op_state = B_PERIPHERAL;
  113374. + dwc_otg_core_init(core_if);
  113375. + dwc_otg_enable_global_interrupts(core_if);
  113376. + cil_pcd_start(core_if);
  113377. + }
  113378. + }
  113379. +
  113380. + if ((core_if->core_params->phy_type == DWC_PHY_TYPE_PARAM_FS) &&
  113381. + (core_if->core_params->i2c_enable)) {
  113382. + DWC_PRINTF("SRP Timeout\n");
  113383. +
  113384. + if ((core_if->srp_success) && (gotgctl.b.bsesvld)) {
  113385. + if (core_if->pcd_cb && core_if->pcd_cb->resume_wakeup) {
  113386. + core_if->pcd_cb->resume_wakeup(core_if->pcd_cb->p);
  113387. + }
  113388. +
  113389. + /* Clear Session Request */
  113390. + gotgctl.d32 = 0;
  113391. + gotgctl.b.sesreq = 1;
  113392. + DWC_MODIFY_REG32(&core_if->core_global_regs->gotgctl,
  113393. + gotgctl.d32, 0);
  113394. +
  113395. + core_if->srp_success = 0;
  113396. + } else {
  113397. + __DWC_ERROR("Device not connected/responding\n");
  113398. + gotgctl.b.sesreq = 0;
  113399. + DWC_WRITE_REG32(addr, gotgctl.d32);
  113400. + }
  113401. + } else if (gotgctl.b.sesreq) {
  113402. + DWC_PRINTF("SRP Timeout\n");
  113403. +
  113404. + __DWC_ERROR("Device not connected/responding\n");
  113405. + gotgctl.b.sesreq = 0;
  113406. + DWC_WRITE_REG32(addr, gotgctl.d32);
  113407. + } else {
  113408. + DWC_PRINTF(" SRP GOTGCTL=%0x\n", gotgctl.d32);
  113409. + }
  113410. +}
  113411. +
  113412. +/**
  113413. + * Tasklet
  113414. + *
  113415. + */
  113416. +extern void start_next_request(dwc_otg_pcd_ep_t * ep);
  113417. +
  113418. +static void start_xfer_tasklet_func(void *data)
  113419. +{
  113420. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) data;
  113421. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  113422. +
  113423. + int i;
  113424. + depctl_data_t diepctl;
  113425. +
  113426. + DWC_DEBUGPL(DBG_PCDV, "Start xfer tasklet\n");
  113427. +
  113428. + diepctl.d32 = DWC_READ_REG32(&core_if->dev_if->in_ep_regs[0]->diepctl);
  113429. +
  113430. + if (pcd->ep0.queue_sof) {
  113431. + pcd->ep0.queue_sof = 0;
  113432. + start_next_request(&pcd->ep0);
  113433. + // break;
  113434. + }
  113435. +
  113436. + for (i = 0; i < core_if->dev_if->num_in_eps; i++) {
  113437. + depctl_data_t diepctl;
  113438. + diepctl.d32 =
  113439. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[i]->diepctl);
  113440. +
  113441. + if (pcd->in_ep[i].queue_sof) {
  113442. + pcd->in_ep[i].queue_sof = 0;
  113443. + start_next_request(&pcd->in_ep[i]);
  113444. + // break;
  113445. + }
  113446. + }
  113447. +
  113448. + return;
  113449. +}
  113450. +
  113451. +/**
  113452. + * This function initialized the PCD portion of the driver.
  113453. + *
  113454. + */
  113455. +dwc_otg_pcd_t *dwc_otg_pcd_init(dwc_otg_core_if_t * core_if)
  113456. +{
  113457. + dwc_otg_pcd_t *pcd = NULL;
  113458. + dwc_otg_dev_if_t *dev_if;
  113459. + int i;
  113460. +
  113461. + /*
  113462. + * Allocate PCD structure
  113463. + */
  113464. + pcd = DWC_ALLOC(sizeof(dwc_otg_pcd_t));
  113465. +
  113466. + if (pcd == NULL) {
  113467. + return NULL;
  113468. + }
  113469. +
  113470. +#if (defined(DWC_LINUX) && defined(CONFIG_DEBUG_SPINLOCK))
  113471. + DWC_SPINLOCK_ALLOC_LINUX_DEBUG(pcd->lock);
  113472. +#else
  113473. + pcd->lock = DWC_SPINLOCK_ALLOC();
  113474. +#endif
  113475. + DWC_DEBUGPL(DBG_HCDV, "Init of PCD %p given core_if %p\n",
  113476. + pcd, core_if);//GRAYG
  113477. + if (!pcd->lock) {
  113478. + DWC_ERROR("Could not allocate lock for pcd");
  113479. + DWC_FREE(pcd);
  113480. + return NULL;
  113481. + }
  113482. + /* Set core_if's lock pointer to hcd->lock */
  113483. + core_if->lock = pcd->lock;
  113484. + pcd->core_if = core_if;
  113485. +
  113486. + dev_if = core_if->dev_if;
  113487. + dev_if->isoc_ep = NULL;
  113488. +
  113489. + if (core_if->hwcfg4.b.ded_fifo_en) {
  113490. + DWC_PRINTF("Dedicated Tx FIFOs mode\n");
  113491. + } else {
  113492. + DWC_PRINTF("Shared Tx FIFO mode\n");
  113493. + }
  113494. +
  113495. + /*
  113496. + * Initialized the Core for Device mode here if there is nod ADP support.
  113497. + * Otherwise it will be done later in dwc_otg_adp_start routine.
  113498. + */
  113499. + if (dwc_otg_is_device_mode(core_if) /*&& !core_if->adp_enable*/) {
  113500. + dwc_otg_core_dev_init(core_if);
  113501. + }
  113502. +
  113503. + /*
  113504. + * Register the PCD Callbacks.
  113505. + */
  113506. + dwc_otg_cil_register_pcd_callbacks(core_if, &pcd_callbacks, pcd);
  113507. +
  113508. + /*
  113509. + * Initialize the DMA buffer for SETUP packets
  113510. + */
  113511. + if (GET_CORE_IF(pcd)->dma_enable) {
  113512. + pcd->setup_pkt =
  113513. + DWC_DMA_ALLOC(sizeof(*pcd->setup_pkt) * 5,
  113514. + &pcd->setup_pkt_dma_handle);
  113515. + if (pcd->setup_pkt == NULL) {
  113516. + DWC_FREE(pcd);
  113517. + return NULL;
  113518. + }
  113519. +
  113520. + pcd->status_buf =
  113521. + DWC_DMA_ALLOC(sizeof(uint16_t),
  113522. + &pcd->status_buf_dma_handle);
  113523. + if (pcd->status_buf == NULL) {
  113524. + DWC_DMA_FREE(sizeof(*pcd->setup_pkt) * 5,
  113525. + pcd->setup_pkt, pcd->setup_pkt_dma_handle);
  113526. + DWC_FREE(pcd);
  113527. + return NULL;
  113528. + }
  113529. +
  113530. + if (GET_CORE_IF(pcd)->dma_desc_enable) {
  113531. + dev_if->setup_desc_addr[0] =
  113532. + dwc_otg_ep_alloc_desc_chain
  113533. + (&dev_if->dma_setup_desc_addr[0], 1);
  113534. + dev_if->setup_desc_addr[1] =
  113535. + dwc_otg_ep_alloc_desc_chain
  113536. + (&dev_if->dma_setup_desc_addr[1], 1);
  113537. + dev_if->in_desc_addr =
  113538. + dwc_otg_ep_alloc_desc_chain
  113539. + (&dev_if->dma_in_desc_addr, 1);
  113540. + dev_if->out_desc_addr =
  113541. + dwc_otg_ep_alloc_desc_chain
  113542. + (&dev_if->dma_out_desc_addr, 1);
  113543. + pcd->data_terminated = 0;
  113544. +
  113545. + if (dev_if->setup_desc_addr[0] == 0
  113546. + || dev_if->setup_desc_addr[1] == 0
  113547. + || dev_if->in_desc_addr == 0
  113548. + || dev_if->out_desc_addr == 0) {
  113549. +
  113550. + if (dev_if->out_desc_addr)
  113551. + dwc_otg_ep_free_desc_chain
  113552. + (dev_if->out_desc_addr,
  113553. + dev_if->dma_out_desc_addr, 1);
  113554. + if (dev_if->in_desc_addr)
  113555. + dwc_otg_ep_free_desc_chain
  113556. + (dev_if->in_desc_addr,
  113557. + dev_if->dma_in_desc_addr, 1);
  113558. + if (dev_if->setup_desc_addr[1])
  113559. + dwc_otg_ep_free_desc_chain
  113560. + (dev_if->setup_desc_addr[1],
  113561. + dev_if->dma_setup_desc_addr[1], 1);
  113562. + if (dev_if->setup_desc_addr[0])
  113563. + dwc_otg_ep_free_desc_chain
  113564. + (dev_if->setup_desc_addr[0],
  113565. + dev_if->dma_setup_desc_addr[0], 1);
  113566. +
  113567. + DWC_DMA_FREE(sizeof(*pcd->setup_pkt) * 5,
  113568. + pcd->setup_pkt,
  113569. + pcd->setup_pkt_dma_handle);
  113570. + DWC_DMA_FREE(sizeof(*pcd->status_buf),
  113571. + pcd->status_buf,
  113572. + pcd->status_buf_dma_handle);
  113573. +
  113574. + DWC_FREE(pcd);
  113575. +
  113576. + return NULL;
  113577. + }
  113578. + }
  113579. + } else {
  113580. + pcd->setup_pkt = DWC_ALLOC(sizeof(*pcd->setup_pkt) * 5);
  113581. + if (pcd->setup_pkt == NULL) {
  113582. + DWC_FREE(pcd);
  113583. + return NULL;
  113584. + }
  113585. +
  113586. + pcd->status_buf = DWC_ALLOC(sizeof(uint16_t));
  113587. + if (pcd->status_buf == NULL) {
  113588. + DWC_FREE(pcd->setup_pkt);
  113589. + DWC_FREE(pcd);
  113590. + return NULL;
  113591. + }
  113592. + }
  113593. +
  113594. + dwc_otg_pcd_reinit(pcd);
  113595. +
  113596. + /* Allocate the cfi object for the PCD */
  113597. +#ifdef DWC_UTE_CFI
  113598. + pcd->cfi = DWC_ALLOC(sizeof(cfiobject_t));
  113599. + if (NULL == pcd->cfi)
  113600. + goto fail;
  113601. + if (init_cfi(pcd->cfi)) {
  113602. + CFI_INFO("%s: Failed to init the CFI object\n", __func__);
  113603. + goto fail;
  113604. + }
  113605. +#endif
  113606. +
  113607. + /* Initialize tasklets */
  113608. + pcd->start_xfer_tasklet = DWC_TASK_ALLOC("xfer_tasklet",
  113609. + start_xfer_tasklet_func, pcd);
  113610. + pcd->test_mode_tasklet = DWC_TASK_ALLOC("test_mode_tasklet",
  113611. + do_test_mode, pcd);
  113612. +
  113613. + /* Initialize SRP timer */
  113614. + core_if->srp_timer = DWC_TIMER_ALLOC("SRP TIMER", srp_timeout, core_if);
  113615. +
  113616. + if (core_if->core_params->dev_out_nak) {
  113617. + /**
  113618. + * Initialize xfer timeout timer. Implemented for
  113619. + * 2.93a feature "Device DDMA OUT NAK Enhancement"
  113620. + */
  113621. + for(i = 0; i < MAX_EPS_CHANNELS; i++) {
  113622. + pcd->core_if->ep_xfer_timer[i] =
  113623. + DWC_TIMER_ALLOC("ep timer", ep_xfer_timeout,
  113624. + &pcd->core_if->ep_xfer_info[i]);
  113625. + }
  113626. + }
  113627. +
  113628. + return pcd;
  113629. +#ifdef DWC_UTE_CFI
  113630. +fail:
  113631. +#endif
  113632. + if (pcd->setup_pkt)
  113633. + DWC_FREE(pcd->setup_pkt);
  113634. + if (pcd->status_buf)
  113635. + DWC_FREE(pcd->status_buf);
  113636. +#ifdef DWC_UTE_CFI
  113637. + if (pcd->cfi)
  113638. + DWC_FREE(pcd->cfi);
  113639. +#endif
  113640. + if (pcd)
  113641. + DWC_FREE(pcd);
  113642. + return NULL;
  113643. +
  113644. +}
  113645. +
  113646. +/**
  113647. + * Remove PCD specific data
  113648. + */
  113649. +void dwc_otg_pcd_remove(dwc_otg_pcd_t * pcd)
  113650. +{
  113651. + dwc_otg_dev_if_t *dev_if = GET_CORE_IF(pcd)->dev_if;
  113652. + int i;
  113653. + if (pcd->core_if->core_params->dev_out_nak) {
  113654. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  113655. + DWC_TIMER_CANCEL(pcd->core_if->ep_xfer_timer[i]);
  113656. + pcd->core_if->ep_xfer_info[i].state = 0;
  113657. + }
  113658. + }
  113659. +
  113660. + if (GET_CORE_IF(pcd)->dma_enable) {
  113661. + DWC_DMA_FREE(sizeof(*pcd->setup_pkt) * 5, pcd->setup_pkt,
  113662. + pcd->setup_pkt_dma_handle);
  113663. + DWC_DMA_FREE(sizeof(uint16_t), pcd->status_buf,
  113664. + pcd->status_buf_dma_handle);
  113665. + if (GET_CORE_IF(pcd)->dma_desc_enable) {
  113666. + dwc_otg_ep_free_desc_chain(dev_if->setup_desc_addr[0],
  113667. + dev_if->dma_setup_desc_addr
  113668. + [0], 1);
  113669. + dwc_otg_ep_free_desc_chain(dev_if->setup_desc_addr[1],
  113670. + dev_if->dma_setup_desc_addr
  113671. + [1], 1);
  113672. + dwc_otg_ep_free_desc_chain(dev_if->in_desc_addr,
  113673. + dev_if->dma_in_desc_addr, 1);
  113674. + dwc_otg_ep_free_desc_chain(dev_if->out_desc_addr,
  113675. + dev_if->dma_out_desc_addr,
  113676. + 1);
  113677. + }
  113678. + } else {
  113679. + DWC_FREE(pcd->setup_pkt);
  113680. + DWC_FREE(pcd->status_buf);
  113681. + }
  113682. + DWC_SPINLOCK_FREE(pcd->lock);
  113683. + /* Set core_if's lock pointer to NULL */
  113684. + pcd->core_if->lock = NULL;
  113685. +
  113686. + DWC_TASK_FREE(pcd->start_xfer_tasklet);
  113687. + DWC_TASK_FREE(pcd->test_mode_tasklet);
  113688. + if (pcd->core_if->core_params->dev_out_nak) {
  113689. + for (i = 0; i < MAX_EPS_CHANNELS; i++) {
  113690. + if (pcd->core_if->ep_xfer_timer[i]) {
  113691. + DWC_TIMER_FREE(pcd->core_if->ep_xfer_timer[i]);
  113692. + }
  113693. + }
  113694. + }
  113695. +
  113696. +/* Release the CFI object's dynamic memory */
  113697. +#ifdef DWC_UTE_CFI
  113698. + if (pcd->cfi->ops.release) {
  113699. + pcd->cfi->ops.release(pcd->cfi);
  113700. + }
  113701. +#endif
  113702. +
  113703. + DWC_FREE(pcd);
  113704. +}
  113705. +
  113706. +/**
  113707. + * Returns whether registered pcd is dual speed or not
  113708. + */
  113709. +uint32_t dwc_otg_pcd_is_dualspeed(dwc_otg_pcd_t * pcd)
  113710. +{
  113711. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  113712. +
  113713. + if ((core_if->core_params->speed == DWC_SPEED_PARAM_FULL) ||
  113714. + ((core_if->hwcfg2.b.hs_phy_type == 2) &&
  113715. + (core_if->hwcfg2.b.fs_phy_type == 1) &&
  113716. + (core_if->core_params->ulpi_fs_ls))) {
  113717. + return 0;
  113718. + }
  113719. +
  113720. + return 1;
  113721. +}
  113722. +
  113723. +/**
  113724. + * Returns whether registered pcd is OTG capable or not
  113725. + */
  113726. +uint32_t dwc_otg_pcd_is_otg(dwc_otg_pcd_t * pcd)
  113727. +{
  113728. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  113729. + gusbcfg_data_t usbcfg = {.d32 = 0 };
  113730. +
  113731. + usbcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->gusbcfg);
  113732. + if (!usbcfg.b.srpcap || !usbcfg.b.hnpcap) {
  113733. + return 0;
  113734. + }
  113735. +
  113736. + return 1;
  113737. +}
  113738. +
  113739. +/**
  113740. + * This function assigns periodic Tx FIFO to an periodic EP
  113741. + * in shared Tx FIFO mode
  113742. + */
  113743. +static uint32_t assign_tx_fifo(dwc_otg_core_if_t * core_if)
  113744. +{
  113745. + uint32_t TxMsk = 1;
  113746. + int i;
  113747. +
  113748. + for (i = 0; i < core_if->hwcfg4.b.num_in_eps; ++i) {
  113749. + if ((TxMsk & core_if->tx_msk) == 0) {
  113750. + core_if->tx_msk |= TxMsk;
  113751. + return i + 1;
  113752. + }
  113753. + TxMsk <<= 1;
  113754. + }
  113755. + return 0;
  113756. +}
  113757. +
  113758. +/**
  113759. + * This function assigns periodic Tx FIFO to an periodic EP
  113760. + * in shared Tx FIFO mode
  113761. + */
  113762. +static uint32_t assign_perio_tx_fifo(dwc_otg_core_if_t * core_if)
  113763. +{
  113764. + uint32_t PerTxMsk = 1;
  113765. + int i;
  113766. + for (i = 0; i < core_if->hwcfg4.b.num_dev_perio_in_ep; ++i) {
  113767. + if ((PerTxMsk & core_if->p_tx_msk) == 0) {
  113768. + core_if->p_tx_msk |= PerTxMsk;
  113769. + return i + 1;
  113770. + }
  113771. + PerTxMsk <<= 1;
  113772. + }
  113773. + return 0;
  113774. +}
  113775. +
  113776. +/**
  113777. + * This function releases periodic Tx FIFO
  113778. + * in shared Tx FIFO mode
  113779. + */
  113780. +static void release_perio_tx_fifo(dwc_otg_core_if_t * core_if,
  113781. + uint32_t fifo_num)
  113782. +{
  113783. + core_if->p_tx_msk =
  113784. + (core_if->p_tx_msk & (1 << (fifo_num - 1))) ^ core_if->p_tx_msk;
  113785. +}
  113786. +
  113787. +/**
  113788. + * This function releases periodic Tx FIFO
  113789. + * in shared Tx FIFO mode
  113790. + */
  113791. +static void release_tx_fifo(dwc_otg_core_if_t * core_if, uint32_t fifo_num)
  113792. +{
  113793. + core_if->tx_msk =
  113794. + (core_if->tx_msk & (1 << (fifo_num - 1))) ^ core_if->tx_msk;
  113795. +}
  113796. +
  113797. +/**
  113798. + * This function is being called from gadget
  113799. + * to enable PCD endpoint.
  113800. + */
  113801. +int dwc_otg_pcd_ep_enable(dwc_otg_pcd_t * pcd,
  113802. + const uint8_t * ep_desc, void *usb_ep)
  113803. +{
  113804. + int num, dir;
  113805. + dwc_otg_pcd_ep_t *ep = NULL;
  113806. + const usb_endpoint_descriptor_t *desc;
  113807. + dwc_irqflags_t flags;
  113808. + fifosize_data_t dptxfsiz = {.d32 = 0 };
  113809. + gdfifocfg_data_t gdfifocfg = {.d32 = 0 };
  113810. + gdfifocfg_data_t gdfifocfgbase = {.d32 = 0 };
  113811. + int retval = 0;
  113812. + int i, epcount;
  113813. +
  113814. + desc = (const usb_endpoint_descriptor_t *)ep_desc;
  113815. +
  113816. + if (!desc) {
  113817. + pcd->ep0.priv = usb_ep;
  113818. + ep = &pcd->ep0;
  113819. + retval = -DWC_E_INVALID;
  113820. + goto out;
  113821. + }
  113822. +
  113823. + num = UE_GET_ADDR(desc->bEndpointAddress);
  113824. + dir = UE_GET_DIR(desc->bEndpointAddress);
  113825. +
  113826. + if (!desc->wMaxPacketSize) {
  113827. + DWC_WARN("bad maxpacketsize\n");
  113828. + retval = -DWC_E_INVALID;
  113829. + goto out;
  113830. + }
  113831. +
  113832. + if (dir == UE_DIR_IN) {
  113833. + epcount = pcd->core_if->dev_if->num_in_eps;
  113834. + for (i = 0; i < epcount; i++) {
  113835. + if (num == pcd->in_ep[i].dwc_ep.num) {
  113836. + ep = &pcd->in_ep[i];
  113837. + break;
  113838. + }
  113839. + }
  113840. + } else {
  113841. + epcount = pcd->core_if->dev_if->num_out_eps;
  113842. + for (i = 0; i < epcount; i++) {
  113843. + if (num == pcd->out_ep[i].dwc_ep.num) {
  113844. + ep = &pcd->out_ep[i];
  113845. + break;
  113846. + }
  113847. + }
  113848. + }
  113849. +
  113850. + if (!ep) {
  113851. + DWC_WARN("bad address\n");
  113852. + retval = -DWC_E_INVALID;
  113853. + goto out;
  113854. + }
  113855. +
  113856. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  113857. +
  113858. + ep->desc = desc;
  113859. + ep->priv = usb_ep;
  113860. +
  113861. + /*
  113862. + * Activate the EP
  113863. + */
  113864. + ep->stopped = 0;
  113865. +
  113866. + ep->dwc_ep.is_in = (dir == UE_DIR_IN);
  113867. + ep->dwc_ep.maxpacket = UGETW(desc->wMaxPacketSize);
  113868. +
  113869. + ep->dwc_ep.type = desc->bmAttributes & UE_XFERTYPE;
  113870. +
  113871. + if (ep->dwc_ep.is_in) {
  113872. + if (!GET_CORE_IF(pcd)->en_multiple_tx_fifo) {
  113873. + ep->dwc_ep.tx_fifo_num = 0;
  113874. +
  113875. + if (ep->dwc_ep.type == UE_ISOCHRONOUS) {
  113876. + /*
  113877. + * if ISOC EP then assign a Periodic Tx FIFO.
  113878. + */
  113879. + ep->dwc_ep.tx_fifo_num =
  113880. + assign_perio_tx_fifo(GET_CORE_IF(pcd));
  113881. + }
  113882. + } else {
  113883. + /*
  113884. + * if Dedicated FIFOs mode is on then assign a Tx FIFO.
  113885. + */
  113886. + ep->dwc_ep.tx_fifo_num =
  113887. + assign_tx_fifo(GET_CORE_IF(pcd));
  113888. + }
  113889. +
  113890. + /* Calculating EP info controller base address */
  113891. + if (ep->dwc_ep.tx_fifo_num
  113892. + && GET_CORE_IF(pcd)->en_multiple_tx_fifo) {
  113893. + gdfifocfg.d32 =
  113894. + DWC_READ_REG32(&GET_CORE_IF(pcd)->
  113895. + core_global_regs->gdfifocfg);
  113896. + gdfifocfgbase.d32 = gdfifocfg.d32 >> 16;
  113897. + dptxfsiz.d32 =
  113898. + (DWC_READ_REG32
  113899. + (&GET_CORE_IF(pcd)->core_global_regs->
  113900. + dtxfsiz[ep->dwc_ep.tx_fifo_num - 1]) >> 16);
  113901. + gdfifocfg.b.epinfobase =
  113902. + gdfifocfgbase.d32 + dptxfsiz.d32;
  113903. + if (GET_CORE_IF(pcd)->snpsid <= OTG_CORE_REV_2_94a) {
  113904. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->
  113905. + core_global_regs->gdfifocfg,
  113906. + gdfifocfg.d32);
  113907. + }
  113908. + }
  113909. + }
  113910. + /* Set initial data PID. */
  113911. + if (ep->dwc_ep.type == UE_BULK) {
  113912. + ep->dwc_ep.data_pid_start = 0;
  113913. + }
  113914. +
  113915. + /* Alloc DMA Descriptors */
  113916. + if (GET_CORE_IF(pcd)->dma_desc_enable) {
  113917. +#ifndef DWC_UTE_PER_IO
  113918. + if (ep->dwc_ep.type != UE_ISOCHRONOUS) {
  113919. +#endif
  113920. + ep->dwc_ep.desc_addr =
  113921. + dwc_otg_ep_alloc_desc_chain(&ep->
  113922. + dwc_ep.dma_desc_addr,
  113923. + MAX_DMA_DESC_CNT);
  113924. + if (!ep->dwc_ep.desc_addr) {
  113925. + DWC_WARN("%s, can't allocate DMA descriptor\n",
  113926. + __func__);
  113927. + retval = -DWC_E_SHUTDOWN;
  113928. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113929. + goto out;
  113930. + }
  113931. +#ifndef DWC_UTE_PER_IO
  113932. + }
  113933. +#endif
  113934. + }
  113935. +
  113936. + DWC_DEBUGPL(DBG_PCD, "Activate %s: type=%d, mps=%d desc=%p\n",
  113937. + (ep->dwc_ep.is_in ? "IN" : "OUT"),
  113938. + ep->dwc_ep.type, ep->dwc_ep.maxpacket, ep->desc);
  113939. +#ifdef DWC_UTE_PER_IO
  113940. + ep->dwc_ep.xiso_bInterval = 1 << (ep->desc->bInterval - 1);
  113941. +#endif
  113942. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  113943. + ep->dwc_ep.bInterval = 1 << (ep->desc->bInterval - 1);
  113944. + ep->dwc_ep.frame_num = 0xFFFFFFFF;
  113945. + }
  113946. +
  113947. + dwc_otg_ep_activate(GET_CORE_IF(pcd), &ep->dwc_ep);
  113948. +
  113949. +#ifdef DWC_UTE_CFI
  113950. + if (pcd->cfi->ops.ep_enable) {
  113951. + pcd->cfi->ops.ep_enable(pcd->cfi, pcd, ep);
  113952. + }
  113953. +#endif
  113954. +
  113955. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  113956. +
  113957. +out:
  113958. + return retval;
  113959. +}
  113960. +
  113961. +/**
  113962. + * This function is being called from gadget
  113963. + * to disable PCD endpoint.
  113964. + */
  113965. +int dwc_otg_pcd_ep_disable(dwc_otg_pcd_t * pcd, void *ep_handle)
  113966. +{
  113967. + dwc_otg_pcd_ep_t *ep;
  113968. + dwc_irqflags_t flags;
  113969. + dwc_otg_dev_dma_desc_t *desc_addr;
  113970. + dwc_dma_t dma_desc_addr;
  113971. + gdfifocfg_data_t gdfifocfgbase = {.d32 = 0 };
  113972. + gdfifocfg_data_t gdfifocfg = {.d32 = 0 };
  113973. + fifosize_data_t dptxfsiz = {.d32 = 0 };
  113974. +
  113975. + ep = get_ep_from_handle(pcd, ep_handle);
  113976. +
  113977. + if (!ep || !ep->desc) {
  113978. + DWC_DEBUGPL(DBG_PCD, "bad ep address\n");
  113979. + return -DWC_E_INVALID;
  113980. + }
  113981. +
  113982. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  113983. +
  113984. + dwc_otg_request_nuke(ep);
  113985. +
  113986. + dwc_otg_ep_deactivate(GET_CORE_IF(pcd), &ep->dwc_ep);
  113987. + if (pcd->core_if->core_params->dev_out_nak) {
  113988. + DWC_TIMER_CANCEL(pcd->core_if->ep_xfer_timer[ep->dwc_ep.num]);
  113989. + pcd->core_if->ep_xfer_info[ep->dwc_ep.num].state = 0;
  113990. + }
  113991. + ep->desc = NULL;
  113992. + ep->stopped = 1;
  113993. +
  113994. + gdfifocfg.d32 =
  113995. + DWC_READ_REG32(&GET_CORE_IF(pcd)->core_global_regs->gdfifocfg);
  113996. + gdfifocfgbase.d32 = gdfifocfg.d32 >> 16;
  113997. +
  113998. + if (ep->dwc_ep.is_in) {
  113999. + if (GET_CORE_IF(pcd)->en_multiple_tx_fifo) {
  114000. + /* Flush the Tx FIFO */
  114001. + dwc_otg_flush_tx_fifo(GET_CORE_IF(pcd),
  114002. + ep->dwc_ep.tx_fifo_num);
  114003. + }
  114004. + release_perio_tx_fifo(GET_CORE_IF(pcd), ep->dwc_ep.tx_fifo_num);
  114005. + release_tx_fifo(GET_CORE_IF(pcd), ep->dwc_ep.tx_fifo_num);
  114006. + if (GET_CORE_IF(pcd)->en_multiple_tx_fifo) {
  114007. + /* Decreasing EPinfo Base Addr */
  114008. + dptxfsiz.d32 =
  114009. + (DWC_READ_REG32
  114010. + (&GET_CORE_IF(pcd)->
  114011. + core_global_regs->dtxfsiz[ep->dwc_ep.tx_fifo_num-1]) >> 16);
  114012. + gdfifocfg.b.epinfobase = gdfifocfgbase.d32 - dptxfsiz.d32;
  114013. + if (GET_CORE_IF(pcd)->snpsid <= OTG_CORE_REV_2_94a) {
  114014. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gdfifocfg,
  114015. + gdfifocfg.d32);
  114016. + }
  114017. + }
  114018. + }
  114019. +
  114020. + /* Free DMA Descriptors */
  114021. + if (GET_CORE_IF(pcd)->dma_desc_enable) {
  114022. + if (ep->dwc_ep.type != UE_ISOCHRONOUS) {
  114023. + desc_addr = ep->dwc_ep.desc_addr;
  114024. + dma_desc_addr = ep->dwc_ep.dma_desc_addr;
  114025. +
  114026. + /* Cannot call dma_free_coherent() with IRQs disabled */
  114027. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114028. + dwc_otg_ep_free_desc_chain(desc_addr, dma_desc_addr,
  114029. + MAX_DMA_DESC_CNT);
  114030. +
  114031. + goto out_unlocked;
  114032. + }
  114033. + }
  114034. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114035. +
  114036. +out_unlocked:
  114037. + DWC_DEBUGPL(DBG_PCD, "%d %s disabled\n", ep->dwc_ep.num,
  114038. + ep->dwc_ep.is_in ? "IN" : "OUT");
  114039. + return 0;
  114040. +
  114041. +}
  114042. +
  114043. +/******************************************************************************/
  114044. +#ifdef DWC_UTE_PER_IO
  114045. +
  114046. +/**
  114047. + * Free the request and its extended parts
  114048. + *
  114049. + */
  114050. +void dwc_pcd_xiso_ereq_free(dwc_otg_pcd_ep_t * ep, dwc_otg_pcd_request_t * req)
  114051. +{
  114052. + DWC_FREE(req->ext_req.per_io_frame_descs);
  114053. + DWC_FREE(req);
  114054. +}
  114055. +
  114056. +/**
  114057. + * Start the next request in the endpoint's queue.
  114058. + *
  114059. + */
  114060. +int dwc_otg_pcd_xiso_start_next_request(dwc_otg_pcd_t * pcd,
  114061. + dwc_otg_pcd_ep_t * ep)
  114062. +{
  114063. + int i;
  114064. + dwc_otg_pcd_request_t *req = NULL;
  114065. + dwc_ep_t *dwcep = NULL;
  114066. + struct dwc_iso_xreq_port *ereq = NULL;
  114067. + struct dwc_iso_pkt_desc_port *ddesc_iso;
  114068. + uint16_t nat;
  114069. + depctl_data_t diepctl;
  114070. +
  114071. + dwcep = &ep->dwc_ep;
  114072. +
  114073. + if (dwcep->xiso_active_xfers > 0) {
  114074. +#if 0 //Disable this to decrease s/w overhead that is crucial for Isoc transfers
  114075. + DWC_WARN("There are currently active transfers for EP%d \
  114076. + (active=%d; queued=%d)", dwcep->num, dwcep->xiso_active_xfers,
  114077. + dwcep->xiso_queued_xfers);
  114078. +#endif
  114079. + return 0;
  114080. + }
  114081. +
  114082. + nat = UGETW(ep->desc->wMaxPacketSize);
  114083. + nat = (nat >> 11) & 0x03;
  114084. +
  114085. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  114086. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  114087. + ereq = &req->ext_req;
  114088. + ep->stopped = 0;
  114089. +
  114090. + /* Get the frame number */
  114091. + dwcep->xiso_frame_num =
  114092. + dwc_otg_get_frame_number(GET_CORE_IF(pcd));
  114093. + DWC_DEBUG("FRM_NUM=%d", dwcep->xiso_frame_num);
  114094. +
  114095. + ddesc_iso = ereq->per_io_frame_descs;
  114096. +
  114097. + if (dwcep->is_in) {
  114098. + /* Setup DMA Descriptor chain for IN Isoc request */
  114099. + for (i = 0; i < ereq->pio_pkt_count; i++) {
  114100. + //if ((i % (nat + 1)) == 0)
  114101. + if ( i > 0 )
  114102. + dwcep->xiso_frame_num =
  114103. + (dwcep->xiso_bInterval +
  114104. + dwcep->xiso_frame_num) & 0x3FFF;
  114105. + dwcep->desc_addr[i].buf =
  114106. + req->dma + ddesc_iso[i].offset;
  114107. + dwcep->desc_addr[i].status.b_iso_in.txbytes =
  114108. + ddesc_iso[i].length;
  114109. + dwcep->desc_addr[i].status.b_iso_in.framenum =
  114110. + dwcep->xiso_frame_num;
  114111. + dwcep->desc_addr[i].status.b_iso_in.bs =
  114112. + BS_HOST_READY;
  114113. + dwcep->desc_addr[i].status.b_iso_in.txsts = 0;
  114114. + dwcep->desc_addr[i].status.b_iso_in.sp =
  114115. + (ddesc_iso[i].length %
  114116. + dwcep->maxpacket) ? 1 : 0;
  114117. + dwcep->desc_addr[i].status.b_iso_in.ioc = 0;
  114118. + dwcep->desc_addr[i].status.b_iso_in.pid = nat + 1;
  114119. + dwcep->desc_addr[i].status.b_iso_in.l = 0;
  114120. +
  114121. + /* Process the last descriptor */
  114122. + if (i == ereq->pio_pkt_count - 1) {
  114123. + dwcep->desc_addr[i].status.b_iso_in.ioc = 1;
  114124. + dwcep->desc_addr[i].status.b_iso_in.l = 1;
  114125. + }
  114126. + }
  114127. +
  114128. + /* Setup and start the transfer for this endpoint */
  114129. + dwcep->xiso_active_xfers++;
  114130. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->dev_if->
  114131. + in_ep_regs[dwcep->num]->diepdma,
  114132. + dwcep->dma_desc_addr);
  114133. + diepctl.d32 = 0;
  114134. + diepctl.b.epena = 1;
  114135. + diepctl.b.cnak = 1;
  114136. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->dev_if->
  114137. + in_ep_regs[dwcep->num]->diepctl, 0,
  114138. + diepctl.d32);
  114139. + } else {
  114140. + /* Setup DMA Descriptor chain for OUT Isoc request */
  114141. + for (i = 0; i < ereq->pio_pkt_count; i++) {
  114142. + //if ((i % (nat + 1)) == 0)
  114143. + dwcep->xiso_frame_num = (dwcep->xiso_bInterval +
  114144. + dwcep->xiso_frame_num) & 0x3FFF;
  114145. + dwcep->desc_addr[i].buf =
  114146. + req->dma + ddesc_iso[i].offset;
  114147. + dwcep->desc_addr[i].status.b_iso_out.rxbytes =
  114148. + ddesc_iso[i].length;
  114149. + dwcep->desc_addr[i].status.b_iso_out.framenum =
  114150. + dwcep->xiso_frame_num;
  114151. + dwcep->desc_addr[i].status.b_iso_out.bs =
  114152. + BS_HOST_READY;
  114153. + dwcep->desc_addr[i].status.b_iso_out.rxsts = 0;
  114154. + dwcep->desc_addr[i].status.b_iso_out.sp =
  114155. + (ddesc_iso[i].length %
  114156. + dwcep->maxpacket) ? 1 : 0;
  114157. + dwcep->desc_addr[i].status.b_iso_out.ioc = 0;
  114158. + dwcep->desc_addr[i].status.b_iso_out.pid = nat + 1;
  114159. + dwcep->desc_addr[i].status.b_iso_out.l = 0;
  114160. +
  114161. + /* Process the last descriptor */
  114162. + if (i == ereq->pio_pkt_count - 1) {
  114163. + dwcep->desc_addr[i].status.b_iso_out.ioc = 1;
  114164. + dwcep->desc_addr[i].status.b_iso_out.l = 1;
  114165. + }
  114166. + }
  114167. +
  114168. + /* Setup and start the transfer for this endpoint */
  114169. + dwcep->xiso_active_xfers++;
  114170. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->
  114171. + dev_if->out_ep_regs[dwcep->num]->
  114172. + doepdma, dwcep->dma_desc_addr);
  114173. + diepctl.d32 = 0;
  114174. + diepctl.b.epena = 1;
  114175. + diepctl.b.cnak = 1;
  114176. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->
  114177. + dev_if->out_ep_regs[dwcep->num]->
  114178. + doepctl, 0, diepctl.d32);
  114179. + }
  114180. +
  114181. + } else {
  114182. + ep->stopped = 1;
  114183. + }
  114184. +
  114185. + return 0;
  114186. +}
  114187. +
  114188. +/**
  114189. + * - Remove the request from the queue
  114190. + */
  114191. +void complete_xiso_ep(dwc_otg_pcd_ep_t * ep)
  114192. +{
  114193. + dwc_otg_pcd_request_t *req = NULL;
  114194. + struct dwc_iso_xreq_port *ereq = NULL;
  114195. + struct dwc_iso_pkt_desc_port *ddesc_iso = NULL;
  114196. + dwc_ep_t *dwcep = NULL;
  114197. + int i;
  114198. +
  114199. + //DWC_DEBUG();
  114200. + dwcep = &ep->dwc_ep;
  114201. +
  114202. + /* Get the first pending request from the queue */
  114203. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  114204. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  114205. + if (!req) {
  114206. + DWC_PRINTF("complete_ep 0x%p, req = NULL!\n", ep);
  114207. + return;
  114208. + }
  114209. + dwcep->xiso_active_xfers--;
  114210. + dwcep->xiso_queued_xfers--;
  114211. + /* Remove this request from the queue */
  114212. + DWC_CIRCLEQ_REMOVE_INIT(&ep->queue, req, queue_entry);
  114213. + } else {
  114214. + DWC_PRINTF("complete_ep 0x%p, ep->queue empty!\n", ep);
  114215. + return;
  114216. + }
  114217. +
  114218. + ep->stopped = 1;
  114219. + ereq = &req->ext_req;
  114220. + ddesc_iso = ereq->per_io_frame_descs;
  114221. +
  114222. + if (dwcep->xiso_active_xfers < 0) {
  114223. + DWC_WARN("EP#%d (xiso_active_xfers=%d)", dwcep->num,
  114224. + dwcep->xiso_active_xfers);
  114225. + }
  114226. +
  114227. + /* Fill the Isoc descs of portable extended req from dma descriptors */
  114228. + for (i = 0; i < ereq->pio_pkt_count; i++) {
  114229. + if (dwcep->is_in) { /* IN endpoints */
  114230. + ddesc_iso[i].actual_length = ddesc_iso[i].length -
  114231. + dwcep->desc_addr[i].status.b_iso_in.txbytes;
  114232. + ddesc_iso[i].status =
  114233. + dwcep->desc_addr[i].status.b_iso_in.txsts;
  114234. + } else { /* OUT endpoints */
  114235. + ddesc_iso[i].actual_length = ddesc_iso[i].length -
  114236. + dwcep->desc_addr[i].status.b_iso_out.rxbytes;
  114237. + ddesc_iso[i].status =
  114238. + dwcep->desc_addr[i].status.b_iso_out.rxsts;
  114239. + }
  114240. + }
  114241. +
  114242. + DWC_SPINUNLOCK(ep->pcd->lock);
  114243. +
  114244. + /* Call the completion function in the non-portable logic */
  114245. + ep->pcd->fops->xisoc_complete(ep->pcd, ep->priv, req->priv, 0,
  114246. + &req->ext_req);
  114247. +
  114248. + DWC_SPINLOCK(ep->pcd->lock);
  114249. +
  114250. + /* Free the request - specific freeing needed for extended request object */
  114251. + dwc_pcd_xiso_ereq_free(ep, req);
  114252. +
  114253. + /* Start the next request */
  114254. + dwc_otg_pcd_xiso_start_next_request(ep->pcd, ep);
  114255. +
  114256. + return;
  114257. +}
  114258. +
  114259. +/**
  114260. + * Create and initialize the Isoc pkt descriptors of the extended request.
  114261. + *
  114262. + */
  114263. +static int dwc_otg_pcd_xiso_create_pkt_descs(dwc_otg_pcd_request_t * req,
  114264. + void *ereq_nonport,
  114265. + int atomic_alloc)
  114266. +{
  114267. + struct dwc_iso_xreq_port *ereq = NULL;
  114268. + struct dwc_iso_xreq_port *req_mapped = NULL;
  114269. + struct dwc_iso_pkt_desc_port *ipds = NULL; /* To be created in this function */
  114270. + uint32_t pkt_count;
  114271. + int i;
  114272. +
  114273. + ereq = &req->ext_req;
  114274. + req_mapped = (struct dwc_iso_xreq_port *)ereq_nonport;
  114275. + pkt_count = req_mapped->pio_pkt_count;
  114276. +
  114277. + /* Create the isoc descs */
  114278. + if (atomic_alloc) {
  114279. + ipds = DWC_ALLOC_ATOMIC(sizeof(*ipds) * pkt_count);
  114280. + } else {
  114281. + ipds = DWC_ALLOC(sizeof(*ipds) * pkt_count);
  114282. + }
  114283. +
  114284. + if (!ipds) {
  114285. + DWC_ERROR("Failed to allocate isoc descriptors");
  114286. + return -DWC_E_NO_MEMORY;
  114287. + }
  114288. +
  114289. + /* Initialize the extended request fields */
  114290. + ereq->per_io_frame_descs = ipds;
  114291. + ereq->error_count = 0;
  114292. + ereq->pio_alloc_pkt_count = pkt_count;
  114293. + ereq->pio_pkt_count = pkt_count;
  114294. + ereq->tr_sub_flags = req_mapped->tr_sub_flags;
  114295. +
  114296. + /* Init the Isoc descriptors */
  114297. + for (i = 0; i < pkt_count; i++) {
  114298. + ipds[i].length = req_mapped->per_io_frame_descs[i].length;
  114299. + ipds[i].offset = req_mapped->per_io_frame_descs[i].offset;
  114300. + ipds[i].status = req_mapped->per_io_frame_descs[i].status; /* 0 */
  114301. + ipds[i].actual_length =
  114302. + req_mapped->per_io_frame_descs[i].actual_length;
  114303. + }
  114304. +
  114305. + return 0;
  114306. +}
  114307. +
  114308. +static void prn_ext_request(struct dwc_iso_xreq_port *ereq)
  114309. +{
  114310. + struct dwc_iso_pkt_desc_port *xfd = NULL;
  114311. + int i;
  114312. +
  114313. + DWC_DEBUG("per_io_frame_descs=%p", ereq->per_io_frame_descs);
  114314. + DWC_DEBUG("tr_sub_flags=%d", ereq->tr_sub_flags);
  114315. + DWC_DEBUG("error_count=%d", ereq->error_count);
  114316. + DWC_DEBUG("pio_alloc_pkt_count=%d", ereq->pio_alloc_pkt_count);
  114317. + DWC_DEBUG("pio_pkt_count=%d", ereq->pio_pkt_count);
  114318. + DWC_DEBUG("res=%d", ereq->res);
  114319. +
  114320. + for (i = 0; i < ereq->pio_pkt_count; i++) {
  114321. + xfd = &ereq->per_io_frame_descs[0];
  114322. + DWC_DEBUG("FD #%d", i);
  114323. +
  114324. + DWC_DEBUG("xfd->actual_length=%d", xfd->actual_length);
  114325. + DWC_DEBUG("xfd->length=%d", xfd->length);
  114326. + DWC_DEBUG("xfd->offset=%d", xfd->offset);
  114327. + DWC_DEBUG("xfd->status=%d", xfd->status);
  114328. + }
  114329. +}
  114330. +
  114331. +/**
  114332. + *
  114333. + */
  114334. +int dwc_otg_pcd_xiso_ep_queue(dwc_otg_pcd_t * pcd, void *ep_handle,
  114335. + uint8_t * buf, dwc_dma_t dma_buf, uint32_t buflen,
  114336. + int zero, void *req_handle, int atomic_alloc,
  114337. + void *ereq_nonport)
  114338. +{
  114339. + dwc_otg_pcd_request_t *req = NULL;
  114340. + dwc_otg_pcd_ep_t *ep;
  114341. + dwc_irqflags_t flags;
  114342. + int res;
  114343. +
  114344. + ep = get_ep_from_handle(pcd, ep_handle);
  114345. + if (!ep) {
  114346. + DWC_WARN("bad ep\n");
  114347. + return -DWC_E_INVALID;
  114348. + }
  114349. +
  114350. + /* We support this extension only for DDMA mode */
  114351. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC)
  114352. + if (!GET_CORE_IF(pcd)->dma_desc_enable)
  114353. + return -DWC_E_INVALID;
  114354. +
  114355. + /* Create a dwc_otg_pcd_request_t object */
  114356. + if (atomic_alloc) {
  114357. + req = DWC_ALLOC_ATOMIC(sizeof(*req));
  114358. + } else {
  114359. + req = DWC_ALLOC(sizeof(*req));
  114360. + }
  114361. +
  114362. + if (!req) {
  114363. + return -DWC_E_NO_MEMORY;
  114364. + }
  114365. +
  114366. + /* Create the Isoc descs for this request which shall be the exact match
  114367. + * of the structure sent to us from the non-portable logic */
  114368. + res =
  114369. + dwc_otg_pcd_xiso_create_pkt_descs(req, ereq_nonport, atomic_alloc);
  114370. + if (res) {
  114371. + DWC_WARN("Failed to init the Isoc descriptors");
  114372. + DWC_FREE(req);
  114373. + return res;
  114374. + }
  114375. +
  114376. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114377. +
  114378. + DWC_CIRCLEQ_INIT_ENTRY(req, queue_entry);
  114379. + req->buf = buf;
  114380. + req->dma = dma_buf;
  114381. + req->length = buflen;
  114382. + req->sent_zlp = zero;
  114383. + req->priv = req_handle;
  114384. +
  114385. + //DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114386. + ep->dwc_ep.dma_addr = dma_buf;
  114387. + ep->dwc_ep.start_xfer_buff = buf;
  114388. + ep->dwc_ep.xfer_buff = buf;
  114389. + ep->dwc_ep.xfer_len = 0;
  114390. + ep->dwc_ep.xfer_count = 0;
  114391. + ep->dwc_ep.sent_zlp = 0;
  114392. + ep->dwc_ep.total_len = buflen;
  114393. +
  114394. + /* Add this request to the tail */
  114395. + DWC_CIRCLEQ_INSERT_TAIL(&ep->queue, req, queue_entry);
  114396. + ep->dwc_ep.xiso_queued_xfers++;
  114397. +
  114398. +//DWC_DEBUG("CP_0");
  114399. +//DWC_DEBUG("req->ext_req.tr_sub_flags=%d", req->ext_req.tr_sub_flags);
  114400. +//prn_ext_request((struct dwc_iso_xreq_port *) ereq_nonport);
  114401. +//prn_ext_request(&req->ext_req);
  114402. +
  114403. + //DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114404. +
  114405. + /* If the req->status == ASAP then check if there is any active transfer
  114406. + * for this endpoint. If no active transfers, then get the first entry
  114407. + * from the queue and start that transfer
  114408. + */
  114409. + if (req->ext_req.tr_sub_flags == DWC_EREQ_TF_ASAP) {
  114410. + res = dwc_otg_pcd_xiso_start_next_request(pcd, ep);
  114411. + if (res) {
  114412. + DWC_WARN("Failed to start the next Isoc transfer");
  114413. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114414. + DWC_FREE(req);
  114415. + return res;
  114416. + }
  114417. + }
  114418. +
  114419. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114420. + return 0;
  114421. +}
  114422. +
  114423. +#endif
  114424. +/* END ifdef DWC_UTE_PER_IO ***************************************************/
  114425. +int dwc_otg_pcd_ep_queue(dwc_otg_pcd_t * pcd, void *ep_handle,
  114426. + uint8_t * buf, dwc_dma_t dma_buf, uint32_t buflen,
  114427. + int zero, void *req_handle, int atomic_alloc)
  114428. +{
  114429. + dwc_irqflags_t flags;
  114430. + dwc_otg_pcd_request_t *req;
  114431. + dwc_otg_pcd_ep_t *ep;
  114432. + uint32_t max_transfer;
  114433. +
  114434. + ep = get_ep_from_handle(pcd, ep_handle);
  114435. + if (!ep || (!ep->desc && ep->dwc_ep.num != 0)) {
  114436. + DWC_WARN("bad ep\n");
  114437. + return -DWC_E_INVALID;
  114438. + }
  114439. +
  114440. + if (atomic_alloc) {
  114441. + req = DWC_ALLOC_ATOMIC(sizeof(*req));
  114442. + } else {
  114443. + req = DWC_ALLOC(sizeof(*req));
  114444. + }
  114445. +
  114446. + if (!req) {
  114447. + return -DWC_E_NO_MEMORY;
  114448. + }
  114449. + DWC_CIRCLEQ_INIT_ENTRY(req, queue_entry);
  114450. + if (!GET_CORE_IF(pcd)->core_params->opt) {
  114451. + if (ep->dwc_ep.num != 0) {
  114452. + DWC_ERROR("queue req %p, len %d buf %p\n",
  114453. + req_handle, buflen, buf);
  114454. + }
  114455. + }
  114456. +
  114457. + req->buf = buf;
  114458. + req->dma = dma_buf;
  114459. + req->length = buflen;
  114460. + req->sent_zlp = zero;
  114461. + req->priv = req_handle;
  114462. + req->dw_align_buf = NULL;
  114463. + if ((dma_buf & 0x3) && GET_CORE_IF(pcd)->dma_enable
  114464. + && !GET_CORE_IF(pcd)->dma_desc_enable)
  114465. + req->dw_align_buf = DWC_DMA_ALLOC(buflen,
  114466. + &req->dw_align_buf_dma);
  114467. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114468. +
  114469. + /*
  114470. + * After adding request to the queue for IN ISOC wait for In Token Received
  114471. + * when TX FIFO is empty interrupt and for OUT ISOC wait for OUT Token
  114472. + * Received when EP is disabled interrupt to obtain starting microframe
  114473. + * (odd/even) start transfer
  114474. + */
  114475. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  114476. + if (req != 0) {
  114477. + depctl_data_t depctl = {.d32 =
  114478. + DWC_READ_REG32(&pcd->core_if->dev_if->
  114479. + in_ep_regs[ep->dwc_ep.num]->
  114480. + diepctl) };
  114481. + ++pcd->request_pending;
  114482. +
  114483. + DWC_CIRCLEQ_INSERT_TAIL(&ep->queue, req, queue_entry);
  114484. + if (ep->dwc_ep.is_in) {
  114485. + depctl.b.cnak = 1;
  114486. + DWC_WRITE_REG32(&pcd->core_if->dev_if->
  114487. + in_ep_regs[ep->dwc_ep.num]->
  114488. + diepctl, depctl.d32);
  114489. + }
  114490. +
  114491. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114492. + }
  114493. + return 0;
  114494. + }
  114495. +
  114496. + /*
  114497. + * For EP0 IN without premature status, zlp is required?
  114498. + */
  114499. + if (ep->dwc_ep.num == 0 && ep->dwc_ep.is_in) {
  114500. + DWC_DEBUGPL(DBG_PCDV, "%d-OUT ZLP\n", ep->dwc_ep.num);
  114501. + //_req->zero = 1;
  114502. + }
  114503. +
  114504. + /* Start the transfer */
  114505. + if (DWC_CIRCLEQ_EMPTY(&ep->queue) && !ep->stopped) {
  114506. + /* EP0 Transfer? */
  114507. + if (ep->dwc_ep.num == 0) {
  114508. + switch (pcd->ep0state) {
  114509. + case EP0_IN_DATA_PHASE:
  114510. + DWC_DEBUGPL(DBG_PCD,
  114511. + "%s ep0: EP0_IN_DATA_PHASE\n",
  114512. + __func__);
  114513. + break;
  114514. +
  114515. + case EP0_OUT_DATA_PHASE:
  114516. + DWC_DEBUGPL(DBG_PCD,
  114517. + "%s ep0: EP0_OUT_DATA_PHASE\n",
  114518. + __func__);
  114519. + if (pcd->request_config) {
  114520. + /* Complete STATUS PHASE */
  114521. + ep->dwc_ep.is_in = 1;
  114522. + pcd->ep0state = EP0_IN_STATUS_PHASE;
  114523. + }
  114524. + break;
  114525. +
  114526. + case EP0_IN_STATUS_PHASE:
  114527. + DWC_DEBUGPL(DBG_PCD,
  114528. + "%s ep0: EP0_IN_STATUS_PHASE\n",
  114529. + __func__);
  114530. + break;
  114531. +
  114532. + default:
  114533. + DWC_DEBUGPL(DBG_ANY, "ep0: odd state %d\n",
  114534. + pcd->ep0state);
  114535. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114536. + return -DWC_E_SHUTDOWN;
  114537. + }
  114538. +
  114539. + ep->dwc_ep.dma_addr = dma_buf;
  114540. + ep->dwc_ep.start_xfer_buff = buf;
  114541. + ep->dwc_ep.xfer_buff = buf;
  114542. + ep->dwc_ep.xfer_len = buflen;
  114543. + ep->dwc_ep.xfer_count = 0;
  114544. + ep->dwc_ep.sent_zlp = 0;
  114545. + ep->dwc_ep.total_len = ep->dwc_ep.xfer_len;
  114546. +
  114547. + if (zero) {
  114548. + if ((ep->dwc_ep.xfer_len %
  114549. + ep->dwc_ep.maxpacket == 0)
  114550. + && (ep->dwc_ep.xfer_len != 0)) {
  114551. + ep->dwc_ep.sent_zlp = 1;
  114552. + }
  114553. +
  114554. + }
  114555. +
  114556. + dwc_otg_ep0_start_transfer(GET_CORE_IF(pcd),
  114557. + &ep->dwc_ep);
  114558. + } // non-ep0 endpoints
  114559. + else {
  114560. +#ifdef DWC_UTE_CFI
  114561. + if (ep->dwc_ep.buff_mode != BM_STANDARD) {
  114562. + /* store the request length */
  114563. + ep->dwc_ep.cfi_req_len = buflen;
  114564. + pcd->cfi->ops.build_descriptors(pcd->cfi, pcd,
  114565. + ep, req);
  114566. + } else {
  114567. +#endif
  114568. + max_transfer =
  114569. + GET_CORE_IF(ep->pcd)->core_params->
  114570. + max_transfer_size;
  114571. +
  114572. + /* Setup and start the Transfer */
  114573. + if (req->dw_align_buf){
  114574. + if (ep->dwc_ep.is_in)
  114575. + dwc_memcpy(req->dw_align_buf,
  114576. + buf, buflen);
  114577. + ep->dwc_ep.dma_addr =
  114578. + req->dw_align_buf_dma;
  114579. + ep->dwc_ep.start_xfer_buff =
  114580. + req->dw_align_buf;
  114581. + ep->dwc_ep.xfer_buff =
  114582. + req->dw_align_buf;
  114583. + } else {
  114584. + ep->dwc_ep.dma_addr = dma_buf;
  114585. + ep->dwc_ep.start_xfer_buff = buf;
  114586. + ep->dwc_ep.xfer_buff = buf;
  114587. + }
  114588. + ep->dwc_ep.xfer_len = 0;
  114589. + ep->dwc_ep.xfer_count = 0;
  114590. + ep->dwc_ep.sent_zlp = 0;
  114591. + ep->dwc_ep.total_len = buflen;
  114592. +
  114593. + ep->dwc_ep.maxxfer = max_transfer;
  114594. + if (GET_CORE_IF(pcd)->dma_desc_enable) {
  114595. + uint32_t out_max_xfer =
  114596. + DDMA_MAX_TRANSFER_SIZE -
  114597. + (DDMA_MAX_TRANSFER_SIZE % 4);
  114598. + if (ep->dwc_ep.is_in) {
  114599. + if (ep->dwc_ep.maxxfer >
  114600. + DDMA_MAX_TRANSFER_SIZE) {
  114601. + ep->dwc_ep.maxxfer =
  114602. + DDMA_MAX_TRANSFER_SIZE;
  114603. + }
  114604. + } else {
  114605. + if (ep->dwc_ep.maxxfer >
  114606. + out_max_xfer) {
  114607. + ep->dwc_ep.maxxfer =
  114608. + out_max_xfer;
  114609. + }
  114610. + }
  114611. + }
  114612. + if (ep->dwc_ep.maxxfer < ep->dwc_ep.total_len) {
  114613. + ep->dwc_ep.maxxfer -=
  114614. + (ep->dwc_ep.maxxfer %
  114615. + ep->dwc_ep.maxpacket);
  114616. + }
  114617. +
  114618. + if (zero) {
  114619. + if ((ep->dwc_ep.total_len %
  114620. + ep->dwc_ep.maxpacket == 0)
  114621. + && (ep->dwc_ep.total_len != 0)) {
  114622. + ep->dwc_ep.sent_zlp = 1;
  114623. + }
  114624. + }
  114625. +#ifdef DWC_UTE_CFI
  114626. + }
  114627. +#endif
  114628. + dwc_otg_ep_start_transfer(GET_CORE_IF(pcd),
  114629. + &ep->dwc_ep);
  114630. + }
  114631. + }
  114632. +
  114633. + if (req != 0) {
  114634. + ++pcd->request_pending;
  114635. + DWC_CIRCLEQ_INSERT_TAIL(&ep->queue, req, queue_entry);
  114636. + if (ep->dwc_ep.is_in && ep->stopped
  114637. + && !(GET_CORE_IF(pcd)->dma_enable)) {
  114638. + /** @todo NGS Create a function for this. */
  114639. + diepmsk_data_t diepmsk = {.d32 = 0 };
  114640. + diepmsk.b.intktxfemp = 1;
  114641. + if (GET_CORE_IF(pcd)->multiproc_int_enable) {
  114642. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->
  114643. + dev_if->dev_global_regs->diepeachintmsk
  114644. + [ep->dwc_ep.num], 0,
  114645. + diepmsk.d32);
  114646. + } else {
  114647. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->
  114648. + dev_if->dev_global_regs->
  114649. + diepmsk, 0, diepmsk.d32);
  114650. + }
  114651. +
  114652. + }
  114653. + }
  114654. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114655. +
  114656. + return 0;
  114657. +}
  114658. +
  114659. +int dwc_otg_pcd_ep_dequeue(dwc_otg_pcd_t * pcd, void *ep_handle,
  114660. + void *req_handle)
  114661. +{
  114662. + dwc_irqflags_t flags;
  114663. + dwc_otg_pcd_request_t *req;
  114664. + dwc_otg_pcd_ep_t *ep;
  114665. +
  114666. + ep = get_ep_from_handle(pcd, ep_handle);
  114667. + if (!ep || (!ep->desc && ep->dwc_ep.num != 0)) {
  114668. + DWC_WARN("bad argument\n");
  114669. + return -DWC_E_INVALID;
  114670. + }
  114671. +
  114672. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114673. +
  114674. + /* make sure it's actually queued on this endpoint */
  114675. + DWC_CIRCLEQ_FOREACH(req, &ep->queue, queue_entry) {
  114676. + if (req->priv == (void *)req_handle) {
  114677. + break;
  114678. + }
  114679. + }
  114680. +
  114681. + if (req->priv != (void *)req_handle) {
  114682. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114683. + return -DWC_E_INVALID;
  114684. + }
  114685. +
  114686. + if (!DWC_CIRCLEQ_EMPTY_ENTRY(req, queue_entry)) {
  114687. + dwc_otg_request_done(ep, req, -DWC_E_RESTART);
  114688. + } else {
  114689. + req = NULL;
  114690. + }
  114691. +
  114692. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114693. +
  114694. + return req ? 0 : -DWC_E_SHUTDOWN;
  114695. +
  114696. +}
  114697. +
  114698. +/**
  114699. + * dwc_otg_pcd_ep_wedge - sets the halt feature and ignores clear requests
  114700. + *
  114701. + * Use this to stall an endpoint and ignore CLEAR_FEATURE(HALT_ENDPOINT)
  114702. + * requests. If the gadget driver clears the halt status, it will
  114703. + * automatically unwedge the endpoint.
  114704. + *
  114705. + * Returns zero on success, else negative DWC error code.
  114706. + */
  114707. +int dwc_otg_pcd_ep_wedge(dwc_otg_pcd_t * pcd, void *ep_handle)
  114708. +{
  114709. + dwc_otg_pcd_ep_t *ep;
  114710. + dwc_irqflags_t flags;
  114711. + int retval = 0;
  114712. +
  114713. + ep = get_ep_from_handle(pcd, ep_handle);
  114714. +
  114715. + if ((!ep->desc && ep != &pcd->ep0) ||
  114716. + (ep->desc && (ep->desc->bmAttributes == UE_ISOCHRONOUS))) {
  114717. + DWC_WARN("%s, bad ep\n", __func__);
  114718. + return -DWC_E_INVALID;
  114719. + }
  114720. +
  114721. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114722. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  114723. + DWC_WARN("%d %s XFer In process\n", ep->dwc_ep.num,
  114724. + ep->dwc_ep.is_in ? "IN" : "OUT");
  114725. + retval = -DWC_E_AGAIN;
  114726. + } else {
  114727. + /* This code needs to be reviewed */
  114728. + if (ep->dwc_ep.is_in == 1 && GET_CORE_IF(pcd)->dma_desc_enable) {
  114729. + dtxfsts_data_t txstatus;
  114730. + fifosize_data_t txfifosize;
  114731. +
  114732. + txfifosize.d32 =
  114733. + DWC_READ_REG32(&GET_CORE_IF(pcd)->
  114734. + core_global_regs->dtxfsiz[ep->dwc_ep.
  114735. + tx_fifo_num]);
  114736. + txstatus.d32 =
  114737. + DWC_READ_REG32(&GET_CORE_IF(pcd)->
  114738. + dev_if->in_ep_regs[ep->dwc_ep.num]->
  114739. + dtxfsts);
  114740. +
  114741. + if (txstatus.b.txfspcavail < txfifosize.b.depth) {
  114742. + DWC_WARN("%s() Data In Tx Fifo\n", __func__);
  114743. + retval = -DWC_E_AGAIN;
  114744. + } else {
  114745. + if (ep->dwc_ep.num == 0) {
  114746. + pcd->ep0state = EP0_STALL;
  114747. + }
  114748. +
  114749. + ep->stopped = 1;
  114750. + dwc_otg_ep_set_stall(GET_CORE_IF(pcd),
  114751. + &ep->dwc_ep);
  114752. + }
  114753. + } else {
  114754. + if (ep->dwc_ep.num == 0) {
  114755. + pcd->ep0state = EP0_STALL;
  114756. + }
  114757. +
  114758. + ep->stopped = 1;
  114759. + dwc_otg_ep_set_stall(GET_CORE_IF(pcd), &ep->dwc_ep);
  114760. + }
  114761. + }
  114762. +
  114763. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114764. +
  114765. + return retval;
  114766. +}
  114767. +
  114768. +int dwc_otg_pcd_ep_halt(dwc_otg_pcd_t * pcd, void *ep_handle, int value)
  114769. +{
  114770. + dwc_otg_pcd_ep_t *ep;
  114771. + dwc_irqflags_t flags;
  114772. + int retval = 0;
  114773. +
  114774. + ep = get_ep_from_handle(pcd, ep_handle);
  114775. +
  114776. + if (!ep || (!ep->desc && ep != &pcd->ep0) ||
  114777. + (ep->desc && (ep->desc->bmAttributes == UE_ISOCHRONOUS))) {
  114778. + DWC_WARN("%s, bad ep\n", __func__);
  114779. + return -DWC_E_INVALID;
  114780. + }
  114781. +
  114782. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114783. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  114784. + DWC_WARN("%d %s XFer In process\n", ep->dwc_ep.num,
  114785. + ep->dwc_ep.is_in ? "IN" : "OUT");
  114786. + retval = -DWC_E_AGAIN;
  114787. + } else if (value == 0) {
  114788. + dwc_otg_ep_clear_stall(GET_CORE_IF(pcd), &ep->dwc_ep);
  114789. + } else if (value == 1) {
  114790. + if (ep->dwc_ep.is_in == 1 && GET_CORE_IF(pcd)->dma_desc_enable) {
  114791. + dtxfsts_data_t txstatus;
  114792. + fifosize_data_t txfifosize;
  114793. +
  114794. + txfifosize.d32 =
  114795. + DWC_READ_REG32(&GET_CORE_IF(pcd)->core_global_regs->
  114796. + dtxfsiz[ep->dwc_ep.tx_fifo_num]);
  114797. + txstatus.d32 =
  114798. + DWC_READ_REG32(&GET_CORE_IF(pcd)->dev_if->
  114799. + in_ep_regs[ep->dwc_ep.num]->dtxfsts);
  114800. +
  114801. + if (txstatus.b.txfspcavail < txfifosize.b.depth) {
  114802. + DWC_WARN("%s() Data In Tx Fifo\n", __func__);
  114803. + retval = -DWC_E_AGAIN;
  114804. + } else {
  114805. + if (ep->dwc_ep.num == 0) {
  114806. + pcd->ep0state = EP0_STALL;
  114807. + }
  114808. +
  114809. + ep->stopped = 1;
  114810. + dwc_otg_ep_set_stall(GET_CORE_IF(pcd),
  114811. + &ep->dwc_ep);
  114812. + }
  114813. + } else {
  114814. + if (ep->dwc_ep.num == 0) {
  114815. + pcd->ep0state = EP0_STALL;
  114816. + }
  114817. +
  114818. + ep->stopped = 1;
  114819. + dwc_otg_ep_set_stall(GET_CORE_IF(pcd), &ep->dwc_ep);
  114820. + }
  114821. + } else if (value == 2) {
  114822. + ep->dwc_ep.stall_clear_flag = 0;
  114823. + } else if (value == 3) {
  114824. + ep->dwc_ep.stall_clear_flag = 1;
  114825. + }
  114826. +
  114827. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114828. +
  114829. + return retval;
  114830. +}
  114831. +
  114832. +/**
  114833. + * This function initiates remote wakeup of the host from suspend state.
  114834. + */
  114835. +void dwc_otg_pcd_rem_wkup_from_suspend(dwc_otg_pcd_t * pcd, int set)
  114836. +{
  114837. + dctl_data_t dctl = { 0 };
  114838. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  114839. + dsts_data_t dsts;
  114840. +
  114841. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  114842. + if (!dsts.b.suspsts) {
  114843. + DWC_WARN("Remote wakeup while is not in suspend state\n");
  114844. + }
  114845. + /* Check if DEVICE_REMOTE_WAKEUP feature enabled */
  114846. + if (pcd->remote_wakeup_enable) {
  114847. + if (set) {
  114848. +
  114849. + if (core_if->adp_enable) {
  114850. + gpwrdn_data_t gpwrdn;
  114851. +
  114852. + dwc_otg_adp_probe_stop(core_if);
  114853. +
  114854. + /* Mask SRP detected interrupt from Power Down Logic */
  114855. + gpwrdn.d32 = 0;
  114856. + gpwrdn.b.srp_det_msk = 1;
  114857. + DWC_MODIFY_REG32(&core_if->
  114858. + core_global_regs->gpwrdn,
  114859. + gpwrdn.d32, 0);
  114860. +
  114861. + /* Disable Power Down Logic */
  114862. + gpwrdn.d32 = 0;
  114863. + gpwrdn.b.pmuactv = 1;
  114864. + DWC_MODIFY_REG32(&core_if->
  114865. + core_global_regs->gpwrdn,
  114866. + gpwrdn.d32, 0);
  114867. +
  114868. + /*
  114869. + * Initialize the Core for Device mode.
  114870. + */
  114871. + core_if->op_state = B_PERIPHERAL;
  114872. + dwc_otg_core_init(core_if);
  114873. + dwc_otg_enable_global_interrupts(core_if);
  114874. + cil_pcd_start(core_if);
  114875. +
  114876. + dwc_otg_initiate_srp(core_if);
  114877. + }
  114878. +
  114879. + dctl.b.rmtwkupsig = 1;
  114880. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  114881. + dctl, 0, dctl.d32);
  114882. + DWC_DEBUGPL(DBG_PCD, "Set Remote Wakeup\n");
  114883. +
  114884. + dwc_mdelay(2);
  114885. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  114886. + dctl, dctl.d32, 0);
  114887. + DWC_DEBUGPL(DBG_PCD, "Clear Remote Wakeup\n");
  114888. + }
  114889. + } else {
  114890. + DWC_DEBUGPL(DBG_PCD, "Remote Wakeup is disabled\n");
  114891. + }
  114892. +}
  114893. +
  114894. +#ifdef CONFIG_USB_DWC_OTG_LPM
  114895. +/**
  114896. + * This function initiates remote wakeup of the host from L1 sleep state.
  114897. + */
  114898. +void dwc_otg_pcd_rem_wkup_from_sleep(dwc_otg_pcd_t * pcd, int set)
  114899. +{
  114900. + glpmcfg_data_t lpmcfg;
  114901. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  114902. +
  114903. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  114904. +
  114905. + /* Check if we are in L1 state */
  114906. + if (!lpmcfg.b.prt_sleep_sts) {
  114907. + DWC_DEBUGPL(DBG_PCD, "Device is not in sleep state\n");
  114908. + return;
  114909. + }
  114910. +
  114911. + /* Check if host allows remote wakeup */
  114912. + if (!lpmcfg.b.rem_wkup_en) {
  114913. + DWC_DEBUGPL(DBG_PCD, "Host does not allow remote wakeup\n");
  114914. + return;
  114915. + }
  114916. +
  114917. + /* Check if Resume OK */
  114918. + if (!lpmcfg.b.sleep_state_resumeok) {
  114919. + DWC_DEBUGPL(DBG_PCD, "Sleep state resume is not OK\n");
  114920. + return;
  114921. + }
  114922. +
  114923. + lpmcfg.d32 = DWC_READ_REG32(&core_if->core_global_regs->glpmcfg);
  114924. + lpmcfg.b.en_utmi_sleep = 0;
  114925. + lpmcfg.b.hird_thres &= (~(1 << 4));
  114926. + DWC_WRITE_REG32(&core_if->core_global_regs->glpmcfg, lpmcfg.d32);
  114927. +
  114928. + if (set) {
  114929. + dctl_data_t dctl = {.d32 = 0 };
  114930. + dctl.b.rmtwkupsig = 1;
  114931. + /* Set RmtWkUpSig bit to start remote wakup signaling.
  114932. + * Hardware will automatically clear this bit.
  114933. + */
  114934. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl,
  114935. + 0, dctl.d32);
  114936. + DWC_DEBUGPL(DBG_PCD, "Set Remote Wakeup\n");
  114937. + }
  114938. +
  114939. +}
  114940. +#endif
  114941. +
  114942. +/**
  114943. + * Performs remote wakeup.
  114944. + */
  114945. +void dwc_otg_pcd_remote_wakeup(dwc_otg_pcd_t * pcd, int set)
  114946. +{
  114947. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  114948. + dwc_irqflags_t flags;
  114949. + if (dwc_otg_is_device_mode(core_if)) {
  114950. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  114951. +#ifdef CONFIG_USB_DWC_OTG_LPM
  114952. + if (core_if->lx_state == DWC_OTG_L1) {
  114953. + dwc_otg_pcd_rem_wkup_from_sleep(pcd, set);
  114954. + } else {
  114955. +#endif
  114956. + dwc_otg_pcd_rem_wkup_from_suspend(pcd, set);
  114957. +#ifdef CONFIG_USB_DWC_OTG_LPM
  114958. + }
  114959. +#endif
  114960. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  114961. + }
  114962. + return;
  114963. +}
  114964. +
  114965. +void dwc_otg_pcd_disconnect_us(dwc_otg_pcd_t * pcd, int no_of_usecs)
  114966. +{
  114967. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  114968. + dctl_data_t dctl = { 0 };
  114969. +
  114970. + if (dwc_otg_is_device_mode(core_if)) {
  114971. + dctl.b.sftdiscon = 1;
  114972. + DWC_PRINTF("Soft disconnect for %d useconds\n",no_of_usecs);
  114973. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, 0, dctl.d32);
  114974. + dwc_udelay(no_of_usecs);
  114975. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32,0);
  114976. +
  114977. + } else{
  114978. + DWC_PRINTF("NOT SUPPORTED IN HOST MODE\n");
  114979. + }
  114980. + return;
  114981. +
  114982. +}
  114983. +
  114984. +int dwc_otg_pcd_wakeup(dwc_otg_pcd_t * pcd)
  114985. +{
  114986. + dsts_data_t dsts;
  114987. + gotgctl_data_t gotgctl;
  114988. +
  114989. + /*
  114990. + * This function starts the Protocol if no session is in progress. If
  114991. + * a session is already in progress, but the device is suspended,
  114992. + * remote wakeup signaling is started.
  114993. + */
  114994. +
  114995. + /* Check if valid session */
  114996. + gotgctl.d32 =
  114997. + DWC_READ_REG32(&(GET_CORE_IF(pcd)->core_global_regs->gotgctl));
  114998. + if (gotgctl.b.bsesvld) {
  114999. + /* Check if suspend state */
  115000. + dsts.d32 =
  115001. + DWC_READ_REG32(&
  115002. + (GET_CORE_IF(pcd)->dev_if->
  115003. + dev_global_regs->dsts));
  115004. + if (dsts.b.suspsts) {
  115005. + dwc_otg_pcd_remote_wakeup(pcd, 1);
  115006. + }
  115007. + } else {
  115008. + dwc_otg_pcd_initiate_srp(pcd);
  115009. + }
  115010. +
  115011. + return 0;
  115012. +
  115013. +}
  115014. +
  115015. +/**
  115016. + * Start the SRP timer to detect when the SRP does not complete within
  115017. + * 6 seconds.
  115018. + *
  115019. + * @param pcd the pcd structure.
  115020. + */
  115021. +void dwc_otg_pcd_initiate_srp(dwc_otg_pcd_t * pcd)
  115022. +{
  115023. + dwc_irqflags_t flags;
  115024. + DWC_SPINLOCK_IRQSAVE(pcd->lock, &flags);
  115025. + dwc_otg_initiate_srp(GET_CORE_IF(pcd));
  115026. + DWC_SPINUNLOCK_IRQRESTORE(pcd->lock, flags);
  115027. +}
  115028. +
  115029. +int dwc_otg_pcd_get_frame_number(dwc_otg_pcd_t * pcd)
  115030. +{
  115031. + return dwc_otg_get_frame_number(GET_CORE_IF(pcd));
  115032. +}
  115033. +
  115034. +int dwc_otg_pcd_is_lpm_enabled(dwc_otg_pcd_t * pcd)
  115035. +{
  115036. + return GET_CORE_IF(pcd)->core_params->lpm_enable;
  115037. +}
  115038. +
  115039. +uint32_t get_b_hnp_enable(dwc_otg_pcd_t * pcd)
  115040. +{
  115041. + return pcd->b_hnp_enable;
  115042. +}
  115043. +
  115044. +uint32_t get_a_hnp_support(dwc_otg_pcd_t * pcd)
  115045. +{
  115046. + return pcd->a_hnp_support;
  115047. +}
  115048. +
  115049. +uint32_t get_a_alt_hnp_support(dwc_otg_pcd_t * pcd)
  115050. +{
  115051. + return pcd->a_alt_hnp_support;
  115052. +}
  115053. +
  115054. +int dwc_otg_pcd_get_rmwkup_enable(dwc_otg_pcd_t * pcd)
  115055. +{
  115056. + return pcd->remote_wakeup_enable;
  115057. +}
  115058. +
  115059. +#endif /* DWC_HOST_ONLY */
  115060. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd.h
  115061. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd.h 1970-01-01 01:00:00.000000000 +0100
  115062. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd.h 2015-11-29 09:42:39.923098428 +0100
  115063. @@ -0,0 +1,266 @@
  115064. +/* ==========================================================================
  115065. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_pcd.h $
  115066. + * $Revision: #48 $
  115067. + * $Date: 2012/08/10 $
  115068. + * $Change: 2047372 $
  115069. + *
  115070. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  115071. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  115072. + * otherwise expressly agreed to in writing between Synopsys and you.
  115073. + *
  115074. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  115075. + * any End User Software License Agreement or Agreement for Licensed Product
  115076. + * with Synopsys or any supplement thereto. You are permitted to use and
  115077. + * redistribute this Software in source and binary forms, with or without
  115078. + * modification, provided that redistributions of source code must retain this
  115079. + * notice. You may not view, use, disclose, copy or distribute this file or
  115080. + * any information contained herein except pursuant to this license grant from
  115081. + * Synopsys. If you do not agree with this notice, including the disclaimer
  115082. + * below, then you are not authorized to use the Software.
  115083. + *
  115084. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  115085. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  115086. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  115087. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  115088. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  115089. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  115090. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  115091. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  115092. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  115093. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  115094. + * DAMAGE.
  115095. + * ========================================================================== */
  115096. +#ifndef DWC_HOST_ONLY
  115097. +#if !defined(__DWC_PCD_H__)
  115098. +#define __DWC_PCD_H__
  115099. +
  115100. +#include "dwc_otg_os_dep.h"
  115101. +#include "usb.h"
  115102. +#include "dwc_otg_cil.h"
  115103. +#include "dwc_otg_pcd_if.h"
  115104. +struct cfiobject;
  115105. +
  115106. +/**
  115107. + * @file
  115108. + *
  115109. + * This file contains the structures, constants, and interfaces for
  115110. + * the Perpherial Contoller Driver (PCD).
  115111. + *
  115112. + * The Peripheral Controller Driver (PCD) for Linux will implement the
  115113. + * Gadget API, so that the existing Gadget drivers can be used. For
  115114. + * the Mass Storage Function driver the File-backed USB Storage Gadget
  115115. + * (FBS) driver will be used. The FBS driver supports the
  115116. + * Control-Bulk (CB), Control-Bulk-Interrupt (CBI), and Bulk-Only
  115117. + * transports.
  115118. + *
  115119. + */
  115120. +
  115121. +/** Invalid DMA Address */
  115122. +#define DWC_DMA_ADDR_INVALID (~(dwc_dma_t)0)
  115123. +
  115124. +/** Max Transfer size for any EP */
  115125. +#define DDMA_MAX_TRANSFER_SIZE 65535
  115126. +
  115127. +/**
  115128. + * Get the pointer to the core_if from the pcd pointer.
  115129. + */
  115130. +#define GET_CORE_IF( _pcd ) (_pcd->core_if)
  115131. +
  115132. +/**
  115133. + * States of EP0.
  115134. + */
  115135. +typedef enum ep0_state {
  115136. + EP0_DISCONNECT, /* no host */
  115137. + EP0_IDLE,
  115138. + EP0_IN_DATA_PHASE,
  115139. + EP0_OUT_DATA_PHASE,
  115140. + EP0_IN_STATUS_PHASE,
  115141. + EP0_OUT_STATUS_PHASE,
  115142. + EP0_STALL,
  115143. +} ep0state_e;
  115144. +
  115145. +/** Fordward declaration.*/
  115146. +struct dwc_otg_pcd;
  115147. +
  115148. +/** DWC_otg iso request structure.
  115149. + *
  115150. + */
  115151. +typedef struct usb_iso_request dwc_otg_pcd_iso_request_t;
  115152. +
  115153. +#ifdef DWC_UTE_PER_IO
  115154. +
  115155. +/**
  115156. + * This shall be the exact analogy of the same type structure defined in the
  115157. + * usb_gadget.h. Each descriptor contains
  115158. + */
  115159. +struct dwc_iso_pkt_desc_port {
  115160. + uint32_t offset;
  115161. + uint32_t length; /* expected length */
  115162. + uint32_t actual_length;
  115163. + uint32_t status;
  115164. +};
  115165. +
  115166. +struct dwc_iso_xreq_port {
  115167. + /** transfer/submission flag */
  115168. + uint32_t tr_sub_flags;
  115169. + /** Start the request ASAP */
  115170. +#define DWC_EREQ_TF_ASAP 0x00000002
  115171. + /** Just enqueue the request w/o initiating a transfer */
  115172. +#define DWC_EREQ_TF_ENQUEUE 0x00000004
  115173. +
  115174. + /**
  115175. + * count of ISO packets attached to this request - shall
  115176. + * not exceed the pio_alloc_pkt_count
  115177. + */
  115178. + uint32_t pio_pkt_count;
  115179. + /** count of ISO packets allocated for this request */
  115180. + uint32_t pio_alloc_pkt_count;
  115181. + /** number of ISO packet errors */
  115182. + uint32_t error_count;
  115183. + /** reserved for future extension */
  115184. + uint32_t res;
  115185. + /** Will be allocated and freed in the UTE gadget and based on the CFC value */
  115186. + struct dwc_iso_pkt_desc_port *per_io_frame_descs;
  115187. +};
  115188. +#endif
  115189. +/** DWC_otg request structure.
  115190. + * This structure is a list of requests.
  115191. + */
  115192. +typedef struct dwc_otg_pcd_request {
  115193. + void *priv;
  115194. + void *buf;
  115195. + dwc_dma_t dma;
  115196. + uint32_t length;
  115197. + uint32_t actual;
  115198. + unsigned sent_zlp:1;
  115199. + /**
  115200. + * Used instead of original buffer if
  115201. + * it(physical address) is not dword-aligned.
  115202. + **/
  115203. + uint8_t *dw_align_buf;
  115204. + dwc_dma_t dw_align_buf_dma;
  115205. +
  115206. + DWC_CIRCLEQ_ENTRY(dwc_otg_pcd_request) queue_entry;
  115207. +#ifdef DWC_UTE_PER_IO
  115208. + struct dwc_iso_xreq_port ext_req;
  115209. + //void *priv_ereq_nport; /* */
  115210. +#endif
  115211. +} dwc_otg_pcd_request_t;
  115212. +
  115213. +DWC_CIRCLEQ_HEAD(req_list, dwc_otg_pcd_request);
  115214. +
  115215. +/** PCD EP structure.
  115216. + * This structure describes an EP, there is an array of EPs in the PCD
  115217. + * structure.
  115218. + */
  115219. +typedef struct dwc_otg_pcd_ep {
  115220. + /** USB EP Descriptor */
  115221. + const usb_endpoint_descriptor_t *desc;
  115222. +
  115223. + /** queue of dwc_otg_pcd_requests. */
  115224. + struct req_list queue;
  115225. + unsigned stopped:1;
  115226. + unsigned disabling:1;
  115227. + unsigned dma:1;
  115228. + unsigned queue_sof:1;
  115229. +
  115230. +#ifdef DWC_EN_ISOC
  115231. + /** ISOC req handle passed */
  115232. + void *iso_req_handle;
  115233. +#endif //_EN_ISOC_
  115234. +
  115235. + /** DWC_otg ep data. */
  115236. + dwc_ep_t dwc_ep;
  115237. +
  115238. + /** Pointer to PCD */
  115239. + struct dwc_otg_pcd *pcd;
  115240. +
  115241. + void *priv;
  115242. +} dwc_otg_pcd_ep_t;
  115243. +
  115244. +/** DWC_otg PCD Structure.
  115245. + * This structure encapsulates the data for the dwc_otg PCD.
  115246. + */
  115247. +struct dwc_otg_pcd {
  115248. + const struct dwc_otg_pcd_function_ops *fops;
  115249. + /** The DWC otg device pointer */
  115250. + struct dwc_otg_device *otg_dev;
  115251. + /** Core Interface */
  115252. + dwc_otg_core_if_t *core_if;
  115253. + /** State of EP0 */
  115254. + ep0state_e ep0state;
  115255. + /** EP0 Request is pending */
  115256. + unsigned ep0_pending:1;
  115257. + /** Indicates when SET CONFIGURATION Request is in process */
  115258. + unsigned request_config:1;
  115259. + /** The state of the Remote Wakeup Enable. */
  115260. + unsigned remote_wakeup_enable:1;
  115261. + /** The state of the B-Device HNP Enable. */
  115262. + unsigned b_hnp_enable:1;
  115263. + /** The state of A-Device HNP Support. */
  115264. + unsigned a_hnp_support:1;
  115265. + /** The state of the A-Device Alt HNP support. */
  115266. + unsigned a_alt_hnp_support:1;
  115267. + /** Count of pending Requests */
  115268. + unsigned request_pending;
  115269. +
  115270. + /** SETUP packet for EP0
  115271. + * This structure is allocated as a DMA buffer on PCD initialization
  115272. + * with enough space for up to 3 setup packets.
  115273. + */
  115274. + union {
  115275. + usb_device_request_t req;
  115276. + uint32_t d32[2];
  115277. + } *setup_pkt;
  115278. +
  115279. + dwc_dma_t setup_pkt_dma_handle;
  115280. +
  115281. + /* Additional buffer and flag for CTRL_WR premature case */
  115282. + uint8_t *backup_buf;
  115283. + unsigned data_terminated;
  115284. +
  115285. + /** 2-byte dma buffer used to return status from GET_STATUS */
  115286. + uint16_t *status_buf;
  115287. + dwc_dma_t status_buf_dma_handle;
  115288. +
  115289. + /** EP0 */
  115290. + dwc_otg_pcd_ep_t ep0;
  115291. +
  115292. + /** Array of IN EPs. */
  115293. + dwc_otg_pcd_ep_t in_ep[MAX_EPS_CHANNELS - 1];
  115294. + /** Array of OUT EPs. */
  115295. + dwc_otg_pcd_ep_t out_ep[MAX_EPS_CHANNELS - 1];
  115296. + /** number of valid EPs in the above array. */
  115297. +// unsigned num_eps : 4;
  115298. + dwc_spinlock_t *lock;
  115299. +
  115300. + /** Tasklet to defer starting of TEST mode transmissions until
  115301. + * Status Phase has been completed.
  115302. + */
  115303. + dwc_tasklet_t *test_mode_tasklet;
  115304. +
  115305. + /** Tasklet to delay starting of xfer in DMA mode */
  115306. + dwc_tasklet_t *start_xfer_tasklet;
  115307. +
  115308. + /** The test mode to enter when the tasklet is executed. */
  115309. + unsigned test_mode;
  115310. + /** The cfi_api structure that implements most of the CFI API
  115311. + * and OTG specific core configuration functionality
  115312. + */
  115313. +#ifdef DWC_UTE_CFI
  115314. + struct cfiobject *cfi;
  115315. +#endif
  115316. +
  115317. +};
  115318. +
  115319. +//FIXME this functions should be static, and this prototypes should be removed
  115320. +extern void dwc_otg_request_nuke(dwc_otg_pcd_ep_t * ep);
  115321. +extern void dwc_otg_request_done(dwc_otg_pcd_ep_t * ep,
  115322. + dwc_otg_pcd_request_t * req, int32_t status);
  115323. +
  115324. +void dwc_otg_iso_buffer_done(dwc_otg_pcd_t * pcd, dwc_otg_pcd_ep_t * ep,
  115325. + void *req_handle);
  115326. +
  115327. +extern void do_test_mode(void *data);
  115328. +#endif
  115329. +#endif /* DWC_HOST_ONLY */
  115330. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_if.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_if.h
  115331. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_if.h 1970-01-01 01:00:00.000000000 +0100
  115332. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_if.h 2015-11-29 09:42:39.923098428 +0100
  115333. @@ -0,0 +1,360 @@
  115334. +/* ==========================================================================
  115335. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_pcd_if.h $
  115336. + * $Revision: #11 $
  115337. + * $Date: 2011/10/26 $
  115338. + * $Change: 1873028 $
  115339. + *
  115340. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  115341. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  115342. + * otherwise expressly agreed to in writing between Synopsys and you.
  115343. + *
  115344. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  115345. + * any End User Software License Agreement or Agreement for Licensed Product
  115346. + * with Synopsys or any supplement thereto. You are permitted to use and
  115347. + * redistribute this Software in source and binary forms, with or without
  115348. + * modification, provided that redistributions of source code must retain this
  115349. + * notice. You may not view, use, disclose, copy or distribute this file or
  115350. + * any information contained herein except pursuant to this license grant from
  115351. + * Synopsys. If you do not agree with this notice, including the disclaimer
  115352. + * below, then you are not authorized to use the Software.
  115353. + *
  115354. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  115355. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  115356. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  115357. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  115358. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  115359. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  115360. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  115361. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  115362. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  115363. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  115364. + * DAMAGE.
  115365. + * ========================================================================== */
  115366. +#ifndef DWC_HOST_ONLY
  115367. +
  115368. +#if !defined(__DWC_PCD_IF_H__)
  115369. +#define __DWC_PCD_IF_H__
  115370. +
  115371. +//#include "dwc_os.h"
  115372. +#include "dwc_otg_core_if.h"
  115373. +
  115374. +/** @file
  115375. + * This file defines DWC_OTG PCD Core API.
  115376. + */
  115377. +
  115378. +struct dwc_otg_pcd;
  115379. +typedef struct dwc_otg_pcd dwc_otg_pcd_t;
  115380. +
  115381. +/** Maxpacket size for EP0 */
  115382. +#define MAX_EP0_SIZE 64
  115383. +/** Maxpacket size for any EP */
  115384. +#define MAX_PACKET_SIZE 1024
  115385. +
  115386. +/** @name Function Driver Callbacks */
  115387. +/** @{ */
  115388. +
  115389. +/** This function will be called whenever a previously queued request has
  115390. + * completed. The status value will be set to -DWC_E_SHUTDOWN to indicated a
  115391. + * failed or aborted transfer, or -DWC_E_RESTART to indicate the device was reset,
  115392. + * or -DWC_E_TIMEOUT to indicate it timed out, or -DWC_E_INVALID to indicate invalid
  115393. + * parameters. */
  115394. +typedef int (*dwc_completion_cb_t) (dwc_otg_pcd_t * pcd, void *ep_handle,
  115395. + void *req_handle, int32_t status,
  115396. + uint32_t actual);
  115397. +/**
  115398. + * This function will be called whenever a previousle queued ISOC request has
  115399. + * completed. Count of ISOC packets could be read using dwc_otg_pcd_get_iso_packet_count
  115400. + * function.
  115401. + * The status of each ISOC packet could be read using dwc_otg_pcd_get_iso_packet_*
  115402. + * functions.
  115403. + */
  115404. +typedef int (*dwc_isoc_completion_cb_t) (dwc_otg_pcd_t * pcd, void *ep_handle,
  115405. + void *req_handle, int proc_buf_num);
  115406. +/** This function should handle any SETUP request that cannot be handled by the
  115407. + * PCD Core. This includes most GET_DESCRIPTORs, SET_CONFIGS, Any
  115408. + * class-specific requests, etc. The function must non-blocking.
  115409. + *
  115410. + * Returns 0 on success.
  115411. + * Returns -DWC_E_NOT_SUPPORTED if the request is not supported.
  115412. + * Returns -DWC_E_INVALID if the setup request had invalid parameters or bytes.
  115413. + * Returns -DWC_E_SHUTDOWN on any other error. */
  115414. +typedef int (*dwc_setup_cb_t) (dwc_otg_pcd_t * pcd, uint8_t * bytes);
  115415. +/** This is called whenever the device has been disconnected. The function
  115416. + * driver should take appropriate action to clean up all pending requests in the
  115417. + * PCD Core, remove all endpoints (except ep0), and initialize back to reset
  115418. + * state. */
  115419. +typedef int (*dwc_disconnect_cb_t) (dwc_otg_pcd_t * pcd);
  115420. +/** This function is called when device has been connected. */
  115421. +typedef int (*dwc_connect_cb_t) (dwc_otg_pcd_t * pcd, int speed);
  115422. +/** This function is called when device has been suspended */
  115423. +typedef int (*dwc_suspend_cb_t) (dwc_otg_pcd_t * pcd);
  115424. +/** This function is called when device has received LPM tokens, i.e.
  115425. + * device has been sent to sleep state. */
  115426. +typedef int (*dwc_sleep_cb_t) (dwc_otg_pcd_t * pcd);
  115427. +/** This function is called when device has been resumed
  115428. + * from suspend(L2) or L1 sleep state. */
  115429. +typedef int (*dwc_resume_cb_t) (dwc_otg_pcd_t * pcd);
  115430. +/** This function is called whenever hnp params has been changed.
  115431. + * User can call get_b_hnp_enable, get_a_hnp_support, get_a_alt_hnp_support functions
  115432. + * to get hnp parameters. */
  115433. +typedef int (*dwc_hnp_params_changed_cb_t) (dwc_otg_pcd_t * pcd);
  115434. +/** This function is called whenever USB RESET is detected. */
  115435. +typedef int (*dwc_reset_cb_t) (dwc_otg_pcd_t * pcd);
  115436. +
  115437. +typedef int (*cfi_setup_cb_t) (dwc_otg_pcd_t * pcd, void *ctrl_req_bytes);
  115438. +
  115439. +/**
  115440. + *
  115441. + * @param ep_handle Void pointer to the usb_ep structure
  115442. + * @param ereq_port Pointer to the extended request structure created in the
  115443. + * portable part.
  115444. + */
  115445. +typedef int (*xiso_completion_cb_t) (dwc_otg_pcd_t * pcd, void *ep_handle,
  115446. + void *req_handle, int32_t status,
  115447. + void *ereq_port);
  115448. +/** Function Driver Ops Data Structure */
  115449. +struct dwc_otg_pcd_function_ops {
  115450. + dwc_connect_cb_t connect;
  115451. + dwc_disconnect_cb_t disconnect;
  115452. + dwc_setup_cb_t setup;
  115453. + dwc_completion_cb_t complete;
  115454. + dwc_isoc_completion_cb_t isoc_complete;
  115455. + dwc_suspend_cb_t suspend;
  115456. + dwc_sleep_cb_t sleep;
  115457. + dwc_resume_cb_t resume;
  115458. + dwc_reset_cb_t reset;
  115459. + dwc_hnp_params_changed_cb_t hnp_changed;
  115460. + cfi_setup_cb_t cfi_setup;
  115461. +#ifdef DWC_UTE_PER_IO
  115462. + xiso_completion_cb_t xisoc_complete;
  115463. +#endif
  115464. +};
  115465. +/** @} */
  115466. +
  115467. +/** @name Function Driver Functions */
  115468. +/** @{ */
  115469. +
  115470. +/** Call this function to get pointer on dwc_otg_pcd_t,
  115471. + * this pointer will be used for all PCD API functions.
  115472. + *
  115473. + * @param core_if The DWC_OTG Core
  115474. + */
  115475. +extern dwc_otg_pcd_t *dwc_otg_pcd_init(dwc_otg_core_if_t * core_if);
  115476. +
  115477. +/** Frees PCD allocated by dwc_otg_pcd_init
  115478. + *
  115479. + * @param pcd The PCD
  115480. + */
  115481. +extern void dwc_otg_pcd_remove(dwc_otg_pcd_t * pcd);
  115482. +
  115483. +/** Call this to bind the function driver to the PCD Core.
  115484. + *
  115485. + * @param pcd Pointer on dwc_otg_pcd_t returned by dwc_otg_pcd_init function.
  115486. + * @param fops The Function Driver Ops data structure containing pointers to all callbacks.
  115487. + */
  115488. +extern void dwc_otg_pcd_start(dwc_otg_pcd_t * pcd,
  115489. + const struct dwc_otg_pcd_function_ops *fops);
  115490. +
  115491. +/** Enables an endpoint for use. This function enables an endpoint in
  115492. + * the PCD. The endpoint is described by the ep_desc which has the
  115493. + * same format as a USB ep descriptor. The ep_handle parameter is used to refer
  115494. + * to the endpoint from other API functions and in callbacks. Normally this
  115495. + * should be called after a SET_CONFIGURATION/SET_INTERFACE to configure the
  115496. + * core for that interface.
  115497. + *
  115498. + * Returns -DWC_E_INVALID if invalid parameters were passed.
  115499. + * Returns -DWC_E_SHUTDOWN if any other error ocurred.
  115500. + * Returns 0 on success.
  115501. + *
  115502. + * @param pcd The PCD
  115503. + * @param ep_desc Endpoint descriptor
  115504. + * @param usb_ep Handle on endpoint, that will be used to identify endpoint.
  115505. + */
  115506. +extern int dwc_otg_pcd_ep_enable(dwc_otg_pcd_t * pcd,
  115507. + const uint8_t * ep_desc, void *usb_ep);
  115508. +
  115509. +/** Disable the endpoint referenced by ep_handle.
  115510. + *
  115511. + * Returns -DWC_E_INVALID if invalid parameters were passed.
  115512. + * Returns -DWC_E_SHUTDOWN if any other error occurred.
  115513. + * Returns 0 on success. */
  115514. +extern int dwc_otg_pcd_ep_disable(dwc_otg_pcd_t * pcd, void *ep_handle);
  115515. +
  115516. +/** Queue a data transfer request on the endpoint referenced by ep_handle.
  115517. + * After the transfer is completes, the complete callback will be called with
  115518. + * the request status.
  115519. + *
  115520. + * @param pcd The PCD
  115521. + * @param ep_handle The handle of the endpoint
  115522. + * @param buf The buffer for the data
  115523. + * @param dma_buf The DMA buffer for the data
  115524. + * @param buflen The length of the data transfer
  115525. + * @param zero Specifies whether to send zero length last packet.
  115526. + * @param req_handle Set this handle to any value to use to reference this
  115527. + * request in the ep_dequeue function or from the complete callback
  115528. + * @param atomic_alloc If driver need to perform atomic allocations
  115529. + * for internal data structures.
  115530. + *
  115531. + * Returns -DWC_E_INVALID if invalid parameters were passed.
  115532. + * Returns -DWC_E_SHUTDOWN if any other error ocurred.
  115533. + * Returns 0 on success. */
  115534. +extern int dwc_otg_pcd_ep_queue(dwc_otg_pcd_t * pcd, void *ep_handle,
  115535. + uint8_t * buf, dwc_dma_t dma_buf,
  115536. + uint32_t buflen, int zero, void *req_handle,
  115537. + int atomic_alloc);
  115538. +#ifdef DWC_UTE_PER_IO
  115539. +/**
  115540. + *
  115541. + * @param ereq_nonport Pointer to the extended request part of the
  115542. + * usb_request structure defined in usb_gadget.h file.
  115543. + */
  115544. +extern int dwc_otg_pcd_xiso_ep_queue(dwc_otg_pcd_t * pcd, void *ep_handle,
  115545. + uint8_t * buf, dwc_dma_t dma_buf,
  115546. + uint32_t buflen, int zero,
  115547. + void *req_handle, int atomic_alloc,
  115548. + void *ereq_nonport);
  115549. +
  115550. +#endif
  115551. +
  115552. +/** De-queue the specified data transfer that has not yet completed.
  115553. + *
  115554. + * Returns -DWC_E_INVALID if invalid parameters were passed.
  115555. + * Returns -DWC_E_SHUTDOWN if any other error ocurred.
  115556. + * Returns 0 on success. */
  115557. +extern int dwc_otg_pcd_ep_dequeue(dwc_otg_pcd_t * pcd, void *ep_handle,
  115558. + void *req_handle);
  115559. +
  115560. +/** Halt (STALL) an endpoint or clear it.
  115561. + *
  115562. + * Returns -DWC_E_INVALID if invalid parameters were passed.
  115563. + * Returns -DWC_E_SHUTDOWN if any other error ocurred.
  115564. + * Returns -DWC_E_AGAIN if the STALL cannot be sent and must be tried again later
  115565. + * Returns 0 on success. */
  115566. +extern int dwc_otg_pcd_ep_halt(dwc_otg_pcd_t * pcd, void *ep_handle, int value);
  115567. +
  115568. +/** This function */
  115569. +extern int dwc_otg_pcd_ep_wedge(dwc_otg_pcd_t * pcd, void *ep_handle);
  115570. +
  115571. +/** This function should be called on every hardware interrupt */
  115572. +extern int32_t dwc_otg_pcd_handle_intr(dwc_otg_pcd_t * pcd);
  115573. +
  115574. +/** This function returns current frame number */
  115575. +extern int dwc_otg_pcd_get_frame_number(dwc_otg_pcd_t * pcd);
  115576. +
  115577. +/**
  115578. + * Start isochronous transfers on the endpoint referenced by ep_handle.
  115579. + * For isochronous transfers duble buffering is used.
  115580. + * After processing each of buffers comlete callback will be called with
  115581. + * status for each transaction.
  115582. + *
  115583. + * @param pcd The PCD
  115584. + * @param ep_handle The handle of the endpoint
  115585. + * @param buf0 The virtual address of first data buffer
  115586. + * @param buf1 The virtual address of second data buffer
  115587. + * @param dma0 The DMA address of first data buffer
  115588. + * @param dma1 The DMA address of second data buffer
  115589. + * @param sync_frame Data pattern frame number
  115590. + * @param dp_frame Data size for pattern frame
  115591. + * @param data_per_frame Data size for regular frame
  115592. + * @param start_frame Frame number to start transfers, if -1 then start transfers ASAP.
  115593. + * @param buf_proc_intrvl Interval of ISOC Buffer processing
  115594. + * @param req_handle Handle of ISOC request
  115595. + * @param atomic_alloc Specefies whether to perform atomic allocation for
  115596. + * internal data structures.
  115597. + *
  115598. + * Returns -DWC_E_NO_MEMORY if there is no enough memory.
  115599. + * Returns -DWC_E_INVALID if incorrect arguments are passed to the function.
  115600. + * Returns -DW_E_SHUTDOWN for any other error.
  115601. + * Returns 0 on success
  115602. + */
  115603. +extern int dwc_otg_pcd_iso_ep_start(dwc_otg_pcd_t * pcd, void *ep_handle,
  115604. + uint8_t * buf0, uint8_t * buf1,
  115605. + dwc_dma_t dma0, dwc_dma_t dma1,
  115606. + int sync_frame, int dp_frame,
  115607. + int data_per_frame, int start_frame,
  115608. + int buf_proc_intrvl, void *req_handle,
  115609. + int atomic_alloc);
  115610. +
  115611. +/** Stop ISOC transfers on endpoint referenced by ep_handle.
  115612. + *
  115613. + * @param pcd The PCD
  115614. + * @param ep_handle The handle of the endpoint
  115615. + * @param req_handle Handle of ISOC request
  115616. + *
  115617. + * Returns -DWC_E_INVALID if incorrect arguments are passed to the function
  115618. + * Returns 0 on success
  115619. + */
  115620. +int dwc_otg_pcd_iso_ep_stop(dwc_otg_pcd_t * pcd, void *ep_handle,
  115621. + void *req_handle);
  115622. +
  115623. +/** Get ISOC packet status.
  115624. + *
  115625. + * @param pcd The PCD
  115626. + * @param ep_handle The handle of the endpoint
  115627. + * @param iso_req_handle Isochronoush request handle
  115628. + * @param packet Number of packet
  115629. + * @param status Out parameter for returning status
  115630. + * @param actual Out parameter for returning actual length
  115631. + * @param offset Out parameter for returning offset
  115632. + *
  115633. + */
  115634. +extern void dwc_otg_pcd_get_iso_packet_params(dwc_otg_pcd_t * pcd,
  115635. + void *ep_handle,
  115636. + void *iso_req_handle, int packet,
  115637. + int *status, int *actual,
  115638. + int *offset);
  115639. +
  115640. +/** Get ISOC packet count.
  115641. + *
  115642. + * @param pcd The PCD
  115643. + * @param ep_handle The handle of the endpoint
  115644. + * @param iso_req_handle
  115645. + */
  115646. +extern int dwc_otg_pcd_get_iso_packet_count(dwc_otg_pcd_t * pcd,
  115647. + void *ep_handle,
  115648. + void *iso_req_handle);
  115649. +
  115650. +/** This function starts the SRP Protocol if no session is in progress. If
  115651. + * a session is already in progress, but the device is suspended,
  115652. + * remote wakeup signaling is started.
  115653. + */
  115654. +extern int dwc_otg_pcd_wakeup(dwc_otg_pcd_t * pcd);
  115655. +
  115656. +/** This function returns 1 if LPM support is enabled, and 0 otherwise. */
  115657. +extern int dwc_otg_pcd_is_lpm_enabled(dwc_otg_pcd_t * pcd);
  115658. +
  115659. +/** This function returns 1 if remote wakeup is allowed and 0, otherwise. */
  115660. +extern int dwc_otg_pcd_get_rmwkup_enable(dwc_otg_pcd_t * pcd);
  115661. +
  115662. +/** Initiate SRP */
  115663. +extern void dwc_otg_pcd_initiate_srp(dwc_otg_pcd_t * pcd);
  115664. +
  115665. +/** Starts remote wakeup signaling. */
  115666. +extern void dwc_otg_pcd_remote_wakeup(dwc_otg_pcd_t * pcd, int set);
  115667. +
  115668. +/** Starts micorsecond soft disconnect. */
  115669. +extern void dwc_otg_pcd_disconnect_us(dwc_otg_pcd_t * pcd, int no_of_usecs);
  115670. +/** This function returns whether device is dualspeed.*/
  115671. +extern uint32_t dwc_otg_pcd_is_dualspeed(dwc_otg_pcd_t * pcd);
  115672. +
  115673. +/** This function returns whether device is otg. */
  115674. +extern uint32_t dwc_otg_pcd_is_otg(dwc_otg_pcd_t * pcd);
  115675. +
  115676. +/** These functions allow to get hnp parameters */
  115677. +extern uint32_t get_b_hnp_enable(dwc_otg_pcd_t * pcd);
  115678. +extern uint32_t get_a_hnp_support(dwc_otg_pcd_t * pcd);
  115679. +extern uint32_t get_a_alt_hnp_support(dwc_otg_pcd_t * pcd);
  115680. +
  115681. +/** CFI specific Interface functions */
  115682. +/** Allocate a cfi buffer */
  115683. +extern uint8_t *cfiw_ep_alloc_buffer(dwc_otg_pcd_t * pcd, void *pep,
  115684. + dwc_dma_t * addr, size_t buflen,
  115685. + int flags);
  115686. +
  115687. +/******************************************************************************/
  115688. +
  115689. +/** @} */
  115690. +
  115691. +#endif /* __DWC_PCD_IF_H__ */
  115692. +
  115693. +#endif /* DWC_HOST_ONLY */
  115694. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_intr.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_intr.c
  115695. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_intr.c 1970-01-01 01:00:00.000000000 +0100
  115696. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_intr.c 2015-11-29 09:42:39.923098428 +0100
  115697. @@ -0,0 +1,5147 @@
  115698. +/* ==========================================================================
  115699. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_pcd_intr.c $
  115700. + * $Revision: #116 $
  115701. + * $Date: 2012/08/10 $
  115702. + * $Change: 2047372 $
  115703. + *
  115704. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  115705. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  115706. + * otherwise expressly agreed to in writing between Synopsys and you.
  115707. + *
  115708. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  115709. + * any End User Software License Agreement or Agreement for Licensed Product
  115710. + * with Synopsys or any supplement thereto. You are permitted to use and
  115711. + * redistribute this Software in source and binary forms, with or without
  115712. + * modification, provided that redistributions of source code must retain this
  115713. + * notice. You may not view, use, disclose, copy or distribute this file or
  115714. + * any information contained herein except pursuant to this license grant from
  115715. + * Synopsys. If you do not agree with this notice, including the disclaimer
  115716. + * below, then you are not authorized to use the Software.
  115717. + *
  115718. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  115719. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  115720. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  115721. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  115722. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  115723. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  115724. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  115725. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  115726. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  115727. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  115728. + * DAMAGE.
  115729. + * ========================================================================== */
  115730. +#ifndef DWC_HOST_ONLY
  115731. +
  115732. +#include "dwc_otg_pcd.h"
  115733. +
  115734. +#ifdef DWC_UTE_CFI
  115735. +#include "dwc_otg_cfi.h"
  115736. +#endif
  115737. +
  115738. +#ifdef DWC_UTE_PER_IO
  115739. +extern void complete_xiso_ep(dwc_otg_pcd_ep_t * ep);
  115740. +#endif
  115741. +//#define PRINT_CFI_DMA_DESCS
  115742. +
  115743. +#define DEBUG_EP0
  115744. +
  115745. +/**
  115746. + * This function updates OTG.
  115747. + */
  115748. +static void dwc_otg_pcd_update_otg(dwc_otg_pcd_t * pcd, const unsigned reset)
  115749. +{
  115750. +
  115751. + if (reset) {
  115752. + pcd->b_hnp_enable = 0;
  115753. + pcd->a_hnp_support = 0;
  115754. + pcd->a_alt_hnp_support = 0;
  115755. + }
  115756. +
  115757. + if (pcd->fops->hnp_changed) {
  115758. + pcd->fops->hnp_changed(pcd);
  115759. + }
  115760. +}
  115761. +
  115762. +/** @file
  115763. + * This file contains the implementation of the PCD Interrupt handlers.
  115764. + *
  115765. + * The PCD handles the device interrupts. Many conditions can cause a
  115766. + * device interrupt. When an interrupt occurs, the device interrupt
  115767. + * service routine determines the cause of the interrupt and
  115768. + * dispatches handling to the appropriate function. These interrupt
  115769. + * handling functions are described below.
  115770. + * All interrupt registers are processed from LSB to MSB.
  115771. + */
  115772. +
  115773. +/**
  115774. + * This function prints the ep0 state for debug purposes.
  115775. + */
  115776. +static inline void print_ep0_state(dwc_otg_pcd_t * pcd)
  115777. +{
  115778. +#ifdef DEBUG
  115779. + char str[40];
  115780. +
  115781. + switch (pcd->ep0state) {
  115782. + case EP0_DISCONNECT:
  115783. + dwc_strcpy(str, "EP0_DISCONNECT");
  115784. + break;
  115785. + case EP0_IDLE:
  115786. + dwc_strcpy(str, "EP0_IDLE");
  115787. + break;
  115788. + case EP0_IN_DATA_PHASE:
  115789. + dwc_strcpy(str, "EP0_IN_DATA_PHASE");
  115790. + break;
  115791. + case EP0_OUT_DATA_PHASE:
  115792. + dwc_strcpy(str, "EP0_OUT_DATA_PHASE");
  115793. + break;
  115794. + case EP0_IN_STATUS_PHASE:
  115795. + dwc_strcpy(str, "EP0_IN_STATUS_PHASE");
  115796. + break;
  115797. + case EP0_OUT_STATUS_PHASE:
  115798. + dwc_strcpy(str, "EP0_OUT_STATUS_PHASE");
  115799. + break;
  115800. + case EP0_STALL:
  115801. + dwc_strcpy(str, "EP0_STALL");
  115802. + break;
  115803. + default:
  115804. + dwc_strcpy(str, "EP0_INVALID");
  115805. + }
  115806. +
  115807. + DWC_DEBUGPL(DBG_ANY, "%s(%d)\n", str, pcd->ep0state);
  115808. +#endif
  115809. +}
  115810. +
  115811. +/**
  115812. + * This function calculate the size of the payload in the memory
  115813. + * for out endpoints and prints size for debug purposes(used in
  115814. + * 2.93a DevOutNak feature).
  115815. + */
  115816. +static inline void print_memory_payload(dwc_otg_pcd_t * pcd, dwc_ep_t * ep)
  115817. +{
  115818. +#ifdef DEBUG
  115819. + deptsiz_data_t deptsiz_init = {.d32 = 0 };
  115820. + deptsiz_data_t deptsiz_updt = {.d32 = 0 };
  115821. + int pack_num;
  115822. + unsigned payload;
  115823. +
  115824. + deptsiz_init.d32 = pcd->core_if->start_doeptsiz_val[ep->num];
  115825. + deptsiz_updt.d32 =
  115826. + DWC_READ_REG32(&pcd->core_if->dev_if->
  115827. + out_ep_regs[ep->num]->doeptsiz);
  115828. + /* Payload will be */
  115829. + payload = deptsiz_init.b.xfersize - deptsiz_updt.b.xfersize;
  115830. + /* Packet count is decremented every time a packet
  115831. + * is written to the RxFIFO not in to the external memory
  115832. + * So, if payload == 0, then it means no packet was sent to ext memory*/
  115833. + pack_num = (!payload) ? 0 : (deptsiz_init.b.pktcnt - deptsiz_updt.b.pktcnt);
  115834. + DWC_DEBUGPL(DBG_PCDV,
  115835. + "Payload for EP%d-%s\n",
  115836. + ep->num, (ep->is_in ? "IN" : "OUT"));
  115837. + DWC_DEBUGPL(DBG_PCDV,
  115838. + "Number of transfered bytes = 0x%08x\n", payload);
  115839. + DWC_DEBUGPL(DBG_PCDV,
  115840. + "Number of transfered packets = %d\n", pack_num);
  115841. +#endif
  115842. +}
  115843. +
  115844. +
  115845. +#ifdef DWC_UTE_CFI
  115846. +static inline void print_desc(struct dwc_otg_dma_desc *ddesc,
  115847. + const uint8_t * epname, int descnum)
  115848. +{
  115849. + CFI_INFO
  115850. + ("%s DMA_DESC(%d) buf=0x%08x bytes=0x%04x; sp=0x%x; l=0x%x; sts=0x%02x; bs=0x%02x\n",
  115851. + epname, descnum, ddesc->buf, ddesc->status.b.bytes,
  115852. + ddesc->status.b.sp, ddesc->status.b.l, ddesc->status.b.sts,
  115853. + ddesc->status.b.bs);
  115854. +}
  115855. +#endif
  115856. +
  115857. +/**
  115858. + * This function returns pointer to in ep struct with number ep_num
  115859. + */
  115860. +static inline dwc_otg_pcd_ep_t *get_in_ep(dwc_otg_pcd_t * pcd, uint32_t ep_num)
  115861. +{
  115862. + int i;
  115863. + int num_in_eps = GET_CORE_IF(pcd)->dev_if->num_in_eps;
  115864. + if (ep_num == 0) {
  115865. + return &pcd->ep0;
  115866. + } else {
  115867. + for (i = 0; i < num_in_eps; ++i) {
  115868. + if (pcd->in_ep[i].dwc_ep.num == ep_num)
  115869. + return &pcd->in_ep[i];
  115870. + }
  115871. + return 0;
  115872. + }
  115873. +}
  115874. +
  115875. +/**
  115876. + * This function returns pointer to out ep struct with number ep_num
  115877. + */
  115878. +static inline dwc_otg_pcd_ep_t *get_out_ep(dwc_otg_pcd_t * pcd, uint32_t ep_num)
  115879. +{
  115880. + int i;
  115881. + int num_out_eps = GET_CORE_IF(pcd)->dev_if->num_out_eps;
  115882. + if (ep_num == 0) {
  115883. + return &pcd->ep0;
  115884. + } else {
  115885. + for (i = 0; i < num_out_eps; ++i) {
  115886. + if (pcd->out_ep[i].dwc_ep.num == ep_num)
  115887. + return &pcd->out_ep[i];
  115888. + }
  115889. + return 0;
  115890. + }
  115891. +}
  115892. +
  115893. +/**
  115894. + * This functions gets a pointer to an EP from the wIndex address
  115895. + * value of the control request.
  115896. + */
  115897. +dwc_otg_pcd_ep_t *get_ep_by_addr(dwc_otg_pcd_t * pcd, u16 wIndex)
  115898. +{
  115899. + dwc_otg_pcd_ep_t *ep;
  115900. + uint32_t ep_num = UE_GET_ADDR(wIndex);
  115901. +
  115902. + if (ep_num == 0) {
  115903. + ep = &pcd->ep0;
  115904. + } else if (UE_GET_DIR(wIndex) == UE_DIR_IN) { /* in ep */
  115905. + ep = &pcd->in_ep[ep_num - 1];
  115906. + } else {
  115907. + ep = &pcd->out_ep[ep_num - 1];
  115908. + }
  115909. +
  115910. + return ep;
  115911. +}
  115912. +
  115913. +/**
  115914. + * This function checks the EP request queue, if the queue is not
  115915. + * empty the next request is started.
  115916. + */
  115917. +void start_next_request(dwc_otg_pcd_ep_t * ep)
  115918. +{
  115919. + dwc_otg_pcd_request_t *req = 0;
  115920. + uint32_t max_transfer =
  115921. + GET_CORE_IF(ep->pcd)->core_params->max_transfer_size;
  115922. +
  115923. +#ifdef DWC_UTE_CFI
  115924. + struct dwc_otg_pcd *pcd;
  115925. + pcd = ep->pcd;
  115926. +#endif
  115927. +
  115928. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  115929. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  115930. +
  115931. +#ifdef DWC_UTE_CFI
  115932. + if (ep->dwc_ep.buff_mode != BM_STANDARD) {
  115933. + ep->dwc_ep.cfi_req_len = req->length;
  115934. + pcd->cfi->ops.build_descriptors(pcd->cfi, pcd, ep, req);
  115935. + } else {
  115936. +#endif
  115937. + /* Setup and start the Transfer */
  115938. + if (req->dw_align_buf) {
  115939. + ep->dwc_ep.dma_addr = req->dw_align_buf_dma;
  115940. + ep->dwc_ep.start_xfer_buff = req->dw_align_buf;
  115941. + ep->dwc_ep.xfer_buff = req->dw_align_buf;
  115942. + } else {
  115943. + ep->dwc_ep.dma_addr = req->dma;
  115944. + ep->dwc_ep.start_xfer_buff = req->buf;
  115945. + ep->dwc_ep.xfer_buff = req->buf;
  115946. + }
  115947. + ep->dwc_ep.sent_zlp = 0;
  115948. + ep->dwc_ep.total_len = req->length;
  115949. + ep->dwc_ep.xfer_len = 0;
  115950. + ep->dwc_ep.xfer_count = 0;
  115951. +
  115952. + ep->dwc_ep.maxxfer = max_transfer;
  115953. + if (GET_CORE_IF(ep->pcd)->dma_desc_enable) {
  115954. + uint32_t out_max_xfer = DDMA_MAX_TRANSFER_SIZE
  115955. + - (DDMA_MAX_TRANSFER_SIZE % 4);
  115956. + if (ep->dwc_ep.is_in) {
  115957. + if (ep->dwc_ep.maxxfer >
  115958. + DDMA_MAX_TRANSFER_SIZE) {
  115959. + ep->dwc_ep.maxxfer =
  115960. + DDMA_MAX_TRANSFER_SIZE;
  115961. + }
  115962. + } else {
  115963. + if (ep->dwc_ep.maxxfer > out_max_xfer) {
  115964. + ep->dwc_ep.maxxfer =
  115965. + out_max_xfer;
  115966. + }
  115967. + }
  115968. + }
  115969. + if (ep->dwc_ep.maxxfer < ep->dwc_ep.total_len) {
  115970. + ep->dwc_ep.maxxfer -=
  115971. + (ep->dwc_ep.maxxfer % ep->dwc_ep.maxpacket);
  115972. + }
  115973. + if (req->sent_zlp) {
  115974. + if ((ep->dwc_ep.total_len %
  115975. + ep->dwc_ep.maxpacket == 0)
  115976. + && (ep->dwc_ep.total_len != 0)) {
  115977. + ep->dwc_ep.sent_zlp = 1;
  115978. + }
  115979. +
  115980. + }
  115981. +#ifdef DWC_UTE_CFI
  115982. + }
  115983. +#endif
  115984. + dwc_otg_ep_start_transfer(GET_CORE_IF(ep->pcd), &ep->dwc_ep);
  115985. + } else if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  115986. + DWC_PRINTF("There are no more ISOC requests \n");
  115987. + ep->dwc_ep.frame_num = 0xFFFFFFFF;
  115988. + }
  115989. +}
  115990. +
  115991. +/**
  115992. + * This function handles the SOF Interrupts. At this time the SOF
  115993. + * Interrupt is disabled.
  115994. + */
  115995. +int32_t dwc_otg_pcd_handle_sof_intr(dwc_otg_pcd_t * pcd)
  115996. +{
  115997. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  115998. +
  115999. + gintsts_data_t gintsts;
  116000. +
  116001. + DWC_DEBUGPL(DBG_PCD, "SOF\n");
  116002. +
  116003. + /* Clear interrupt */
  116004. + gintsts.d32 = 0;
  116005. + gintsts.b.sofintr = 1;
  116006. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  116007. +
  116008. + return 1;
  116009. +}
  116010. +
  116011. +/**
  116012. + * This function handles the Rx Status Queue Level Interrupt, which
  116013. + * indicates that there is a least one packet in the Rx FIFO. The
  116014. + * packets are moved from the FIFO to memory, where they will be
  116015. + * processed when the Endpoint Interrupt Register indicates Transfer
  116016. + * Complete or SETUP Phase Done.
  116017. + *
  116018. + * Repeat the following until the Rx Status Queue is empty:
  116019. + * -# Read the Receive Status Pop Register (GRXSTSP) to get Packet
  116020. + * info
  116021. + * -# If Receive FIFO is empty then skip to step Clear the interrupt
  116022. + * and exit
  116023. + * -# If SETUP Packet call dwc_otg_read_setup_packet to copy the
  116024. + * SETUP data to the buffer
  116025. + * -# If OUT Data Packet call dwc_otg_read_packet to copy the data
  116026. + * to the destination buffer
  116027. + */
  116028. +int32_t dwc_otg_pcd_handle_rx_status_q_level_intr(dwc_otg_pcd_t * pcd)
  116029. +{
  116030. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116031. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  116032. + gintmsk_data_t gintmask = {.d32 = 0 };
  116033. + device_grxsts_data_t status;
  116034. + dwc_otg_pcd_ep_t *ep;
  116035. + gintsts_data_t gintsts;
  116036. +#ifdef DEBUG
  116037. + static char *dpid_str[] = { "D0", "D2", "D1", "MDATA" };
  116038. +#endif
  116039. +
  116040. + //DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, _pcd);
  116041. + /* Disable the Rx Status Queue Level interrupt */
  116042. + gintmask.b.rxstsqlvl = 1;
  116043. + DWC_MODIFY_REG32(&global_regs->gintmsk, gintmask.d32, 0);
  116044. +
  116045. + /* Get the Status from the top of the FIFO */
  116046. + status.d32 = DWC_READ_REG32(&global_regs->grxstsp);
  116047. +
  116048. + DWC_DEBUGPL(DBG_PCD, "EP:%d BCnt:%d DPID:%s "
  116049. + "pktsts:%x Frame:%d(0x%0x)\n",
  116050. + status.b.epnum, status.b.bcnt,
  116051. + dpid_str[status.b.dpid],
  116052. + status.b.pktsts, status.b.fn, status.b.fn);
  116053. + /* Get pointer to EP structure */
  116054. + ep = get_out_ep(pcd, status.b.epnum);
  116055. +
  116056. + switch (status.b.pktsts) {
  116057. + case DWC_DSTS_GOUT_NAK:
  116058. + DWC_DEBUGPL(DBG_PCDV, "Global OUT NAK\n");
  116059. + break;
  116060. + case DWC_STS_DATA_UPDT:
  116061. + DWC_DEBUGPL(DBG_PCDV, "OUT Data Packet\n");
  116062. + if (status.b.bcnt && ep->dwc_ep.xfer_buff) {
  116063. + /** @todo NGS Check for buffer overflow? */
  116064. + dwc_otg_read_packet(core_if,
  116065. + ep->dwc_ep.xfer_buff,
  116066. + status.b.bcnt);
  116067. + ep->dwc_ep.xfer_count += status.b.bcnt;
  116068. + ep->dwc_ep.xfer_buff += status.b.bcnt;
  116069. + }
  116070. + break;
  116071. + case DWC_STS_XFER_COMP:
  116072. + DWC_DEBUGPL(DBG_PCDV, "OUT Complete\n");
  116073. + break;
  116074. + case DWC_DSTS_SETUP_COMP:
  116075. +#ifdef DEBUG_EP0
  116076. + DWC_DEBUGPL(DBG_PCDV, "Setup Complete\n");
  116077. +#endif
  116078. + break;
  116079. + case DWC_DSTS_SETUP_UPDT:
  116080. + dwc_otg_read_setup_packet(core_if, pcd->setup_pkt->d32);
  116081. +#ifdef DEBUG_EP0
  116082. + DWC_DEBUGPL(DBG_PCD,
  116083. + "SETUP PKT: %02x.%02x v%04x i%04x l%04x\n",
  116084. + pcd->setup_pkt->req.bmRequestType,
  116085. + pcd->setup_pkt->req.bRequest,
  116086. + UGETW(pcd->setup_pkt->req.wValue),
  116087. + UGETW(pcd->setup_pkt->req.wIndex),
  116088. + UGETW(pcd->setup_pkt->req.wLength));
  116089. +#endif
  116090. + ep->dwc_ep.xfer_count += status.b.bcnt;
  116091. + break;
  116092. + default:
  116093. + DWC_DEBUGPL(DBG_PCDV, "Invalid Packet Status (0x%0x)\n",
  116094. + status.b.pktsts);
  116095. + break;
  116096. + }
  116097. +
  116098. + /* Enable the Rx Status Queue Level interrupt */
  116099. + DWC_MODIFY_REG32(&global_regs->gintmsk, 0, gintmask.d32);
  116100. + /* Clear interrupt */
  116101. + gintsts.d32 = 0;
  116102. + gintsts.b.rxstsqlvl = 1;
  116103. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  116104. +
  116105. + //DWC_DEBUGPL(DBG_PCDV, "EXIT: %s\n", __func__);
  116106. + return 1;
  116107. +}
  116108. +
  116109. +/**
  116110. + * This function examines the Device IN Token Learning Queue to
  116111. + * determine the EP number of the last IN token received. This
  116112. + * implementation is for the Mass Storage device where there are only
  116113. + * 2 IN EPs (Control-IN and BULK-IN).
  116114. + *
  116115. + * The EP numbers for the first six IN Tokens are in DTKNQR1 and there
  116116. + * are 8 EP Numbers in each of the other possible DTKNQ Registers.
  116117. + *
  116118. + * @param core_if Programming view of DWC_otg controller.
  116119. + *
  116120. + */
  116121. +static inline int get_ep_of_last_in_token(dwc_otg_core_if_t * core_if)
  116122. +{
  116123. + dwc_otg_device_global_regs_t *dev_global_regs =
  116124. + core_if->dev_if->dev_global_regs;
  116125. + const uint32_t TOKEN_Q_DEPTH = core_if->hwcfg2.b.dev_token_q_depth;
  116126. + /* Number of Token Queue Registers */
  116127. + const int DTKNQ_REG_CNT = (TOKEN_Q_DEPTH + 7) / 8;
  116128. + dtknq1_data_t dtknqr1;
  116129. + uint32_t in_tkn_epnums[4];
  116130. + int ndx = 0;
  116131. + int i = 0;
  116132. + volatile uint32_t *addr = &dev_global_regs->dtknqr1;
  116133. + int epnum = 0;
  116134. +
  116135. + //DWC_DEBUGPL(DBG_PCD,"dev_token_q_depth=%d\n",TOKEN_Q_DEPTH);
  116136. +
  116137. + /* Read the DTKNQ Registers */
  116138. + for (i = 0; i < DTKNQ_REG_CNT; i++) {
  116139. + in_tkn_epnums[i] = DWC_READ_REG32(addr);
  116140. + DWC_DEBUGPL(DBG_PCDV, "DTKNQR%d=0x%08x\n", i + 1,
  116141. + in_tkn_epnums[i]);
  116142. + if (addr == &dev_global_regs->dvbusdis) {
  116143. + addr = &dev_global_regs->dtknqr3_dthrctl;
  116144. + } else {
  116145. + ++addr;
  116146. + }
  116147. +
  116148. + }
  116149. +
  116150. + /* Copy the DTKNQR1 data to the bit field. */
  116151. + dtknqr1.d32 = in_tkn_epnums[0];
  116152. + /* Get the EP numbers */
  116153. + in_tkn_epnums[0] = dtknqr1.b.epnums0_5;
  116154. + ndx = dtknqr1.b.intknwptr - 1;
  116155. +
  116156. + //DWC_DEBUGPL(DBG_PCDV,"ndx=%d\n",ndx);
  116157. + if (ndx == -1) {
  116158. + /** @todo Find a simpler way to calculate the max
  116159. + * queue position.*/
  116160. + int cnt = TOKEN_Q_DEPTH;
  116161. + if (TOKEN_Q_DEPTH <= 6) {
  116162. + cnt = TOKEN_Q_DEPTH - 1;
  116163. + } else if (TOKEN_Q_DEPTH <= 14) {
  116164. + cnt = TOKEN_Q_DEPTH - 7;
  116165. + } else if (TOKEN_Q_DEPTH <= 22) {
  116166. + cnt = TOKEN_Q_DEPTH - 15;
  116167. + } else {
  116168. + cnt = TOKEN_Q_DEPTH - 23;
  116169. + }
  116170. + epnum = (in_tkn_epnums[DTKNQ_REG_CNT - 1] >> (cnt * 4)) & 0xF;
  116171. + } else {
  116172. + if (ndx <= 5) {
  116173. + epnum = (in_tkn_epnums[0] >> (ndx * 4)) & 0xF;
  116174. + } else if (ndx <= 13) {
  116175. + ndx -= 6;
  116176. + epnum = (in_tkn_epnums[1] >> (ndx * 4)) & 0xF;
  116177. + } else if (ndx <= 21) {
  116178. + ndx -= 14;
  116179. + epnum = (in_tkn_epnums[2] >> (ndx * 4)) & 0xF;
  116180. + } else if (ndx <= 29) {
  116181. + ndx -= 22;
  116182. + epnum = (in_tkn_epnums[3] >> (ndx * 4)) & 0xF;
  116183. + }
  116184. + }
  116185. + //DWC_DEBUGPL(DBG_PCD,"epnum=%d\n",epnum);
  116186. + return epnum;
  116187. +}
  116188. +
  116189. +/**
  116190. + * This interrupt occurs when the non-periodic Tx FIFO is half-empty.
  116191. + * The active request is checked for the next packet to be loaded into
  116192. + * the non-periodic Tx FIFO.
  116193. + */
  116194. +int32_t dwc_otg_pcd_handle_np_tx_fifo_empty_intr(dwc_otg_pcd_t * pcd)
  116195. +{
  116196. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116197. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  116198. + dwc_otg_dev_in_ep_regs_t *ep_regs;
  116199. + gnptxsts_data_t txstatus = {.d32 = 0 };
  116200. + gintsts_data_t gintsts;
  116201. +
  116202. + int epnum = 0;
  116203. + dwc_otg_pcd_ep_t *ep = 0;
  116204. + uint32_t len = 0;
  116205. + int dwords;
  116206. +
  116207. + /* Get the epnum from the IN Token Learning Queue. */
  116208. + epnum = get_ep_of_last_in_token(core_if);
  116209. + ep = get_in_ep(pcd, epnum);
  116210. +
  116211. + DWC_DEBUGPL(DBG_PCD, "NP TxFifo Empty: %d \n", epnum);
  116212. +
  116213. + ep_regs = core_if->dev_if->in_ep_regs[epnum];
  116214. +
  116215. + len = ep->dwc_ep.xfer_len - ep->dwc_ep.xfer_count;
  116216. + if (len > ep->dwc_ep.maxpacket) {
  116217. + len = ep->dwc_ep.maxpacket;
  116218. + }
  116219. + dwords = (len + 3) / 4;
  116220. +
  116221. + /* While there is space in the queue and space in the FIFO and
  116222. + * More data to tranfer, Write packets to the Tx FIFO */
  116223. + txstatus.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  116224. + DWC_DEBUGPL(DBG_PCDV, "b4 GNPTXSTS=0x%08x\n", txstatus.d32);
  116225. +
  116226. + while (txstatus.b.nptxqspcavail > 0 &&
  116227. + txstatus.b.nptxfspcavail > dwords &&
  116228. + ep->dwc_ep.xfer_count < ep->dwc_ep.xfer_len) {
  116229. + /* Write the FIFO */
  116230. + dwc_otg_ep_write_packet(core_if, &ep->dwc_ep, 0);
  116231. + len = ep->dwc_ep.xfer_len - ep->dwc_ep.xfer_count;
  116232. +
  116233. + if (len > ep->dwc_ep.maxpacket) {
  116234. + len = ep->dwc_ep.maxpacket;
  116235. + }
  116236. +
  116237. + dwords = (len + 3) / 4;
  116238. + txstatus.d32 = DWC_READ_REG32(&global_regs->gnptxsts);
  116239. + DWC_DEBUGPL(DBG_PCDV, "GNPTXSTS=0x%08x\n", txstatus.d32);
  116240. + }
  116241. +
  116242. + DWC_DEBUGPL(DBG_PCDV, "GNPTXSTS=0x%08x\n",
  116243. + DWC_READ_REG32(&global_regs->gnptxsts));
  116244. +
  116245. + /* Clear interrupt */
  116246. + gintsts.d32 = 0;
  116247. + gintsts.b.nptxfempty = 1;
  116248. + DWC_WRITE_REG32(&global_regs->gintsts, gintsts.d32);
  116249. +
  116250. + return 1;
  116251. +}
  116252. +
  116253. +/**
  116254. + * This function is called when dedicated Tx FIFO Empty interrupt occurs.
  116255. + * The active request is checked for the next packet to be loaded into
  116256. + * apropriate Tx FIFO.
  116257. + */
  116258. +static int32_t write_empty_tx_fifo(dwc_otg_pcd_t * pcd, uint32_t epnum)
  116259. +{
  116260. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116261. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  116262. + dwc_otg_dev_in_ep_regs_t *ep_regs;
  116263. + dtxfsts_data_t txstatus = {.d32 = 0 };
  116264. + dwc_otg_pcd_ep_t *ep = 0;
  116265. + uint32_t len = 0;
  116266. + int dwords;
  116267. +
  116268. + ep = get_in_ep(pcd, epnum);
  116269. +
  116270. + DWC_DEBUGPL(DBG_PCD, "Dedicated TxFifo Empty: %d \n", epnum);
  116271. +
  116272. + ep_regs = core_if->dev_if->in_ep_regs[epnum];
  116273. +
  116274. + len = ep->dwc_ep.xfer_len - ep->dwc_ep.xfer_count;
  116275. +
  116276. + if (len > ep->dwc_ep.maxpacket) {
  116277. + len = ep->dwc_ep.maxpacket;
  116278. + }
  116279. +
  116280. + dwords = (len + 3) / 4;
  116281. +
  116282. + /* While there is space in the queue and space in the FIFO and
  116283. + * More data to tranfer, Write packets to the Tx FIFO */
  116284. + txstatus.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts);
  116285. + DWC_DEBUGPL(DBG_PCDV, "b4 dtxfsts[%d]=0x%08x\n", epnum, txstatus.d32);
  116286. +
  116287. + while (txstatus.b.txfspcavail > dwords &&
  116288. + ep->dwc_ep.xfer_count < ep->dwc_ep.xfer_len &&
  116289. + ep->dwc_ep.xfer_len != 0) {
  116290. + /* Write the FIFO */
  116291. + dwc_otg_ep_write_packet(core_if, &ep->dwc_ep, 0);
  116292. +
  116293. + len = ep->dwc_ep.xfer_len - ep->dwc_ep.xfer_count;
  116294. + if (len > ep->dwc_ep.maxpacket) {
  116295. + len = ep->dwc_ep.maxpacket;
  116296. + }
  116297. +
  116298. + dwords = (len + 3) / 4;
  116299. + txstatus.d32 =
  116300. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts);
  116301. + DWC_DEBUGPL(DBG_PCDV, "dtxfsts[%d]=0x%08x\n", epnum,
  116302. + txstatus.d32);
  116303. + }
  116304. +
  116305. + DWC_DEBUGPL(DBG_PCDV, "b4 dtxfsts[%d]=0x%08x\n", epnum,
  116306. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dtxfsts));
  116307. +
  116308. + return 1;
  116309. +}
  116310. +
  116311. +/**
  116312. + * This function is called when the Device is disconnected. It stops
  116313. + * any active requests and informs the Gadget driver of the
  116314. + * disconnect.
  116315. + */
  116316. +void dwc_otg_pcd_stop(dwc_otg_pcd_t * pcd)
  116317. +{
  116318. + int i, num_in_eps, num_out_eps;
  116319. + dwc_otg_pcd_ep_t *ep;
  116320. +
  116321. + gintmsk_data_t intr_mask = {.d32 = 0 };
  116322. +
  116323. + DWC_SPINLOCK(pcd->lock);
  116324. +
  116325. + num_in_eps = GET_CORE_IF(pcd)->dev_if->num_in_eps;
  116326. + num_out_eps = GET_CORE_IF(pcd)->dev_if->num_out_eps;
  116327. +
  116328. + DWC_DEBUGPL(DBG_PCDV, "%s() \n", __func__);
  116329. + /* don't disconnect drivers more than once */
  116330. + if (pcd->ep0state == EP0_DISCONNECT) {
  116331. + DWC_DEBUGPL(DBG_ANY, "%s() Already Disconnected\n", __func__);
  116332. + DWC_SPINUNLOCK(pcd->lock);
  116333. + return;
  116334. + }
  116335. + pcd->ep0state = EP0_DISCONNECT;
  116336. +
  116337. + /* Reset the OTG state. */
  116338. + dwc_otg_pcd_update_otg(pcd, 1);
  116339. +
  116340. + /* Disable the NP Tx Fifo Empty Interrupt. */
  116341. + intr_mask.b.nptxfempty = 1;
  116342. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  116343. + intr_mask.d32, 0);
  116344. +
  116345. + /* Flush the FIFOs */
  116346. + /**@todo NGS Flush Periodic FIFOs */
  116347. + dwc_otg_flush_tx_fifo(GET_CORE_IF(pcd), 0x10);
  116348. + dwc_otg_flush_rx_fifo(GET_CORE_IF(pcd));
  116349. +
  116350. + /* prevent new request submissions, kill any outstanding requests */
  116351. + ep = &pcd->ep0;
  116352. + dwc_otg_request_nuke(ep);
  116353. + /* prevent new request submissions, kill any outstanding requests */
  116354. + for (i = 0; i < num_in_eps; i++) {
  116355. + dwc_otg_pcd_ep_t *ep = &pcd->in_ep[i];
  116356. + dwc_otg_request_nuke(ep);
  116357. + }
  116358. + /* prevent new request submissions, kill any outstanding requests */
  116359. + for (i = 0; i < num_out_eps; i++) {
  116360. + dwc_otg_pcd_ep_t *ep = &pcd->out_ep[i];
  116361. + dwc_otg_request_nuke(ep);
  116362. + }
  116363. +
  116364. + /* report disconnect; the driver is already quiesced */
  116365. + if (pcd->fops->disconnect) {
  116366. + DWC_SPINUNLOCK(pcd->lock);
  116367. + pcd->fops->disconnect(pcd);
  116368. + DWC_SPINLOCK(pcd->lock);
  116369. + }
  116370. + DWC_SPINUNLOCK(pcd->lock);
  116371. +}
  116372. +
  116373. +/**
  116374. + * This interrupt indicates that ...
  116375. + */
  116376. +int32_t dwc_otg_pcd_handle_i2c_intr(dwc_otg_pcd_t * pcd)
  116377. +{
  116378. + gintmsk_data_t intr_mask = {.d32 = 0 };
  116379. + gintsts_data_t gintsts;
  116380. +
  116381. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n", "i2cintr");
  116382. + intr_mask.b.i2cintr = 1;
  116383. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  116384. + intr_mask.d32, 0);
  116385. +
  116386. + /* Clear interrupt */
  116387. + gintsts.d32 = 0;
  116388. + gintsts.b.i2cintr = 1;
  116389. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  116390. + gintsts.d32);
  116391. + return 1;
  116392. +}
  116393. +
  116394. +/**
  116395. + * This interrupt indicates that ...
  116396. + */
  116397. +int32_t dwc_otg_pcd_handle_early_suspend_intr(dwc_otg_pcd_t * pcd)
  116398. +{
  116399. + gintsts_data_t gintsts;
  116400. +#if defined(VERBOSE)
  116401. + DWC_PRINTF("Early Suspend Detected\n");
  116402. +#endif
  116403. +
  116404. + /* Clear interrupt */
  116405. + gintsts.d32 = 0;
  116406. + gintsts.b.erlysuspend = 1;
  116407. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  116408. + gintsts.d32);
  116409. + return 1;
  116410. +}
  116411. +
  116412. +/**
  116413. + * This function configures EPO to receive SETUP packets.
  116414. + *
  116415. + * @todo NGS: Update the comments from the HW FS.
  116416. + *
  116417. + * -# Program the following fields in the endpoint specific registers
  116418. + * for Control OUT EP 0, in order to receive a setup packet
  116419. + * - DOEPTSIZ0.Packet Count = 3 (To receive up to 3 back to back
  116420. + * setup packets)
  116421. + * - DOEPTSIZE0.Transfer Size = 24 Bytes (To receive up to 3 back
  116422. + * to back setup packets)
  116423. + * - In DMA mode, DOEPDMA0 Register with a memory address to
  116424. + * store any setup packets received
  116425. + *
  116426. + * @param core_if Programming view of DWC_otg controller.
  116427. + * @param pcd Programming view of the PCD.
  116428. + */
  116429. +static inline void ep0_out_start(dwc_otg_core_if_t * core_if,
  116430. + dwc_otg_pcd_t * pcd)
  116431. +{
  116432. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  116433. + deptsiz0_data_t doeptsize0 = {.d32 = 0 };
  116434. + dwc_otg_dev_dma_desc_t *dma_desc;
  116435. + depctl_data_t doepctl = {.d32 = 0 };
  116436. +
  116437. +#ifdef VERBOSE
  116438. + DWC_DEBUGPL(DBG_PCDV, "%s() doepctl0=%0x\n", __func__,
  116439. + DWC_READ_REG32(&dev_if->out_ep_regs[0]->doepctl));
  116440. +#endif
  116441. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  116442. + doepctl.d32 = DWC_READ_REG32(&dev_if->out_ep_regs[0]->doepctl);
  116443. + if (doepctl.b.epena) {
  116444. + return;
  116445. + }
  116446. + }
  116447. +
  116448. + doeptsize0.b.supcnt = 3;
  116449. + doeptsize0.b.pktcnt = 1;
  116450. + doeptsize0.b.xfersize = 8 * 3;
  116451. +
  116452. + if (core_if->dma_enable) {
  116453. + if (!core_if->dma_desc_enable) {
  116454. + /** put here as for Hermes mode deptisz register should not be written */
  116455. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doeptsiz,
  116456. + doeptsize0.d32);
  116457. +
  116458. + /** @todo dma needs to handle multiple setup packets (up to 3) */
  116459. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doepdma,
  116460. + pcd->setup_pkt_dma_handle);
  116461. + } else {
  116462. + dev_if->setup_desc_index =
  116463. + (dev_if->setup_desc_index + 1) & 1;
  116464. + dma_desc =
  116465. + dev_if->setup_desc_addr[dev_if->setup_desc_index];
  116466. +
  116467. + /** DMA Descriptor Setup */
  116468. + dma_desc->status.b.bs = BS_HOST_BUSY;
  116469. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  116470. + dma_desc->status.b.sr = 0;
  116471. + dma_desc->status.b.mtrf = 0;
  116472. + }
  116473. + dma_desc->status.b.l = 1;
  116474. + dma_desc->status.b.ioc = 1;
  116475. + dma_desc->status.b.bytes = pcd->ep0.dwc_ep.maxpacket;
  116476. + dma_desc->buf = pcd->setup_pkt_dma_handle;
  116477. + dma_desc->status.b.sts = 0;
  116478. + dma_desc->status.b.bs = BS_HOST_READY;
  116479. +
  116480. + /** DOEPDMA0 Register write */
  116481. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doepdma,
  116482. + dev_if->dma_setup_desc_addr
  116483. + [dev_if->setup_desc_index]);
  116484. + }
  116485. +
  116486. + } else {
  116487. + /** put here as for Hermes mode deptisz register should not be written */
  116488. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doeptsiz,
  116489. + doeptsize0.d32);
  116490. + }
  116491. +
  116492. + /** DOEPCTL0 Register write cnak will be set after setup interrupt */
  116493. + doepctl.d32 = 0;
  116494. + doepctl.b.epena = 1;
  116495. + if (core_if->snpsid <= OTG_CORE_REV_2_94a) {
  116496. + doepctl.b.cnak = 1;
  116497. + DWC_WRITE_REG32(&dev_if->out_ep_regs[0]->doepctl, doepctl.d32);
  116498. + } else {
  116499. + DWC_MODIFY_REG32(&dev_if->out_ep_regs[0]->doepctl, 0, doepctl.d32);
  116500. + }
  116501. +
  116502. +#ifdef VERBOSE
  116503. + DWC_DEBUGPL(DBG_PCDV, "doepctl0=%0x\n",
  116504. + DWC_READ_REG32(&dev_if->out_ep_regs[0]->doepctl));
  116505. + DWC_DEBUGPL(DBG_PCDV, "diepctl0=%0x\n",
  116506. + DWC_READ_REG32(&dev_if->in_ep_regs[0]->diepctl));
  116507. +#endif
  116508. +}
  116509. +
  116510. +/**
  116511. + * This interrupt occurs when a USB Reset is detected. When the USB
  116512. + * Reset Interrupt occurs the device state is set to DEFAULT and the
  116513. + * EP0 state is set to IDLE.
  116514. + * -# Set the NAK bit for all OUT endpoints (DOEPCTLn.SNAK = 1)
  116515. + * -# Unmask the following interrupt bits
  116516. + * - DAINTMSK.INEP0 = 1 (Control 0 IN endpoint)
  116517. + * - DAINTMSK.OUTEP0 = 1 (Control 0 OUT endpoint)
  116518. + * - DOEPMSK.SETUP = 1
  116519. + * - DOEPMSK.XferCompl = 1
  116520. + * - DIEPMSK.XferCompl = 1
  116521. + * - DIEPMSK.TimeOut = 1
  116522. + * -# Program the following fields in the endpoint specific registers
  116523. + * for Control OUT EP 0, in order to receive a setup packet
  116524. + * - DOEPTSIZ0.Packet Count = 3 (To receive up to 3 back to back
  116525. + * setup packets)
  116526. + * - DOEPTSIZE0.Transfer Size = 24 Bytes (To receive up to 3 back
  116527. + * to back setup packets)
  116528. + * - In DMA mode, DOEPDMA0 Register with a memory address to
  116529. + * store any setup packets received
  116530. + * At this point, all the required initialization, except for enabling
  116531. + * the control 0 OUT endpoint is done, for receiving SETUP packets.
  116532. + */
  116533. +int32_t dwc_otg_pcd_handle_usb_reset_intr(dwc_otg_pcd_t * pcd)
  116534. +{
  116535. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116536. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  116537. + depctl_data_t doepctl = {.d32 = 0 };
  116538. + depctl_data_t diepctl = {.d32 = 0 };
  116539. + daint_data_t daintmsk = {.d32 = 0 };
  116540. + doepmsk_data_t doepmsk = {.d32 = 0 };
  116541. + diepmsk_data_t diepmsk = {.d32 = 0 };
  116542. + dcfg_data_t dcfg = {.d32 = 0 };
  116543. + grstctl_t resetctl = {.d32 = 0 };
  116544. + dctl_data_t dctl = {.d32 = 0 };
  116545. + int i = 0;
  116546. + gintsts_data_t gintsts;
  116547. + pcgcctl_data_t power = {.d32 = 0 };
  116548. +
  116549. + power.d32 = DWC_READ_REG32(core_if->pcgcctl);
  116550. + if (power.b.stoppclk) {
  116551. + power.d32 = 0;
  116552. + power.b.stoppclk = 1;
  116553. + DWC_MODIFY_REG32(core_if->pcgcctl, power.d32, 0);
  116554. +
  116555. + power.b.pwrclmp = 1;
  116556. + DWC_MODIFY_REG32(core_if->pcgcctl, power.d32, 0);
  116557. +
  116558. + power.b.rstpdwnmodule = 1;
  116559. + DWC_MODIFY_REG32(core_if->pcgcctl, power.d32, 0);
  116560. + }
  116561. +
  116562. + core_if->lx_state = DWC_OTG_L0;
  116563. +
  116564. + DWC_PRINTF("USB RESET\n");
  116565. +#ifdef DWC_EN_ISOC
  116566. + for (i = 1; i < 16; ++i) {
  116567. + dwc_otg_pcd_ep_t *ep;
  116568. + dwc_ep_t *dwc_ep;
  116569. + ep = get_in_ep(pcd, i);
  116570. + if (ep != 0) {
  116571. + dwc_ep = &ep->dwc_ep;
  116572. + dwc_ep->next_frame = 0xffffffff;
  116573. + }
  116574. + }
  116575. +#endif /* DWC_EN_ISOC */
  116576. +
  116577. + /* reset the HNP settings */
  116578. + dwc_otg_pcd_update_otg(pcd, 1);
  116579. +
  116580. + /* Clear the Remote Wakeup Signalling */
  116581. + dctl.b.rmtwkupsig = 1;
  116582. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32, 0);
  116583. +
  116584. + /* Set NAK for all OUT EPs */
  116585. + doepctl.b.snak = 1;
  116586. + for (i = 0; i <= dev_if->num_out_eps; i++) {
  116587. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doepctl, doepctl.d32);
  116588. + }
  116589. +
  116590. + /* Flush the NP Tx FIFO */
  116591. + dwc_otg_flush_tx_fifo(core_if, 0x10);
  116592. + /* Flush the Learning Queue */
  116593. + resetctl.b.intknqflsh = 1;
  116594. + DWC_WRITE_REG32(&core_if->core_global_regs->grstctl, resetctl.d32);
  116595. +
  116596. + if (!core_if->core_params->en_multiple_tx_fifo && core_if->dma_enable) {
  116597. + core_if->start_predict = 0;
  116598. + for (i = 0; i<= core_if->dev_if->num_in_eps; ++i) {
  116599. + core_if->nextep_seq[i] = 0xff; // 0xff - EP not active
  116600. + }
  116601. + core_if->nextep_seq[0] = 0;
  116602. + core_if->first_in_nextep_seq = 0;
  116603. + diepctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[0]->diepctl);
  116604. + diepctl.b.nextep = 0;
  116605. + DWC_WRITE_REG32(&dev_if->in_ep_regs[0]->diepctl, diepctl.d32);
  116606. +
  116607. + /* Update IN Endpoint Mismatch Count by active IN NP EP count + 1 */
  116608. + dcfg.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dcfg);
  116609. + dcfg.b.epmscnt = 2;
  116610. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dcfg, dcfg.d32);
  116611. +
  116612. + DWC_DEBUGPL(DBG_PCDV,
  116613. + "%s first_in_nextep_seq= %2d; nextep_seq[]:\n",
  116614. + __func__, core_if->first_in_nextep_seq);
  116615. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  116616. + DWC_DEBUGPL(DBG_PCDV, "%2d\n", core_if->nextep_seq[i]);
  116617. + }
  116618. + }
  116619. +
  116620. + if (core_if->multiproc_int_enable) {
  116621. + daintmsk.b.inep0 = 1;
  116622. + daintmsk.b.outep0 = 1;
  116623. + DWC_WRITE_REG32(&dev_if->dev_global_regs->deachintmsk,
  116624. + daintmsk.d32);
  116625. +
  116626. + doepmsk.b.setup = 1;
  116627. + doepmsk.b.xfercompl = 1;
  116628. + doepmsk.b.ahberr = 1;
  116629. + doepmsk.b.epdisabled = 1;
  116630. +
  116631. + if ((core_if->dma_desc_enable) ||
  116632. + (core_if->dma_enable
  116633. + && core_if->snpsid >= OTG_CORE_REV_3_00a)) {
  116634. + doepmsk.b.stsphsercvd = 1;
  116635. + }
  116636. + if (core_if->dma_desc_enable)
  116637. + doepmsk.b.bna = 1;
  116638. +/*
  116639. + doepmsk.b.babble = 1;
  116640. + doepmsk.b.nyet = 1;
  116641. +
  116642. + if (core_if->dma_enable) {
  116643. + doepmsk.b.nak = 1;
  116644. + }
  116645. +*/
  116646. + DWC_WRITE_REG32(&dev_if->dev_global_regs->doepeachintmsk[0],
  116647. + doepmsk.d32);
  116648. +
  116649. + diepmsk.b.xfercompl = 1;
  116650. + diepmsk.b.timeout = 1;
  116651. + diepmsk.b.epdisabled = 1;
  116652. + diepmsk.b.ahberr = 1;
  116653. + diepmsk.b.intknepmis = 1;
  116654. + if (!core_if->en_multiple_tx_fifo && core_if->dma_enable)
  116655. + diepmsk.b.intknepmis = 0;
  116656. +
  116657. +/* if (core_if->dma_desc_enable) {
  116658. + diepmsk.b.bna = 1;
  116659. + }
  116660. +*/
  116661. +/*
  116662. + if (core_if->dma_enable) {
  116663. + diepmsk.b.nak = 1;
  116664. + }
  116665. +*/
  116666. + DWC_WRITE_REG32(&dev_if->dev_global_regs->diepeachintmsk[0],
  116667. + diepmsk.d32);
  116668. + } else {
  116669. + daintmsk.b.inep0 = 1;
  116670. + daintmsk.b.outep0 = 1;
  116671. + DWC_WRITE_REG32(&dev_if->dev_global_regs->daintmsk,
  116672. + daintmsk.d32);
  116673. +
  116674. + doepmsk.b.setup = 1;
  116675. + doepmsk.b.xfercompl = 1;
  116676. + doepmsk.b.ahberr = 1;
  116677. + doepmsk.b.epdisabled = 1;
  116678. +
  116679. + if ((core_if->dma_desc_enable) ||
  116680. + (core_if->dma_enable
  116681. + && core_if->snpsid >= OTG_CORE_REV_3_00a)) {
  116682. + doepmsk.b.stsphsercvd = 1;
  116683. + }
  116684. + if (core_if->dma_desc_enable)
  116685. + doepmsk.b.bna = 1;
  116686. + DWC_WRITE_REG32(&dev_if->dev_global_regs->doepmsk, doepmsk.d32);
  116687. +
  116688. + diepmsk.b.xfercompl = 1;
  116689. + diepmsk.b.timeout = 1;
  116690. + diepmsk.b.epdisabled = 1;
  116691. + diepmsk.b.ahberr = 1;
  116692. + if (!core_if->en_multiple_tx_fifo && core_if->dma_enable)
  116693. + diepmsk.b.intknepmis = 0;
  116694. +/*
  116695. + if (core_if->dma_desc_enable) {
  116696. + diepmsk.b.bna = 1;
  116697. + }
  116698. +*/
  116699. +
  116700. + DWC_WRITE_REG32(&dev_if->dev_global_regs->diepmsk, diepmsk.d32);
  116701. + }
  116702. +
  116703. + /* Reset Device Address */
  116704. + dcfg.d32 = DWC_READ_REG32(&dev_if->dev_global_regs->dcfg);
  116705. + dcfg.b.devaddr = 0;
  116706. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dcfg, dcfg.d32);
  116707. +
  116708. + /* setup EP0 to receive SETUP packets */
  116709. + if (core_if->snpsid <= OTG_CORE_REV_2_94a)
  116710. + ep0_out_start(core_if, pcd);
  116711. +
  116712. + /* Clear interrupt */
  116713. + gintsts.d32 = 0;
  116714. + gintsts.b.usbreset = 1;
  116715. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  116716. +
  116717. + return 1;
  116718. +}
  116719. +
  116720. +/**
  116721. + * Get the device speed from the device status register and convert it
  116722. + * to USB speed constant.
  116723. + *
  116724. + * @param core_if Programming view of DWC_otg controller.
  116725. + */
  116726. +static int get_device_speed(dwc_otg_core_if_t * core_if)
  116727. +{
  116728. + dsts_data_t dsts;
  116729. + int speed = 0;
  116730. + dsts.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dsts);
  116731. +
  116732. + switch (dsts.b.enumspd) {
  116733. + case DWC_DSTS_ENUMSPD_HS_PHY_30MHZ_OR_60MHZ:
  116734. + speed = USB_SPEED_HIGH;
  116735. + break;
  116736. + case DWC_DSTS_ENUMSPD_FS_PHY_30MHZ_OR_60MHZ:
  116737. + case DWC_DSTS_ENUMSPD_FS_PHY_48MHZ:
  116738. + speed = USB_SPEED_FULL;
  116739. + break;
  116740. +
  116741. + case DWC_DSTS_ENUMSPD_LS_PHY_6MHZ:
  116742. + speed = USB_SPEED_LOW;
  116743. + break;
  116744. + }
  116745. +
  116746. + return speed;
  116747. +}
  116748. +
  116749. +/**
  116750. + * Read the device status register and set the device speed in the
  116751. + * data structure.
  116752. + * Set up EP0 to receive SETUP packets by calling dwc_ep0_activate.
  116753. + */
  116754. +int32_t dwc_otg_pcd_handle_enum_done_intr(dwc_otg_pcd_t * pcd)
  116755. +{
  116756. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  116757. + gintsts_data_t gintsts;
  116758. + gusbcfg_data_t gusbcfg;
  116759. + dwc_otg_core_global_regs_t *global_regs =
  116760. + GET_CORE_IF(pcd)->core_global_regs;
  116761. + uint8_t utmi16b, utmi8b;
  116762. + int speed;
  116763. + DWC_DEBUGPL(DBG_PCD, "SPEED ENUM\n");
  116764. +
  116765. + if (GET_CORE_IF(pcd)->snpsid >= OTG_CORE_REV_2_60a) {
  116766. + utmi16b = 6; //vahrama old value was 6;
  116767. + utmi8b = 9;
  116768. + } else {
  116769. + utmi16b = 4;
  116770. + utmi8b = 8;
  116771. + }
  116772. + dwc_otg_ep0_activate(GET_CORE_IF(pcd), &ep0->dwc_ep);
  116773. + if (GET_CORE_IF(pcd)->snpsid >= OTG_CORE_REV_3_00a) {
  116774. + ep0_out_start(GET_CORE_IF(pcd), pcd);
  116775. + }
  116776. +
  116777. +#ifdef DEBUG_EP0
  116778. + print_ep0_state(pcd);
  116779. +#endif
  116780. +
  116781. + if (pcd->ep0state == EP0_DISCONNECT) {
  116782. + pcd->ep0state = EP0_IDLE;
  116783. + } else if (pcd->ep0state == EP0_STALL) {
  116784. + pcd->ep0state = EP0_IDLE;
  116785. + }
  116786. +
  116787. + pcd->ep0state = EP0_IDLE;
  116788. +
  116789. + ep0->stopped = 0;
  116790. +
  116791. + speed = get_device_speed(GET_CORE_IF(pcd));
  116792. + pcd->fops->connect(pcd, speed);
  116793. +
  116794. + /* Set USB turnaround time based on device speed and PHY interface. */
  116795. + gusbcfg.d32 = DWC_READ_REG32(&global_regs->gusbcfg);
  116796. + if (speed == USB_SPEED_HIGH) {
  116797. + if (GET_CORE_IF(pcd)->hwcfg2.b.hs_phy_type ==
  116798. + DWC_HWCFG2_HS_PHY_TYPE_ULPI) {
  116799. + /* ULPI interface */
  116800. + gusbcfg.b.usbtrdtim = 9;
  116801. + }
  116802. + if (GET_CORE_IF(pcd)->hwcfg2.b.hs_phy_type ==
  116803. + DWC_HWCFG2_HS_PHY_TYPE_UTMI) {
  116804. + /* UTMI+ interface */
  116805. + if (GET_CORE_IF(pcd)->hwcfg4.b.utmi_phy_data_width == 0) {
  116806. + gusbcfg.b.usbtrdtim = utmi8b;
  116807. + } else if (GET_CORE_IF(pcd)->hwcfg4.
  116808. + b.utmi_phy_data_width == 1) {
  116809. + gusbcfg.b.usbtrdtim = utmi16b;
  116810. + } else if (GET_CORE_IF(pcd)->
  116811. + core_params->phy_utmi_width == 8) {
  116812. + gusbcfg.b.usbtrdtim = utmi8b;
  116813. + } else {
  116814. + gusbcfg.b.usbtrdtim = utmi16b;
  116815. + }
  116816. + }
  116817. + if (GET_CORE_IF(pcd)->hwcfg2.b.hs_phy_type ==
  116818. + DWC_HWCFG2_HS_PHY_TYPE_UTMI_ULPI) {
  116819. + /* UTMI+ OR ULPI interface */
  116820. + if (gusbcfg.b.ulpi_utmi_sel == 1) {
  116821. + /* ULPI interface */
  116822. + gusbcfg.b.usbtrdtim = 9;
  116823. + } else {
  116824. + /* UTMI+ interface */
  116825. + if (GET_CORE_IF(pcd)->
  116826. + core_params->phy_utmi_width == 16) {
  116827. + gusbcfg.b.usbtrdtim = utmi16b;
  116828. + } else {
  116829. + gusbcfg.b.usbtrdtim = utmi8b;
  116830. + }
  116831. + }
  116832. + }
  116833. + } else {
  116834. + /* Full or low speed */
  116835. + gusbcfg.b.usbtrdtim = 9;
  116836. + }
  116837. + DWC_WRITE_REG32(&global_regs->gusbcfg, gusbcfg.d32);
  116838. +
  116839. + /* Clear interrupt */
  116840. + gintsts.d32 = 0;
  116841. + gintsts.b.enumdone = 1;
  116842. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  116843. + gintsts.d32);
  116844. + return 1;
  116845. +}
  116846. +
  116847. +/**
  116848. + * This interrupt indicates that the ISO OUT Packet was dropped due to
  116849. + * Rx FIFO full or Rx Status Queue Full. If this interrupt occurs
  116850. + * read all the data from the Rx FIFO.
  116851. + */
  116852. +int32_t dwc_otg_pcd_handle_isoc_out_packet_dropped_intr(dwc_otg_pcd_t * pcd)
  116853. +{
  116854. + gintmsk_data_t intr_mask = {.d32 = 0 };
  116855. + gintsts_data_t gintsts;
  116856. +
  116857. + DWC_WARN("INTERRUPT Handler not implemented for %s\n",
  116858. + "ISOC Out Dropped");
  116859. +
  116860. + intr_mask.b.isooutdrop = 1;
  116861. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  116862. + intr_mask.d32, 0);
  116863. +
  116864. + /* Clear interrupt */
  116865. + gintsts.d32 = 0;
  116866. + gintsts.b.isooutdrop = 1;
  116867. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  116868. + gintsts.d32);
  116869. +
  116870. + return 1;
  116871. +}
  116872. +
  116873. +/**
  116874. + * This interrupt indicates the end of the portion of the micro-frame
  116875. + * for periodic transactions. If there is a periodic transaction for
  116876. + * the next frame, load the packets into the EP periodic Tx FIFO.
  116877. + */
  116878. +int32_t dwc_otg_pcd_handle_end_periodic_frame_intr(dwc_otg_pcd_t * pcd)
  116879. +{
  116880. + gintmsk_data_t intr_mask = {.d32 = 0 };
  116881. + gintsts_data_t gintsts;
  116882. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n", "EOP");
  116883. +
  116884. + intr_mask.b.eopframe = 1;
  116885. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  116886. + intr_mask.d32, 0);
  116887. +
  116888. + /* Clear interrupt */
  116889. + gintsts.d32 = 0;
  116890. + gintsts.b.eopframe = 1;
  116891. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  116892. + gintsts.d32);
  116893. +
  116894. + return 1;
  116895. +}
  116896. +
  116897. +/**
  116898. + * This interrupt indicates that EP of the packet on the top of the
  116899. + * non-periodic Tx FIFO does not match EP of the IN Token received.
  116900. + *
  116901. + * The "Device IN Token Queue" Registers are read to determine the
  116902. + * order the IN Tokens have been received. The non-periodic Tx FIFO
  116903. + * is flushed, so it can be reloaded in the order seen in the IN Token
  116904. + * Queue.
  116905. + */
  116906. +int32_t dwc_otg_pcd_handle_ep_mismatch_intr(dwc_otg_pcd_t * pcd)
  116907. +{
  116908. + gintsts_data_t gintsts;
  116909. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116910. + dctl_data_t dctl;
  116911. + gintmsk_data_t intr_mask = {.d32 = 0 };
  116912. +
  116913. + if (!core_if->en_multiple_tx_fifo && core_if->dma_enable) {
  116914. + core_if->start_predict = 1;
  116915. +
  116916. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, core_if);
  116917. +
  116918. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  116919. + if (!gintsts.b.ginnakeff) {
  116920. + /* Disable EP Mismatch interrupt */
  116921. + intr_mask.d32 = 0;
  116922. + intr_mask.b.epmismatch = 1;
  116923. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, intr_mask.d32, 0);
  116924. + /* Enable the Global IN NAK Effective Interrupt */
  116925. + intr_mask.d32 = 0;
  116926. + intr_mask.b.ginnakeff = 1;
  116927. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, 0, intr_mask.d32);
  116928. + /* Set the global non-periodic IN NAK handshake */
  116929. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dctl);
  116930. + dctl.b.sgnpinnak = 1;
  116931. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32);
  116932. + } else {
  116933. + DWC_PRINTF("gintsts.b.ginnakeff = 1! dctl.b.sgnpinnak not set\n");
  116934. + }
  116935. + /* Disabling of all EP's will be done in dwc_otg_pcd_handle_in_nak_effective()
  116936. + * handler after Global IN NAK Effective interrupt will be asserted */
  116937. + }
  116938. + /* Clear interrupt */
  116939. + gintsts.d32 = 0;
  116940. + gintsts.b.epmismatch = 1;
  116941. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  116942. +
  116943. + return 1;
  116944. +}
  116945. +
  116946. +/**
  116947. + * This interrupt is valid only in DMA mode. This interrupt indicates that the
  116948. + * core has stopped fetching data for IN endpoints due to the unavailability of
  116949. + * TxFIFO space or Request Queue space. This interrupt is used by the
  116950. + * application for an endpoint mismatch algorithm.
  116951. + *
  116952. + * @param pcd The PCD
  116953. + */
  116954. +int32_t dwc_otg_pcd_handle_ep_fetsusp_intr(dwc_otg_pcd_t * pcd)
  116955. +{
  116956. + gintsts_data_t gintsts;
  116957. + gintmsk_data_t gintmsk_data;
  116958. + dctl_data_t dctl;
  116959. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  116960. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, core_if);
  116961. +
  116962. + /* Clear the global non-periodic IN NAK handshake */
  116963. + dctl.d32 = 0;
  116964. + dctl.b.cgnpinnak = 1;
  116965. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32, dctl.d32);
  116966. +
  116967. + /* Mask GINTSTS.FETSUSP interrupt */
  116968. + gintmsk_data.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  116969. + gintmsk_data.b.fetsusp = 0;
  116970. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, gintmsk_data.d32);
  116971. +
  116972. + /* Clear interrupt */
  116973. + gintsts.d32 = 0;
  116974. + gintsts.b.fetsusp = 1;
  116975. + DWC_WRITE_REG32(&core_if->core_global_regs->gintsts, gintsts.d32);
  116976. +
  116977. + return 1;
  116978. +}
  116979. +/**
  116980. + * This funcion stalls EP0.
  116981. + */
  116982. +static inline void ep0_do_stall(dwc_otg_pcd_t * pcd, const int err_val)
  116983. +{
  116984. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  116985. + usb_device_request_t *ctrl = &pcd->setup_pkt->req;
  116986. + DWC_WARN("req %02x.%02x protocol STALL; err %d\n",
  116987. + ctrl->bmRequestType, ctrl->bRequest, err_val);
  116988. +
  116989. + ep0->dwc_ep.is_in = 1;
  116990. + dwc_otg_ep_set_stall(GET_CORE_IF(pcd), &ep0->dwc_ep);
  116991. + pcd->ep0.stopped = 1;
  116992. + pcd->ep0state = EP0_IDLE;
  116993. + ep0_out_start(GET_CORE_IF(pcd), pcd);
  116994. +}
  116995. +
  116996. +/**
  116997. + * This functions delegates the setup command to the gadget driver.
  116998. + */
  116999. +static inline void do_gadget_setup(dwc_otg_pcd_t * pcd,
  117000. + usb_device_request_t * ctrl)
  117001. +{
  117002. + int ret = 0;
  117003. + DWC_SPINUNLOCK(pcd->lock);
  117004. + ret = pcd->fops->setup(pcd, (uint8_t *) ctrl);
  117005. + DWC_SPINLOCK(pcd->lock);
  117006. + if (ret < 0) {
  117007. + ep0_do_stall(pcd, ret);
  117008. + }
  117009. +
  117010. + /** @todo This is a g_file_storage gadget driver specific
  117011. + * workaround: a DELAYED_STATUS result from the fsg_setup
  117012. + * routine will result in the gadget queueing a EP0 IN status
  117013. + * phase for a two-stage control transfer. Exactly the same as
  117014. + * a SET_CONFIGURATION/SET_INTERFACE except that this is a class
  117015. + * specific request. Need a generic way to know when the gadget
  117016. + * driver will queue the status phase. Can we assume when we
  117017. + * call the gadget driver setup() function that it will always
  117018. + * queue and require the following flag? Need to look into
  117019. + * this.
  117020. + */
  117021. +
  117022. + if (ret == 256 + 999) {
  117023. + pcd->request_config = 1;
  117024. + }
  117025. +}
  117026. +
  117027. +#ifdef DWC_UTE_CFI
  117028. +/**
  117029. + * This functions delegates the CFI setup commands to the gadget driver.
  117030. + * This function will return a negative value to indicate a failure.
  117031. + */
  117032. +static inline int cfi_gadget_setup(dwc_otg_pcd_t * pcd,
  117033. + struct cfi_usb_ctrlrequest *ctrl_req)
  117034. +{
  117035. + int ret = 0;
  117036. +
  117037. + if (pcd->fops && pcd->fops->cfi_setup) {
  117038. + DWC_SPINUNLOCK(pcd->lock);
  117039. + ret = pcd->fops->cfi_setup(pcd, ctrl_req);
  117040. + DWC_SPINLOCK(pcd->lock);
  117041. + if (ret < 0) {
  117042. + ep0_do_stall(pcd, ret);
  117043. + return ret;
  117044. + }
  117045. + }
  117046. +
  117047. + return ret;
  117048. +}
  117049. +#endif
  117050. +
  117051. +/**
  117052. + * This function starts the Zero-Length Packet for the IN status phase
  117053. + * of a 2 stage control transfer.
  117054. + */
  117055. +static inline void do_setup_in_status_phase(dwc_otg_pcd_t * pcd)
  117056. +{
  117057. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  117058. + if (pcd->ep0state == EP0_STALL) {
  117059. + return;
  117060. + }
  117061. +
  117062. + pcd->ep0state = EP0_IN_STATUS_PHASE;
  117063. +
  117064. + /* Prepare for more SETUP Packets */
  117065. + DWC_DEBUGPL(DBG_PCD, "EP0 IN ZLP\n");
  117066. + if ((GET_CORE_IF(pcd)->snpsid >= OTG_CORE_REV_3_00a)
  117067. + && (pcd->core_if->dma_desc_enable)
  117068. + && (ep0->dwc_ep.xfer_count < ep0->dwc_ep.total_len)) {
  117069. + DWC_DEBUGPL(DBG_PCDV,
  117070. + "Data terminated wait next packet in out_desc_addr\n");
  117071. + pcd->backup_buf = phys_to_virt(ep0->dwc_ep.dma_addr);
  117072. + pcd->data_terminated = 1;
  117073. + }
  117074. + ep0->dwc_ep.xfer_len = 0;
  117075. + ep0->dwc_ep.xfer_count = 0;
  117076. + ep0->dwc_ep.is_in = 1;
  117077. + ep0->dwc_ep.dma_addr = pcd->setup_pkt_dma_handle;
  117078. + dwc_otg_ep0_start_transfer(GET_CORE_IF(pcd), &ep0->dwc_ep);
  117079. +
  117080. + /* Prepare for more SETUP Packets */
  117081. + //ep0_out_start(GET_CORE_IF(pcd), pcd);
  117082. +}
  117083. +
  117084. +/**
  117085. + * This function starts the Zero-Length Packet for the OUT status phase
  117086. + * of a 2 stage control transfer.
  117087. + */
  117088. +static inline void do_setup_out_status_phase(dwc_otg_pcd_t * pcd)
  117089. +{
  117090. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  117091. + if (pcd->ep0state == EP0_STALL) {
  117092. + DWC_DEBUGPL(DBG_PCD, "EP0 STALLED\n");
  117093. + return;
  117094. + }
  117095. + pcd->ep0state = EP0_OUT_STATUS_PHASE;
  117096. +
  117097. + DWC_DEBUGPL(DBG_PCD, "EP0 OUT ZLP\n");
  117098. + ep0->dwc_ep.xfer_len = 0;
  117099. + ep0->dwc_ep.xfer_count = 0;
  117100. + ep0->dwc_ep.is_in = 0;
  117101. + ep0->dwc_ep.dma_addr = pcd->setup_pkt_dma_handle;
  117102. + dwc_otg_ep0_start_transfer(GET_CORE_IF(pcd), &ep0->dwc_ep);
  117103. +
  117104. + /* Prepare for more SETUP Packets */
  117105. + if (GET_CORE_IF(pcd)->dma_enable == 0) {
  117106. + ep0_out_start(GET_CORE_IF(pcd), pcd);
  117107. + }
  117108. +}
  117109. +
  117110. +/**
  117111. + * Clear the EP halt (STALL) and if pending requests start the
  117112. + * transfer.
  117113. + */
  117114. +static inline void pcd_clear_halt(dwc_otg_pcd_t * pcd, dwc_otg_pcd_ep_t * ep)
  117115. +{
  117116. + if (ep->dwc_ep.stall_clear_flag == 0)
  117117. + dwc_otg_ep_clear_stall(GET_CORE_IF(pcd), &ep->dwc_ep);
  117118. +
  117119. + /* Reactive the EP */
  117120. + dwc_otg_ep_activate(GET_CORE_IF(pcd), &ep->dwc_ep);
  117121. + if (ep->stopped) {
  117122. + ep->stopped = 0;
  117123. + /* If there is a request in the EP queue start it */
  117124. +
  117125. + /** @todo FIXME: this causes an EP mismatch in DMA mode.
  117126. + * epmismatch not yet implemented. */
  117127. +
  117128. + /*
  117129. + * Above fixme is solved by implmenting a tasklet to call the
  117130. + * start_next_request(), outside of interrupt context at some
  117131. + * time after the current time, after a clear-halt setup packet.
  117132. + * Still need to implement ep mismatch in the future if a gadget
  117133. + * ever uses more than one endpoint at once
  117134. + */
  117135. + ep->queue_sof = 1;
  117136. + DWC_TASK_SCHEDULE(pcd->start_xfer_tasklet);
  117137. + }
  117138. + /* Start Control Status Phase */
  117139. + do_setup_in_status_phase(pcd);
  117140. +}
  117141. +
  117142. +/**
  117143. + * This function is called when the SET_FEATURE TEST_MODE Setup packet
  117144. + * is sent from the host. The Device Control register is written with
  117145. + * the Test Mode bits set to the specified Test Mode. This is done as
  117146. + * a tasklet so that the "Status" phase of the control transfer
  117147. + * completes before transmitting the TEST packets.
  117148. + *
  117149. + * @todo This has not been tested since the tasklet struct was put
  117150. + * into the PCD struct!
  117151. + *
  117152. + */
  117153. +void do_test_mode(void *data)
  117154. +{
  117155. + dctl_data_t dctl;
  117156. + dwc_otg_pcd_t *pcd = (dwc_otg_pcd_t *) data;
  117157. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  117158. + int test_mode = pcd->test_mode;
  117159. +
  117160. +// DWC_WARN("%s() has not been tested since being rewritten!\n", __func__);
  117161. +
  117162. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dctl);
  117163. + switch (test_mode) {
  117164. + case 1: // TEST_J
  117165. + dctl.b.tstctl = 1;
  117166. + break;
  117167. +
  117168. + case 2: // TEST_K
  117169. + dctl.b.tstctl = 2;
  117170. + break;
  117171. +
  117172. + case 3: // TEST_SE0_NAK
  117173. + dctl.b.tstctl = 3;
  117174. + break;
  117175. +
  117176. + case 4: // TEST_PACKET
  117177. + dctl.b.tstctl = 4;
  117178. + break;
  117179. +
  117180. + case 5: // TEST_FORCE_ENABLE
  117181. + dctl.b.tstctl = 5;
  117182. + break;
  117183. + }
  117184. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32);
  117185. +}
  117186. +
  117187. +/**
  117188. + * This function process the GET_STATUS Setup Commands.
  117189. + */
  117190. +static inline void do_get_status(dwc_otg_pcd_t * pcd)
  117191. +{
  117192. + usb_device_request_t ctrl = pcd->setup_pkt->req;
  117193. + dwc_otg_pcd_ep_t *ep;
  117194. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  117195. + uint16_t *status = pcd->status_buf;
  117196. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  117197. +
  117198. +#ifdef DEBUG_EP0
  117199. + DWC_DEBUGPL(DBG_PCD,
  117200. + "GET_STATUS %02x.%02x v%04x i%04x l%04x\n",
  117201. + ctrl.bmRequestType, ctrl.bRequest,
  117202. + UGETW(ctrl.wValue), UGETW(ctrl.wIndex),
  117203. + UGETW(ctrl.wLength));
  117204. +#endif
  117205. +
  117206. + switch (UT_GET_RECIPIENT(ctrl.bmRequestType)) {
  117207. + case UT_DEVICE:
  117208. + if(UGETW(ctrl.wIndex) == 0xF000) { /* OTG Status selector */
  117209. + DWC_PRINTF("wIndex - %d\n", UGETW(ctrl.wIndex));
  117210. + DWC_PRINTF("OTG VERSION - %d\n", core_if->otg_ver);
  117211. + DWC_PRINTF("OTG CAP - %d, %d\n",
  117212. + core_if->core_params->otg_cap,
  117213. + DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE);
  117214. + if (core_if->otg_ver == 1
  117215. + && core_if->core_params->otg_cap ==
  117216. + DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE) {
  117217. + uint8_t *otgsts = (uint8_t*)pcd->status_buf;
  117218. + *otgsts = (core_if->otg_sts & 0x1);
  117219. + pcd->ep0_pending = 1;
  117220. + ep0->dwc_ep.start_xfer_buff =
  117221. + (uint8_t *) otgsts;
  117222. + ep0->dwc_ep.xfer_buff = (uint8_t *) otgsts;
  117223. + ep0->dwc_ep.dma_addr =
  117224. + pcd->status_buf_dma_handle;
  117225. + ep0->dwc_ep.xfer_len = 1;
  117226. + ep0->dwc_ep.xfer_count = 0;
  117227. + ep0->dwc_ep.total_len = ep0->dwc_ep.xfer_len;
  117228. + dwc_otg_ep0_start_transfer(GET_CORE_IF(pcd),
  117229. + &ep0->dwc_ep);
  117230. + return;
  117231. + } else {
  117232. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117233. + return;
  117234. + }
  117235. + break;
  117236. + } else {
  117237. + *status = 0x1; /* Self powered */
  117238. + *status |= pcd->remote_wakeup_enable << 1;
  117239. + break;
  117240. + }
  117241. + case UT_INTERFACE:
  117242. + *status = 0;
  117243. + break;
  117244. +
  117245. + case UT_ENDPOINT:
  117246. + ep = get_ep_by_addr(pcd, UGETW(ctrl.wIndex));
  117247. + if (ep == 0 || UGETW(ctrl.wLength) > 2) {
  117248. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117249. + return;
  117250. + }
  117251. + /** @todo check for EP stall */
  117252. + *status = ep->stopped;
  117253. + break;
  117254. + }
  117255. + pcd->ep0_pending = 1;
  117256. + ep0->dwc_ep.start_xfer_buff = (uint8_t *) status;
  117257. + ep0->dwc_ep.xfer_buff = (uint8_t *) status;
  117258. + ep0->dwc_ep.dma_addr = pcd->status_buf_dma_handle;
  117259. + ep0->dwc_ep.xfer_len = 2;
  117260. + ep0->dwc_ep.xfer_count = 0;
  117261. + ep0->dwc_ep.total_len = ep0->dwc_ep.xfer_len;
  117262. + dwc_otg_ep0_start_transfer(GET_CORE_IF(pcd), &ep0->dwc_ep);
  117263. +}
  117264. +
  117265. +/**
  117266. + * This function process the SET_FEATURE Setup Commands.
  117267. + */
  117268. +static inline void do_set_feature(dwc_otg_pcd_t * pcd)
  117269. +{
  117270. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  117271. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  117272. + usb_device_request_t ctrl = pcd->setup_pkt->req;
  117273. + dwc_otg_pcd_ep_t *ep = 0;
  117274. + int32_t otg_cap_param = core_if->core_params->otg_cap;
  117275. + gotgctl_data_t gotgctl = {.d32 = 0 };
  117276. +
  117277. + DWC_DEBUGPL(DBG_PCD, "SET_FEATURE:%02x.%02x v%04x i%04x l%04x\n",
  117278. + ctrl.bmRequestType, ctrl.bRequest,
  117279. + UGETW(ctrl.wValue), UGETW(ctrl.wIndex),
  117280. + UGETW(ctrl.wLength));
  117281. + DWC_DEBUGPL(DBG_PCD, "otg_cap=%d\n", otg_cap_param);
  117282. +
  117283. + switch (UT_GET_RECIPIENT(ctrl.bmRequestType)) {
  117284. + case UT_DEVICE:
  117285. + switch (UGETW(ctrl.wValue)) {
  117286. + case UF_DEVICE_REMOTE_WAKEUP:
  117287. + pcd->remote_wakeup_enable = 1;
  117288. + break;
  117289. +
  117290. + case UF_TEST_MODE:
  117291. + /* Setup the Test Mode tasklet to do the Test
  117292. + * Packet generation after the SETUP Status
  117293. + * phase has completed. */
  117294. +
  117295. + /** @todo This has not been tested since the
  117296. + * tasklet struct was put into the PCD
  117297. + * struct! */
  117298. + pcd->test_mode = UGETW(ctrl.wIndex) >> 8;
  117299. + DWC_TASK_SCHEDULE(pcd->test_mode_tasklet);
  117300. + break;
  117301. +
  117302. + case UF_DEVICE_B_HNP_ENABLE:
  117303. + DWC_DEBUGPL(DBG_PCDV,
  117304. + "SET_FEATURE: USB_DEVICE_B_HNP_ENABLE\n");
  117305. +
  117306. + /* dev may initiate HNP */
  117307. + if (otg_cap_param == DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE) {
  117308. + pcd->b_hnp_enable = 1;
  117309. + dwc_otg_pcd_update_otg(pcd, 0);
  117310. + DWC_DEBUGPL(DBG_PCD, "Request B HNP\n");
  117311. + /**@todo Is the gotgctl.devhnpen cleared
  117312. + * by a USB Reset? */
  117313. + gotgctl.b.devhnpen = 1;
  117314. + gotgctl.b.hnpreq = 1;
  117315. + DWC_WRITE_REG32(&global_regs->gotgctl,
  117316. + gotgctl.d32);
  117317. + } else {
  117318. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117319. + return;
  117320. + }
  117321. + break;
  117322. +
  117323. + case UF_DEVICE_A_HNP_SUPPORT:
  117324. + /* RH port supports HNP */
  117325. + DWC_DEBUGPL(DBG_PCDV,
  117326. + "SET_FEATURE: USB_DEVICE_A_HNP_SUPPORT\n");
  117327. + if (otg_cap_param == DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE) {
  117328. + pcd->a_hnp_support = 1;
  117329. + dwc_otg_pcd_update_otg(pcd, 0);
  117330. + } else {
  117331. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117332. + return;
  117333. + }
  117334. + break;
  117335. +
  117336. + case UF_DEVICE_A_ALT_HNP_SUPPORT:
  117337. + /* other RH port does */
  117338. + DWC_DEBUGPL(DBG_PCDV,
  117339. + "SET_FEATURE: USB_DEVICE_A_ALT_HNP_SUPPORT\n");
  117340. + if (otg_cap_param == DWC_OTG_CAP_PARAM_HNP_SRP_CAPABLE) {
  117341. + pcd->a_alt_hnp_support = 1;
  117342. + dwc_otg_pcd_update_otg(pcd, 0);
  117343. + } else {
  117344. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117345. + return;
  117346. + }
  117347. + break;
  117348. +
  117349. + default:
  117350. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117351. + return;
  117352. +
  117353. + }
  117354. + do_setup_in_status_phase(pcd);
  117355. + break;
  117356. +
  117357. + case UT_INTERFACE:
  117358. + do_gadget_setup(pcd, &ctrl);
  117359. + break;
  117360. +
  117361. + case UT_ENDPOINT:
  117362. + if (UGETW(ctrl.wValue) == UF_ENDPOINT_HALT) {
  117363. + ep = get_ep_by_addr(pcd, UGETW(ctrl.wIndex));
  117364. + if (ep == 0) {
  117365. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117366. + return;
  117367. + }
  117368. + ep->stopped = 1;
  117369. + dwc_otg_ep_set_stall(core_if, &ep->dwc_ep);
  117370. + }
  117371. + do_setup_in_status_phase(pcd);
  117372. + break;
  117373. + }
  117374. +}
  117375. +
  117376. +/**
  117377. + * This function process the CLEAR_FEATURE Setup Commands.
  117378. + */
  117379. +static inline void do_clear_feature(dwc_otg_pcd_t * pcd)
  117380. +{
  117381. + usb_device_request_t ctrl = pcd->setup_pkt->req;
  117382. + dwc_otg_pcd_ep_t *ep = 0;
  117383. +
  117384. + DWC_DEBUGPL(DBG_PCD,
  117385. + "CLEAR_FEATURE:%02x.%02x v%04x i%04x l%04x\n",
  117386. + ctrl.bmRequestType, ctrl.bRequest,
  117387. + UGETW(ctrl.wValue), UGETW(ctrl.wIndex),
  117388. + UGETW(ctrl.wLength));
  117389. +
  117390. + switch (UT_GET_RECIPIENT(ctrl.bmRequestType)) {
  117391. + case UT_DEVICE:
  117392. + switch (UGETW(ctrl.wValue)) {
  117393. + case UF_DEVICE_REMOTE_WAKEUP:
  117394. + pcd->remote_wakeup_enable = 0;
  117395. + break;
  117396. +
  117397. + case UF_TEST_MODE:
  117398. + /** @todo Add CLEAR_FEATURE for TEST modes. */
  117399. + break;
  117400. +
  117401. + default:
  117402. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117403. + return;
  117404. + }
  117405. + do_setup_in_status_phase(pcd);
  117406. + break;
  117407. +
  117408. + case UT_ENDPOINT:
  117409. + ep = get_ep_by_addr(pcd, UGETW(ctrl.wIndex));
  117410. + if (ep == 0) {
  117411. + ep0_do_stall(pcd, -DWC_E_NOT_SUPPORTED);
  117412. + return;
  117413. + }
  117414. +
  117415. + pcd_clear_halt(pcd, ep);
  117416. +
  117417. + break;
  117418. + }
  117419. +}
  117420. +
  117421. +/**
  117422. + * This function process the SET_ADDRESS Setup Commands.
  117423. + */
  117424. +static inline void do_set_address(dwc_otg_pcd_t * pcd)
  117425. +{
  117426. + dwc_otg_dev_if_t *dev_if = GET_CORE_IF(pcd)->dev_if;
  117427. + usb_device_request_t ctrl = pcd->setup_pkt->req;
  117428. +
  117429. + if (ctrl.bmRequestType == UT_DEVICE) {
  117430. + dcfg_data_t dcfg = {.d32 = 0 };
  117431. +
  117432. +#ifdef DEBUG_EP0
  117433. +// DWC_DEBUGPL(DBG_PCDV, "SET_ADDRESS:%d\n", ctrl.wValue);
  117434. +#endif
  117435. + dcfg.b.devaddr = UGETW(ctrl.wValue);
  117436. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dcfg, 0, dcfg.d32);
  117437. + do_setup_in_status_phase(pcd);
  117438. + }
  117439. +}
  117440. +
  117441. +/**
  117442. + * This function processes SETUP commands. In Linux, the USB Command
  117443. + * processing is done in two places - the first being the PCD and the
  117444. + * second in the Gadget Driver (for example, the File-Backed Storage
  117445. + * Gadget Driver).
  117446. + *
  117447. + * <table>
  117448. + * <tr><td>Command </td><td>Driver </td><td>Description</td></tr>
  117449. + *
  117450. + * <tr><td>GET_STATUS </td><td>PCD </td><td>Command is processed as
  117451. + * defined in chapter 9 of the USB 2.0 Specification chapter 9
  117452. + * </td></tr>
  117453. + *
  117454. + * <tr><td>CLEAR_FEATURE </td><td>PCD </td><td>The Device and Endpoint
  117455. + * requests are the ENDPOINT_HALT feature is procesed, all others the
  117456. + * interface requests are ignored.</td></tr>
  117457. + *
  117458. + * <tr><td>SET_FEATURE </td><td>PCD </td><td>The Device and Endpoint
  117459. + * requests are processed by the PCD. Interface requests are passed
  117460. + * to the Gadget Driver.</td></tr>
  117461. + *
  117462. + * <tr><td>SET_ADDRESS </td><td>PCD </td><td>Program the DCFG reg,
  117463. + * with device address received </td></tr>
  117464. + *
  117465. + * <tr><td>GET_DESCRIPTOR </td><td>Gadget Driver </td><td>Return the
  117466. + * requested descriptor</td></tr>
  117467. + *
  117468. + * <tr><td>SET_DESCRIPTOR </td><td>Gadget Driver </td><td>Optional -
  117469. + * not implemented by any of the existing Gadget Drivers.</td></tr>
  117470. + *
  117471. + * <tr><td>SET_CONFIGURATION </td><td>Gadget Driver </td><td>Disable
  117472. + * all EPs and enable EPs for new configuration.</td></tr>
  117473. + *
  117474. + * <tr><td>GET_CONFIGURATION </td><td>Gadget Driver </td><td>Return
  117475. + * the current configuration</td></tr>
  117476. + *
  117477. + * <tr><td>SET_INTERFACE </td><td>Gadget Driver </td><td>Disable all
  117478. + * EPs and enable EPs for new configuration.</td></tr>
  117479. + *
  117480. + * <tr><td>GET_INTERFACE </td><td>Gadget Driver </td><td>Return the
  117481. + * current interface.</td></tr>
  117482. + *
  117483. + * <tr><td>SYNC_FRAME </td><td>PCD </td><td>Display debug
  117484. + * message.</td></tr>
  117485. + * </table>
  117486. + *
  117487. + * When the SETUP Phase Done interrupt occurs, the PCD SETUP commands are
  117488. + * processed by pcd_setup. Calling the Function Driver's setup function from
  117489. + * pcd_setup processes the gadget SETUP commands.
  117490. + */
  117491. +static inline void pcd_setup(dwc_otg_pcd_t * pcd)
  117492. +{
  117493. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  117494. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  117495. + usb_device_request_t ctrl = pcd->setup_pkt->req;
  117496. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  117497. +
  117498. + deptsiz0_data_t doeptsize0 = {.d32 = 0 };
  117499. +
  117500. +#ifdef DWC_UTE_CFI
  117501. + int retval = 0;
  117502. + struct cfi_usb_ctrlrequest cfi_req;
  117503. +#endif
  117504. +
  117505. + doeptsize0.d32 = DWC_READ_REG32(&dev_if->out_ep_regs[0]->doeptsiz);
  117506. +
  117507. + /** In BDMA more then 1 setup packet is not supported till 3.00a */
  117508. + if (core_if->dma_enable && core_if->dma_desc_enable == 0
  117509. + && (doeptsize0.b.supcnt < 2)
  117510. + && (core_if->snpsid < OTG_CORE_REV_2_94a)) {
  117511. + DWC_ERROR
  117512. + ("\n\n----------- CANNOT handle > 1 setup packet in DMA mode\n\n");
  117513. + }
  117514. + if ((core_if->snpsid >= OTG_CORE_REV_3_00a)
  117515. + && (core_if->dma_enable == 1) && (core_if->dma_desc_enable == 0)) {
  117516. + ctrl =
  117517. + (pcd->setup_pkt +
  117518. + (3 - doeptsize0.b.supcnt - 1 +
  117519. + ep0->dwc_ep.stp_rollover))->req;
  117520. + }
  117521. +#ifdef DEBUG_EP0
  117522. + DWC_DEBUGPL(DBG_PCD, "SETUP %02x.%02x v%04x i%04x l%04x\n",
  117523. + ctrl.bmRequestType, ctrl.bRequest,
  117524. + UGETW(ctrl.wValue), UGETW(ctrl.wIndex),
  117525. + UGETW(ctrl.wLength));
  117526. +#endif
  117527. +
  117528. + /* Clean up the request queue */
  117529. + dwc_otg_request_nuke(ep0);
  117530. + ep0->stopped = 0;
  117531. +
  117532. + if (ctrl.bmRequestType & UE_DIR_IN) {
  117533. + ep0->dwc_ep.is_in = 1;
  117534. + pcd->ep0state = EP0_IN_DATA_PHASE;
  117535. + } else {
  117536. + ep0->dwc_ep.is_in = 0;
  117537. + pcd->ep0state = EP0_OUT_DATA_PHASE;
  117538. + }
  117539. +
  117540. + if (UGETW(ctrl.wLength) == 0) {
  117541. + ep0->dwc_ep.is_in = 1;
  117542. + pcd->ep0state = EP0_IN_STATUS_PHASE;
  117543. + }
  117544. +
  117545. + if (UT_GET_TYPE(ctrl.bmRequestType) != UT_STANDARD) {
  117546. +
  117547. +#ifdef DWC_UTE_CFI
  117548. + DWC_MEMCPY(&cfi_req, &ctrl, sizeof(usb_device_request_t));
  117549. +
  117550. + //printk(KERN_ALERT "CFI: req_type=0x%02x; req=0x%02x\n",
  117551. + ctrl.bRequestType, ctrl.bRequest);
  117552. + if (UT_GET_TYPE(cfi_req.bRequestType) == UT_VENDOR) {
  117553. + if (cfi_req.bRequest > 0xB0 && cfi_req.bRequest < 0xBF) {
  117554. + retval = cfi_setup(pcd, &cfi_req);
  117555. + if (retval < 0) {
  117556. + ep0_do_stall(pcd, retval);
  117557. + pcd->ep0_pending = 0;
  117558. + return;
  117559. + }
  117560. +
  117561. + /* if need gadget setup then call it and check the retval */
  117562. + if (pcd->cfi->need_gadget_att) {
  117563. + retval =
  117564. + cfi_gadget_setup(pcd,
  117565. + &pcd->
  117566. + cfi->ctrl_req);
  117567. + if (retval < 0) {
  117568. + pcd->ep0_pending = 0;
  117569. + return;
  117570. + }
  117571. + }
  117572. +
  117573. + if (pcd->cfi->need_status_in_complete) {
  117574. + do_setup_in_status_phase(pcd);
  117575. + }
  117576. + return;
  117577. + }
  117578. + }
  117579. +#endif
  117580. +
  117581. + /* handle non-standard (class/vendor) requests in the gadget driver */
  117582. + do_gadget_setup(pcd, &ctrl);
  117583. + return;
  117584. + }
  117585. +
  117586. + /** @todo NGS: Handle bad setup packet? */
  117587. +
  117588. +///////////////////////////////////////////
  117589. +//// --- Standard Request handling --- ////
  117590. +
  117591. + switch (ctrl.bRequest) {
  117592. + case UR_GET_STATUS:
  117593. + do_get_status(pcd);
  117594. + break;
  117595. +
  117596. + case UR_CLEAR_FEATURE:
  117597. + do_clear_feature(pcd);
  117598. + break;
  117599. +
  117600. + case UR_SET_FEATURE:
  117601. + do_set_feature(pcd);
  117602. + break;
  117603. +
  117604. + case UR_SET_ADDRESS:
  117605. + do_set_address(pcd);
  117606. + break;
  117607. +
  117608. + case UR_SET_INTERFACE:
  117609. + case UR_SET_CONFIG:
  117610. +// _pcd->request_config = 1; /* Configuration changed */
  117611. + do_gadget_setup(pcd, &ctrl);
  117612. + break;
  117613. +
  117614. + case UR_SYNCH_FRAME:
  117615. + do_gadget_setup(pcd, &ctrl);
  117616. + break;
  117617. +
  117618. + default:
  117619. + /* Call the Gadget Driver's setup functions */
  117620. + do_gadget_setup(pcd, &ctrl);
  117621. + break;
  117622. + }
  117623. +}
  117624. +
  117625. +/**
  117626. + * This function completes the ep0 control transfer.
  117627. + */
  117628. +static int32_t ep0_complete_request(dwc_otg_pcd_ep_t * ep)
  117629. +{
  117630. + dwc_otg_core_if_t *core_if = GET_CORE_IF(ep->pcd);
  117631. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  117632. + dwc_otg_dev_in_ep_regs_t *in_ep_regs =
  117633. + dev_if->in_ep_regs[ep->dwc_ep.num];
  117634. +#ifdef DEBUG_EP0
  117635. + dwc_otg_dev_out_ep_regs_t *out_ep_regs =
  117636. + dev_if->out_ep_regs[ep->dwc_ep.num];
  117637. +#endif
  117638. + deptsiz0_data_t deptsiz;
  117639. + dev_dma_desc_sts_t desc_sts;
  117640. + dwc_otg_pcd_request_t *req;
  117641. + int is_last = 0;
  117642. + dwc_otg_pcd_t *pcd = ep->pcd;
  117643. +
  117644. +#ifdef DWC_UTE_CFI
  117645. + struct cfi_usb_ctrlrequest *ctrlreq;
  117646. + int retval = -DWC_E_NOT_SUPPORTED;
  117647. +#endif
  117648. +
  117649. + desc_sts.b.bytes = 0;
  117650. +
  117651. + if (pcd->ep0_pending && DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  117652. + if (ep->dwc_ep.is_in) {
  117653. +#ifdef DEBUG_EP0
  117654. + DWC_DEBUGPL(DBG_PCDV, "Do setup OUT status phase\n");
  117655. +#endif
  117656. + do_setup_out_status_phase(pcd);
  117657. + } else {
  117658. +#ifdef DEBUG_EP0
  117659. + DWC_DEBUGPL(DBG_PCDV, "Do setup IN status phase\n");
  117660. +#endif
  117661. +
  117662. +#ifdef DWC_UTE_CFI
  117663. + ctrlreq = &pcd->cfi->ctrl_req;
  117664. +
  117665. + if (UT_GET_TYPE(ctrlreq->bRequestType) == UT_VENDOR) {
  117666. + if (ctrlreq->bRequest > 0xB0
  117667. + && ctrlreq->bRequest < 0xBF) {
  117668. +
  117669. + /* Return if the PCD failed to handle the request */
  117670. + if ((retval =
  117671. + pcd->cfi->ops.
  117672. + ctrl_write_complete(pcd->cfi,
  117673. + pcd)) < 0) {
  117674. + CFI_INFO
  117675. + ("ERROR setting a new value in the PCD(%d)\n",
  117676. + retval);
  117677. + ep0_do_stall(pcd, retval);
  117678. + pcd->ep0_pending = 0;
  117679. + return 0;
  117680. + }
  117681. +
  117682. + /* If the gadget needs to be notified on the request */
  117683. + if (pcd->cfi->need_gadget_att == 1) {
  117684. + //retval = do_gadget_setup(pcd, &pcd->cfi->ctrl_req);
  117685. + retval =
  117686. + cfi_gadget_setup(pcd,
  117687. + &pcd->cfi->
  117688. + ctrl_req);
  117689. +
  117690. + /* Return from the function if the gadget failed to process
  117691. + * the request properly - this should never happen !!!
  117692. + */
  117693. + if (retval < 0) {
  117694. + CFI_INFO
  117695. + ("ERROR setting a new value in the gadget(%d)\n",
  117696. + retval);
  117697. + pcd->ep0_pending = 0;
  117698. + return 0;
  117699. + }
  117700. + }
  117701. +
  117702. + CFI_INFO("%s: RETVAL=%d\n", __func__,
  117703. + retval);
  117704. + /* If we hit here then the PCD and the gadget has properly
  117705. + * handled the request - so send the ZLP IN to the host.
  117706. + */
  117707. + /* @todo: MAS - decide whether we need to start the setup
  117708. + * stage based on the need_setup value of the cfi object
  117709. + */
  117710. + do_setup_in_status_phase(pcd);
  117711. + pcd->ep0_pending = 0;
  117712. + return 1;
  117713. + }
  117714. + }
  117715. +#endif
  117716. +
  117717. + do_setup_in_status_phase(pcd);
  117718. + }
  117719. + pcd->ep0_pending = 0;
  117720. + return 1;
  117721. + }
  117722. +
  117723. + if (DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  117724. + return 0;
  117725. + }
  117726. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  117727. +
  117728. + if (pcd->ep0state == EP0_OUT_STATUS_PHASE
  117729. + || pcd->ep0state == EP0_IN_STATUS_PHASE) {
  117730. + is_last = 1;
  117731. + } else if (ep->dwc_ep.is_in) {
  117732. + deptsiz.d32 = DWC_READ_REG32(&in_ep_regs->dieptsiz);
  117733. + if (core_if->dma_desc_enable != 0)
  117734. + desc_sts = dev_if->in_desc_addr->status;
  117735. +#ifdef DEBUG_EP0
  117736. + DWC_DEBUGPL(DBG_PCDV, "%d len=%d xfersize=%d pktcnt=%d\n",
  117737. + ep->dwc_ep.num, ep->dwc_ep.xfer_len,
  117738. + deptsiz.b.xfersize, deptsiz.b.pktcnt);
  117739. +#endif
  117740. +
  117741. + if (((core_if->dma_desc_enable == 0)
  117742. + && (deptsiz.b.xfersize == 0))
  117743. + || ((core_if->dma_desc_enable != 0)
  117744. + && (desc_sts.b.bytes == 0))) {
  117745. + req->actual = ep->dwc_ep.xfer_count;
  117746. + /* Is a Zero Len Packet needed? */
  117747. + if (req->sent_zlp) {
  117748. +#ifdef DEBUG_EP0
  117749. + DWC_DEBUGPL(DBG_PCD, "Setup Rx ZLP\n");
  117750. +#endif
  117751. + req->sent_zlp = 0;
  117752. + }
  117753. + do_setup_out_status_phase(pcd);
  117754. + }
  117755. + } else {
  117756. + /* ep0-OUT */
  117757. +#ifdef DEBUG_EP0
  117758. + deptsiz.d32 = DWC_READ_REG32(&out_ep_regs->doeptsiz);
  117759. + DWC_DEBUGPL(DBG_PCDV, "%d len=%d xsize=%d pktcnt=%d\n",
  117760. + ep->dwc_ep.num, ep->dwc_ep.xfer_len,
  117761. + deptsiz.b.xfersize, deptsiz.b.pktcnt);
  117762. +#endif
  117763. + req->actual = ep->dwc_ep.xfer_count;
  117764. +
  117765. + /* Is a Zero Len Packet needed? */
  117766. + if (req->sent_zlp) {
  117767. +#ifdef DEBUG_EP0
  117768. + DWC_DEBUGPL(DBG_PCDV, "Setup Tx ZLP\n");
  117769. +#endif
  117770. + req->sent_zlp = 0;
  117771. + }
  117772. + /* For older cores do setup in status phase in Slave/BDMA modes,
  117773. + * starting from 3.00 do that only in slave, and for DMA modes
  117774. + * just re-enable ep 0 OUT here*/
  117775. + if (core_if->dma_enable == 0
  117776. + || (core_if->dma_desc_enable == 0
  117777. + && core_if->snpsid <= OTG_CORE_REV_2_94a)) {
  117778. + do_setup_in_status_phase(pcd);
  117779. + } else if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  117780. + DWC_DEBUGPL(DBG_PCDV,
  117781. + "Enable out ep before in status phase\n");
  117782. + ep0_out_start(core_if, pcd);
  117783. + }
  117784. + }
  117785. +
  117786. + /* Complete the request */
  117787. + if (is_last) {
  117788. + dwc_otg_request_done(ep, req, 0);
  117789. + ep->dwc_ep.start_xfer_buff = 0;
  117790. + ep->dwc_ep.xfer_buff = 0;
  117791. + ep->dwc_ep.xfer_len = 0;
  117792. + return 1;
  117793. + }
  117794. + return 0;
  117795. +}
  117796. +
  117797. +#ifdef DWC_UTE_CFI
  117798. +/**
  117799. + * This function calculates traverses all the CFI DMA descriptors and
  117800. + * and accumulates the bytes that are left to be transfered.
  117801. + *
  117802. + * @return The total bytes left to transfered, or a negative value as failure
  117803. + */
  117804. +static inline int cfi_calc_desc_residue(dwc_otg_pcd_ep_t * ep)
  117805. +{
  117806. + int32_t ret = 0;
  117807. + int i;
  117808. + struct dwc_otg_dma_desc *ddesc = NULL;
  117809. + struct cfi_ep *cfiep;
  117810. +
  117811. + /* See if the pcd_ep has its respective cfi_ep mapped */
  117812. + cfiep = get_cfi_ep_by_pcd_ep(ep->pcd->cfi, ep);
  117813. + if (!cfiep) {
  117814. + CFI_INFO("%s: Failed to find ep\n", __func__);
  117815. + return -1;
  117816. + }
  117817. +
  117818. + ddesc = ep->dwc_ep.descs;
  117819. +
  117820. + for (i = 0; (i < cfiep->desc_count) && (i < MAX_DMA_DESCS_PER_EP); i++) {
  117821. +
  117822. +#if defined(PRINT_CFI_DMA_DESCS)
  117823. + print_desc(ddesc, ep->ep.name, i);
  117824. +#endif
  117825. + ret += ddesc->status.b.bytes;
  117826. + ddesc++;
  117827. + }
  117828. +
  117829. + if (ret)
  117830. + CFI_INFO("!!!!!!!!!! WARNING (%s) - residue=%d\n", __func__,
  117831. + ret);
  117832. +
  117833. + return ret;
  117834. +}
  117835. +#endif
  117836. +
  117837. +/**
  117838. + * This function completes the request for the EP. If there are
  117839. + * additional requests for the EP in the queue they will be started.
  117840. + */
  117841. +static void complete_ep(dwc_otg_pcd_ep_t * ep)
  117842. +{
  117843. + dwc_otg_core_if_t *core_if = GET_CORE_IF(ep->pcd);
  117844. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  117845. + dwc_otg_dev_in_ep_regs_t *in_ep_regs =
  117846. + dev_if->in_ep_regs[ep->dwc_ep.num];
  117847. + deptsiz_data_t deptsiz;
  117848. + dev_dma_desc_sts_t desc_sts;
  117849. + dwc_otg_pcd_request_t *req = 0;
  117850. + dwc_otg_dev_dma_desc_t *dma_desc;
  117851. + uint32_t byte_count = 0;
  117852. + int is_last = 0;
  117853. + int i;
  117854. +
  117855. + DWC_DEBUGPL(DBG_PCDV, "%s() %d-%s\n", __func__, ep->dwc_ep.num,
  117856. + (ep->dwc_ep.is_in ? "IN" : "OUT"));
  117857. +
  117858. + /* Get any pending requests */
  117859. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  117860. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  117861. + if (!req) {
  117862. + DWC_PRINTF("complete_ep 0x%p, req = NULL!\n", ep);
  117863. + return;
  117864. + }
  117865. + } else {
  117866. + DWC_PRINTF("complete_ep 0x%p, ep->queue empty!\n", ep);
  117867. + return;
  117868. + }
  117869. +
  117870. + DWC_DEBUGPL(DBG_PCD, "Requests %d\n", ep->pcd->request_pending);
  117871. +
  117872. + if (ep->dwc_ep.is_in) {
  117873. + deptsiz.d32 = DWC_READ_REG32(&in_ep_regs->dieptsiz);
  117874. +
  117875. + if (core_if->dma_enable) {
  117876. + if (core_if->dma_desc_enable == 0) {
  117877. + if (deptsiz.b.xfersize == 0
  117878. + && deptsiz.b.pktcnt == 0) {
  117879. + byte_count =
  117880. + ep->dwc_ep.xfer_len -
  117881. + ep->dwc_ep.xfer_count;
  117882. +
  117883. + ep->dwc_ep.xfer_buff += byte_count;
  117884. + ep->dwc_ep.dma_addr += byte_count;
  117885. + ep->dwc_ep.xfer_count += byte_count;
  117886. +
  117887. + DWC_DEBUGPL(DBG_PCDV,
  117888. + "%d-%s len=%d xfersize=%d pktcnt=%d\n",
  117889. + ep->dwc_ep.num,
  117890. + (ep->dwc_ep.
  117891. + is_in ? "IN" : "OUT"),
  117892. + ep->dwc_ep.xfer_len,
  117893. + deptsiz.b.xfersize,
  117894. + deptsiz.b.pktcnt);
  117895. +
  117896. + if (ep->dwc_ep.xfer_len <
  117897. + ep->dwc_ep.total_len) {
  117898. + dwc_otg_ep_start_transfer
  117899. + (core_if, &ep->dwc_ep);
  117900. + } else if (ep->dwc_ep.sent_zlp) {
  117901. + /*
  117902. + * This fragment of code should initiate 0
  117903. + * length transfer in case if it is queued
  117904. + * a transfer with size divisible to EPs max
  117905. + * packet size and with usb_request zero field
  117906. + * is set, which means that after data is transfered,
  117907. + * it is also should be transfered
  117908. + * a 0 length packet at the end. For Slave and
  117909. + * Buffer DMA modes in this case SW has
  117910. + * to initiate 2 transfers one with transfer size,
  117911. + * and the second with 0 size. For Descriptor
  117912. + * DMA mode SW is able to initiate a transfer,
  117913. + * which will handle all the packets including
  117914. + * the last 0 length.
  117915. + */
  117916. + ep->dwc_ep.sent_zlp = 0;
  117917. + dwc_otg_ep_start_zl_transfer
  117918. + (core_if, &ep->dwc_ep);
  117919. + } else {
  117920. + is_last = 1;
  117921. + }
  117922. + } else {
  117923. + if (ep->dwc_ep.type ==
  117924. + DWC_OTG_EP_TYPE_ISOC) {
  117925. + req->actual = 0;
  117926. + dwc_otg_request_done(ep, req, 0);
  117927. +
  117928. + ep->dwc_ep.start_xfer_buff = 0;
  117929. + ep->dwc_ep.xfer_buff = 0;
  117930. + ep->dwc_ep.xfer_len = 0;
  117931. +
  117932. + /* If there is a request in the queue start it. */
  117933. + start_next_request(ep);
  117934. + } else
  117935. + DWC_WARN
  117936. + ("Incomplete transfer (%d - %s [siz=%d pkt=%d])\n",
  117937. + ep->dwc_ep.num,
  117938. + (ep->dwc_ep.is_in ? "IN" : "OUT"),
  117939. + deptsiz.b.xfersize,
  117940. + deptsiz.b.pktcnt);
  117941. + }
  117942. + } else {
  117943. + dma_desc = ep->dwc_ep.desc_addr;
  117944. + byte_count = 0;
  117945. + ep->dwc_ep.sent_zlp = 0;
  117946. +
  117947. +#ifdef DWC_UTE_CFI
  117948. + CFI_INFO("%s: BUFFER_MODE=%d\n", __func__,
  117949. + ep->dwc_ep.buff_mode);
  117950. + if (ep->dwc_ep.buff_mode != BM_STANDARD) {
  117951. + int residue;
  117952. +
  117953. + residue = cfi_calc_desc_residue(ep);
  117954. + if (residue < 0)
  117955. + return;
  117956. +
  117957. + byte_count = residue;
  117958. + } else {
  117959. +#endif
  117960. + for (i = 0; i < ep->dwc_ep.desc_cnt;
  117961. + ++i) {
  117962. + desc_sts = dma_desc->status;
  117963. + byte_count += desc_sts.b.bytes;
  117964. + dma_desc++;
  117965. + }
  117966. +#ifdef DWC_UTE_CFI
  117967. + }
  117968. +#endif
  117969. + if (byte_count == 0) {
  117970. + ep->dwc_ep.xfer_count =
  117971. + ep->dwc_ep.total_len;
  117972. + is_last = 1;
  117973. + } else {
  117974. + DWC_WARN("Incomplete transfer\n");
  117975. + }
  117976. + }
  117977. + } else {
  117978. + if (deptsiz.b.xfersize == 0 && deptsiz.b.pktcnt == 0) {
  117979. + DWC_DEBUGPL(DBG_PCDV,
  117980. + "%d-%s len=%d xfersize=%d pktcnt=%d\n",
  117981. + ep->dwc_ep.num,
  117982. + ep->dwc_ep.is_in ? "IN" : "OUT",
  117983. + ep->dwc_ep.xfer_len,
  117984. + deptsiz.b.xfersize,
  117985. + deptsiz.b.pktcnt);
  117986. +
  117987. + /* Check if the whole transfer was completed,
  117988. + * if no, setup transfer for next portion of data
  117989. + */
  117990. + if (ep->dwc_ep.xfer_len < ep->dwc_ep.total_len) {
  117991. + dwc_otg_ep_start_transfer(core_if,
  117992. + &ep->dwc_ep);
  117993. + } else if (ep->dwc_ep.sent_zlp) {
  117994. + /*
  117995. + * This fragment of code should initiate 0
  117996. + * length trasfer in case if it is queued
  117997. + * a trasfer with size divisible to EPs max
  117998. + * packet size and with usb_request zero field
  117999. + * is set, which means that after data is transfered,
  118000. + * it is also should be transfered
  118001. + * a 0 length packet at the end. For Slave and
  118002. + * Buffer DMA modes in this case SW has
  118003. + * to initiate 2 transfers one with transfer size,
  118004. + * and the second with 0 size. For Desriptor
  118005. + * DMA mode SW is able to initiate a transfer,
  118006. + * which will handle all the packets including
  118007. + * the last 0 legth.
  118008. + */
  118009. + ep->dwc_ep.sent_zlp = 0;
  118010. + dwc_otg_ep_start_zl_transfer(core_if,
  118011. + &ep->dwc_ep);
  118012. + } else {
  118013. + is_last = 1;
  118014. + }
  118015. + } else {
  118016. + DWC_WARN
  118017. + ("Incomplete transfer (%d-%s [siz=%d pkt=%d])\n",
  118018. + ep->dwc_ep.num,
  118019. + (ep->dwc_ep.is_in ? "IN" : "OUT"),
  118020. + deptsiz.b.xfersize, deptsiz.b.pktcnt);
  118021. + }
  118022. + }
  118023. + } else {
  118024. + dwc_otg_dev_out_ep_regs_t *out_ep_regs =
  118025. + dev_if->out_ep_regs[ep->dwc_ep.num];
  118026. + desc_sts.d32 = 0;
  118027. + if (core_if->dma_enable) {
  118028. + if (core_if->dma_desc_enable) {
  118029. + dma_desc = ep->dwc_ep.desc_addr;
  118030. + byte_count = 0;
  118031. + ep->dwc_ep.sent_zlp = 0;
  118032. +
  118033. +#ifdef DWC_UTE_CFI
  118034. + CFI_INFO("%s: BUFFER_MODE=%d\n", __func__,
  118035. + ep->dwc_ep.buff_mode);
  118036. + if (ep->dwc_ep.buff_mode != BM_STANDARD) {
  118037. + int residue;
  118038. + residue = cfi_calc_desc_residue(ep);
  118039. + if (residue < 0)
  118040. + return;
  118041. + byte_count = residue;
  118042. + } else {
  118043. +#endif
  118044. +
  118045. + for (i = 0; i < ep->dwc_ep.desc_cnt;
  118046. + ++i) {
  118047. + desc_sts = dma_desc->status;
  118048. + byte_count += desc_sts.b.bytes;
  118049. + dma_desc++;
  118050. + }
  118051. +
  118052. +#ifdef DWC_UTE_CFI
  118053. + }
  118054. +#endif
  118055. + /* Checking for interrupt Out transfers with not
  118056. + * dword aligned mps sizes
  118057. + */
  118058. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_INTR &&
  118059. + (ep->dwc_ep.maxpacket%4)) {
  118060. + ep->dwc_ep.xfer_count =
  118061. + ep->dwc_ep.total_len - byte_count;
  118062. + if ((ep->dwc_ep.xfer_len %
  118063. + ep->dwc_ep.maxpacket)
  118064. + && (ep->dwc_ep.xfer_len /
  118065. + ep->dwc_ep.maxpacket <
  118066. + MAX_DMA_DESC_CNT))
  118067. + ep->dwc_ep.xfer_len -=
  118068. + (ep->dwc_ep.desc_cnt -
  118069. + 1) * ep->dwc_ep.maxpacket +
  118070. + ep->dwc_ep.xfer_len %
  118071. + ep->dwc_ep.maxpacket;
  118072. + else
  118073. + ep->dwc_ep.xfer_len -=
  118074. + ep->dwc_ep.desc_cnt *
  118075. + ep->dwc_ep.maxpacket;
  118076. + if (ep->dwc_ep.xfer_len > 0) {
  118077. + dwc_otg_ep_start_transfer
  118078. + (core_if, &ep->dwc_ep);
  118079. + } else {
  118080. + is_last = 1;
  118081. + }
  118082. + } else {
  118083. + ep->dwc_ep.xfer_count =
  118084. + ep->dwc_ep.total_len - byte_count +
  118085. + ((4 -
  118086. + (ep->dwc_ep.
  118087. + total_len & 0x3)) & 0x3);
  118088. + is_last = 1;
  118089. + }
  118090. + } else {
  118091. + deptsiz.d32 = 0;
  118092. + deptsiz.d32 =
  118093. + DWC_READ_REG32(&out_ep_regs->doeptsiz);
  118094. +
  118095. + byte_count = (ep->dwc_ep.xfer_len -
  118096. + ep->dwc_ep.xfer_count -
  118097. + deptsiz.b.xfersize);
  118098. + ep->dwc_ep.xfer_buff += byte_count;
  118099. + ep->dwc_ep.dma_addr += byte_count;
  118100. + ep->dwc_ep.xfer_count += byte_count;
  118101. +
  118102. + /* Check if the whole transfer was completed,
  118103. + * if no, setup transfer for next portion of data
  118104. + */
  118105. + if (ep->dwc_ep.xfer_len < ep->dwc_ep.total_len) {
  118106. + dwc_otg_ep_start_transfer(core_if,
  118107. + &ep->dwc_ep);
  118108. + } else if (ep->dwc_ep.sent_zlp) {
  118109. + /*
  118110. + * This fragment of code should initiate 0
  118111. + * length trasfer in case if it is queued
  118112. + * a trasfer with size divisible to EPs max
  118113. + * packet size and with usb_request zero field
  118114. + * is set, which means that after data is transfered,
  118115. + * it is also should be transfered
  118116. + * a 0 length packet at the end. For Slave and
  118117. + * Buffer DMA modes in this case SW has
  118118. + * to initiate 2 transfers one with transfer size,
  118119. + * and the second with 0 size. For Desriptor
  118120. + * DMA mode SW is able to initiate a transfer,
  118121. + * which will handle all the packets including
  118122. + * the last 0 legth.
  118123. + */
  118124. + ep->dwc_ep.sent_zlp = 0;
  118125. + dwc_otg_ep_start_zl_transfer(core_if,
  118126. + &ep->dwc_ep);
  118127. + } else {
  118128. + is_last = 1;
  118129. + }
  118130. + }
  118131. + } else {
  118132. + /* Check if the whole transfer was completed,
  118133. + * if no, setup transfer for next portion of data
  118134. + */
  118135. + if (ep->dwc_ep.xfer_len < ep->dwc_ep.total_len) {
  118136. + dwc_otg_ep_start_transfer(core_if, &ep->dwc_ep);
  118137. + } else if (ep->dwc_ep.sent_zlp) {
  118138. + /*
  118139. + * This fragment of code should initiate 0
  118140. + * length transfer in case if it is queued
  118141. + * a transfer with size divisible to EPs max
  118142. + * packet size and with usb_request zero field
  118143. + * is set, which means that after data is transfered,
  118144. + * it is also should be transfered
  118145. + * a 0 length packet at the end. For Slave and
  118146. + * Buffer DMA modes in this case SW has
  118147. + * to initiate 2 transfers one with transfer size,
  118148. + * and the second with 0 size. For Descriptor
  118149. + * DMA mode SW is able to initiate a transfer,
  118150. + * which will handle all the packets including
  118151. + * the last 0 length.
  118152. + */
  118153. + ep->dwc_ep.sent_zlp = 0;
  118154. + dwc_otg_ep_start_zl_transfer(core_if,
  118155. + &ep->dwc_ep);
  118156. + } else {
  118157. + is_last = 1;
  118158. + }
  118159. + }
  118160. +
  118161. + DWC_DEBUGPL(DBG_PCDV,
  118162. + "addr %p, %d-%s len=%d cnt=%d xsize=%d pktcnt=%d\n",
  118163. + &out_ep_regs->doeptsiz, ep->dwc_ep.num,
  118164. + ep->dwc_ep.is_in ? "IN" : "OUT",
  118165. + ep->dwc_ep.xfer_len, ep->dwc_ep.xfer_count,
  118166. + deptsiz.b.xfersize, deptsiz.b.pktcnt);
  118167. + }
  118168. +
  118169. + /* Complete the request */
  118170. + if (is_last) {
  118171. +#ifdef DWC_UTE_CFI
  118172. + if (ep->dwc_ep.buff_mode != BM_STANDARD) {
  118173. + req->actual = ep->dwc_ep.cfi_req_len - byte_count;
  118174. + } else {
  118175. +#endif
  118176. + req->actual = ep->dwc_ep.xfer_count;
  118177. +#ifdef DWC_UTE_CFI
  118178. + }
  118179. +#endif
  118180. + if (req->dw_align_buf) {
  118181. + if (!ep->dwc_ep.is_in) {
  118182. + dwc_memcpy(req->buf, req->dw_align_buf, req->length);
  118183. + }
  118184. + DWC_DMA_FREE(req->length, req->dw_align_buf,
  118185. + req->dw_align_buf_dma);
  118186. + }
  118187. +
  118188. + dwc_otg_request_done(ep, req, 0);
  118189. +
  118190. + ep->dwc_ep.start_xfer_buff = 0;
  118191. + ep->dwc_ep.xfer_buff = 0;
  118192. + ep->dwc_ep.xfer_len = 0;
  118193. +
  118194. + /* If there is a request in the queue start it. */
  118195. + start_next_request(ep);
  118196. + }
  118197. +}
  118198. +
  118199. +#ifdef DWC_EN_ISOC
  118200. +
  118201. +/**
  118202. + * This function BNA interrupt for Isochronous EPs
  118203. + *
  118204. + */
  118205. +static void dwc_otg_pcd_handle_iso_bna(dwc_otg_pcd_ep_t * ep)
  118206. +{
  118207. + dwc_ep_t *dwc_ep = &ep->dwc_ep;
  118208. + volatile uint32_t *addr;
  118209. + depctl_data_t depctl = {.d32 = 0 };
  118210. + dwc_otg_pcd_t *pcd = ep->pcd;
  118211. + dwc_otg_dev_dma_desc_t *dma_desc;
  118212. + int i;
  118213. +
  118214. + dma_desc =
  118215. + dwc_ep->iso_desc_addr + dwc_ep->desc_cnt * (dwc_ep->proc_buf_num);
  118216. +
  118217. + if (dwc_ep->is_in) {
  118218. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  118219. + for (i = 0; i < dwc_ep->desc_cnt; ++i, ++dma_desc) {
  118220. + sts.d32 = dma_desc->status.d32;
  118221. + sts.b_iso_in.bs = BS_HOST_READY;
  118222. + dma_desc->status.d32 = sts.d32;
  118223. + }
  118224. + } else {
  118225. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  118226. + for (i = 0; i < dwc_ep->desc_cnt; ++i, ++dma_desc) {
  118227. + sts.d32 = dma_desc->status.d32;
  118228. + sts.b_iso_out.bs = BS_HOST_READY;
  118229. + dma_desc->status.d32 = sts.d32;
  118230. + }
  118231. + }
  118232. +
  118233. + if (dwc_ep->is_in == 0) {
  118234. + addr =
  118235. + &GET_CORE_IF(pcd)->dev_if->out_ep_regs[dwc_ep->
  118236. + num]->doepctl;
  118237. + } else {
  118238. + addr =
  118239. + &GET_CORE_IF(pcd)->dev_if->in_ep_regs[dwc_ep->num]->diepctl;
  118240. + }
  118241. + depctl.b.epena = 1;
  118242. + DWC_MODIFY_REG32(addr, depctl.d32, depctl.d32);
  118243. +}
  118244. +
  118245. +/**
  118246. + * This function sets latest iso packet information(non-PTI mode)
  118247. + *
  118248. + * @param core_if Programming view of DWC_otg controller.
  118249. + * @param ep The EP to start the transfer on.
  118250. + *
  118251. + */
  118252. +void set_current_pkt_info(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  118253. +{
  118254. + deptsiz_data_t deptsiz = {.d32 = 0 };
  118255. + dma_addr_t dma_addr;
  118256. + uint32_t offset;
  118257. +
  118258. + if (ep->proc_buf_num)
  118259. + dma_addr = ep->dma_addr1;
  118260. + else
  118261. + dma_addr = ep->dma_addr0;
  118262. +
  118263. + if (ep->is_in) {
  118264. + deptsiz.d32 =
  118265. + DWC_READ_REG32(&core_if->dev_if->
  118266. + in_ep_regs[ep->num]->dieptsiz);
  118267. + offset = ep->data_per_frame;
  118268. + } else {
  118269. + deptsiz.d32 =
  118270. + DWC_READ_REG32(&core_if->dev_if->
  118271. + out_ep_regs[ep->num]->doeptsiz);
  118272. + offset =
  118273. + ep->data_per_frame +
  118274. + (0x4 & (0x4 - (ep->data_per_frame & 0x3)));
  118275. + }
  118276. +
  118277. + if (!deptsiz.b.xfersize) {
  118278. + ep->pkt_info[ep->cur_pkt].length = ep->data_per_frame;
  118279. + ep->pkt_info[ep->cur_pkt].offset =
  118280. + ep->cur_pkt_dma_addr - dma_addr;
  118281. + ep->pkt_info[ep->cur_pkt].status = 0;
  118282. + } else {
  118283. + ep->pkt_info[ep->cur_pkt].length = ep->data_per_frame;
  118284. + ep->pkt_info[ep->cur_pkt].offset =
  118285. + ep->cur_pkt_dma_addr - dma_addr;
  118286. + ep->pkt_info[ep->cur_pkt].status = -DWC_E_NO_DATA;
  118287. + }
  118288. + ep->cur_pkt_addr += offset;
  118289. + ep->cur_pkt_dma_addr += offset;
  118290. + ep->cur_pkt++;
  118291. +}
  118292. +
  118293. +/**
  118294. + * This function sets latest iso packet information(DDMA mode)
  118295. + *
  118296. + * @param core_if Programming view of DWC_otg controller.
  118297. + * @param dwc_ep The EP to start the transfer on.
  118298. + *
  118299. + */
  118300. +static void set_ddma_iso_pkts_info(dwc_otg_core_if_t * core_if,
  118301. + dwc_ep_t * dwc_ep)
  118302. +{
  118303. + dwc_otg_dev_dma_desc_t *dma_desc;
  118304. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  118305. + iso_pkt_info_t *iso_packet;
  118306. + uint32_t data_per_desc;
  118307. + uint32_t offset;
  118308. + int i, j;
  118309. +
  118310. + iso_packet = dwc_ep->pkt_info;
  118311. +
  118312. + /** Reinit closed DMA Descriptors*/
  118313. + /** ISO OUT EP */
  118314. + if (dwc_ep->is_in == 0) {
  118315. + dma_desc =
  118316. + dwc_ep->iso_desc_addr +
  118317. + dwc_ep->desc_cnt * dwc_ep->proc_buf_num;
  118318. + offset = 0;
  118319. +
  118320. + for (i = 0; i < dwc_ep->desc_cnt - dwc_ep->pkt_per_frm;
  118321. + i += dwc_ep->pkt_per_frm) {
  118322. + for (j = 0; j < dwc_ep->pkt_per_frm; ++j) {
  118323. + data_per_desc =
  118324. + ((j + 1) * dwc_ep->maxpacket >
  118325. + dwc_ep->
  118326. + data_per_frame) ? dwc_ep->data_per_frame -
  118327. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  118328. + data_per_desc +=
  118329. + (data_per_desc % 4) ? (4 -
  118330. + data_per_desc %
  118331. + 4) : 0;
  118332. +
  118333. + sts.d32 = dma_desc->status.d32;
  118334. +
  118335. + /* Write status in iso_packet_decsriptor */
  118336. + iso_packet->status =
  118337. + sts.b_iso_out.rxsts +
  118338. + (sts.b_iso_out.bs ^ BS_DMA_DONE);
  118339. + if (iso_packet->status) {
  118340. + iso_packet->status = -DWC_E_NO_DATA;
  118341. + }
  118342. +
  118343. + /* Received data length */
  118344. + if (!sts.b_iso_out.rxbytes) {
  118345. + iso_packet->length =
  118346. + data_per_desc -
  118347. + sts.b_iso_out.rxbytes;
  118348. + } else {
  118349. + iso_packet->length =
  118350. + data_per_desc -
  118351. + sts.b_iso_out.rxbytes + (4 -
  118352. + dwc_ep->data_per_frame
  118353. + % 4);
  118354. + }
  118355. +
  118356. + iso_packet->offset = offset;
  118357. +
  118358. + offset += data_per_desc;
  118359. + dma_desc++;
  118360. + iso_packet++;
  118361. + }
  118362. + }
  118363. +
  118364. + for (j = 0; j < dwc_ep->pkt_per_frm - 1; ++j) {
  118365. + data_per_desc =
  118366. + ((j + 1) * dwc_ep->maxpacket >
  118367. + dwc_ep->data_per_frame) ? dwc_ep->data_per_frame -
  118368. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  118369. + data_per_desc +=
  118370. + (data_per_desc % 4) ? (4 - data_per_desc % 4) : 0;
  118371. +
  118372. + sts.d32 = dma_desc->status.d32;
  118373. +
  118374. + /* Write status in iso_packet_decsriptor */
  118375. + iso_packet->status =
  118376. + sts.b_iso_out.rxsts +
  118377. + (sts.b_iso_out.bs ^ BS_DMA_DONE);
  118378. + if (iso_packet->status) {
  118379. + iso_packet->status = -DWC_E_NO_DATA;
  118380. + }
  118381. +
  118382. + /* Received data length */
  118383. + iso_packet->length =
  118384. + dwc_ep->data_per_frame - sts.b_iso_out.rxbytes;
  118385. +
  118386. + iso_packet->offset = offset;
  118387. +
  118388. + offset += data_per_desc;
  118389. + iso_packet++;
  118390. + dma_desc++;
  118391. + }
  118392. +
  118393. + sts.d32 = dma_desc->status.d32;
  118394. +
  118395. + /* Write status in iso_packet_decsriptor */
  118396. + iso_packet->status =
  118397. + sts.b_iso_out.rxsts + (sts.b_iso_out.bs ^ BS_DMA_DONE);
  118398. + if (iso_packet->status) {
  118399. + iso_packet->status = -DWC_E_NO_DATA;
  118400. + }
  118401. + /* Received data length */
  118402. + if (!sts.b_iso_out.rxbytes) {
  118403. + iso_packet->length =
  118404. + dwc_ep->data_per_frame - sts.b_iso_out.rxbytes;
  118405. + } else {
  118406. + iso_packet->length =
  118407. + dwc_ep->data_per_frame - sts.b_iso_out.rxbytes +
  118408. + (4 - dwc_ep->data_per_frame % 4);
  118409. + }
  118410. +
  118411. + iso_packet->offset = offset;
  118412. + } else {
  118413. +/** ISO IN EP */
  118414. +
  118415. + dma_desc =
  118416. + dwc_ep->iso_desc_addr +
  118417. + dwc_ep->desc_cnt * dwc_ep->proc_buf_num;
  118418. +
  118419. + for (i = 0; i < dwc_ep->desc_cnt - 1; i++) {
  118420. + sts.d32 = dma_desc->status.d32;
  118421. +
  118422. + /* Write status in iso packet descriptor */
  118423. + iso_packet->status =
  118424. + sts.b_iso_in.txsts +
  118425. + (sts.b_iso_in.bs ^ BS_DMA_DONE);
  118426. + if (iso_packet->status != 0) {
  118427. + iso_packet->status = -DWC_E_NO_DATA;
  118428. +
  118429. + }
  118430. + /* Bytes has been transfered */
  118431. + iso_packet->length =
  118432. + dwc_ep->data_per_frame - sts.b_iso_in.txbytes;
  118433. +
  118434. + dma_desc++;
  118435. + iso_packet++;
  118436. + }
  118437. +
  118438. + sts.d32 = dma_desc->status.d32;
  118439. + while (sts.b_iso_in.bs == BS_DMA_BUSY) {
  118440. + sts.d32 = dma_desc->status.d32;
  118441. + }
  118442. +
  118443. + /* Write status in iso packet descriptor ??? do be done with ERROR codes */
  118444. + iso_packet->status =
  118445. + sts.b_iso_in.txsts + (sts.b_iso_in.bs ^ BS_DMA_DONE);
  118446. + if (iso_packet->status != 0) {
  118447. + iso_packet->status = -DWC_E_NO_DATA;
  118448. + }
  118449. +
  118450. + /* Bytes has been transfered */
  118451. + iso_packet->length =
  118452. + dwc_ep->data_per_frame - sts.b_iso_in.txbytes;
  118453. + }
  118454. +}
  118455. +
  118456. +/**
  118457. + * This function reinitialize DMA Descriptors for Isochronous transfer
  118458. + *
  118459. + * @param core_if Programming view of DWC_otg controller.
  118460. + * @param dwc_ep The EP to start the transfer on.
  118461. + *
  118462. + */
  118463. +static void reinit_ddma_iso_xfer(dwc_otg_core_if_t * core_if, dwc_ep_t * dwc_ep)
  118464. +{
  118465. + int i, j;
  118466. + dwc_otg_dev_dma_desc_t *dma_desc;
  118467. + dma_addr_t dma_ad;
  118468. + volatile uint32_t *addr;
  118469. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  118470. + uint32_t data_per_desc;
  118471. +
  118472. + if (dwc_ep->is_in == 0) {
  118473. + addr = &core_if->dev_if->out_ep_regs[dwc_ep->num]->doepctl;
  118474. + } else {
  118475. + addr = &core_if->dev_if->in_ep_regs[dwc_ep->num]->diepctl;
  118476. + }
  118477. +
  118478. + if (dwc_ep->proc_buf_num == 0) {
  118479. + /** Buffer 0 descriptors setup */
  118480. + dma_ad = dwc_ep->dma_addr0;
  118481. + } else {
  118482. + /** Buffer 1 descriptors setup */
  118483. + dma_ad = dwc_ep->dma_addr1;
  118484. + }
  118485. +
  118486. + /** Reinit closed DMA Descriptors*/
  118487. + /** ISO OUT EP */
  118488. + if (dwc_ep->is_in == 0) {
  118489. + dma_desc =
  118490. + dwc_ep->iso_desc_addr +
  118491. + dwc_ep->desc_cnt * dwc_ep->proc_buf_num;
  118492. +
  118493. + sts.b_iso_out.bs = BS_HOST_READY;
  118494. + sts.b_iso_out.rxsts = 0;
  118495. + sts.b_iso_out.l = 0;
  118496. + sts.b_iso_out.sp = 0;
  118497. + sts.b_iso_out.ioc = 0;
  118498. + sts.b_iso_out.pid = 0;
  118499. + sts.b_iso_out.framenum = 0;
  118500. +
  118501. + for (i = 0; i < dwc_ep->desc_cnt - dwc_ep->pkt_per_frm;
  118502. + i += dwc_ep->pkt_per_frm) {
  118503. + for (j = 0; j < dwc_ep->pkt_per_frm; ++j) {
  118504. + data_per_desc =
  118505. + ((j + 1) * dwc_ep->maxpacket >
  118506. + dwc_ep->
  118507. + data_per_frame) ? dwc_ep->data_per_frame -
  118508. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  118509. + data_per_desc +=
  118510. + (data_per_desc % 4) ? (4 -
  118511. + data_per_desc %
  118512. + 4) : 0;
  118513. + sts.b_iso_out.rxbytes = data_per_desc;
  118514. + dma_desc->buf = dma_ad;
  118515. + dma_desc->status.d32 = sts.d32;
  118516. +
  118517. + dma_ad += data_per_desc;
  118518. + dma_desc++;
  118519. + }
  118520. + }
  118521. +
  118522. + for (j = 0; j < dwc_ep->pkt_per_frm - 1; ++j) {
  118523. +
  118524. + data_per_desc =
  118525. + ((j + 1) * dwc_ep->maxpacket >
  118526. + dwc_ep->data_per_frame) ? dwc_ep->data_per_frame -
  118527. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  118528. + data_per_desc +=
  118529. + (data_per_desc % 4) ? (4 - data_per_desc % 4) : 0;
  118530. + sts.b_iso_out.rxbytes = data_per_desc;
  118531. +
  118532. + dma_desc->buf = dma_ad;
  118533. + dma_desc->status.d32 = sts.d32;
  118534. +
  118535. + dma_desc++;
  118536. + dma_ad += data_per_desc;
  118537. + }
  118538. +
  118539. + sts.b_iso_out.ioc = 1;
  118540. + sts.b_iso_out.l = dwc_ep->proc_buf_num;
  118541. +
  118542. + data_per_desc =
  118543. + ((j + 1) * dwc_ep->maxpacket >
  118544. + dwc_ep->data_per_frame) ? dwc_ep->data_per_frame -
  118545. + j * dwc_ep->maxpacket : dwc_ep->maxpacket;
  118546. + data_per_desc +=
  118547. + (data_per_desc % 4) ? (4 - data_per_desc % 4) : 0;
  118548. + sts.b_iso_out.rxbytes = data_per_desc;
  118549. +
  118550. + dma_desc->buf = dma_ad;
  118551. + dma_desc->status.d32 = sts.d32;
  118552. + } else {
  118553. +/** ISO IN EP */
  118554. +
  118555. + dma_desc =
  118556. + dwc_ep->iso_desc_addr +
  118557. + dwc_ep->desc_cnt * dwc_ep->proc_buf_num;
  118558. +
  118559. + sts.b_iso_in.bs = BS_HOST_READY;
  118560. + sts.b_iso_in.txsts = 0;
  118561. + sts.b_iso_in.sp = 0;
  118562. + sts.b_iso_in.ioc = 0;
  118563. + sts.b_iso_in.pid = dwc_ep->pkt_per_frm;
  118564. + sts.b_iso_in.framenum = dwc_ep->next_frame;
  118565. + sts.b_iso_in.txbytes = dwc_ep->data_per_frame;
  118566. + sts.b_iso_in.l = 0;
  118567. +
  118568. + for (i = 0; i < dwc_ep->desc_cnt - 1; i++) {
  118569. + dma_desc->buf = dma_ad;
  118570. + dma_desc->status.d32 = sts.d32;
  118571. +
  118572. + sts.b_iso_in.framenum += dwc_ep->bInterval;
  118573. + dma_ad += dwc_ep->data_per_frame;
  118574. + dma_desc++;
  118575. + }
  118576. +
  118577. + sts.b_iso_in.ioc = 1;
  118578. + sts.b_iso_in.l = dwc_ep->proc_buf_num;
  118579. +
  118580. + dma_desc->buf = dma_ad;
  118581. + dma_desc->status.d32 = sts.d32;
  118582. +
  118583. + dwc_ep->next_frame =
  118584. + sts.b_iso_in.framenum + dwc_ep->bInterval * 1;
  118585. + }
  118586. + dwc_ep->proc_buf_num = (dwc_ep->proc_buf_num ^ 1) & 0x1;
  118587. +}
  118588. +
  118589. +/**
  118590. + * This function is to handle Iso EP transfer complete interrupt
  118591. + * in case Iso out packet was dropped
  118592. + *
  118593. + * @param core_if Programming view of DWC_otg controller.
  118594. + * @param dwc_ep The EP for wihich transfer complete was asserted
  118595. + *
  118596. + */
  118597. +static uint32_t handle_iso_out_pkt_dropped(dwc_otg_core_if_t * core_if,
  118598. + dwc_ep_t * dwc_ep)
  118599. +{
  118600. + uint32_t dma_addr;
  118601. + uint32_t drp_pkt;
  118602. + uint32_t drp_pkt_cnt;
  118603. + deptsiz_data_t deptsiz = {.d32 = 0 };
  118604. + depctl_data_t depctl = {.d32 = 0 };
  118605. + int i;
  118606. +
  118607. + deptsiz.d32 =
  118608. + DWC_READ_REG32(&core_if->dev_if->
  118609. + out_ep_regs[dwc_ep->num]->doeptsiz);
  118610. +
  118611. + drp_pkt = dwc_ep->pkt_cnt - deptsiz.b.pktcnt;
  118612. + drp_pkt_cnt = dwc_ep->pkt_per_frm - (drp_pkt % dwc_ep->pkt_per_frm);
  118613. +
  118614. + /* Setting dropped packets status */
  118615. + for (i = 0; i < drp_pkt_cnt; ++i) {
  118616. + dwc_ep->pkt_info[drp_pkt].status = -DWC_E_NO_DATA;
  118617. + drp_pkt++;
  118618. + deptsiz.b.pktcnt--;
  118619. + }
  118620. +
  118621. + if (deptsiz.b.pktcnt > 0) {
  118622. + deptsiz.b.xfersize =
  118623. + dwc_ep->xfer_len - (dwc_ep->pkt_cnt -
  118624. + deptsiz.b.pktcnt) * dwc_ep->maxpacket;
  118625. + } else {
  118626. + deptsiz.b.xfersize = 0;
  118627. + deptsiz.b.pktcnt = 0;
  118628. + }
  118629. +
  118630. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[dwc_ep->num]->doeptsiz,
  118631. + deptsiz.d32);
  118632. +
  118633. + if (deptsiz.b.pktcnt > 0) {
  118634. + if (dwc_ep->proc_buf_num) {
  118635. + dma_addr =
  118636. + dwc_ep->dma_addr1 + dwc_ep->xfer_len -
  118637. + deptsiz.b.xfersize;
  118638. + } else {
  118639. + dma_addr =
  118640. + dwc_ep->dma_addr0 + dwc_ep->xfer_len -
  118641. + deptsiz.b.xfersize;;
  118642. + }
  118643. +
  118644. + DWC_WRITE_REG32(&core_if->dev_if->
  118645. + out_ep_regs[dwc_ep->num]->doepdma, dma_addr);
  118646. +
  118647. + /** Re-enable endpoint, clear nak */
  118648. + depctl.d32 = 0;
  118649. + depctl.b.epena = 1;
  118650. + depctl.b.cnak = 1;
  118651. +
  118652. + DWC_MODIFY_REG32(&core_if->dev_if->
  118653. + out_ep_regs[dwc_ep->num]->doepctl, depctl.d32,
  118654. + depctl.d32);
  118655. + return 0;
  118656. + } else {
  118657. + return 1;
  118658. + }
  118659. +}
  118660. +
  118661. +/**
  118662. + * This function sets iso packets information(PTI mode)
  118663. + *
  118664. + * @param core_if Programming view of DWC_otg controller.
  118665. + * @param ep The EP to start the transfer on.
  118666. + *
  118667. + */
  118668. +static uint32_t set_iso_pkts_info(dwc_otg_core_if_t * core_if, dwc_ep_t * ep)
  118669. +{
  118670. + int i, j;
  118671. + dma_addr_t dma_ad;
  118672. + iso_pkt_info_t *packet_info = ep->pkt_info;
  118673. + uint32_t offset;
  118674. + uint32_t frame_data;
  118675. + deptsiz_data_t deptsiz;
  118676. +
  118677. + if (ep->proc_buf_num == 0) {
  118678. + /** Buffer 0 descriptors setup */
  118679. + dma_ad = ep->dma_addr0;
  118680. + } else {
  118681. + /** Buffer 1 descriptors setup */
  118682. + dma_ad = ep->dma_addr1;
  118683. + }
  118684. +
  118685. + if (ep->is_in) {
  118686. + deptsiz.d32 =
  118687. + DWC_READ_REG32(&core_if->dev_if->in_ep_regs[ep->num]->
  118688. + dieptsiz);
  118689. + } else {
  118690. + deptsiz.d32 =
  118691. + DWC_READ_REG32(&core_if->dev_if->out_ep_regs[ep->num]->
  118692. + doeptsiz);
  118693. + }
  118694. +
  118695. + if (!deptsiz.b.xfersize) {
  118696. + offset = 0;
  118697. + for (i = 0; i < ep->pkt_cnt; i += ep->pkt_per_frm) {
  118698. + frame_data = ep->data_per_frame;
  118699. + for (j = 0; j < ep->pkt_per_frm; ++j) {
  118700. +
  118701. + /* Packet status - is not set as initially
  118702. + * it is set to 0 and if packet was sent
  118703. + successfully, status field will remain 0*/
  118704. +
  118705. + /* Bytes has been transfered */
  118706. + packet_info->length =
  118707. + (ep->maxpacket <
  118708. + frame_data) ? ep->maxpacket : frame_data;
  118709. +
  118710. + /* Received packet offset */
  118711. + packet_info->offset = offset;
  118712. + offset += packet_info->length;
  118713. + frame_data -= packet_info->length;
  118714. +
  118715. + packet_info++;
  118716. + }
  118717. + }
  118718. + return 1;
  118719. + } else {
  118720. + /* This is a workaround for in case of Transfer Complete with
  118721. + * PktDrpSts interrupts merging - in this case Transfer complete
  118722. + * interrupt for Isoc Out Endpoint is asserted without PktDrpSts
  118723. + * set and with DOEPTSIZ register non zero. Investigations showed,
  118724. + * that this happens when Out packet is dropped, but because of
  118725. + * interrupts merging during first interrupt handling PktDrpSts
  118726. + * bit is cleared and for next merged interrupts it is not reset.
  118727. + * In this case SW hadles the interrupt as if PktDrpSts bit is set.
  118728. + */
  118729. + if (ep->is_in) {
  118730. + return 1;
  118731. + } else {
  118732. + return handle_iso_out_pkt_dropped(core_if, ep);
  118733. + }
  118734. + }
  118735. +}
  118736. +
  118737. +/**
  118738. + * This function is to handle Iso EP transfer complete interrupt
  118739. + *
  118740. + * @param pcd The PCD
  118741. + * @param ep The EP for which transfer complete was asserted
  118742. + *
  118743. + */
  118744. +static void complete_iso_ep(dwc_otg_pcd_t * pcd, dwc_otg_pcd_ep_t * ep)
  118745. +{
  118746. + dwc_otg_core_if_t *core_if = GET_CORE_IF(ep->pcd);
  118747. + dwc_ep_t *dwc_ep = &ep->dwc_ep;
  118748. + uint8_t is_last = 0;
  118749. +
  118750. + if (ep->dwc_ep.next_frame == 0xffffffff) {
  118751. + DWC_WARN("Next frame is not set!\n");
  118752. + return;
  118753. + }
  118754. +
  118755. + if (core_if->dma_enable) {
  118756. + if (core_if->dma_desc_enable) {
  118757. + set_ddma_iso_pkts_info(core_if, dwc_ep);
  118758. + reinit_ddma_iso_xfer(core_if, dwc_ep);
  118759. + is_last = 1;
  118760. + } else {
  118761. + if (core_if->pti_enh_enable) {
  118762. + if (set_iso_pkts_info(core_if, dwc_ep)) {
  118763. + dwc_ep->proc_buf_num =
  118764. + (dwc_ep->proc_buf_num ^ 1) & 0x1;
  118765. + dwc_otg_iso_ep_start_buf_transfer
  118766. + (core_if, dwc_ep);
  118767. + is_last = 1;
  118768. + }
  118769. + } else {
  118770. + set_current_pkt_info(core_if, dwc_ep);
  118771. + if (dwc_ep->cur_pkt >= dwc_ep->pkt_cnt) {
  118772. + is_last = 1;
  118773. + dwc_ep->cur_pkt = 0;
  118774. + dwc_ep->proc_buf_num =
  118775. + (dwc_ep->proc_buf_num ^ 1) & 0x1;
  118776. + if (dwc_ep->proc_buf_num) {
  118777. + dwc_ep->cur_pkt_addr =
  118778. + dwc_ep->xfer_buff1;
  118779. + dwc_ep->cur_pkt_dma_addr =
  118780. + dwc_ep->dma_addr1;
  118781. + } else {
  118782. + dwc_ep->cur_pkt_addr =
  118783. + dwc_ep->xfer_buff0;
  118784. + dwc_ep->cur_pkt_dma_addr =
  118785. + dwc_ep->dma_addr0;
  118786. + }
  118787. +
  118788. + }
  118789. + dwc_otg_iso_ep_start_frm_transfer(core_if,
  118790. + dwc_ep);
  118791. + }
  118792. + }
  118793. + } else {
  118794. + set_current_pkt_info(core_if, dwc_ep);
  118795. + if (dwc_ep->cur_pkt >= dwc_ep->pkt_cnt) {
  118796. + is_last = 1;
  118797. + dwc_ep->cur_pkt = 0;
  118798. + dwc_ep->proc_buf_num = (dwc_ep->proc_buf_num ^ 1) & 0x1;
  118799. + if (dwc_ep->proc_buf_num) {
  118800. + dwc_ep->cur_pkt_addr = dwc_ep->xfer_buff1;
  118801. + dwc_ep->cur_pkt_dma_addr = dwc_ep->dma_addr1;
  118802. + } else {
  118803. + dwc_ep->cur_pkt_addr = dwc_ep->xfer_buff0;
  118804. + dwc_ep->cur_pkt_dma_addr = dwc_ep->dma_addr0;
  118805. + }
  118806. +
  118807. + }
  118808. + dwc_otg_iso_ep_start_frm_transfer(core_if, dwc_ep);
  118809. + }
  118810. + if (is_last)
  118811. + dwc_otg_iso_buffer_done(pcd, ep, ep->iso_req_handle);
  118812. +}
  118813. +#endif /* DWC_EN_ISOC */
  118814. +
  118815. +/**
  118816. + * This function handle BNA interrupt for Non Isochronous EPs
  118817. + *
  118818. + */
  118819. +static void dwc_otg_pcd_handle_noniso_bna(dwc_otg_pcd_ep_t * ep)
  118820. +{
  118821. + dwc_ep_t *dwc_ep = &ep->dwc_ep;
  118822. + volatile uint32_t *addr;
  118823. + depctl_data_t depctl = {.d32 = 0 };
  118824. + dwc_otg_pcd_t *pcd = ep->pcd;
  118825. + dwc_otg_dev_dma_desc_t *dma_desc;
  118826. + dev_dma_desc_sts_t sts = {.d32 = 0 };
  118827. + dwc_otg_core_if_t *core_if = ep->pcd->core_if;
  118828. + int i, start;
  118829. +
  118830. + if (!dwc_ep->desc_cnt)
  118831. + DWC_WARN("Ep%d %s Descriptor count = %d \n", dwc_ep->num,
  118832. + (dwc_ep->is_in ? "IN" : "OUT"), dwc_ep->desc_cnt);
  118833. +
  118834. + if (core_if->core_params->cont_on_bna && !dwc_ep->is_in
  118835. + && dwc_ep->type != DWC_OTG_EP_TYPE_CONTROL) {
  118836. + uint32_t doepdma;
  118837. + dwc_otg_dev_out_ep_regs_t *out_regs =
  118838. + core_if->dev_if->out_ep_regs[dwc_ep->num];
  118839. + doepdma = DWC_READ_REG32(&(out_regs->doepdma));
  118840. + start = (doepdma - dwc_ep->dma_desc_addr)/sizeof(dwc_otg_dev_dma_desc_t);
  118841. + dma_desc = &(dwc_ep->desc_addr[start]);
  118842. + } else {
  118843. + start = 0;
  118844. + dma_desc = dwc_ep->desc_addr;
  118845. + }
  118846. +
  118847. +
  118848. + for (i = start; i < dwc_ep->desc_cnt; ++i, ++dma_desc) {
  118849. + sts.d32 = dma_desc->status.d32;
  118850. + sts.b.bs = BS_HOST_READY;
  118851. + dma_desc->status.d32 = sts.d32;
  118852. + }
  118853. +
  118854. + if (dwc_ep->is_in == 0) {
  118855. + addr =
  118856. + &GET_CORE_IF(pcd)->dev_if->out_ep_regs[dwc_ep->num]->
  118857. + doepctl;
  118858. + } else {
  118859. + addr =
  118860. + &GET_CORE_IF(pcd)->dev_if->in_ep_regs[dwc_ep->num]->diepctl;
  118861. + }
  118862. + depctl.b.epena = 1;
  118863. + depctl.b.cnak = 1;
  118864. + DWC_MODIFY_REG32(addr, 0, depctl.d32);
  118865. +}
  118866. +
  118867. +/**
  118868. + * This function handles EP0 Control transfers.
  118869. + *
  118870. + * The state of the control transfers are tracked in
  118871. + * <code>ep0state</code>.
  118872. + */
  118873. +static void handle_ep0(dwc_otg_pcd_t * pcd)
  118874. +{
  118875. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  118876. + dwc_otg_pcd_ep_t *ep0 = &pcd->ep0;
  118877. + dev_dma_desc_sts_t desc_sts;
  118878. + deptsiz0_data_t deptsiz;
  118879. + uint32_t byte_count;
  118880. +
  118881. +#ifdef DEBUG_EP0
  118882. + DWC_DEBUGPL(DBG_PCDV, "%s()\n", __func__);
  118883. + print_ep0_state(pcd);
  118884. +#endif
  118885. +
  118886. +// DWC_PRINTF("HANDLE EP0\n");
  118887. +
  118888. + switch (pcd->ep0state) {
  118889. + case EP0_DISCONNECT:
  118890. + break;
  118891. +
  118892. + case EP0_IDLE:
  118893. + pcd->request_config = 0;
  118894. +
  118895. + pcd_setup(pcd);
  118896. + break;
  118897. +
  118898. + case EP0_IN_DATA_PHASE:
  118899. +#ifdef DEBUG_EP0
  118900. + DWC_DEBUGPL(DBG_PCD, "DATA_IN EP%d-%s: type=%d, mps=%d\n",
  118901. + ep0->dwc_ep.num, (ep0->dwc_ep.is_in ? "IN" : "OUT"),
  118902. + ep0->dwc_ep.type, ep0->dwc_ep.maxpacket);
  118903. +#endif
  118904. +
  118905. + if (core_if->dma_enable != 0) {
  118906. + /*
  118907. + * For EP0 we can only program 1 packet at a time so we
  118908. + * need to do the make calculations after each complete.
  118909. + * Call write_packet to make the calculations, as in
  118910. + * slave mode, and use those values to determine if we
  118911. + * can complete.
  118912. + */
  118913. + if (core_if->dma_desc_enable == 0) {
  118914. + deptsiz.d32 =
  118915. + DWC_READ_REG32(&core_if->
  118916. + dev_if->in_ep_regs[0]->
  118917. + dieptsiz);
  118918. + byte_count =
  118919. + ep0->dwc_ep.xfer_len - deptsiz.b.xfersize;
  118920. + } else {
  118921. + desc_sts =
  118922. + core_if->dev_if->in_desc_addr->status;
  118923. + byte_count =
  118924. + ep0->dwc_ep.xfer_len - desc_sts.b.bytes;
  118925. + }
  118926. + ep0->dwc_ep.xfer_count += byte_count;
  118927. + ep0->dwc_ep.xfer_buff += byte_count;
  118928. + ep0->dwc_ep.dma_addr += byte_count;
  118929. + }
  118930. + if (ep0->dwc_ep.xfer_count < ep0->dwc_ep.total_len) {
  118931. + dwc_otg_ep0_continue_transfer(GET_CORE_IF(pcd),
  118932. + &ep0->dwc_ep);
  118933. + DWC_DEBUGPL(DBG_PCD, "CONTINUE TRANSFER\n");
  118934. + } else if (ep0->dwc_ep.sent_zlp) {
  118935. + dwc_otg_ep0_continue_transfer(GET_CORE_IF(pcd),
  118936. + &ep0->dwc_ep);
  118937. + ep0->dwc_ep.sent_zlp = 0;
  118938. + DWC_DEBUGPL(DBG_PCD, "CONTINUE TRANSFER sent zlp\n");
  118939. + } else {
  118940. + ep0_complete_request(ep0);
  118941. + DWC_DEBUGPL(DBG_PCD, "COMPLETE TRANSFER\n");
  118942. + }
  118943. + break;
  118944. + case EP0_OUT_DATA_PHASE:
  118945. +#ifdef DEBUG_EP0
  118946. + DWC_DEBUGPL(DBG_PCD, "DATA_OUT EP%d-%s: type=%d, mps=%d\n",
  118947. + ep0->dwc_ep.num, (ep0->dwc_ep.is_in ? "IN" : "OUT"),
  118948. + ep0->dwc_ep.type, ep0->dwc_ep.maxpacket);
  118949. +#endif
  118950. + if (core_if->dma_enable != 0) {
  118951. + if (core_if->dma_desc_enable == 0) {
  118952. + deptsiz.d32 =
  118953. + DWC_READ_REG32(&core_if->
  118954. + dev_if->out_ep_regs[0]->
  118955. + doeptsiz);
  118956. + byte_count =
  118957. + ep0->dwc_ep.maxpacket - deptsiz.b.xfersize;
  118958. + } else {
  118959. + desc_sts =
  118960. + core_if->dev_if->out_desc_addr->status;
  118961. + byte_count =
  118962. + ep0->dwc_ep.maxpacket - desc_sts.b.bytes;
  118963. + }
  118964. + ep0->dwc_ep.xfer_count += byte_count;
  118965. + ep0->dwc_ep.xfer_buff += byte_count;
  118966. + ep0->dwc_ep.dma_addr += byte_count;
  118967. + }
  118968. + if (ep0->dwc_ep.xfer_count < ep0->dwc_ep.total_len) {
  118969. + dwc_otg_ep0_continue_transfer(GET_CORE_IF(pcd),
  118970. + &ep0->dwc_ep);
  118971. + DWC_DEBUGPL(DBG_PCD, "CONTINUE TRANSFER\n");
  118972. + } else if (ep0->dwc_ep.sent_zlp) {
  118973. + dwc_otg_ep0_continue_transfer(GET_CORE_IF(pcd),
  118974. + &ep0->dwc_ep);
  118975. + ep0->dwc_ep.sent_zlp = 0;
  118976. + DWC_DEBUGPL(DBG_PCD, "CONTINUE TRANSFER sent zlp\n");
  118977. + } else {
  118978. + ep0_complete_request(ep0);
  118979. + DWC_DEBUGPL(DBG_PCD, "COMPLETE TRANSFER\n");
  118980. + }
  118981. + break;
  118982. +
  118983. + case EP0_IN_STATUS_PHASE:
  118984. + case EP0_OUT_STATUS_PHASE:
  118985. + DWC_DEBUGPL(DBG_PCD, "CASE: EP0_STATUS\n");
  118986. + ep0_complete_request(ep0);
  118987. + pcd->ep0state = EP0_IDLE;
  118988. + ep0->stopped = 1;
  118989. + ep0->dwc_ep.is_in = 0; /* OUT for next SETUP */
  118990. +
  118991. + /* Prepare for more SETUP Packets */
  118992. + if (core_if->dma_enable) {
  118993. + ep0_out_start(core_if, pcd);
  118994. + }
  118995. + break;
  118996. +
  118997. + case EP0_STALL:
  118998. + DWC_ERROR("EP0 STALLed, should not get here pcd_setup()\n");
  118999. + break;
  119000. + }
  119001. +#ifdef DEBUG_EP0
  119002. + print_ep0_state(pcd);
  119003. +#endif
  119004. +}
  119005. +
  119006. +/**
  119007. + * Restart transfer
  119008. + */
  119009. +static void restart_transfer(dwc_otg_pcd_t * pcd, const uint32_t epnum)
  119010. +{
  119011. + dwc_otg_core_if_t *core_if;
  119012. + dwc_otg_dev_if_t *dev_if;
  119013. + deptsiz_data_t dieptsiz = {.d32 = 0 };
  119014. + dwc_otg_pcd_ep_t *ep;
  119015. +
  119016. + ep = get_in_ep(pcd, epnum);
  119017. +
  119018. +#ifdef DWC_EN_ISOC
  119019. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  119020. + return;
  119021. + }
  119022. +#endif /* DWC_EN_ISOC */
  119023. +
  119024. + core_if = GET_CORE_IF(pcd);
  119025. + dev_if = core_if->dev_if;
  119026. +
  119027. + dieptsiz.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dieptsiz);
  119028. +
  119029. + DWC_DEBUGPL(DBG_PCD, "xfer_buff=%p xfer_count=%0x xfer_len=%0x"
  119030. + " stopped=%d\n", ep->dwc_ep.xfer_buff,
  119031. + ep->dwc_ep.xfer_count, ep->dwc_ep.xfer_len, ep->stopped);
  119032. + /*
  119033. + * If xfersize is 0 and pktcnt in not 0, resend the last packet.
  119034. + */
  119035. + if (dieptsiz.b.pktcnt && dieptsiz.b.xfersize == 0 &&
  119036. + ep->dwc_ep.start_xfer_buff != 0) {
  119037. + if (ep->dwc_ep.total_len <= ep->dwc_ep.maxpacket) {
  119038. + ep->dwc_ep.xfer_count = 0;
  119039. + ep->dwc_ep.xfer_buff = ep->dwc_ep.start_xfer_buff;
  119040. + ep->dwc_ep.xfer_len = ep->dwc_ep.xfer_count;
  119041. + } else {
  119042. + ep->dwc_ep.xfer_count -= ep->dwc_ep.maxpacket;
  119043. + /* convert packet size to dwords. */
  119044. + ep->dwc_ep.xfer_buff -= ep->dwc_ep.maxpacket;
  119045. + ep->dwc_ep.xfer_len = ep->dwc_ep.xfer_count;
  119046. + }
  119047. + ep->stopped = 0;
  119048. + DWC_DEBUGPL(DBG_PCD, "xfer_buff=%p xfer_count=%0x "
  119049. + "xfer_len=%0x stopped=%d\n",
  119050. + ep->dwc_ep.xfer_buff,
  119051. + ep->dwc_ep.xfer_count, ep->dwc_ep.xfer_len,
  119052. + ep->stopped);
  119053. + if (epnum == 0) {
  119054. + dwc_otg_ep0_start_transfer(core_if, &ep->dwc_ep);
  119055. + } else {
  119056. + dwc_otg_ep_start_transfer(core_if, &ep->dwc_ep);
  119057. + }
  119058. + }
  119059. +}
  119060. +
  119061. +/*
  119062. + * This function create new nextep sequnce based on Learn Queue.
  119063. + *
  119064. + * @param core_if Programming view of DWC_otg controller
  119065. + */
  119066. +void predict_nextep_seq( dwc_otg_core_if_t * core_if)
  119067. +{
  119068. + dwc_otg_device_global_regs_t *dev_global_regs =
  119069. + core_if->dev_if->dev_global_regs;
  119070. + const uint32_t TOKEN_Q_DEPTH = core_if->hwcfg2.b.dev_token_q_depth;
  119071. + /* Number of Token Queue Registers */
  119072. + const int DTKNQ_REG_CNT = (TOKEN_Q_DEPTH + 7) / 8;
  119073. + dtknq1_data_t dtknqr1;
  119074. + uint32_t in_tkn_epnums[4];
  119075. + uint8_t seqnum[MAX_EPS_CHANNELS];
  119076. + uint8_t intkn_seq[TOKEN_Q_DEPTH];
  119077. + grstctl_t resetctl = {.d32 = 0 };
  119078. + uint8_t temp;
  119079. + int ndx = 0;
  119080. + int start = 0;
  119081. + int end = 0;
  119082. + int sort_done = 0;
  119083. + int i = 0;
  119084. + volatile uint32_t *addr = &dev_global_regs->dtknqr1;
  119085. +
  119086. +
  119087. + DWC_DEBUGPL(DBG_PCD,"dev_token_q_depth=%d\n",TOKEN_Q_DEPTH);
  119088. +
  119089. + /* Read the DTKNQ Registers */
  119090. + for (i = 0; i < DTKNQ_REG_CNT; i++) {
  119091. + in_tkn_epnums[i] = DWC_READ_REG32(addr);
  119092. + DWC_DEBUGPL(DBG_PCDV, "DTKNQR%d=0x%08x\n", i + 1,
  119093. + in_tkn_epnums[i]);
  119094. + if (addr == &dev_global_regs->dvbusdis) {
  119095. + addr = &dev_global_regs->dtknqr3_dthrctl;
  119096. + } else {
  119097. + ++addr;
  119098. + }
  119099. +
  119100. + }
  119101. +
  119102. + /* Copy the DTKNQR1 data to the bit field. */
  119103. + dtknqr1.d32 = in_tkn_epnums[0];
  119104. + if (dtknqr1.b.wrap_bit) {
  119105. + ndx = dtknqr1.b.intknwptr;
  119106. + end = ndx -1;
  119107. + if (end < 0)
  119108. + end = TOKEN_Q_DEPTH -1;
  119109. + } else {
  119110. + ndx = 0;
  119111. + end = dtknqr1.b.intknwptr -1;
  119112. + if (end < 0)
  119113. + end = 0;
  119114. + }
  119115. + start = ndx;
  119116. +
  119117. + /* Fill seqnum[] by initial values: EP number + 31 */
  119118. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  119119. + seqnum[i] = i +31;
  119120. + }
  119121. +
  119122. + /* Fill intkn_seq[] from in_tkn_epnums[0] */
  119123. + for (i=0; i < 6; i++)
  119124. + intkn_seq[i] = (in_tkn_epnums[0] >> ((7-i) * 4)) & 0xf;
  119125. +
  119126. + if (TOKEN_Q_DEPTH > 6) {
  119127. + /* Fill intkn_seq[] from in_tkn_epnums[1] */
  119128. + for (i=6; i < 14; i++)
  119129. + intkn_seq[i] =
  119130. + (in_tkn_epnums[1] >> ((7 - (i - 6)) * 4)) & 0xf;
  119131. + }
  119132. +
  119133. + if (TOKEN_Q_DEPTH > 14) {
  119134. + /* Fill intkn_seq[] from in_tkn_epnums[1] */
  119135. + for (i=14; i < 22; i++)
  119136. + intkn_seq[i] =
  119137. + (in_tkn_epnums[2] >> ((7 - (i - 14)) * 4)) & 0xf;
  119138. + }
  119139. +
  119140. + if (TOKEN_Q_DEPTH > 22) {
  119141. + /* Fill intkn_seq[] from in_tkn_epnums[1] */
  119142. + for (i=22; i < 30; i++)
  119143. + intkn_seq[i] =
  119144. + (in_tkn_epnums[3] >> ((7 - (i - 22)) * 4)) & 0xf;
  119145. + }
  119146. +
  119147. + DWC_DEBUGPL(DBG_PCDV, "%s start=%d end=%d intkn_seq[]:\n", __func__,
  119148. + start, end);
  119149. + for (i=0; i<TOKEN_Q_DEPTH; i++)
  119150. + DWC_DEBUGPL(DBG_PCDV,"%d\n", intkn_seq[i]);
  119151. +
  119152. + /* Update seqnum based on intkn_seq[] */
  119153. + i = 0;
  119154. + do {
  119155. + seqnum[intkn_seq[ndx]] = i;
  119156. + ndx++;
  119157. + i++;
  119158. + if (ndx == TOKEN_Q_DEPTH)
  119159. + ndx = 0;
  119160. + } while ( i < TOKEN_Q_DEPTH );
  119161. +
  119162. + /* Mark non active EP's in seqnum[] by 0xff */
  119163. + for (i=0; i<=core_if->dev_if->num_in_eps; i++) {
  119164. + if (core_if->nextep_seq[i] == 0xff )
  119165. + seqnum[i] = 0xff;
  119166. + }
  119167. +
  119168. + /* Sort seqnum[] */
  119169. + sort_done = 0;
  119170. + while (!sort_done) {
  119171. + sort_done = 1;
  119172. + for (i=0; i<core_if->dev_if->num_in_eps; i++) {
  119173. + if (seqnum[i] > seqnum[i+1]) {
  119174. + temp = seqnum[i];
  119175. + seqnum[i] = seqnum[i+1];
  119176. + seqnum[i+1] = temp;
  119177. + sort_done = 0;
  119178. + }
  119179. + }
  119180. + }
  119181. +
  119182. + ndx = start + seqnum[0];
  119183. + if (ndx >= TOKEN_Q_DEPTH)
  119184. + ndx = ndx % TOKEN_Q_DEPTH;
  119185. + core_if->first_in_nextep_seq = intkn_seq[ndx];
  119186. +
  119187. + /* Update seqnum[] by EP numbers */
  119188. + for (i=0; i<=core_if->dev_if->num_in_eps; i++) {
  119189. + ndx = start + i;
  119190. + if (seqnum[i] < 31) {
  119191. + ndx = start + seqnum[i];
  119192. + if (ndx >= TOKEN_Q_DEPTH)
  119193. + ndx = ndx % TOKEN_Q_DEPTH;
  119194. + seqnum[i] = intkn_seq[ndx];
  119195. + } else {
  119196. + if (seqnum[i] < 0xff) {
  119197. + seqnum[i] = seqnum[i] - 31;
  119198. + } else {
  119199. + break;
  119200. + }
  119201. + }
  119202. + }
  119203. +
  119204. + /* Update nextep_seq[] based on seqnum[] */
  119205. + for (i=0; i<core_if->dev_if->num_in_eps; i++) {
  119206. + if (seqnum[i] != 0xff) {
  119207. + if (seqnum[i+1] != 0xff) {
  119208. + core_if->nextep_seq[seqnum[i]] = seqnum[i+1];
  119209. + } else {
  119210. + core_if->nextep_seq[seqnum[i]] = core_if->first_in_nextep_seq;
  119211. + break;
  119212. + }
  119213. + } else {
  119214. + break;
  119215. + }
  119216. + }
  119217. +
  119218. + DWC_DEBUGPL(DBG_PCDV, "%s first_in_nextep_seq= %2d; nextep_seq[]:\n",
  119219. + __func__, core_if->first_in_nextep_seq);
  119220. + for (i=0; i <= core_if->dev_if->num_in_eps; i++) {
  119221. + DWC_DEBUGPL(DBG_PCDV,"%2d\n", core_if->nextep_seq[i]);
  119222. + }
  119223. +
  119224. + /* Flush the Learning Queue */
  119225. + resetctl.d32 = DWC_READ_REG32(&core_if->core_global_regs->grstctl);
  119226. + resetctl.b.intknqflsh = 1;
  119227. + DWC_WRITE_REG32(&core_if->core_global_regs->grstctl, resetctl.d32);
  119228. +
  119229. +
  119230. +}
  119231. +
  119232. +/**
  119233. + * handle the IN EP disable interrupt.
  119234. + */
  119235. +static inline void handle_in_ep_disable_intr(dwc_otg_pcd_t * pcd,
  119236. + const uint32_t epnum)
  119237. +{
  119238. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  119239. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  119240. + deptsiz_data_t dieptsiz = {.d32 = 0 };
  119241. + dctl_data_t dctl = {.d32 = 0 };
  119242. + dwc_otg_pcd_ep_t *ep;
  119243. + dwc_ep_t *dwc_ep;
  119244. + gintmsk_data_t gintmsk_data;
  119245. + depctl_data_t depctl;
  119246. + uint32_t diepdma;
  119247. + uint32_t remain_to_transfer = 0;
  119248. + uint8_t i;
  119249. + uint32_t xfer_size;
  119250. +
  119251. + ep = get_in_ep(pcd, epnum);
  119252. + dwc_ep = &ep->dwc_ep;
  119253. +
  119254. + if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  119255. + dwc_otg_flush_tx_fifo(core_if, dwc_ep->tx_fifo_num);
  119256. + complete_ep(ep);
  119257. + return;
  119258. + }
  119259. +
  119260. + DWC_DEBUGPL(DBG_PCD, "diepctl%d=%0x\n", epnum,
  119261. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->diepctl));
  119262. + dieptsiz.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->dieptsiz);
  119263. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->diepctl);
  119264. +
  119265. + DWC_DEBUGPL(DBG_ANY, "pktcnt=%d size=%d\n",
  119266. + dieptsiz.b.pktcnt, dieptsiz.b.xfersize);
  119267. +
  119268. + if ((core_if->start_predict == 0) || (depctl.b.eptype & 1)) {
  119269. + if (ep->stopped) {
  119270. + if (core_if->en_multiple_tx_fifo)
  119271. + /* Flush the Tx FIFO */
  119272. + dwc_otg_flush_tx_fifo(core_if, dwc_ep->tx_fifo_num);
  119273. + /* Clear the Global IN NP NAK */
  119274. + dctl.d32 = 0;
  119275. + dctl.b.cgnpinnak = 1;
  119276. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, dctl.d32, dctl.d32);
  119277. + /* Restart the transaction */
  119278. + if (dieptsiz.b.pktcnt != 0 || dieptsiz.b.xfersize != 0) {
  119279. + restart_transfer(pcd, epnum);
  119280. + }
  119281. + } else {
  119282. + /* Restart the transaction */
  119283. + if (dieptsiz.b.pktcnt != 0 || dieptsiz.b.xfersize != 0) {
  119284. + restart_transfer(pcd, epnum);
  119285. + }
  119286. + DWC_DEBUGPL(DBG_ANY, "STOPPED!!!\n");
  119287. + }
  119288. + return;
  119289. + }
  119290. +
  119291. + if (core_if->start_predict > 2) { // NP IN EP
  119292. + core_if->start_predict--;
  119293. + return;
  119294. + }
  119295. +
  119296. + core_if->start_predict--;
  119297. +
  119298. + if (core_if->start_predict == 1) { // All NP IN Ep's disabled now
  119299. +
  119300. + predict_nextep_seq(core_if);
  119301. +
  119302. + /* Update all active IN EP's NextEP field based of nextep_seq[] */
  119303. + for ( i = 0; i <= core_if->dev_if->num_in_eps; i++) {
  119304. + depctl.d32 =
  119305. + DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  119306. + if (core_if->nextep_seq[i] != 0xff) { // Active NP IN EP
  119307. + depctl.b.nextep = core_if->nextep_seq[i];
  119308. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepctl, depctl.d32);
  119309. + }
  119310. + }
  119311. + /* Flush Shared NP TxFIFO */
  119312. + dwc_otg_flush_tx_fifo(core_if, 0);
  119313. + /* Rewind buffers */
  119314. + if (!core_if->dma_desc_enable) {
  119315. + i = core_if->first_in_nextep_seq;
  119316. + do {
  119317. + ep = get_in_ep(pcd, i);
  119318. + dieptsiz.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->dieptsiz);
  119319. + xfer_size = ep->dwc_ep.total_len - ep->dwc_ep.xfer_count;
  119320. + if (xfer_size > ep->dwc_ep.maxxfer)
  119321. + xfer_size = ep->dwc_ep.maxxfer;
  119322. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  119323. + if (dieptsiz.b.pktcnt != 0) {
  119324. + if (xfer_size == 0) {
  119325. + remain_to_transfer = 0;
  119326. + } else {
  119327. + if ((xfer_size % ep->dwc_ep.maxpacket) == 0) {
  119328. + remain_to_transfer =
  119329. + dieptsiz.b.pktcnt * ep->dwc_ep.maxpacket;
  119330. + } else {
  119331. + remain_to_transfer = ((dieptsiz.b.pktcnt -1) * ep->dwc_ep.maxpacket)
  119332. + + (xfer_size % ep->dwc_ep.maxpacket);
  119333. + }
  119334. + }
  119335. + diepdma = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepdma);
  119336. + dieptsiz.b.xfersize = remain_to_transfer;
  119337. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->dieptsiz, dieptsiz.d32);
  119338. + diepdma = ep->dwc_ep.dma_addr + (xfer_size - remain_to_transfer);
  119339. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepdma, diepdma);
  119340. + }
  119341. + i = core_if->nextep_seq[i];
  119342. + } while (i != core_if->first_in_nextep_seq);
  119343. + } else { // dma_desc_enable
  119344. + DWC_PRINTF("%s Learning Queue not supported in DDMA\n", __func__);
  119345. + }
  119346. +
  119347. + /* Restart transfers in predicted sequences */
  119348. + i = core_if->first_in_nextep_seq;
  119349. + do {
  119350. + dieptsiz.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->dieptsiz);
  119351. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  119352. + if (dieptsiz.b.pktcnt != 0) {
  119353. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  119354. + depctl.b.epena = 1;
  119355. + depctl.b.cnak = 1;
  119356. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepctl, depctl.d32);
  119357. + }
  119358. + i = core_if->nextep_seq[i];
  119359. + } while (i != core_if->first_in_nextep_seq);
  119360. +
  119361. + /* Clear the global non-periodic IN NAK handshake */
  119362. + dctl.d32 = 0;
  119363. + dctl.b.cgnpinnak = 1;
  119364. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, dctl.d32, dctl.d32);
  119365. +
  119366. + /* Unmask EP Mismatch interrupt */
  119367. + gintmsk_data.d32 = 0;
  119368. + gintmsk_data.b.epmismatch = 1;
  119369. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, 0, gintmsk_data.d32);
  119370. +
  119371. + core_if->start_predict = 0;
  119372. +
  119373. + }
  119374. +}
  119375. +
  119376. +/**
  119377. + * Handler for the IN EP timeout handshake interrupt.
  119378. + */
  119379. +static inline void handle_in_ep_timeout_intr(dwc_otg_pcd_t * pcd,
  119380. + const uint32_t epnum)
  119381. +{
  119382. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  119383. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  119384. +
  119385. +#ifdef DEBUG
  119386. + deptsiz_data_t dieptsiz = {.d32 = 0 };
  119387. + uint32_t num = 0;
  119388. +#endif
  119389. + dctl_data_t dctl = {.d32 = 0 };
  119390. + dwc_otg_pcd_ep_t *ep;
  119391. +
  119392. + gintmsk_data_t intr_mask = {.d32 = 0 };
  119393. +
  119394. + ep = get_in_ep(pcd, epnum);
  119395. +
  119396. + /* Disable the NP Tx Fifo Empty Interrrupt */
  119397. + if (!core_if->dma_enable) {
  119398. + intr_mask.b.nptxfempty = 1;
  119399. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk,
  119400. + intr_mask.d32, 0);
  119401. + }
  119402. + /** @todo NGS Check EP type.
  119403. + * Implement for Periodic EPs */
  119404. + /*
  119405. + * Non-periodic EP
  119406. + */
  119407. + /* Enable the Global IN NAK Effective Interrupt */
  119408. + intr_mask.b.ginnakeff = 1;
  119409. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk, 0, intr_mask.d32);
  119410. +
  119411. + /* Set Global IN NAK */
  119412. + dctl.b.sgnpinnak = 1;
  119413. + DWC_MODIFY_REG32(&dev_if->dev_global_regs->dctl, dctl.d32, dctl.d32);
  119414. +
  119415. + ep->stopped = 1;
  119416. +
  119417. +#ifdef DEBUG
  119418. + dieptsiz.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[num]->dieptsiz);
  119419. + DWC_DEBUGPL(DBG_ANY, "pktcnt=%d size=%d\n",
  119420. + dieptsiz.b.pktcnt, dieptsiz.b.xfersize);
  119421. +#endif
  119422. +
  119423. +#ifdef DISABLE_PERIODIC_EP
  119424. + /*
  119425. + * Set the NAK bit for this EP to
  119426. + * start the disable process.
  119427. + */
  119428. + diepctl.d32 = 0;
  119429. + diepctl.b.snak = 1;
  119430. + DWC_MODIFY_REG32(&dev_if->in_ep_regs[num]->diepctl, diepctl.d32,
  119431. + diepctl.d32);
  119432. + ep->disabling = 1;
  119433. + ep->stopped = 1;
  119434. +#endif
  119435. +}
  119436. +
  119437. +/**
  119438. + * Handler for the IN EP NAK interrupt.
  119439. + */
  119440. +static inline int32_t handle_in_ep_nak_intr(dwc_otg_pcd_t * pcd,
  119441. + const uint32_t epnum)
  119442. +{
  119443. + /** @todo implement ISR */
  119444. + dwc_otg_core_if_t *core_if;
  119445. + diepmsk_data_t intr_mask = {.d32 = 0 };
  119446. +
  119447. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n", "IN EP NAK");
  119448. + core_if = GET_CORE_IF(pcd);
  119449. + intr_mask.b.nak = 1;
  119450. +
  119451. + if (core_if->multiproc_int_enable) {
  119452. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  119453. + diepeachintmsk[epnum], intr_mask.d32, 0);
  119454. + } else {
  119455. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->diepmsk,
  119456. + intr_mask.d32, 0);
  119457. + }
  119458. +
  119459. + return 1;
  119460. +}
  119461. +
  119462. +/**
  119463. + * Handler for the OUT EP Babble interrupt.
  119464. + */
  119465. +static inline int32_t handle_out_ep_babble_intr(dwc_otg_pcd_t * pcd,
  119466. + const uint32_t epnum)
  119467. +{
  119468. + /** @todo implement ISR */
  119469. + dwc_otg_core_if_t *core_if;
  119470. + doepmsk_data_t intr_mask = {.d32 = 0 };
  119471. +
  119472. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n",
  119473. + "OUT EP Babble");
  119474. + core_if = GET_CORE_IF(pcd);
  119475. + intr_mask.b.babble = 1;
  119476. +
  119477. + if (core_if->multiproc_int_enable) {
  119478. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  119479. + doepeachintmsk[epnum], intr_mask.d32, 0);
  119480. + } else {
  119481. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->doepmsk,
  119482. + intr_mask.d32, 0);
  119483. + }
  119484. +
  119485. + return 1;
  119486. +}
  119487. +
  119488. +/**
  119489. + * Handler for the OUT EP NAK interrupt.
  119490. + */
  119491. +static inline int32_t handle_out_ep_nak_intr(dwc_otg_pcd_t * pcd,
  119492. + const uint32_t epnum)
  119493. +{
  119494. + /** @todo implement ISR */
  119495. + dwc_otg_core_if_t *core_if;
  119496. + doepmsk_data_t intr_mask = {.d32 = 0 };
  119497. +
  119498. + DWC_DEBUGPL(DBG_ANY, "INTERRUPT Handler not implemented for %s\n", "OUT EP NAK");
  119499. + core_if = GET_CORE_IF(pcd);
  119500. + intr_mask.b.nak = 1;
  119501. +
  119502. + if (core_if->multiproc_int_enable) {
  119503. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  119504. + doepeachintmsk[epnum], intr_mask.d32, 0);
  119505. + } else {
  119506. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->doepmsk,
  119507. + intr_mask.d32, 0);
  119508. + }
  119509. +
  119510. + return 1;
  119511. +}
  119512. +
  119513. +/**
  119514. + * Handler for the OUT EP NYET interrupt.
  119515. + */
  119516. +static inline int32_t handle_out_ep_nyet_intr(dwc_otg_pcd_t * pcd,
  119517. + const uint32_t epnum)
  119518. +{
  119519. + /** @todo implement ISR */
  119520. + dwc_otg_core_if_t *core_if;
  119521. + doepmsk_data_t intr_mask = {.d32 = 0 };
  119522. +
  119523. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n", "OUT EP NYET");
  119524. + core_if = GET_CORE_IF(pcd);
  119525. + intr_mask.b.nyet = 1;
  119526. +
  119527. + if (core_if->multiproc_int_enable) {
  119528. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->
  119529. + doepeachintmsk[epnum], intr_mask.d32, 0);
  119530. + } else {
  119531. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->doepmsk,
  119532. + intr_mask.d32, 0);
  119533. + }
  119534. +
  119535. + return 1;
  119536. +}
  119537. +
  119538. +/**
  119539. + * This interrupt indicates that an IN EP has a pending Interrupt.
  119540. + * The sequence for handling the IN EP interrupt is shown below:
  119541. + * -# Read the Device All Endpoint Interrupt register
  119542. + * -# Repeat the following for each IN EP interrupt bit set (from
  119543. + * LSB to MSB).
  119544. + * -# Read the Device Endpoint Interrupt (DIEPINTn) register
  119545. + * -# If "Transfer Complete" call the request complete function
  119546. + * -# If "Endpoint Disabled" complete the EP disable procedure.
  119547. + * -# If "AHB Error Interrupt" log error
  119548. + * -# If "Time-out Handshake" log error
  119549. + * -# If "IN Token Received when TxFIFO Empty" write packet to Tx
  119550. + * FIFO.
  119551. + * -# If "IN Token EP Mismatch" (disable, this is handled by EP
  119552. + * Mismatch Interrupt)
  119553. + */
  119554. +static int32_t dwc_otg_pcd_handle_in_ep_intr(dwc_otg_pcd_t * pcd)
  119555. +{
  119556. +#define CLEAR_IN_EP_INTR(__core_if,__epnum,__intr) \
  119557. +do { \
  119558. + diepint_data_t diepint = {.d32=0}; \
  119559. + diepint.b.__intr = 1; \
  119560. + DWC_WRITE_REG32(&__core_if->dev_if->in_ep_regs[__epnum]->diepint, \
  119561. + diepint.d32); \
  119562. +} while (0)
  119563. +
  119564. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  119565. + dwc_otg_dev_if_t *dev_if = core_if->dev_if;
  119566. + diepint_data_t diepint = {.d32 = 0 };
  119567. + depctl_data_t depctl = {.d32 = 0 };
  119568. + uint32_t ep_intr;
  119569. + uint32_t epnum = 0;
  119570. + dwc_otg_pcd_ep_t *ep;
  119571. + dwc_ep_t *dwc_ep;
  119572. + gintmsk_data_t intr_mask = {.d32 = 0 };
  119573. +
  119574. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, pcd);
  119575. +
  119576. + /* Read in the device interrupt bits */
  119577. + ep_intr = dwc_otg_read_dev_all_in_ep_intr(core_if);
  119578. +
  119579. + /* Service the Device IN interrupts for each endpoint */
  119580. + while (ep_intr) {
  119581. + if (ep_intr & 0x1) {
  119582. + uint32_t empty_msk;
  119583. + /* Get EP pointer */
  119584. + ep = get_in_ep(pcd, epnum);
  119585. + dwc_ep = &ep->dwc_ep;
  119586. +
  119587. + depctl.d32 =
  119588. + DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->diepctl);
  119589. + empty_msk =
  119590. + DWC_READ_REG32(&dev_if->
  119591. + dev_global_regs->dtknqr4_fifoemptymsk);
  119592. +
  119593. + DWC_DEBUGPL(DBG_PCDV,
  119594. + "IN EP INTERRUPT - %d\nepmty_msk - %8x diepctl - %8x\n",
  119595. + epnum, empty_msk, depctl.d32);
  119596. +
  119597. + DWC_DEBUGPL(DBG_PCD,
  119598. + "EP%d-%s: type=%d, mps=%d\n",
  119599. + dwc_ep->num, (dwc_ep->is_in ? "IN" : "OUT"),
  119600. + dwc_ep->type, dwc_ep->maxpacket);
  119601. +
  119602. + diepint.d32 =
  119603. + dwc_otg_read_dev_in_ep_intr(core_if, dwc_ep);
  119604. +
  119605. + DWC_DEBUGPL(DBG_PCDV,
  119606. + "EP %d Interrupt Register - 0x%x\n", epnum,
  119607. + diepint.d32);
  119608. + /* Transfer complete */
  119609. + if (diepint.b.xfercompl) {
  119610. + /* Disable the NP Tx FIFO Empty
  119611. + * Interrupt */
  119612. + if (core_if->en_multiple_tx_fifo == 0) {
  119613. + intr_mask.b.nptxfempty = 1;
  119614. + DWC_MODIFY_REG32
  119615. + (&core_if->core_global_regs->gintmsk,
  119616. + intr_mask.d32, 0);
  119617. + } else {
  119618. + /* Disable the Tx FIFO Empty Interrupt for this EP */
  119619. + uint32_t fifoemptymsk =
  119620. + 0x1 << dwc_ep->num;
  119621. + DWC_MODIFY_REG32(&core_if->
  119622. + dev_if->dev_global_regs->dtknqr4_fifoemptymsk,
  119623. + fifoemptymsk, 0);
  119624. + }
  119625. + /* Clear the bit in DIEPINTn for this interrupt */
  119626. + CLEAR_IN_EP_INTR(core_if, epnum, xfercompl);
  119627. +
  119628. + /* Complete the transfer */
  119629. + if (epnum == 0) {
  119630. + handle_ep0(pcd);
  119631. + }
  119632. +#ifdef DWC_EN_ISOC
  119633. + else if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  119634. + if (!ep->stopped)
  119635. + complete_iso_ep(pcd, ep);
  119636. + }
  119637. +#endif /* DWC_EN_ISOC */
  119638. +#ifdef DWC_UTE_PER_IO
  119639. + else if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  119640. + if (!ep->stopped)
  119641. + complete_xiso_ep(ep);
  119642. + }
  119643. +#endif /* DWC_UTE_PER_IO */
  119644. + else {
  119645. + if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC &&
  119646. + dwc_ep->bInterval > 1) {
  119647. + dwc_ep->frame_num += dwc_ep->bInterval;
  119648. + if (dwc_ep->frame_num > 0x3FFF)
  119649. + {
  119650. + dwc_ep->frm_overrun = 1;
  119651. + dwc_ep->frame_num &= 0x3FFF;
  119652. + } else
  119653. + dwc_ep->frm_overrun = 0;
  119654. + }
  119655. + complete_ep(ep);
  119656. + if(diepint.b.nak)
  119657. + CLEAR_IN_EP_INTR(core_if, epnum, nak);
  119658. + }
  119659. + }
  119660. + /* Endpoint disable */
  119661. + if (diepint.b.epdisabled) {
  119662. + DWC_DEBUGPL(DBG_ANY, "EP%d IN disabled\n",
  119663. + epnum);
  119664. + handle_in_ep_disable_intr(pcd, epnum);
  119665. +
  119666. + /* Clear the bit in DIEPINTn for this interrupt */
  119667. + CLEAR_IN_EP_INTR(core_if, epnum, epdisabled);
  119668. + }
  119669. + /* AHB Error */
  119670. + if (diepint.b.ahberr) {
  119671. + DWC_ERROR("EP%d IN AHB Error\n", epnum);
  119672. + /* Clear the bit in DIEPINTn for this interrupt */
  119673. + CLEAR_IN_EP_INTR(core_if, epnum, ahberr);
  119674. + }
  119675. + /* TimeOUT Handshake (non-ISOC IN EPs) */
  119676. + if (diepint.b.timeout) {
  119677. + DWC_ERROR("EP%d IN Time-out\n", epnum);
  119678. + handle_in_ep_timeout_intr(pcd, epnum);
  119679. +
  119680. + CLEAR_IN_EP_INTR(core_if, epnum, timeout);
  119681. + }
  119682. + /** IN Token received with TxF Empty */
  119683. + if (diepint.b.intktxfemp) {
  119684. + DWC_DEBUGPL(DBG_ANY,
  119685. + "EP%d IN TKN TxFifo Empty\n",
  119686. + epnum);
  119687. + if (!ep->stopped && epnum != 0) {
  119688. +
  119689. + diepmsk_data_t diepmsk = {.d32 = 0 };
  119690. + diepmsk.b.intktxfemp = 1;
  119691. +
  119692. + if (core_if->multiproc_int_enable) {
  119693. + DWC_MODIFY_REG32
  119694. + (&dev_if->dev_global_regs->diepeachintmsk
  119695. + [epnum], diepmsk.d32, 0);
  119696. + } else {
  119697. + DWC_MODIFY_REG32
  119698. + (&dev_if->dev_global_regs->diepmsk,
  119699. + diepmsk.d32, 0);
  119700. + }
  119701. + } else if (core_if->dma_desc_enable
  119702. + && epnum == 0
  119703. + && pcd->ep0state ==
  119704. + EP0_OUT_STATUS_PHASE) {
  119705. + // EP0 IN set STALL
  119706. + depctl.d32 =
  119707. + DWC_READ_REG32(&dev_if->in_ep_regs
  119708. + [epnum]->diepctl);
  119709. +
  119710. + /* set the disable and stall bits */
  119711. + if (depctl.b.epena) {
  119712. + depctl.b.epdis = 1;
  119713. + }
  119714. + depctl.b.stall = 1;
  119715. + DWC_WRITE_REG32(&dev_if->in_ep_regs
  119716. + [epnum]->diepctl,
  119717. + depctl.d32);
  119718. + }
  119719. + CLEAR_IN_EP_INTR(core_if, epnum, intktxfemp);
  119720. + }
  119721. + /** IN Token Received with EP mismatch */
  119722. + if (diepint.b.intknepmis) {
  119723. + DWC_DEBUGPL(DBG_ANY,
  119724. + "EP%d IN TKN EP Mismatch\n", epnum);
  119725. + CLEAR_IN_EP_INTR(core_if, epnum, intknepmis);
  119726. + }
  119727. + /** IN Endpoint NAK Effective */
  119728. + if (diepint.b.inepnakeff) {
  119729. + DWC_DEBUGPL(DBG_ANY,
  119730. + "EP%d IN EP NAK Effective\n",
  119731. + epnum);
  119732. + /* Periodic EP */
  119733. + if (ep->disabling) {
  119734. + depctl.d32 = 0;
  119735. + depctl.b.snak = 1;
  119736. + depctl.b.epdis = 1;
  119737. + DWC_MODIFY_REG32(&dev_if->in_ep_regs
  119738. + [epnum]->diepctl,
  119739. + depctl.d32,
  119740. + depctl.d32);
  119741. + }
  119742. + CLEAR_IN_EP_INTR(core_if, epnum, inepnakeff);
  119743. +
  119744. + }
  119745. +
  119746. + /** IN EP Tx FIFO Empty Intr */
  119747. + if (diepint.b.emptyintr) {
  119748. + DWC_DEBUGPL(DBG_ANY,
  119749. + "EP%d Tx FIFO Empty Intr \n",
  119750. + epnum);
  119751. + write_empty_tx_fifo(pcd, epnum);
  119752. +
  119753. + CLEAR_IN_EP_INTR(core_if, epnum, emptyintr);
  119754. +
  119755. + }
  119756. +
  119757. + /** IN EP BNA Intr */
  119758. + if (diepint.b.bna) {
  119759. + CLEAR_IN_EP_INTR(core_if, epnum, bna);
  119760. + if (core_if->dma_desc_enable) {
  119761. +#ifdef DWC_EN_ISOC
  119762. + if (dwc_ep->type ==
  119763. + DWC_OTG_EP_TYPE_ISOC) {
  119764. + /*
  119765. + * This checking is performed to prevent first "false" BNA
  119766. + * handling occuring right after reconnect
  119767. + */
  119768. + if (dwc_ep->next_frame !=
  119769. + 0xffffffff)
  119770. + dwc_otg_pcd_handle_iso_bna(ep);
  119771. + } else
  119772. +#endif /* DWC_EN_ISOC */
  119773. + {
  119774. + dwc_otg_pcd_handle_noniso_bna(ep);
  119775. + }
  119776. + }
  119777. + }
  119778. + /* NAK Interrutp */
  119779. + if (diepint.b.nak) {
  119780. + DWC_DEBUGPL(DBG_ANY, "EP%d IN NAK Interrupt\n",
  119781. + epnum);
  119782. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  119783. + depctl_data_t depctl;
  119784. + if (ep->dwc_ep.frame_num == 0xFFFFFFFF) {
  119785. + ep->dwc_ep.frame_num = core_if->frame_num;
  119786. + if (ep->dwc_ep.bInterval > 1) {
  119787. + depctl.d32 = 0;
  119788. + depctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[epnum]->diepctl);
  119789. + if (ep->dwc_ep.frame_num & 0x1) {
  119790. + depctl.b.setd1pid = 1;
  119791. + depctl.b.setd0pid = 0;
  119792. + } else {
  119793. + depctl.b.setd0pid = 1;
  119794. + depctl.b.setd1pid = 0;
  119795. + }
  119796. + DWC_WRITE_REG32(&dev_if->in_ep_regs[epnum]->diepctl, depctl.d32);
  119797. + }
  119798. + start_next_request(ep);
  119799. + }
  119800. + ep->dwc_ep.frame_num += ep->dwc_ep.bInterval;
  119801. + if (dwc_ep->frame_num > 0x3FFF) {
  119802. + dwc_ep->frm_overrun = 1;
  119803. + dwc_ep->frame_num &= 0x3FFF;
  119804. + } else
  119805. + dwc_ep->frm_overrun = 0;
  119806. + }
  119807. +
  119808. + CLEAR_IN_EP_INTR(core_if, epnum, nak);
  119809. + }
  119810. + }
  119811. + epnum++;
  119812. + ep_intr >>= 1;
  119813. + }
  119814. +
  119815. + return 1;
  119816. +#undef CLEAR_IN_EP_INTR
  119817. +}
  119818. +
  119819. +/**
  119820. + * This interrupt indicates that an OUT EP has a pending Interrupt.
  119821. + * The sequence for handling the OUT EP interrupt is shown below:
  119822. + * -# Read the Device All Endpoint Interrupt register
  119823. + * -# Repeat the following for each OUT EP interrupt bit set (from
  119824. + * LSB to MSB).
  119825. + * -# Read the Device Endpoint Interrupt (DOEPINTn) register
  119826. + * -# If "Transfer Complete" call the request complete function
  119827. + * -# If "Endpoint Disabled" complete the EP disable procedure.
  119828. + * -# If "AHB Error Interrupt" log error
  119829. + * -# If "Setup Phase Done" process Setup Packet (See Standard USB
  119830. + * Command Processing)
  119831. + */
  119832. +static int32_t dwc_otg_pcd_handle_out_ep_intr(dwc_otg_pcd_t * pcd)
  119833. +{
  119834. +#define CLEAR_OUT_EP_INTR(__core_if,__epnum,__intr) \
  119835. +do { \
  119836. + doepint_data_t doepint = {.d32=0}; \
  119837. + doepint.b.__intr = 1; \
  119838. + DWC_WRITE_REG32(&__core_if->dev_if->out_ep_regs[__epnum]->doepint, \
  119839. + doepint.d32); \
  119840. +} while (0)
  119841. +
  119842. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  119843. + uint32_t ep_intr;
  119844. + doepint_data_t doepint = {.d32 = 0 };
  119845. + uint32_t epnum = 0;
  119846. + dwc_otg_pcd_ep_t *ep;
  119847. + dwc_ep_t *dwc_ep;
  119848. + dctl_data_t dctl = {.d32 = 0 };
  119849. + gintmsk_data_t gintmsk = {.d32 = 0 };
  119850. +
  119851. +
  119852. + DWC_DEBUGPL(DBG_PCDV, "%s()\n", __func__);
  119853. +
  119854. + /* Read in the device interrupt bits */
  119855. + ep_intr = dwc_otg_read_dev_all_out_ep_intr(core_if);
  119856. +
  119857. + while (ep_intr) {
  119858. + if (ep_intr & 0x1) {
  119859. + /* Get EP pointer */
  119860. + ep = get_out_ep(pcd, epnum);
  119861. + dwc_ep = &ep->dwc_ep;
  119862. +
  119863. +#ifdef VERBOSE
  119864. + DWC_DEBUGPL(DBG_PCDV,
  119865. + "EP%d-%s: type=%d, mps=%d\n",
  119866. + dwc_ep->num, (dwc_ep->is_in ? "IN" : "OUT"),
  119867. + dwc_ep->type, dwc_ep->maxpacket);
  119868. +#endif
  119869. + doepint.d32 =
  119870. + dwc_otg_read_dev_out_ep_intr(core_if, dwc_ep);
  119871. + /* Moved this interrupt upper due to core deffect of asserting
  119872. + * OUT EP 0 xfercompl along with stsphsrcvd in BDMA */
  119873. + if (doepint.b.stsphsercvd) {
  119874. + deptsiz0_data_t deptsiz;
  119875. + CLEAR_OUT_EP_INTR(core_if, epnum, stsphsercvd);
  119876. + deptsiz.d32 =
  119877. + DWC_READ_REG32(&core_if->dev_if->
  119878. + out_ep_regs[0]->doeptsiz);
  119879. + if (core_if->snpsid >= OTG_CORE_REV_3_00a
  119880. + && core_if->dma_enable
  119881. + && core_if->dma_desc_enable == 0
  119882. + && doepint.b.xfercompl
  119883. + && deptsiz.b.xfersize == 24) {
  119884. + CLEAR_OUT_EP_INTR(core_if, epnum,
  119885. + xfercompl);
  119886. + doepint.b.xfercompl = 0;
  119887. + ep0_out_start(core_if, pcd);
  119888. + }
  119889. + if ((core_if->dma_desc_enable) ||
  119890. + (core_if->dma_enable
  119891. + && core_if->snpsid >=
  119892. + OTG_CORE_REV_3_00a)) {
  119893. + do_setup_in_status_phase(pcd);
  119894. + }
  119895. + }
  119896. + /* Transfer complete */
  119897. + if (doepint.b.xfercompl) {
  119898. +
  119899. + if (epnum == 0) {
  119900. + /* Clear the bit in DOEPINTn for this interrupt */
  119901. + CLEAR_OUT_EP_INTR(core_if, epnum, xfercompl);
  119902. + if (core_if->snpsid >= OTG_CORE_REV_3_00a) {
  119903. + DWC_DEBUGPL(DBG_PCDV, "DOEPINT=%x doepint=%x\n",
  119904. + DWC_READ_REG32(&core_if->dev_if->out_ep_regs[0]->doepint),
  119905. + doepint.d32);
  119906. + DWC_DEBUGPL(DBG_PCDV, "DOEPCTL=%x \n",
  119907. + DWC_READ_REG32(&core_if->dev_if->out_ep_regs[0]->doepctl));
  119908. +
  119909. + if (core_if->snpsid >= OTG_CORE_REV_3_00a
  119910. + && core_if->dma_enable == 0) {
  119911. + doepint_data_t doepint;
  119912. + doepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  119913. + out_ep_regs[0]->doepint);
  119914. + if (pcd->ep0state == EP0_IDLE && doepint.b.sr) {
  119915. + CLEAR_OUT_EP_INTR(core_if, epnum, sr);
  119916. + goto exit_xfercompl;
  119917. + }
  119918. + }
  119919. + /* In case of DDMA look at SR bit to go to the Data Stage */
  119920. + if (core_if->dma_desc_enable) {
  119921. + dev_dma_desc_sts_t status = {.d32 = 0};
  119922. + if (pcd->ep0state == EP0_IDLE) {
  119923. + status.d32 = core_if->dev_if->setup_desc_addr[core_if->
  119924. + dev_if->setup_desc_index]->status.d32;
  119925. + if(pcd->data_terminated) {
  119926. + pcd->data_terminated = 0;
  119927. + status.d32 = core_if->dev_if->out_desc_addr->status.d32;
  119928. + dwc_memcpy(&pcd->setup_pkt->req, pcd->backup_buf, 8);
  119929. + }
  119930. + if (status.b.sr) {
  119931. + if (doepint.b.setup) {
  119932. + DWC_DEBUGPL(DBG_PCDV, "DMA DESC EP0_IDLE SR=1 setup=1\n");
  119933. + /* Already started data stage, clear setup */
  119934. + CLEAR_OUT_EP_INTR(core_if, epnum, setup);
  119935. + doepint.b.setup = 0;
  119936. + handle_ep0(pcd);
  119937. + /* Prepare for more setup packets */
  119938. + if (pcd->ep0state == EP0_IN_STATUS_PHASE ||
  119939. + pcd->ep0state == EP0_IN_DATA_PHASE) {
  119940. + ep0_out_start(core_if, pcd);
  119941. + }
  119942. +
  119943. + goto exit_xfercompl;
  119944. + } else {
  119945. + /* Prepare for more setup packets */
  119946. + DWC_DEBUGPL(DBG_PCDV,
  119947. + "EP0_IDLE SR=1 setup=0 new setup comes\n");
  119948. + ep0_out_start(core_if, pcd);
  119949. + }
  119950. + }
  119951. + } else {
  119952. + dwc_otg_pcd_request_t *req;
  119953. + dev_dma_desc_sts_t status = {.d32 = 0};
  119954. + diepint_data_t diepint0;
  119955. + diepint0.d32 = DWC_READ_REG32(&core_if->dev_if->
  119956. + in_ep_regs[0]->diepint);
  119957. +
  119958. + if (pcd->ep0state == EP0_STALL || pcd->ep0state == EP0_DISCONNECT) {
  119959. + DWC_ERROR("EP0 is stalled/disconnected\n");
  119960. + }
  119961. +
  119962. + /* Clear IN xfercompl if set */
  119963. + if (diepint0.b.xfercompl && (pcd->ep0state == EP0_IN_STATUS_PHASE
  119964. + || pcd->ep0state == EP0_IN_DATA_PHASE)) {
  119965. + DWC_WRITE_REG32(&core_if->dev_if->
  119966. + in_ep_regs[0]->diepint, diepint0.d32);
  119967. + }
  119968. +
  119969. + status.d32 = core_if->dev_if->setup_desc_addr[core_if->
  119970. + dev_if->setup_desc_index]->status.d32;
  119971. +
  119972. + if (ep->dwc_ep.xfer_count != ep->dwc_ep.total_len
  119973. + && (pcd->ep0state == EP0_OUT_DATA_PHASE))
  119974. + status.d32 = core_if->dev_if->out_desc_addr->status.d32;
  119975. + if (pcd->ep0state == EP0_OUT_STATUS_PHASE)
  119976. + status.d32 = core_if->dev_if->
  119977. + out_desc_addr->status.d32;
  119978. +
  119979. + if (status.b.sr) {
  119980. + if (DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  119981. + DWC_DEBUGPL(DBG_PCDV, "Request queue empty!!\n");
  119982. + } else {
  119983. + DWC_DEBUGPL(DBG_PCDV, "complete req!!\n");
  119984. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  119985. + if (ep->dwc_ep.xfer_count != ep->dwc_ep.total_len &&
  119986. + pcd->ep0state == EP0_OUT_DATA_PHASE) {
  119987. + /* Read arrived setup packet from req->buf */
  119988. + dwc_memcpy(&pcd->setup_pkt->req,
  119989. + req->buf + ep->dwc_ep.xfer_count, 8);
  119990. + }
  119991. + req->actual = ep->dwc_ep.xfer_count;
  119992. + dwc_otg_request_done(ep, req, -ECONNRESET);
  119993. + ep->dwc_ep.start_xfer_buff = 0;
  119994. + ep->dwc_ep.xfer_buff = 0;
  119995. + ep->dwc_ep.xfer_len = 0;
  119996. + }
  119997. + pcd->ep0state = EP0_IDLE;
  119998. + if (doepint.b.setup) {
  119999. + DWC_DEBUGPL(DBG_PCDV, "EP0_IDLE SR=1 setup=1\n");
  120000. + /* Data stage started, clear setup */
  120001. + CLEAR_OUT_EP_INTR(core_if, epnum, setup);
  120002. + doepint.b.setup = 0;
  120003. + handle_ep0(pcd);
  120004. + /* Prepare for setup packets if ep0in was enabled*/
  120005. + if (pcd->ep0state == EP0_IN_STATUS_PHASE) {
  120006. + ep0_out_start(core_if, pcd);
  120007. + }
  120008. +
  120009. + goto exit_xfercompl;
  120010. + } else {
  120011. + /* Prepare for more setup packets */
  120012. + DWC_DEBUGPL(DBG_PCDV,
  120013. + "EP0_IDLE SR=1 setup=0 new setup comes 2\n");
  120014. + ep0_out_start(core_if, pcd);
  120015. + }
  120016. + }
  120017. + }
  120018. + }
  120019. + if (core_if->snpsid >= OTG_CORE_REV_2_94a && core_if->dma_enable
  120020. + && core_if->dma_desc_enable == 0) {
  120021. + doepint_data_t doepint_temp = {.d32 = 0};
  120022. + deptsiz0_data_t doeptsize0 = {.d32 = 0 };
  120023. + doepint_temp.d32 = DWC_READ_REG32(&core_if->dev_if->
  120024. + out_ep_regs[ep->dwc_ep.num]->doepint);
  120025. + doeptsize0.d32 = DWC_READ_REG32(&core_if->dev_if->
  120026. + out_ep_regs[ep->dwc_ep.num]->doeptsiz);
  120027. + if (pcd->ep0state == EP0_IDLE) {
  120028. + if (doepint_temp.b.sr) {
  120029. + CLEAR_OUT_EP_INTR(core_if, epnum, sr);
  120030. + }
  120031. + doepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  120032. + out_ep_regs[0]->doepint);
  120033. + if (doeptsize0.b.supcnt == 3) {
  120034. + DWC_DEBUGPL(DBG_ANY, "Rolling over!!!!!!!\n");
  120035. + ep->dwc_ep.stp_rollover = 1;
  120036. + }
  120037. + if (doepint.b.setup) {
  120038. +retry:
  120039. + /* Already started data stage, clear setup */
  120040. + CLEAR_OUT_EP_INTR(core_if, epnum, setup);
  120041. + doepint.b.setup = 0;
  120042. + handle_ep0(pcd);
  120043. + ep->dwc_ep.stp_rollover = 0;
  120044. + /* Prepare for more setup packets */
  120045. + if (pcd->ep0state == EP0_IN_STATUS_PHASE ||
  120046. + pcd->ep0state == EP0_IN_DATA_PHASE) {
  120047. + ep0_out_start(core_if, pcd);
  120048. + }
  120049. + goto exit_xfercompl;
  120050. + } else {
  120051. + /* Prepare for more setup packets */
  120052. + DWC_DEBUGPL(DBG_ANY,
  120053. + "EP0_IDLE SR=1 setup=0 new setup comes\n");
  120054. + doepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  120055. + out_ep_regs[0]->doepint);
  120056. + if(doepint.b.setup)
  120057. + goto retry;
  120058. + ep0_out_start(core_if, pcd);
  120059. + }
  120060. + } else {
  120061. + dwc_otg_pcd_request_t *req;
  120062. + diepint_data_t diepint0 = {.d32 = 0};
  120063. + doepint_data_t doepint_temp = {.d32 = 0};
  120064. + depctl_data_t diepctl0;
  120065. + diepint0.d32 = DWC_READ_REG32(&core_if->dev_if->
  120066. + in_ep_regs[0]->diepint);
  120067. + diepctl0.d32 = DWC_READ_REG32(&core_if->dev_if->
  120068. + in_ep_regs[0]->diepctl);
  120069. +
  120070. + if (pcd->ep0state == EP0_IN_DATA_PHASE
  120071. + || pcd->ep0state == EP0_IN_STATUS_PHASE) {
  120072. + if (diepint0.b.xfercompl) {
  120073. + DWC_WRITE_REG32(&core_if->dev_if->
  120074. + in_ep_regs[0]->diepint, diepint0.d32);
  120075. + }
  120076. + if (diepctl0.b.epena) {
  120077. + diepint_data_t diepint = {.d32 = 0};
  120078. + diepctl0.b.snak = 1;
  120079. + DWC_WRITE_REG32(&core_if->dev_if->
  120080. + in_ep_regs[0]->diepctl, diepctl0.d32);
  120081. + do {
  120082. + dwc_udelay(10);
  120083. + diepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  120084. + in_ep_regs[0]->diepint);
  120085. + } while (!diepint.b.inepnakeff);
  120086. + diepint.b.inepnakeff = 1;
  120087. + DWC_WRITE_REG32(&core_if->dev_if->
  120088. + in_ep_regs[0]->diepint, diepint.d32);
  120089. + diepctl0.d32 = 0;
  120090. + diepctl0.b.epdis = 1;
  120091. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[0]->diepctl,
  120092. + diepctl0.d32);
  120093. + do {
  120094. + dwc_udelay(10);
  120095. + diepint.d32 = DWC_READ_REG32(&core_if->dev_if->
  120096. + in_ep_regs[0]->diepint);
  120097. + } while (!diepint.b.epdisabled);
  120098. + diepint.b.epdisabled = 1;
  120099. + DWC_WRITE_REG32(&core_if->dev_if->in_ep_regs[0]->diepint,
  120100. + diepint.d32);
  120101. + }
  120102. + }
  120103. + doepint_temp.d32 = DWC_READ_REG32(&core_if->dev_if->
  120104. + out_ep_regs[ep->dwc_ep.num]->doepint);
  120105. + if (doepint_temp.b.sr) {
  120106. + CLEAR_OUT_EP_INTR(core_if, epnum, sr);
  120107. + if (DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  120108. + DWC_DEBUGPL(DBG_PCDV, "Request queue empty!!\n");
  120109. + } else {
  120110. + DWC_DEBUGPL(DBG_PCDV, "complete req!!\n");
  120111. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  120112. + if (ep->dwc_ep.xfer_count != ep->dwc_ep.total_len &&
  120113. + pcd->ep0state == EP0_OUT_DATA_PHASE) {
  120114. + /* Read arrived setup packet from req->buf */
  120115. + dwc_memcpy(&pcd->setup_pkt->req,
  120116. + req->buf + ep->dwc_ep.xfer_count, 8);
  120117. + }
  120118. + req->actual = ep->dwc_ep.xfer_count;
  120119. + dwc_otg_request_done(ep, req, -ECONNRESET);
  120120. + ep->dwc_ep.start_xfer_buff = 0;
  120121. + ep->dwc_ep.xfer_buff = 0;
  120122. + ep->dwc_ep.xfer_len = 0;
  120123. + }
  120124. + pcd->ep0state = EP0_IDLE;
  120125. + if (doepint.b.setup) {
  120126. + DWC_DEBUGPL(DBG_PCDV, "EP0_IDLE SR=1 setup=1\n");
  120127. + /* Data stage started, clear setup */
  120128. + CLEAR_OUT_EP_INTR(core_if, epnum, setup);
  120129. + doepint.b.setup = 0;
  120130. + handle_ep0(pcd);
  120131. + /* Prepare for setup packets if ep0in was enabled*/
  120132. + if (pcd->ep0state == EP0_IN_STATUS_PHASE) {
  120133. + ep0_out_start(core_if, pcd);
  120134. + }
  120135. + goto exit_xfercompl;
  120136. + } else {
  120137. + /* Prepare for more setup packets */
  120138. + DWC_DEBUGPL(DBG_PCDV,
  120139. + "EP0_IDLE SR=1 setup=0 new setup comes 2\n");
  120140. + ep0_out_start(core_if, pcd);
  120141. + }
  120142. + }
  120143. + }
  120144. + }
  120145. + if (core_if->dma_enable == 0 || pcd->ep0state != EP0_IDLE)
  120146. + handle_ep0(pcd);
  120147. +exit_xfercompl:
  120148. + DWC_DEBUGPL(DBG_PCDV, "DOEPINT=%x doepint=%x\n",
  120149. + dwc_otg_read_dev_out_ep_intr(core_if, dwc_ep), doepint.d32);
  120150. + } else {
  120151. + if (core_if->dma_desc_enable == 0
  120152. + || pcd->ep0state != EP0_IDLE)
  120153. + handle_ep0(pcd);
  120154. + }
  120155. +#ifdef DWC_EN_ISOC
  120156. + } else if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  120157. + if (doepint.b.pktdrpsts == 0) {
  120158. + /* Clear the bit in DOEPINTn for this interrupt */
  120159. + CLEAR_OUT_EP_INTR(core_if,
  120160. + epnum,
  120161. + xfercompl);
  120162. + complete_iso_ep(pcd, ep);
  120163. + } else {
  120164. +
  120165. + doepint_data_t doepint = {.d32 = 0 };
  120166. + doepint.b.xfercompl = 1;
  120167. + doepint.b.pktdrpsts = 1;
  120168. + DWC_WRITE_REG32
  120169. + (&core_if->dev_if->out_ep_regs
  120170. + [epnum]->doepint,
  120171. + doepint.d32);
  120172. + if (handle_iso_out_pkt_dropped
  120173. + (core_if, dwc_ep)) {
  120174. + complete_iso_ep(pcd,
  120175. + ep);
  120176. + }
  120177. + }
  120178. +#endif /* DWC_EN_ISOC */
  120179. +#ifdef DWC_UTE_PER_IO
  120180. + } else if (dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  120181. + CLEAR_OUT_EP_INTR(core_if, epnum, xfercompl);
  120182. + if (!ep->stopped)
  120183. + complete_xiso_ep(ep);
  120184. +#endif /* DWC_UTE_PER_IO */
  120185. + } else {
  120186. + /* Clear the bit in DOEPINTn for this interrupt */
  120187. + CLEAR_OUT_EP_INTR(core_if, epnum,
  120188. + xfercompl);
  120189. +
  120190. + if (core_if->core_params->dev_out_nak) {
  120191. + DWC_TIMER_CANCEL(pcd->core_if->ep_xfer_timer[epnum]);
  120192. + pcd->core_if->ep_xfer_info[epnum].state = 0;
  120193. +#ifdef DEBUG
  120194. + print_memory_payload(pcd, dwc_ep);
  120195. +#endif
  120196. + }
  120197. + complete_ep(ep);
  120198. + }
  120199. +
  120200. + }
  120201. +
  120202. + /* Endpoint disable */
  120203. + if (doepint.b.epdisabled) {
  120204. +
  120205. + /* Clear the bit in DOEPINTn for this interrupt */
  120206. + CLEAR_OUT_EP_INTR(core_if, epnum, epdisabled);
  120207. + if (core_if->core_params->dev_out_nak) {
  120208. +#ifdef DEBUG
  120209. + print_memory_payload(pcd, dwc_ep);
  120210. +#endif
  120211. + /* In case of timeout condition */
  120212. + if (core_if->ep_xfer_info[epnum].state == 2) {
  120213. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->
  120214. + dev_global_regs->dctl);
  120215. + dctl.b.cgoutnak = 1;
  120216. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl,
  120217. + dctl.d32);
  120218. + /* Unmask goutnakeff interrupt which was masked
  120219. + * during handle nak out interrupt */
  120220. + gintmsk.b.goutnakeff = 1;
  120221. + DWC_MODIFY_REG32(&core_if->core_global_regs->gintmsk,
  120222. + 0, gintmsk.d32);
  120223. +
  120224. + complete_ep(ep);
  120225. + }
  120226. + }
  120227. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC)
  120228. + {
  120229. + dctl_data_t dctl;
  120230. + gintmsk_data_t intr_mask = {.d32 = 0};
  120231. + dwc_otg_pcd_request_t *req = 0;
  120232. +
  120233. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->
  120234. + dev_global_regs->dctl);
  120235. + dctl.b.cgoutnak = 1;
  120236. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl,
  120237. + dctl.d32);
  120238. +
  120239. + intr_mask.d32 = 0;
  120240. + intr_mask.b.incomplisoout = 1;
  120241. +
  120242. + /* Get any pending requests */
  120243. + if (!DWC_CIRCLEQ_EMPTY(&ep->queue)) {
  120244. + req = DWC_CIRCLEQ_FIRST(&ep->queue);
  120245. + if (!req) {
  120246. + DWC_PRINTF("complete_ep 0x%p, req = NULL!\n", ep);
  120247. + } else {
  120248. + dwc_otg_request_done(ep, req, 0);
  120249. + start_next_request(ep);
  120250. + }
  120251. + } else {
  120252. + DWC_PRINTF("complete_ep 0x%p, ep->queue empty!\n", ep);
  120253. + }
  120254. + }
  120255. + }
  120256. + /* AHB Error */
  120257. + if (doepint.b.ahberr) {
  120258. + DWC_ERROR("EP%d OUT AHB Error\n", epnum);
  120259. + DWC_ERROR("EP%d DEPDMA=0x%08x \n",
  120260. + epnum, core_if->dev_if->out_ep_regs[epnum]->doepdma);
  120261. + CLEAR_OUT_EP_INTR(core_if, epnum, ahberr);
  120262. + }
  120263. + /* Setup Phase Done (contorl EPs) */
  120264. + if (doepint.b.setup) {
  120265. +#ifdef DEBUG_EP0
  120266. + DWC_DEBUGPL(DBG_PCD, "EP%d SETUP Done\n", epnum);
  120267. +#endif
  120268. + CLEAR_OUT_EP_INTR(core_if, epnum, setup);
  120269. +
  120270. + handle_ep0(pcd);
  120271. + }
  120272. +
  120273. + /** OUT EP BNA Intr */
  120274. + if (doepint.b.bna) {
  120275. + CLEAR_OUT_EP_INTR(core_if, epnum, bna);
  120276. + if (core_if->dma_desc_enable) {
  120277. +#ifdef DWC_EN_ISOC
  120278. + if (dwc_ep->type ==
  120279. + DWC_OTG_EP_TYPE_ISOC) {
  120280. + /*
  120281. + * This checking is performed to prevent first "false" BNA
  120282. + * handling occuring right after reconnect
  120283. + */
  120284. + if (dwc_ep->next_frame !=
  120285. + 0xffffffff)
  120286. + dwc_otg_pcd_handle_iso_bna(ep);
  120287. + } else
  120288. +#endif /* DWC_EN_ISOC */
  120289. + {
  120290. + dwc_otg_pcd_handle_noniso_bna(ep);
  120291. + }
  120292. + }
  120293. + }
  120294. + /* Babble Interrupt */
  120295. + if (doepint.b.babble) {
  120296. + DWC_DEBUGPL(DBG_ANY, "EP%d OUT Babble\n",
  120297. + epnum);
  120298. + handle_out_ep_babble_intr(pcd, epnum);
  120299. +
  120300. + CLEAR_OUT_EP_INTR(core_if, epnum, babble);
  120301. + }
  120302. + if (doepint.b.outtknepdis) {
  120303. + DWC_DEBUGPL(DBG_ANY, "EP%d OUT Token received when EP is \
  120304. + disabled\n",epnum);
  120305. + if (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  120306. + doepmsk_data_t doepmsk = {.d32 = 0};
  120307. + ep->dwc_ep.frame_num = core_if->frame_num;
  120308. + if (ep->dwc_ep.bInterval > 1) {
  120309. + depctl_data_t depctl;
  120310. + depctl.d32 = DWC_READ_REG32(&core_if->dev_if->
  120311. + out_ep_regs[epnum]->doepctl);
  120312. + if (ep->dwc_ep.frame_num & 0x1) {
  120313. + depctl.b.setd1pid = 1;
  120314. + depctl.b.setd0pid = 0;
  120315. + } else {
  120316. + depctl.b.setd0pid = 1;
  120317. + depctl.b.setd1pid = 0;
  120318. + }
  120319. + DWC_WRITE_REG32(&core_if->dev_if->
  120320. + out_ep_regs[epnum]->doepctl, depctl.d32);
  120321. + }
  120322. + start_next_request(ep);
  120323. + doepmsk.b.outtknepdis = 1;
  120324. + DWC_MODIFY_REG32(&core_if->dev_if->dev_global_regs->doepmsk,
  120325. + doepmsk.d32, 0);
  120326. + }
  120327. + CLEAR_OUT_EP_INTR(core_if, epnum, outtknepdis);
  120328. + }
  120329. +
  120330. + /* NAK Interrutp */
  120331. + if (doepint.b.nak) {
  120332. + DWC_DEBUGPL(DBG_ANY, "EP%d OUT NAK\n", epnum);
  120333. + handle_out_ep_nak_intr(pcd, epnum);
  120334. +
  120335. + CLEAR_OUT_EP_INTR(core_if, epnum, nak);
  120336. + }
  120337. + /* NYET Interrutp */
  120338. + if (doepint.b.nyet) {
  120339. + DWC_DEBUGPL(DBG_ANY, "EP%d OUT NYET\n", epnum);
  120340. + handle_out_ep_nyet_intr(pcd, epnum);
  120341. +
  120342. + CLEAR_OUT_EP_INTR(core_if, epnum, nyet);
  120343. + }
  120344. + }
  120345. +
  120346. + epnum++;
  120347. + ep_intr >>= 1;
  120348. + }
  120349. +
  120350. + return 1;
  120351. +
  120352. +#undef CLEAR_OUT_EP_INTR
  120353. +}
  120354. +static int drop_transfer(uint32_t trgt_fr, uint32_t curr_fr, uint8_t frm_overrun)
  120355. +{
  120356. + int retval = 0;
  120357. + if(!frm_overrun && curr_fr >= trgt_fr)
  120358. + retval = 1;
  120359. + else if (frm_overrun
  120360. + && (curr_fr >= trgt_fr && ((curr_fr - trgt_fr) < 0x3FFF / 2)))
  120361. + retval = 1;
  120362. + return retval;
  120363. +}
  120364. +/**
  120365. + * Incomplete ISO IN Transfer Interrupt.
  120366. + * This interrupt indicates one of the following conditions occurred
  120367. + * while transmitting an ISOC transaction.
  120368. + * - Corrupted IN Token for ISOC EP.
  120369. + * - Packet not complete in FIFO.
  120370. + * The follow actions will be taken:
  120371. + * -# Determine the EP
  120372. + * -# Set incomplete flag in dwc_ep structure
  120373. + * -# Disable EP; when "Endpoint Disabled" interrupt is received
  120374. + * Flush FIFO
  120375. + */
  120376. +int32_t dwc_otg_pcd_handle_incomplete_isoc_in_intr(dwc_otg_pcd_t * pcd)
  120377. +{
  120378. + gintsts_data_t gintsts;
  120379. +
  120380. +#ifdef DWC_EN_ISOC
  120381. + dwc_otg_dev_if_t *dev_if;
  120382. + deptsiz_data_t deptsiz = {.d32 = 0 };
  120383. + depctl_data_t depctl = {.d32 = 0 };
  120384. + dsts_data_t dsts = {.d32 = 0 };
  120385. + dwc_ep_t *dwc_ep;
  120386. + int i;
  120387. +
  120388. + dev_if = GET_CORE_IF(pcd)->dev_if;
  120389. +
  120390. + for (i = 1; i <= dev_if->num_in_eps; ++i) {
  120391. + dwc_ep = &pcd->in_ep[i].dwc_ep;
  120392. + if (dwc_ep->active && dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  120393. + deptsiz.d32 =
  120394. + DWC_READ_REG32(&dev_if->in_ep_regs[i]->dieptsiz);
  120395. + depctl.d32 =
  120396. + DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  120397. +
  120398. + if (depctl.b.epdis && deptsiz.d32) {
  120399. + set_current_pkt_info(GET_CORE_IF(pcd), dwc_ep);
  120400. + if (dwc_ep->cur_pkt >= dwc_ep->pkt_cnt) {
  120401. + dwc_ep->cur_pkt = 0;
  120402. + dwc_ep->proc_buf_num =
  120403. + (dwc_ep->proc_buf_num ^ 1) & 0x1;
  120404. +
  120405. + if (dwc_ep->proc_buf_num) {
  120406. + dwc_ep->cur_pkt_addr =
  120407. + dwc_ep->xfer_buff1;
  120408. + dwc_ep->cur_pkt_dma_addr =
  120409. + dwc_ep->dma_addr1;
  120410. + } else {
  120411. + dwc_ep->cur_pkt_addr =
  120412. + dwc_ep->xfer_buff0;
  120413. + dwc_ep->cur_pkt_dma_addr =
  120414. + dwc_ep->dma_addr0;
  120415. + }
  120416. +
  120417. + }
  120418. +
  120419. + dsts.d32 =
  120420. + DWC_READ_REG32(&GET_CORE_IF(pcd)->dev_if->
  120421. + dev_global_regs->dsts);
  120422. + dwc_ep->next_frame = dsts.b.soffn;
  120423. +
  120424. + dwc_otg_iso_ep_start_frm_transfer(GET_CORE_IF
  120425. + (pcd),
  120426. + dwc_ep);
  120427. + }
  120428. + }
  120429. + }
  120430. +
  120431. +#else
  120432. + depctl_data_t depctl = {.d32 = 0 };
  120433. + dwc_ep_t *dwc_ep;
  120434. + dwc_otg_dev_if_t *dev_if;
  120435. + int i;
  120436. + dev_if = GET_CORE_IF(pcd)->dev_if;
  120437. +
  120438. + DWC_DEBUGPL(DBG_PCD,"Incomplete ISO IN \n");
  120439. +
  120440. + for (i = 1; i <= dev_if->num_in_eps; ++i) {
  120441. + dwc_ep = &pcd->in_ep[i-1].dwc_ep;
  120442. + depctl.d32 =
  120443. + DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  120444. + if (depctl.b.epena && dwc_ep->type == DWC_OTG_EP_TYPE_ISOC) {
  120445. + if (drop_transfer(dwc_ep->frame_num, GET_CORE_IF(pcd)->frame_num,
  120446. + dwc_ep->frm_overrun))
  120447. + {
  120448. + depctl.d32 =
  120449. + DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  120450. + depctl.b.snak = 1;
  120451. + depctl.b.epdis = 1;
  120452. + DWC_MODIFY_REG32(&dev_if->in_ep_regs[i]->diepctl, depctl.d32, depctl.d32);
  120453. + }
  120454. + }
  120455. + }
  120456. +
  120457. + /*intr_mask.b.incomplisoin = 1;
  120458. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  120459. + intr_mask.d32, 0); */
  120460. +#endif //DWC_EN_ISOC
  120461. +
  120462. + /* Clear interrupt */
  120463. + gintsts.d32 = 0;
  120464. + gintsts.b.incomplisoin = 1;
  120465. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  120466. + gintsts.d32);
  120467. +
  120468. + return 1;
  120469. +}
  120470. +
  120471. +/**
  120472. + * Incomplete ISO OUT Transfer Interrupt.
  120473. + *
  120474. + * This interrupt indicates that the core has dropped an ISO OUT
  120475. + * packet. The following conditions can be the cause:
  120476. + * - FIFO Full, the entire packet would not fit in the FIFO.
  120477. + * - CRC Error
  120478. + * - Corrupted Token
  120479. + * The follow actions will be taken:
  120480. + * -# Determine the EP
  120481. + * -# Set incomplete flag in dwc_ep structure
  120482. + * -# Read any data from the FIFO
  120483. + * -# Disable EP. When "Endpoint Disabled" interrupt is received
  120484. + * re-enable EP.
  120485. + */
  120486. +int32_t dwc_otg_pcd_handle_incomplete_isoc_out_intr(dwc_otg_pcd_t * pcd)
  120487. +{
  120488. +
  120489. + gintsts_data_t gintsts;
  120490. +
  120491. +#ifdef DWC_EN_ISOC
  120492. + dwc_otg_dev_if_t *dev_if;
  120493. + deptsiz_data_t deptsiz = {.d32 = 0 };
  120494. + depctl_data_t depctl = {.d32 = 0 };
  120495. + dsts_data_t dsts = {.d32 = 0 };
  120496. + dwc_ep_t *dwc_ep;
  120497. + int i;
  120498. +
  120499. + dev_if = GET_CORE_IF(pcd)->dev_if;
  120500. +
  120501. + for (i = 1; i <= dev_if->num_out_eps; ++i) {
  120502. + dwc_ep = &pcd->in_ep[i].dwc_ep;
  120503. + if (pcd->out_ep[i].dwc_ep.active &&
  120504. + pcd->out_ep[i].dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) {
  120505. + deptsiz.d32 =
  120506. + DWC_READ_REG32(&dev_if->out_ep_regs[i]->doeptsiz);
  120507. + depctl.d32 =
  120508. + DWC_READ_REG32(&dev_if->out_ep_regs[i]->doepctl);
  120509. +
  120510. + if (depctl.b.epdis && deptsiz.d32) {
  120511. + set_current_pkt_info(GET_CORE_IF(pcd),
  120512. + &pcd->out_ep[i].dwc_ep);
  120513. + if (dwc_ep->cur_pkt >= dwc_ep->pkt_cnt) {
  120514. + dwc_ep->cur_pkt = 0;
  120515. + dwc_ep->proc_buf_num =
  120516. + (dwc_ep->proc_buf_num ^ 1) & 0x1;
  120517. +
  120518. + if (dwc_ep->proc_buf_num) {
  120519. + dwc_ep->cur_pkt_addr =
  120520. + dwc_ep->xfer_buff1;
  120521. + dwc_ep->cur_pkt_dma_addr =
  120522. + dwc_ep->dma_addr1;
  120523. + } else {
  120524. + dwc_ep->cur_pkt_addr =
  120525. + dwc_ep->xfer_buff0;
  120526. + dwc_ep->cur_pkt_dma_addr =
  120527. + dwc_ep->dma_addr0;
  120528. + }
  120529. +
  120530. + }
  120531. +
  120532. + dsts.d32 =
  120533. + DWC_READ_REG32(&GET_CORE_IF(pcd)->dev_if->
  120534. + dev_global_regs->dsts);
  120535. + dwc_ep->next_frame = dsts.b.soffn;
  120536. +
  120537. + dwc_otg_iso_ep_start_frm_transfer(GET_CORE_IF
  120538. + (pcd),
  120539. + dwc_ep);
  120540. + }
  120541. + }
  120542. + }
  120543. +#else
  120544. + /** @todo implement ISR */
  120545. + gintmsk_data_t intr_mask = {.d32 = 0 };
  120546. + dwc_otg_core_if_t *core_if;
  120547. + deptsiz_data_t deptsiz = {.d32 = 0 };
  120548. + depctl_data_t depctl = {.d32 = 0 };
  120549. + dctl_data_t dctl = {.d32 = 0 };
  120550. + dwc_ep_t *dwc_ep = NULL;
  120551. + int i;
  120552. + core_if = GET_CORE_IF(pcd);
  120553. +
  120554. + for (i = 0; i < core_if->dev_if->num_out_eps; ++i) {
  120555. + dwc_ep = &pcd->out_ep[i].dwc_ep;
  120556. + depctl.d32 =
  120557. + DWC_READ_REG32(&core_if->dev_if->out_ep_regs[dwc_ep->num]->doepctl);
  120558. + if (depctl.b.epena && depctl.b.dpid == (core_if->frame_num & 0x1)) {
  120559. + core_if->dev_if->isoc_ep = dwc_ep;
  120560. + deptsiz.d32 =
  120561. + DWC_READ_REG32(&core_if->dev_if->out_ep_regs[dwc_ep->num]->doeptsiz);
  120562. + break;
  120563. + }
  120564. + }
  120565. + dctl.d32 = DWC_READ_REG32(&core_if->dev_if->dev_global_regs->dctl);
  120566. + gintsts.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintsts);
  120567. + intr_mask.d32 = DWC_READ_REG32(&core_if->core_global_regs->gintmsk);
  120568. +
  120569. + if (!intr_mask.b.goutnakeff) {
  120570. + /* Unmask it */
  120571. + intr_mask.b.goutnakeff = 1;
  120572. + DWC_WRITE_REG32(&core_if->core_global_regs->gintmsk, intr_mask.d32);
  120573. + }
  120574. + if (!gintsts.b.goutnakeff) {
  120575. + dctl.b.sgoutnak = 1;
  120576. + }
  120577. + DWC_WRITE_REG32(&core_if->dev_if->dev_global_regs->dctl, dctl.d32);
  120578. +
  120579. + depctl.d32 = DWC_READ_REG32(&core_if->dev_if->out_ep_regs[dwc_ep->num]->doepctl);
  120580. + if (depctl.b.epena) {
  120581. + depctl.b.epdis = 1;
  120582. + depctl.b.snak = 1;
  120583. + }
  120584. + DWC_WRITE_REG32(&core_if->dev_if->out_ep_regs[dwc_ep->num]->doepctl, depctl.d32);
  120585. +
  120586. + intr_mask.d32 = 0;
  120587. + intr_mask.b.incomplisoout = 1;
  120588. +
  120589. +#endif /* DWC_EN_ISOC */
  120590. +
  120591. + /* Clear interrupt */
  120592. + gintsts.d32 = 0;
  120593. + gintsts.b.incomplisoout = 1;
  120594. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  120595. + gintsts.d32);
  120596. +
  120597. + return 1;
  120598. +}
  120599. +
  120600. +/**
  120601. + * This function handles the Global IN NAK Effective interrupt.
  120602. + *
  120603. + */
  120604. +int32_t dwc_otg_pcd_handle_in_nak_effective(dwc_otg_pcd_t * pcd)
  120605. +{
  120606. + dwc_otg_dev_if_t *dev_if = GET_CORE_IF(pcd)->dev_if;
  120607. + depctl_data_t diepctl = {.d32 = 0 };
  120608. + gintmsk_data_t intr_mask = {.d32 = 0 };
  120609. + gintsts_data_t gintsts;
  120610. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  120611. + int i;
  120612. +
  120613. + DWC_DEBUGPL(DBG_PCD, "Global IN NAK Effective\n");
  120614. +
  120615. + /* Disable all active IN EPs */
  120616. + for (i = 0; i <= dev_if->num_in_eps; i++) {
  120617. + diepctl.d32 = DWC_READ_REG32(&dev_if->in_ep_regs[i]->diepctl);
  120618. + if (!(diepctl.b.eptype & 1) && diepctl.b.epena) {
  120619. + if (core_if->start_predict > 0)
  120620. + core_if->start_predict++;
  120621. + diepctl.b.epdis = 1;
  120622. + diepctl.b.snak = 1;
  120623. + DWC_WRITE_REG32(&dev_if->in_ep_regs[i]->diepctl, diepctl.d32);
  120624. + }
  120625. + }
  120626. +
  120627. +
  120628. + /* Disable the Global IN NAK Effective Interrupt */
  120629. + intr_mask.b.ginnakeff = 1;
  120630. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  120631. + intr_mask.d32, 0);
  120632. +
  120633. + /* Clear interrupt */
  120634. + gintsts.d32 = 0;
  120635. + gintsts.b.ginnakeff = 1;
  120636. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  120637. + gintsts.d32);
  120638. +
  120639. + return 1;
  120640. +}
  120641. +
  120642. +/**
  120643. + * OUT NAK Effective.
  120644. + *
  120645. + */
  120646. +int32_t dwc_otg_pcd_handle_out_nak_effective(dwc_otg_pcd_t * pcd)
  120647. +{
  120648. + dwc_otg_dev_if_t *dev_if = GET_CORE_IF(pcd)->dev_if;
  120649. + gintmsk_data_t intr_mask = {.d32 = 0 };
  120650. + gintsts_data_t gintsts;
  120651. + depctl_data_t doepctl;
  120652. + int i;
  120653. +
  120654. + /* Disable the Global OUT NAK Effective Interrupt */
  120655. + intr_mask.b.goutnakeff = 1;
  120656. + DWC_MODIFY_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintmsk,
  120657. + intr_mask.d32, 0);
  120658. +
  120659. + /* If DEV OUT NAK enabled*/
  120660. + if (pcd->core_if->core_params->dev_out_nak) {
  120661. + /* Run over all out endpoints to determine the ep number on
  120662. + * which the timeout has happened
  120663. + */
  120664. + for (i = 0; i <= dev_if->num_out_eps; i++) {
  120665. + if ( pcd->core_if->ep_xfer_info[i].state == 2 )
  120666. + break;
  120667. + }
  120668. + if (i > dev_if->num_out_eps) {
  120669. + dctl_data_t dctl;
  120670. + dctl.d32 =
  120671. + DWC_READ_REG32(&dev_if->dev_global_regs->dctl);
  120672. + dctl.b.cgoutnak = 1;
  120673. + DWC_WRITE_REG32(&dev_if->dev_global_regs->dctl,
  120674. + dctl.d32);
  120675. + goto out;
  120676. + }
  120677. +
  120678. + /* Disable the endpoint */
  120679. + doepctl.d32 = DWC_READ_REG32(&dev_if->out_ep_regs[i]->doepctl);
  120680. + if (doepctl.b.epena) {
  120681. + doepctl.b.epdis = 1;
  120682. + doepctl.b.snak = 1;
  120683. + }
  120684. + DWC_WRITE_REG32(&dev_if->out_ep_regs[i]->doepctl, doepctl.d32);
  120685. + return 1;
  120686. + }
  120687. + /* We come here from Incomplete ISO OUT handler */
  120688. + if (dev_if->isoc_ep) {
  120689. + dwc_ep_t *dwc_ep = (dwc_ep_t *)dev_if->isoc_ep;
  120690. + uint32_t epnum = dwc_ep->num;
  120691. + doepint_data_t doepint;
  120692. + doepint.d32 =
  120693. + DWC_READ_REG32(&dev_if->out_ep_regs[dwc_ep->num]->doepint);
  120694. + dev_if->isoc_ep = NULL;
  120695. + doepctl.d32 =
  120696. + DWC_READ_REG32(&dev_if->out_ep_regs[epnum]->doepctl);
  120697. + DWC_PRINTF("Before disable DOEPCTL = %08x\n", doepctl.d32);
  120698. + if (doepctl.b.epena) {
  120699. + doepctl.b.epdis = 1;
  120700. + doepctl.b.snak = 1;
  120701. + }
  120702. + DWC_WRITE_REG32(&dev_if->out_ep_regs[epnum]->doepctl,
  120703. + doepctl.d32);
  120704. + return 1;
  120705. + } else
  120706. + DWC_PRINTF("INTERRUPT Handler not implemented for %s\n",
  120707. + "Global OUT NAK Effective\n");
  120708. +
  120709. +out:
  120710. + /* Clear interrupt */
  120711. + gintsts.d32 = 0;
  120712. + gintsts.b.goutnakeff = 1;
  120713. + DWC_WRITE_REG32(&GET_CORE_IF(pcd)->core_global_regs->gintsts,
  120714. + gintsts.d32);
  120715. +
  120716. + return 1;
  120717. +}
  120718. +
  120719. +/**
  120720. + * PCD interrupt handler.
  120721. + *
  120722. + * The PCD handles the device interrupts. Many conditions can cause a
  120723. + * device interrupt. When an interrupt occurs, the device interrupt
  120724. + * service routine determines the cause of the interrupt and
  120725. + * dispatches handling to the appropriate function. These interrupt
  120726. + * handling functions are described below.
  120727. + *
  120728. + * All interrupt registers are processed from LSB to MSB.
  120729. + *
  120730. + */
  120731. +int32_t dwc_otg_pcd_handle_intr(dwc_otg_pcd_t * pcd)
  120732. +{
  120733. + dwc_otg_core_if_t *core_if = GET_CORE_IF(pcd);
  120734. +#ifdef VERBOSE
  120735. + dwc_otg_core_global_regs_t *global_regs = core_if->core_global_regs;
  120736. +#endif
  120737. + gintsts_data_t gintr_status;
  120738. + int32_t retval = 0;
  120739. +
  120740. + /* Exit from ISR if core is hibernated */
  120741. + if (core_if->hibernation_suspend == 1) {
  120742. + return retval;
  120743. + }
  120744. +#ifdef VERBOSE
  120745. + DWC_DEBUGPL(DBG_ANY, "%s() gintsts=%08x gintmsk=%08x\n",
  120746. + __func__,
  120747. + DWC_READ_REG32(&global_regs->gintsts),
  120748. + DWC_READ_REG32(&global_regs->gintmsk));
  120749. +#endif
  120750. +
  120751. + if (dwc_otg_is_device_mode(core_if)) {
  120752. + DWC_SPINLOCK(pcd->lock);
  120753. +#ifdef VERBOSE
  120754. + DWC_DEBUGPL(DBG_PCDV, "%s() gintsts=%08x gintmsk=%08x\n",
  120755. + __func__,
  120756. + DWC_READ_REG32(&global_regs->gintsts),
  120757. + DWC_READ_REG32(&global_regs->gintmsk));
  120758. +#endif
  120759. +
  120760. + gintr_status.d32 = dwc_otg_read_core_intr(core_if);
  120761. +
  120762. + DWC_DEBUGPL(DBG_PCDV, "%s: gintsts&gintmsk=%08x\n",
  120763. + __func__, gintr_status.d32);
  120764. +
  120765. + if (gintr_status.b.sofintr) {
  120766. + retval |= dwc_otg_pcd_handle_sof_intr(pcd);
  120767. + }
  120768. + if (gintr_status.b.rxstsqlvl) {
  120769. + retval |=
  120770. + dwc_otg_pcd_handle_rx_status_q_level_intr(pcd);
  120771. + }
  120772. + if (gintr_status.b.nptxfempty) {
  120773. + retval |= dwc_otg_pcd_handle_np_tx_fifo_empty_intr(pcd);
  120774. + }
  120775. + if (gintr_status.b.goutnakeff) {
  120776. + retval |= dwc_otg_pcd_handle_out_nak_effective(pcd);
  120777. + }
  120778. + if (gintr_status.b.i2cintr) {
  120779. + retval |= dwc_otg_pcd_handle_i2c_intr(pcd);
  120780. + }
  120781. + if (gintr_status.b.erlysuspend) {
  120782. + retval |= dwc_otg_pcd_handle_early_suspend_intr(pcd);
  120783. + }
  120784. + if (gintr_status.b.usbreset) {
  120785. + retval |= dwc_otg_pcd_handle_usb_reset_intr(pcd);
  120786. + }
  120787. + if (gintr_status.b.enumdone) {
  120788. + retval |= dwc_otg_pcd_handle_enum_done_intr(pcd);
  120789. + }
  120790. + if (gintr_status.b.isooutdrop) {
  120791. + retval |=
  120792. + dwc_otg_pcd_handle_isoc_out_packet_dropped_intr
  120793. + (pcd);
  120794. + }
  120795. + if (gintr_status.b.eopframe) {
  120796. + retval |=
  120797. + dwc_otg_pcd_handle_end_periodic_frame_intr(pcd);
  120798. + }
  120799. + if (gintr_status.b.inepint) {
  120800. + if (!core_if->multiproc_int_enable) {
  120801. + retval |= dwc_otg_pcd_handle_in_ep_intr(pcd);
  120802. + }
  120803. + }
  120804. + if (gintr_status.b.outepintr) {
  120805. + if (!core_if->multiproc_int_enable) {
  120806. + retval |= dwc_otg_pcd_handle_out_ep_intr(pcd);
  120807. + }
  120808. + }
  120809. + if (gintr_status.b.epmismatch) {
  120810. + retval |= dwc_otg_pcd_handle_ep_mismatch_intr(pcd);
  120811. + }
  120812. + if (gintr_status.b.fetsusp) {
  120813. + retval |= dwc_otg_pcd_handle_ep_fetsusp_intr(pcd);
  120814. + }
  120815. + if (gintr_status.b.ginnakeff) {
  120816. + retval |= dwc_otg_pcd_handle_in_nak_effective(pcd);
  120817. + }
  120818. + if (gintr_status.b.incomplisoin) {
  120819. + retval |=
  120820. + dwc_otg_pcd_handle_incomplete_isoc_in_intr(pcd);
  120821. + }
  120822. + if (gintr_status.b.incomplisoout) {
  120823. + retval |=
  120824. + dwc_otg_pcd_handle_incomplete_isoc_out_intr(pcd);
  120825. + }
  120826. +
  120827. + /* In MPI mode Device Endpoints interrupts are asserted
  120828. + * without setting outepintr and inepint bits set, so these
  120829. + * Interrupt handlers are called without checking these bit-fields
  120830. + */
  120831. + if (core_if->multiproc_int_enable) {
  120832. + retval |= dwc_otg_pcd_handle_in_ep_intr(pcd);
  120833. + retval |= dwc_otg_pcd_handle_out_ep_intr(pcd);
  120834. + }
  120835. +#ifdef VERBOSE
  120836. + DWC_DEBUGPL(DBG_PCDV, "%s() gintsts=%0x\n", __func__,
  120837. + DWC_READ_REG32(&global_regs->gintsts));
  120838. +#endif
  120839. + DWC_SPINUNLOCK(pcd->lock);
  120840. + }
  120841. + return retval;
  120842. +}
  120843. +
  120844. +#endif /* DWC_HOST_ONLY */
  120845. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_linux.c linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_linux.c
  120846. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_pcd_linux.c 1970-01-01 01:00:00.000000000 +0100
  120847. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_pcd_linux.c 2015-11-29 09:42:39.923098428 +0100
  120848. @@ -0,0 +1,1360 @@
  120849. + /* ==========================================================================
  120850. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_pcd_linux.c $
  120851. + * $Revision: #21 $
  120852. + * $Date: 2012/08/10 $
  120853. + * $Change: 2047372 $
  120854. + *
  120855. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  120856. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  120857. + * otherwise expressly agreed to in writing between Synopsys and you.
  120858. + *
  120859. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  120860. + * any End User Software License Agreement or Agreement for Licensed Product
  120861. + * with Synopsys or any supplement thereto. You are permitted to use and
  120862. + * redistribute this Software in source and binary forms, with or without
  120863. + * modification, provided that redistributions of source code must retain this
  120864. + * notice. You may not view, use, disclose, copy or distribute this file or
  120865. + * any information contained herein except pursuant to this license grant from
  120866. + * Synopsys. If you do not agree with this notice, including the disclaimer
  120867. + * below, then you are not authorized to use the Software.
  120868. + *
  120869. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  120870. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  120871. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  120872. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  120873. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  120874. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  120875. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  120876. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  120877. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  120878. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  120879. + * DAMAGE.
  120880. + * ========================================================================== */
  120881. +#ifndef DWC_HOST_ONLY
  120882. +
  120883. +/** @file
  120884. + * This file implements the Peripheral Controller Driver.
  120885. + *
  120886. + * The Peripheral Controller Driver (PCD) is responsible for
  120887. + * translating requests from the Function Driver into the appropriate
  120888. + * actions on the DWC_otg controller. It isolates the Function Driver
  120889. + * from the specifics of the controller by providing an API to the
  120890. + * Function Driver.
  120891. + *
  120892. + * The Peripheral Controller Driver for Linux will implement the
  120893. + * Gadget API, so that the existing Gadget drivers can be used.
  120894. + * (Gadget Driver is the Linux terminology for a Function Driver.)
  120895. + *
  120896. + * The Linux Gadget API is defined in the header file
  120897. + * <code><linux/usb_gadget.h></code>. The USB EP operations API is
  120898. + * defined in the structure <code>usb_ep_ops</code> and the USB
  120899. + * Controller API is defined in the structure
  120900. + * <code>usb_gadget_ops</code>.
  120901. + *
  120902. + */
  120903. +
  120904. +#include "dwc_otg_os_dep.h"
  120905. +#include "dwc_otg_pcd_if.h"
  120906. +#include "dwc_otg_pcd.h"
  120907. +#include "dwc_otg_driver.h"
  120908. +#include "dwc_otg_dbg.h"
  120909. +
  120910. +extern bool fiq_enable;
  120911. +
  120912. +static struct gadget_wrapper {
  120913. + dwc_otg_pcd_t *pcd;
  120914. +
  120915. + struct usb_gadget gadget;
  120916. + struct usb_gadget_driver *driver;
  120917. +
  120918. + struct usb_ep ep0;
  120919. + struct usb_ep in_ep[16];
  120920. + struct usb_ep out_ep[16];
  120921. +
  120922. +} *gadget_wrapper;
  120923. +
  120924. +/* Display the contents of the buffer */
  120925. +extern void dump_msg(const u8 * buf, unsigned int length);
  120926. +/**
  120927. + * Get the dwc_otg_pcd_ep_t* from usb_ep* pointer - NULL in case
  120928. + * if the endpoint is not found
  120929. + */
  120930. +static struct dwc_otg_pcd_ep *ep_from_handle(dwc_otg_pcd_t * pcd, void *handle)
  120931. +{
  120932. + int i;
  120933. + if (pcd->ep0.priv == handle) {
  120934. + return &pcd->ep0;
  120935. + }
  120936. +
  120937. + for (i = 0; i < MAX_EPS_CHANNELS - 1; i++) {
  120938. + if (pcd->in_ep[i].priv == handle)
  120939. + return &pcd->in_ep[i];
  120940. + if (pcd->out_ep[i].priv == handle)
  120941. + return &pcd->out_ep[i];
  120942. + }
  120943. +
  120944. + return NULL;
  120945. +}
  120946. +
  120947. +/* USB Endpoint Operations */
  120948. +/*
  120949. + * The following sections briefly describe the behavior of the Gadget
  120950. + * API endpoint operations implemented in the DWC_otg driver
  120951. + * software. Detailed descriptions of the generic behavior of each of
  120952. + * these functions can be found in the Linux header file
  120953. + * include/linux/usb_gadget.h.
  120954. + *
  120955. + * The Gadget API provides wrapper functions for each of the function
  120956. + * pointers defined in usb_ep_ops. The Gadget Driver calls the wrapper
  120957. + * function, which then calls the underlying PCD function. The
  120958. + * following sections are named according to the wrapper
  120959. + * functions. Within each section, the corresponding DWC_otg PCD
  120960. + * function name is specified.
  120961. + *
  120962. + */
  120963. +
  120964. +/**
  120965. + * This function is called by the Gadget Driver for each EP to be
  120966. + * configured for the current configuration (SET_CONFIGURATION).
  120967. + *
  120968. + * This function initializes the dwc_otg_ep_t data structure, and then
  120969. + * calls dwc_otg_ep_activate.
  120970. + */
  120971. +static int ep_enable(struct usb_ep *usb_ep,
  120972. + const struct usb_endpoint_descriptor *ep_desc)
  120973. +{
  120974. + int retval;
  120975. +
  120976. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%p)\n", __func__, usb_ep, ep_desc);
  120977. +
  120978. + if (!usb_ep || !ep_desc || ep_desc->bDescriptorType != USB_DT_ENDPOINT) {
  120979. + DWC_WARN("%s, bad ep or descriptor\n", __func__);
  120980. + return -EINVAL;
  120981. + }
  120982. + if (usb_ep == &gadget_wrapper->ep0) {
  120983. + DWC_WARN("%s, bad ep(0)\n", __func__);
  120984. + return -EINVAL;
  120985. + }
  120986. +
  120987. + /* Check FIFO size? */
  120988. + if (!ep_desc->wMaxPacketSize) {
  120989. + DWC_WARN("%s, bad %s maxpacket\n", __func__, usb_ep->name);
  120990. + return -ERANGE;
  120991. + }
  120992. +
  120993. + if (!gadget_wrapper->driver ||
  120994. + gadget_wrapper->gadget.speed == USB_SPEED_UNKNOWN) {
  120995. + DWC_WARN("%s, bogus device state\n", __func__);
  120996. + return -ESHUTDOWN;
  120997. + }
  120998. +
  120999. + /* Delete after check - MAS */
  121000. +#if 0
  121001. + nat = (uint32_t) ep_desc->wMaxPacketSize;
  121002. + printk(KERN_ALERT "%s: nat (before) =%d\n", __func__, nat);
  121003. + nat = (nat >> 11) & 0x03;
  121004. + printk(KERN_ALERT "%s: nat (after) =%d\n", __func__, nat);
  121005. +#endif
  121006. + retval = dwc_otg_pcd_ep_enable(gadget_wrapper->pcd,
  121007. + (const uint8_t *)ep_desc,
  121008. + (void *)usb_ep);
  121009. + if (retval) {
  121010. + DWC_WARN("dwc_otg_pcd_ep_enable failed\n");
  121011. + return -EINVAL;
  121012. + }
  121013. +
  121014. + usb_ep->maxpacket = le16_to_cpu(ep_desc->wMaxPacketSize);
  121015. +
  121016. + return 0;
  121017. +}
  121018. +
  121019. +/**
  121020. + * This function is called when an EP is disabled due to disconnect or
  121021. + * change in configuration. Any pending requests will terminate with a
  121022. + * status of -ESHUTDOWN.
  121023. + *
  121024. + * This function modifies the dwc_otg_ep_t data structure for this EP,
  121025. + * and then calls dwc_otg_ep_deactivate.
  121026. + */
  121027. +static int ep_disable(struct usb_ep *usb_ep)
  121028. +{
  121029. + int retval;
  121030. +
  121031. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, usb_ep);
  121032. + if (!usb_ep) {
  121033. + DWC_DEBUGPL(DBG_PCD, "%s, %s not enabled\n", __func__,
  121034. + usb_ep ? usb_ep->name : NULL);
  121035. + return -EINVAL;
  121036. + }
  121037. +
  121038. + retval = dwc_otg_pcd_ep_disable(gadget_wrapper->pcd, usb_ep);
  121039. + if (retval) {
  121040. + retval = -EINVAL;
  121041. + }
  121042. +
  121043. + return retval;
  121044. +}
  121045. +
  121046. +/**
  121047. + * This function allocates a request object to use with the specified
  121048. + * endpoint.
  121049. + *
  121050. + * @param ep The endpoint to be used with with the request
  121051. + * @param gfp_flags the GFP_* flags to use.
  121052. + */
  121053. +static struct usb_request *dwc_otg_pcd_alloc_request(struct usb_ep *ep,
  121054. + gfp_t gfp_flags)
  121055. +{
  121056. + struct usb_request *usb_req;
  121057. +
  121058. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%d)\n", __func__, ep, gfp_flags);
  121059. + if (0 == ep) {
  121060. + DWC_WARN("%s() %s\n", __func__, "Invalid EP!\n");
  121061. + return 0;
  121062. + }
  121063. + usb_req = kmalloc(sizeof(*usb_req), gfp_flags);
  121064. + if (0 == usb_req) {
  121065. + DWC_WARN("%s() %s\n", __func__, "request allocation failed!\n");
  121066. + return 0;
  121067. + }
  121068. + memset(usb_req, 0, sizeof(*usb_req));
  121069. + usb_req->dma = DWC_DMA_ADDR_INVALID;
  121070. +
  121071. + return usb_req;
  121072. +}
  121073. +
  121074. +/**
  121075. + * This function frees a request object.
  121076. + *
  121077. + * @param ep The endpoint associated with the request
  121078. + * @param req The request being freed
  121079. + */
  121080. +static void dwc_otg_pcd_free_request(struct usb_ep *ep, struct usb_request *req)
  121081. +{
  121082. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%p)\n", __func__, ep, req);
  121083. +
  121084. + if (0 == ep || 0 == req) {
  121085. + DWC_WARN("%s() %s\n", __func__,
  121086. + "Invalid ep or req argument!\n");
  121087. + return;
  121088. + }
  121089. +
  121090. + kfree(req);
  121091. +}
  121092. +
  121093. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  121094. +/**
  121095. + * This function allocates an I/O buffer to be used for a transfer
  121096. + * to/from the specified endpoint.
  121097. + *
  121098. + * @param usb_ep The endpoint to be used with with the request
  121099. + * @param bytes The desired number of bytes for the buffer
  121100. + * @param dma Pointer to the buffer's DMA address; must be valid
  121101. + * @param gfp_flags the GFP_* flags to use.
  121102. + * @return address of a new buffer or null is buffer could not be allocated.
  121103. + */
  121104. +static void *dwc_otg_pcd_alloc_buffer(struct usb_ep *usb_ep, unsigned bytes,
  121105. + dma_addr_t * dma, gfp_t gfp_flags)
  121106. +{
  121107. + void *buf;
  121108. + dwc_otg_pcd_t *pcd = 0;
  121109. +
  121110. + pcd = gadget_wrapper->pcd;
  121111. +
  121112. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%d,%p,%0x)\n", __func__, usb_ep, bytes,
  121113. + dma, gfp_flags);
  121114. +
  121115. + /* Check dword alignment */
  121116. + if ((bytes & 0x3UL) != 0) {
  121117. + DWC_WARN("%s() Buffer size is not a multiple of"
  121118. + "DWORD size (%d)", __func__, bytes);
  121119. + }
  121120. +
  121121. + buf = dma_alloc_coherent(NULL, bytes, dma, gfp_flags);
  121122. +
  121123. + /* Check dword alignment */
  121124. + if (((int)buf & 0x3UL) != 0) {
  121125. + DWC_WARN("%s() Buffer is not DWORD aligned (%p)",
  121126. + __func__, buf);
  121127. + }
  121128. +
  121129. + return buf;
  121130. +}
  121131. +
  121132. +/**
  121133. + * This function frees an I/O buffer that was allocated by alloc_buffer.
  121134. + *
  121135. + * @param usb_ep the endpoint associated with the buffer
  121136. + * @param buf address of the buffer
  121137. + * @param dma The buffer's DMA address
  121138. + * @param bytes The number of bytes of the buffer
  121139. + */
  121140. +static void dwc_otg_pcd_free_buffer(struct usb_ep *usb_ep, void *buf,
  121141. + dma_addr_t dma, unsigned bytes)
  121142. +{
  121143. + dwc_otg_pcd_t *pcd = 0;
  121144. +
  121145. + pcd = gadget_wrapper->pcd;
  121146. +
  121147. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%0x,%d)\n", __func__, buf, dma, bytes);
  121148. +
  121149. + dma_free_coherent(NULL, bytes, buf, dma);
  121150. +}
  121151. +#endif
  121152. +
  121153. +/**
  121154. + * This function is used to submit an I/O Request to an EP.
  121155. + *
  121156. + * - When the request completes the request's completion callback
  121157. + * is called to return the request to the driver.
  121158. + * - An EP, except control EPs, may have multiple requests
  121159. + * pending.
  121160. + * - Once submitted the request cannot be examined or modified.
  121161. + * - Each request is turned into one or more packets.
  121162. + * - A BULK EP can queue any amount of data; the transfer is
  121163. + * packetized.
  121164. + * - Zero length Packets are specified with the request 'zero'
  121165. + * flag.
  121166. + */
  121167. +static int ep_queue(struct usb_ep *usb_ep, struct usb_request *usb_req,
  121168. + gfp_t gfp_flags)
  121169. +{
  121170. + dwc_otg_pcd_t *pcd;
  121171. + struct dwc_otg_pcd_ep *ep = NULL;
  121172. + int retval = 0, is_isoc_ep = 0;
  121173. + dma_addr_t dma_addr = DWC_DMA_ADDR_INVALID;
  121174. +
  121175. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%p,%d)\n",
  121176. + __func__, usb_ep, usb_req, gfp_flags);
  121177. +
  121178. + if (!usb_req || !usb_req->complete || !usb_req->buf) {
  121179. + DWC_WARN("bad params\n");
  121180. + return -EINVAL;
  121181. + }
  121182. +
  121183. + if (!usb_ep) {
  121184. + DWC_WARN("bad ep\n");
  121185. + return -EINVAL;
  121186. + }
  121187. +
  121188. + pcd = gadget_wrapper->pcd;
  121189. + if (!gadget_wrapper->driver ||
  121190. + gadget_wrapper->gadget.speed == USB_SPEED_UNKNOWN) {
  121191. + DWC_DEBUGPL(DBG_PCDV, "gadget.speed=%d\n",
  121192. + gadget_wrapper->gadget.speed);
  121193. + DWC_WARN("bogus device state\n");
  121194. + return -ESHUTDOWN;
  121195. + }
  121196. +
  121197. + DWC_DEBUGPL(DBG_PCD, "%s queue req %p, len %d buf %p\n",
  121198. + usb_ep->name, usb_req, usb_req->length, usb_req->buf);
  121199. +
  121200. + usb_req->status = -EINPROGRESS;
  121201. + usb_req->actual = 0;
  121202. +
  121203. + ep = ep_from_handle(pcd, usb_ep);
  121204. + if (ep == NULL)
  121205. + is_isoc_ep = 0;
  121206. + else
  121207. + is_isoc_ep = (ep->dwc_ep.type == DWC_OTG_EP_TYPE_ISOC) ? 1 : 0;
  121208. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  121209. + dma_addr = usb_req->dma;
  121210. +#else
  121211. + if (GET_CORE_IF(pcd)->dma_enable) {
  121212. + dwc_otg_device_t *otg_dev = gadget_wrapper->pcd->otg_dev;
  121213. + struct device *dev = NULL;
  121214. +
  121215. + if (otg_dev != NULL)
  121216. + dev = DWC_OTG_OS_GETDEV(otg_dev->os_dep);
  121217. +
  121218. + if (usb_req->length != 0 &&
  121219. + usb_req->dma == DWC_DMA_ADDR_INVALID) {
  121220. + dma_addr = dma_map_single(dev, usb_req->buf,
  121221. + usb_req->length,
  121222. + ep->dwc_ep.is_in ?
  121223. + DMA_TO_DEVICE:
  121224. + DMA_FROM_DEVICE);
  121225. + }
  121226. + }
  121227. +#endif
  121228. +
  121229. +#ifdef DWC_UTE_PER_IO
  121230. + if (is_isoc_ep == 1) {
  121231. + retval = dwc_otg_pcd_xiso_ep_queue(pcd, usb_ep, usb_req->buf, dma_addr,
  121232. + usb_req->length, usb_req->zero, usb_req,
  121233. + gfp_flags == GFP_ATOMIC ? 1 : 0, &usb_req->ext_req);
  121234. + if (retval)
  121235. + return -EINVAL;
  121236. +
  121237. + return 0;
  121238. + }
  121239. +#endif
  121240. + retval = dwc_otg_pcd_ep_queue(pcd, usb_ep, usb_req->buf, dma_addr,
  121241. + usb_req->length, usb_req->zero, usb_req,
  121242. + gfp_flags == GFP_ATOMIC ? 1 : 0);
  121243. + if (retval) {
  121244. + return -EINVAL;
  121245. + }
  121246. +
  121247. + return 0;
  121248. +}
  121249. +
  121250. +/**
  121251. + * This function cancels an I/O request from an EP.
  121252. + */
  121253. +static int ep_dequeue(struct usb_ep *usb_ep, struct usb_request *usb_req)
  121254. +{
  121255. + DWC_DEBUGPL(DBG_PCDV, "%s(%p,%p)\n", __func__, usb_ep, usb_req);
  121256. +
  121257. + if (!usb_ep || !usb_req) {
  121258. + DWC_WARN("bad argument\n");
  121259. + return -EINVAL;
  121260. + }
  121261. + if (!gadget_wrapper->driver ||
  121262. + gadget_wrapper->gadget.speed == USB_SPEED_UNKNOWN) {
  121263. + DWC_WARN("bogus device state\n");
  121264. + return -ESHUTDOWN;
  121265. + }
  121266. + if (dwc_otg_pcd_ep_dequeue(gadget_wrapper->pcd, usb_ep, usb_req)) {
  121267. + return -EINVAL;
  121268. + }
  121269. +
  121270. + return 0;
  121271. +}
  121272. +
  121273. +/**
  121274. + * usb_ep_set_halt stalls an endpoint.
  121275. + *
  121276. + * usb_ep_clear_halt clears an endpoint halt and resets its data
  121277. + * toggle.
  121278. + *
  121279. + * Both of these functions are implemented with the same underlying
  121280. + * function. The behavior depends on the value argument.
  121281. + *
  121282. + * @param[in] usb_ep the Endpoint to halt or clear halt.
  121283. + * @param[in] value
  121284. + * - 0 means clear_halt.
  121285. + * - 1 means set_halt,
  121286. + * - 2 means clear stall lock flag.
  121287. + * - 3 means set stall lock flag.
  121288. + */
  121289. +static int ep_halt(struct usb_ep *usb_ep, int value)
  121290. +{
  121291. + int retval = 0;
  121292. +
  121293. + DWC_DEBUGPL(DBG_PCD, "HALT %s %d\n", usb_ep->name, value);
  121294. +
  121295. + if (!usb_ep) {
  121296. + DWC_WARN("bad ep\n");
  121297. + return -EINVAL;
  121298. + }
  121299. +
  121300. + retval = dwc_otg_pcd_ep_halt(gadget_wrapper->pcd, usb_ep, value);
  121301. + if (retval == -DWC_E_AGAIN) {
  121302. + return -EAGAIN;
  121303. + } else if (retval) {
  121304. + retval = -EINVAL;
  121305. + }
  121306. +
  121307. + return retval;
  121308. +}
  121309. +
  121310. +//#if (LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,30))
  121311. +#if 0
  121312. +/**
  121313. + * ep_wedge: sets the halt feature and ignores clear requests
  121314. + *
  121315. + * @usb_ep: the endpoint being wedged
  121316. + *
  121317. + * Use this to stall an endpoint and ignore CLEAR_FEATURE(HALT_ENDPOINT)
  121318. + * requests. If the gadget driver clears the halt status, it will
  121319. + * automatically unwedge the endpoint.
  121320. + *
  121321. + * Returns zero on success, else negative errno. *
  121322. + * Check usb_ep_set_wedge() at "usb_gadget.h" for details
  121323. + */
  121324. +static int ep_wedge(struct usb_ep *usb_ep)
  121325. +{
  121326. + int retval = 0;
  121327. +
  121328. + DWC_DEBUGPL(DBG_PCD, "WEDGE %s\n", usb_ep->name);
  121329. +
  121330. + if (!usb_ep) {
  121331. + DWC_WARN("bad ep\n");
  121332. + return -EINVAL;
  121333. + }
  121334. +
  121335. + retval = dwc_otg_pcd_ep_wedge(gadget_wrapper->pcd, usb_ep);
  121336. + if (retval == -DWC_E_AGAIN) {
  121337. + retval = -EAGAIN;
  121338. + } else if (retval) {
  121339. + retval = -EINVAL;
  121340. + }
  121341. +
  121342. + return retval;
  121343. +}
  121344. +#endif
  121345. +
  121346. +#ifdef DWC_EN_ISOC
  121347. +/**
  121348. + * This function is used to submit an ISOC Transfer Request to an EP.
  121349. + *
  121350. + * - Every time a sync period completes the request's completion callback
  121351. + * is called to provide data to the gadget driver.
  121352. + * - Once submitted the request cannot be modified.
  121353. + * - Each request is turned into periodic data packets untill ISO
  121354. + * Transfer is stopped..
  121355. + */
  121356. +static int iso_ep_start(struct usb_ep *usb_ep, struct usb_iso_request *req,
  121357. + gfp_t gfp_flags)
  121358. +{
  121359. + int retval = 0;
  121360. +
  121361. + if (!req || !req->process_buffer || !req->buf0 || !req->buf1) {
  121362. + DWC_WARN("bad params\n");
  121363. + return -EINVAL;
  121364. + }
  121365. +
  121366. + if (!usb_ep) {
  121367. + DWC_PRINTF("bad params\n");
  121368. + return -EINVAL;
  121369. + }
  121370. +
  121371. + req->status = -EINPROGRESS;
  121372. +
  121373. + retval =
  121374. + dwc_otg_pcd_iso_ep_start(gadget_wrapper->pcd, usb_ep, req->buf0,
  121375. + req->buf1, req->dma0, req->dma1,
  121376. + req->sync_frame, req->data_pattern_frame,
  121377. + req->data_per_frame,
  121378. + req->
  121379. + flags & USB_REQ_ISO_ASAP ? -1 :
  121380. + req->start_frame, req->buf_proc_intrvl,
  121381. + req, gfp_flags == GFP_ATOMIC ? 1 : 0);
  121382. +
  121383. + if (retval) {
  121384. + return -EINVAL;
  121385. + }
  121386. +
  121387. + return retval;
  121388. +}
  121389. +
  121390. +/**
  121391. + * This function stops ISO EP Periodic Data Transfer.
  121392. + */
  121393. +static int iso_ep_stop(struct usb_ep *usb_ep, struct usb_iso_request *req)
  121394. +{
  121395. + int retval = 0;
  121396. + if (!usb_ep) {
  121397. + DWC_WARN("bad ep\n");
  121398. + }
  121399. +
  121400. + if (!gadget_wrapper->driver ||
  121401. + gadget_wrapper->gadget.speed == USB_SPEED_UNKNOWN) {
  121402. + DWC_DEBUGPL(DBG_PCDV, "gadget.speed=%d\n",
  121403. + gadget_wrapper->gadget.speed);
  121404. + DWC_WARN("bogus device state\n");
  121405. + }
  121406. +
  121407. + dwc_otg_pcd_iso_ep_stop(gadget_wrapper->pcd, usb_ep, req);
  121408. + if (retval) {
  121409. + retval = -EINVAL;
  121410. + }
  121411. +
  121412. + return retval;
  121413. +}
  121414. +
  121415. +static struct usb_iso_request *alloc_iso_request(struct usb_ep *ep,
  121416. + int packets, gfp_t gfp_flags)
  121417. +{
  121418. + struct usb_iso_request *pReq = NULL;
  121419. + uint32_t req_size;
  121420. +
  121421. + req_size = sizeof(struct usb_iso_request);
  121422. + req_size +=
  121423. + (2 * packets * (sizeof(struct usb_gadget_iso_packet_descriptor)));
  121424. +
  121425. + pReq = kmalloc(req_size, gfp_flags);
  121426. + if (!pReq) {
  121427. + DWC_WARN("Can't allocate Iso Request\n");
  121428. + return 0;
  121429. + }
  121430. + pReq->iso_packet_desc0 = (void *)(pReq + 1);
  121431. +
  121432. + pReq->iso_packet_desc1 = pReq->iso_packet_desc0 + packets;
  121433. +
  121434. + return pReq;
  121435. +}
  121436. +
  121437. +static void free_iso_request(struct usb_ep *ep, struct usb_iso_request *req)
  121438. +{
  121439. + kfree(req);
  121440. +}
  121441. +
  121442. +static struct usb_isoc_ep_ops dwc_otg_pcd_ep_ops = {
  121443. + .ep_ops = {
  121444. + .enable = ep_enable,
  121445. + .disable = ep_disable,
  121446. +
  121447. + .alloc_request = dwc_otg_pcd_alloc_request,
  121448. + .free_request = dwc_otg_pcd_free_request,
  121449. +
  121450. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  121451. + .alloc_buffer = dwc_otg_pcd_alloc_buffer,
  121452. + .free_buffer = dwc_otg_pcd_free_buffer,
  121453. +#endif
  121454. +
  121455. + .queue = ep_queue,
  121456. + .dequeue = ep_dequeue,
  121457. +
  121458. + .set_halt = ep_halt,
  121459. + .fifo_status = 0,
  121460. + .fifo_flush = 0,
  121461. + },
  121462. + .iso_ep_start = iso_ep_start,
  121463. + .iso_ep_stop = iso_ep_stop,
  121464. + .alloc_iso_request = alloc_iso_request,
  121465. + .free_iso_request = free_iso_request,
  121466. +};
  121467. +
  121468. +#else
  121469. +
  121470. + int (*enable) (struct usb_ep *ep,
  121471. + const struct usb_endpoint_descriptor *desc);
  121472. + int (*disable) (struct usb_ep *ep);
  121473. +
  121474. + struct usb_request *(*alloc_request) (struct usb_ep *ep,
  121475. + gfp_t gfp_flags);
  121476. + void (*free_request) (struct usb_ep *ep, struct usb_request *req);
  121477. +
  121478. + int (*queue) (struct usb_ep *ep, struct usb_request *req,
  121479. + gfp_t gfp_flags);
  121480. + int (*dequeue) (struct usb_ep *ep, struct usb_request *req);
  121481. +
  121482. + int (*set_halt) (struct usb_ep *ep, int value);
  121483. + int (*set_wedge) (struct usb_ep *ep);
  121484. +
  121485. + int (*fifo_status) (struct usb_ep *ep);
  121486. + void (*fifo_flush) (struct usb_ep *ep);
  121487. +static struct usb_ep_ops dwc_otg_pcd_ep_ops = {
  121488. + .enable = ep_enable,
  121489. + .disable = ep_disable,
  121490. +
  121491. + .alloc_request = dwc_otg_pcd_alloc_request,
  121492. + .free_request = dwc_otg_pcd_free_request,
  121493. +
  121494. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,28)
  121495. + .alloc_buffer = dwc_otg_pcd_alloc_buffer,
  121496. + .free_buffer = dwc_otg_pcd_free_buffer,
  121497. +#else
  121498. + /* .set_wedge = ep_wedge, */
  121499. + .set_wedge = NULL, /* uses set_halt instead */
  121500. +#endif
  121501. +
  121502. + .queue = ep_queue,
  121503. + .dequeue = ep_dequeue,
  121504. +
  121505. + .set_halt = ep_halt,
  121506. + .fifo_status = 0,
  121507. + .fifo_flush = 0,
  121508. +
  121509. +};
  121510. +
  121511. +#endif /* _EN_ISOC_ */
  121512. +/* Gadget Operations */
  121513. +/**
  121514. + * The following gadget operations will be implemented in the DWC_otg
  121515. + * PCD. Functions in the API that are not described below are not
  121516. + * implemented.
  121517. + *
  121518. + * The Gadget API provides wrapper functions for each of the function
  121519. + * pointers defined in usb_gadget_ops. The Gadget Driver calls the
  121520. + * wrapper function, which then calls the underlying PCD function. The
  121521. + * following sections are named according to the wrapper functions
  121522. + * (except for ioctl, which doesn't have a wrapper function). Within
  121523. + * each section, the corresponding DWC_otg PCD function name is
  121524. + * specified.
  121525. + *
  121526. + */
  121527. +
  121528. +/**
  121529. + *Gets the USB Frame number of the last SOF.
  121530. + */
  121531. +static int get_frame_number(struct usb_gadget *gadget)
  121532. +{
  121533. + struct gadget_wrapper *d;
  121534. +
  121535. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, gadget);
  121536. +
  121537. + if (gadget == 0) {
  121538. + return -ENODEV;
  121539. + }
  121540. +
  121541. + d = container_of(gadget, struct gadget_wrapper, gadget);
  121542. + return dwc_otg_pcd_get_frame_number(d->pcd);
  121543. +}
  121544. +
  121545. +#ifdef CONFIG_USB_DWC_OTG_LPM
  121546. +static int test_lpm_enabled(struct usb_gadget *gadget)
  121547. +{
  121548. + struct gadget_wrapper *d;
  121549. +
  121550. + d = container_of(gadget, struct gadget_wrapper, gadget);
  121551. +
  121552. + return dwc_otg_pcd_is_lpm_enabled(d->pcd);
  121553. +}
  121554. +#endif
  121555. +
  121556. +/**
  121557. + * Initiates Session Request Protocol (SRP) to wakeup the host if no
  121558. + * session is in progress. If a session is already in progress, but
  121559. + * the device is suspended, remote wakeup signaling is started.
  121560. + *
  121561. + */
  121562. +static int wakeup(struct usb_gadget *gadget)
  121563. +{
  121564. + struct gadget_wrapper *d;
  121565. +
  121566. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, gadget);
  121567. +
  121568. + if (gadget == 0) {
  121569. + return -ENODEV;
  121570. + } else {
  121571. + d = container_of(gadget, struct gadget_wrapper, gadget);
  121572. + }
  121573. + dwc_otg_pcd_wakeup(d->pcd);
  121574. + return 0;
  121575. +}
  121576. +
  121577. +static const struct usb_gadget_ops dwc_otg_pcd_ops = {
  121578. + .get_frame = get_frame_number,
  121579. + .wakeup = wakeup,
  121580. +#ifdef CONFIG_USB_DWC_OTG_LPM
  121581. + .lpm_support = test_lpm_enabled,
  121582. +#endif
  121583. + // current versions must always be self-powered
  121584. +};
  121585. +
  121586. +static int _setup(dwc_otg_pcd_t * pcd, uint8_t * bytes)
  121587. +{
  121588. + int retval = -DWC_E_NOT_SUPPORTED;
  121589. + if (gadget_wrapper->driver && gadget_wrapper->driver->setup) {
  121590. + retval = gadget_wrapper->driver->setup(&gadget_wrapper->gadget,
  121591. + (struct usb_ctrlrequest
  121592. + *)bytes);
  121593. + }
  121594. +
  121595. + if (retval == -ENOTSUPP) {
  121596. + retval = -DWC_E_NOT_SUPPORTED;
  121597. + } else if (retval < 0) {
  121598. + retval = -DWC_E_INVALID;
  121599. + }
  121600. +
  121601. + return retval;
  121602. +}
  121603. +
  121604. +#ifdef DWC_EN_ISOC
  121605. +static int _isoc_complete(dwc_otg_pcd_t * pcd, void *ep_handle,
  121606. + void *req_handle, int proc_buf_num)
  121607. +{
  121608. + int i, packet_count;
  121609. + struct usb_gadget_iso_packet_descriptor *iso_packet = 0;
  121610. + struct usb_iso_request *iso_req = req_handle;
  121611. +
  121612. + if (proc_buf_num) {
  121613. + iso_packet = iso_req->iso_packet_desc1;
  121614. + } else {
  121615. + iso_packet = iso_req->iso_packet_desc0;
  121616. + }
  121617. + packet_count =
  121618. + dwc_otg_pcd_get_iso_packet_count(pcd, ep_handle, req_handle);
  121619. + for (i = 0; i < packet_count; ++i) {
  121620. + int status;
  121621. + int actual;
  121622. + int offset;
  121623. + dwc_otg_pcd_get_iso_packet_params(pcd, ep_handle, req_handle,
  121624. + i, &status, &actual, &offset);
  121625. + switch (status) {
  121626. + case -DWC_E_NO_DATA:
  121627. + status = -ENODATA;
  121628. + break;
  121629. + default:
  121630. + if (status) {
  121631. + DWC_PRINTF("unknown status in isoc packet\n");
  121632. + }
  121633. +
  121634. + }
  121635. + iso_packet[i].status = status;
  121636. + iso_packet[i].offset = offset;
  121637. + iso_packet[i].actual_length = actual;
  121638. + }
  121639. +
  121640. + iso_req->status = 0;
  121641. + iso_req->process_buffer(ep_handle, iso_req);
  121642. +
  121643. + return 0;
  121644. +}
  121645. +#endif /* DWC_EN_ISOC */
  121646. +
  121647. +#ifdef DWC_UTE_PER_IO
  121648. +/**
  121649. + * Copy the contents of the extended request to the Linux usb_request's
  121650. + * extended part and call the gadget's completion.
  121651. + *
  121652. + * @param pcd Pointer to the pcd structure
  121653. + * @param ep_handle Void pointer to the usb_ep structure
  121654. + * @param req_handle Void pointer to the usb_request structure
  121655. + * @param status Request status returned from the portable logic
  121656. + * @param ereq_port Void pointer to the extended request structure
  121657. + * created in the the portable part that contains the
  121658. + * results of the processed iso packets.
  121659. + */
  121660. +static int _xisoc_complete(dwc_otg_pcd_t * pcd, void *ep_handle,
  121661. + void *req_handle, int32_t status, void *ereq_port)
  121662. +{
  121663. + struct dwc_ute_iso_req_ext *ereqorg = NULL;
  121664. + struct dwc_iso_xreq_port *ereqport = NULL;
  121665. + struct dwc_ute_iso_packet_descriptor *desc_org = NULL;
  121666. + int i;
  121667. + struct usb_request *req;
  121668. + //struct dwc_ute_iso_packet_descriptor *
  121669. + //int status = 0;
  121670. +
  121671. + req = (struct usb_request *)req_handle;
  121672. + ereqorg = &req->ext_req;
  121673. + ereqport = (struct dwc_iso_xreq_port *)ereq_port;
  121674. + desc_org = ereqorg->per_io_frame_descs;
  121675. +
  121676. + if (req && req->complete) {
  121677. + /* Copy the request data from the portable logic to our request */
  121678. + for (i = 0; i < ereqport->pio_pkt_count; i++) {
  121679. + desc_org[i].actual_length =
  121680. + ereqport->per_io_frame_descs[i].actual_length;
  121681. + desc_org[i].status =
  121682. + ereqport->per_io_frame_descs[i].status;
  121683. + }
  121684. +
  121685. + switch (status) {
  121686. + case -DWC_E_SHUTDOWN:
  121687. + req->status = -ESHUTDOWN;
  121688. + break;
  121689. + case -DWC_E_RESTART:
  121690. + req->status = -ECONNRESET;
  121691. + break;
  121692. + case -DWC_E_INVALID:
  121693. + req->status = -EINVAL;
  121694. + break;
  121695. + case -DWC_E_TIMEOUT:
  121696. + req->status = -ETIMEDOUT;
  121697. + break;
  121698. + default:
  121699. + req->status = status;
  121700. + }
  121701. +
  121702. + /* And call the gadget's completion */
  121703. + req->complete(ep_handle, req);
  121704. + }
  121705. +
  121706. + return 0;
  121707. +}
  121708. +#endif /* DWC_UTE_PER_IO */
  121709. +
  121710. +static int _complete(dwc_otg_pcd_t * pcd, void *ep_handle,
  121711. + void *req_handle, int32_t status, uint32_t actual)
  121712. +{
  121713. + struct usb_request *req = (struct usb_request *)req_handle;
  121714. +#if LINUX_VERSION_CODE > KERNEL_VERSION(2,6,27)
  121715. + struct dwc_otg_pcd_ep *ep = NULL;
  121716. +#endif
  121717. +
  121718. + if (req && req->complete) {
  121719. + switch (status) {
  121720. + case -DWC_E_SHUTDOWN:
  121721. + req->status = -ESHUTDOWN;
  121722. + break;
  121723. + case -DWC_E_RESTART:
  121724. + req->status = -ECONNRESET;
  121725. + break;
  121726. + case -DWC_E_INVALID:
  121727. + req->status = -EINVAL;
  121728. + break;
  121729. + case -DWC_E_TIMEOUT:
  121730. + req->status = -ETIMEDOUT;
  121731. + break;
  121732. + default:
  121733. + req->status = status;
  121734. +
  121735. + }
  121736. +
  121737. + req->actual = actual;
  121738. + DWC_SPINUNLOCK(pcd->lock);
  121739. + req->complete(ep_handle, req);
  121740. + DWC_SPINLOCK(pcd->lock);
  121741. + }
  121742. +#if LINUX_VERSION_CODE > KERNEL_VERSION(2,6,27)
  121743. + ep = ep_from_handle(pcd, ep_handle);
  121744. + if (GET_CORE_IF(pcd)->dma_enable) {
  121745. + if (req->length != 0) {
  121746. + dwc_otg_device_t *otg_dev = gadget_wrapper->pcd->otg_dev;
  121747. + struct device *dev = NULL;
  121748. +
  121749. + if (otg_dev != NULL)
  121750. + dev = DWC_OTG_OS_GETDEV(otg_dev->os_dep);
  121751. +
  121752. + dma_unmap_single(dev, req->dma, req->length,
  121753. + ep->dwc_ep.is_in ?
  121754. + DMA_TO_DEVICE: DMA_FROM_DEVICE);
  121755. + }
  121756. + }
  121757. +#endif
  121758. +
  121759. + return 0;
  121760. +}
  121761. +
  121762. +static int _connect(dwc_otg_pcd_t * pcd, int speed)
  121763. +{
  121764. + gadget_wrapper->gadget.speed = speed;
  121765. + return 0;
  121766. +}
  121767. +
  121768. +static int _disconnect(dwc_otg_pcd_t * pcd)
  121769. +{
  121770. + if (gadget_wrapper->driver && gadget_wrapper->driver->disconnect) {
  121771. + gadget_wrapper->driver->disconnect(&gadget_wrapper->gadget);
  121772. + }
  121773. + return 0;
  121774. +}
  121775. +
  121776. +static int _resume(dwc_otg_pcd_t * pcd)
  121777. +{
  121778. + if (gadget_wrapper->driver && gadget_wrapper->driver->resume) {
  121779. + gadget_wrapper->driver->resume(&gadget_wrapper->gadget);
  121780. + }
  121781. +
  121782. + return 0;
  121783. +}
  121784. +
  121785. +static int _suspend(dwc_otg_pcd_t * pcd)
  121786. +{
  121787. + if (gadget_wrapper->driver && gadget_wrapper->driver->suspend) {
  121788. + gadget_wrapper->driver->suspend(&gadget_wrapper->gadget);
  121789. + }
  121790. + return 0;
  121791. +}
  121792. +
  121793. +/**
  121794. + * This function updates the otg values in the gadget structure.
  121795. + */
  121796. +static int _hnp_changed(dwc_otg_pcd_t * pcd)
  121797. +{
  121798. +
  121799. + if (!gadget_wrapper->gadget.is_otg)
  121800. + return 0;
  121801. +
  121802. + gadget_wrapper->gadget.b_hnp_enable = get_b_hnp_enable(pcd);
  121803. + gadget_wrapper->gadget.a_hnp_support = get_a_hnp_support(pcd);
  121804. + gadget_wrapper->gadget.a_alt_hnp_support = get_a_alt_hnp_support(pcd);
  121805. + return 0;
  121806. +}
  121807. +
  121808. +static int _reset(dwc_otg_pcd_t * pcd)
  121809. +{
  121810. + return 0;
  121811. +}
  121812. +
  121813. +#ifdef DWC_UTE_CFI
  121814. +static int _cfi_setup(dwc_otg_pcd_t * pcd, void *cfi_req)
  121815. +{
  121816. + int retval = -DWC_E_INVALID;
  121817. + if (gadget_wrapper->driver->cfi_feature_setup) {
  121818. + retval =
  121819. + gadget_wrapper->driver->
  121820. + cfi_feature_setup(&gadget_wrapper->gadget,
  121821. + (struct cfi_usb_ctrlrequest *)cfi_req);
  121822. + }
  121823. +
  121824. + return retval;
  121825. +}
  121826. +#endif
  121827. +
  121828. +static const struct dwc_otg_pcd_function_ops fops = {
  121829. + .complete = _complete,
  121830. +#ifdef DWC_EN_ISOC
  121831. + .isoc_complete = _isoc_complete,
  121832. +#endif
  121833. + .setup = _setup,
  121834. + .disconnect = _disconnect,
  121835. + .connect = _connect,
  121836. + .resume = _resume,
  121837. + .suspend = _suspend,
  121838. + .hnp_changed = _hnp_changed,
  121839. + .reset = _reset,
  121840. +#ifdef DWC_UTE_CFI
  121841. + .cfi_setup = _cfi_setup,
  121842. +#endif
  121843. +#ifdef DWC_UTE_PER_IO
  121844. + .xisoc_complete = _xisoc_complete,
  121845. +#endif
  121846. +};
  121847. +
  121848. +/**
  121849. + * This function is the top level PCD interrupt handler.
  121850. + */
  121851. +static irqreturn_t dwc_otg_pcd_irq(int irq, void *dev)
  121852. +{
  121853. + dwc_otg_pcd_t *pcd = dev;
  121854. + int32_t retval = IRQ_NONE;
  121855. +
  121856. + retval = dwc_otg_pcd_handle_intr(pcd);
  121857. + if (retval != 0) {
  121858. + S3C2410X_CLEAR_EINTPEND();
  121859. + }
  121860. + return IRQ_RETVAL(retval);
  121861. +}
  121862. +
  121863. +/**
  121864. + * This function initialized the usb_ep structures to there default
  121865. + * state.
  121866. + *
  121867. + * @param d Pointer on gadget_wrapper.
  121868. + */
  121869. +void gadget_add_eps(struct gadget_wrapper *d)
  121870. +{
  121871. + static const char *names[] = {
  121872. +
  121873. + "ep0",
  121874. + "ep1in",
  121875. + "ep2in",
  121876. + "ep3in",
  121877. + "ep4in",
  121878. + "ep5in",
  121879. + "ep6in",
  121880. + "ep7in",
  121881. + "ep8in",
  121882. + "ep9in",
  121883. + "ep10in",
  121884. + "ep11in",
  121885. + "ep12in",
  121886. + "ep13in",
  121887. + "ep14in",
  121888. + "ep15in",
  121889. + "ep1out",
  121890. + "ep2out",
  121891. + "ep3out",
  121892. + "ep4out",
  121893. + "ep5out",
  121894. + "ep6out",
  121895. + "ep7out",
  121896. + "ep8out",
  121897. + "ep9out",
  121898. + "ep10out",
  121899. + "ep11out",
  121900. + "ep12out",
  121901. + "ep13out",
  121902. + "ep14out",
  121903. + "ep15out"
  121904. + };
  121905. +
  121906. + int i;
  121907. + struct usb_ep *ep;
  121908. + int8_t dev_endpoints;
  121909. +
  121910. + DWC_DEBUGPL(DBG_PCDV, "%s\n", __func__);
  121911. +
  121912. + INIT_LIST_HEAD(&d->gadget.ep_list);
  121913. + d->gadget.ep0 = &d->ep0;
  121914. + d->gadget.speed = USB_SPEED_UNKNOWN;
  121915. +
  121916. + INIT_LIST_HEAD(&d->gadget.ep0->ep_list);
  121917. +
  121918. + /**
  121919. + * Initialize the EP0 structure.
  121920. + */
  121921. + ep = &d->ep0;
  121922. +
  121923. + /* Init the usb_ep structure. */
  121924. + ep->name = names[0];
  121925. + ep->ops = (struct usb_ep_ops *)&dwc_otg_pcd_ep_ops;
  121926. +
  121927. + /**
  121928. + * @todo NGS: What should the max packet size be set to
  121929. + * here? Before EP type is set?
  121930. + */
  121931. + ep->maxpacket = MAX_PACKET_SIZE;
  121932. + dwc_otg_pcd_ep_enable(d->pcd, NULL, ep);
  121933. +
  121934. + list_add_tail(&ep->ep_list, &d->gadget.ep_list);
  121935. +
  121936. + /**
  121937. + * Initialize the EP structures.
  121938. + */
  121939. + dev_endpoints = d->pcd->core_if->dev_if->num_in_eps;
  121940. +
  121941. + for (i = 0; i < dev_endpoints; i++) {
  121942. + ep = &d->in_ep[i];
  121943. +
  121944. + /* Init the usb_ep structure. */
  121945. + ep->name = names[d->pcd->in_ep[i].dwc_ep.num];
  121946. + ep->ops = (struct usb_ep_ops *)&dwc_otg_pcd_ep_ops;
  121947. +
  121948. + /**
  121949. + * @todo NGS: What should the max packet size be set to
  121950. + * here? Before EP type is set?
  121951. + */
  121952. + ep->maxpacket = MAX_PACKET_SIZE;
  121953. + list_add_tail(&ep->ep_list, &d->gadget.ep_list);
  121954. + }
  121955. +
  121956. + dev_endpoints = d->pcd->core_if->dev_if->num_out_eps;
  121957. +
  121958. + for (i = 0; i < dev_endpoints; i++) {
  121959. + ep = &d->out_ep[i];
  121960. +
  121961. + /* Init the usb_ep structure. */
  121962. + ep->name = names[15 + d->pcd->out_ep[i].dwc_ep.num];
  121963. + ep->ops = (struct usb_ep_ops *)&dwc_otg_pcd_ep_ops;
  121964. +
  121965. + /**
  121966. + * @todo NGS: What should the max packet size be set to
  121967. + * here? Before EP type is set?
  121968. + */
  121969. + ep->maxpacket = MAX_PACKET_SIZE;
  121970. +
  121971. + list_add_tail(&ep->ep_list, &d->gadget.ep_list);
  121972. + }
  121973. +
  121974. + /* remove ep0 from the list. There is a ep0 pointer. */
  121975. + list_del_init(&d->ep0.ep_list);
  121976. +
  121977. + d->ep0.maxpacket = MAX_EP0_SIZE;
  121978. +}
  121979. +
  121980. +/**
  121981. + * This function releases the Gadget device.
  121982. + * required by device_unregister().
  121983. + *
  121984. + * @todo Should this do something? Should it free the PCD?
  121985. + */
  121986. +static void dwc_otg_pcd_gadget_release(struct device *dev)
  121987. +{
  121988. + DWC_DEBUGPL(DBG_PCDV, "%s(%p)\n", __func__, dev);
  121989. +}
  121990. +
  121991. +static struct gadget_wrapper *alloc_wrapper(dwc_bus_dev_t *_dev)
  121992. +{
  121993. + static char pcd_name[] = "dwc_otg_pcd";
  121994. + dwc_otg_device_t *otg_dev = DWC_OTG_BUSDRVDATA(_dev);
  121995. + struct gadget_wrapper *d;
  121996. + int retval;
  121997. +
  121998. + d = DWC_ALLOC(sizeof(*d));
  121999. + if (d == NULL) {
  122000. + return NULL;
  122001. + }
  122002. +
  122003. + memset(d, 0, sizeof(*d));
  122004. +
  122005. + d->gadget.name = pcd_name;
  122006. + d->pcd = otg_dev->pcd;
  122007. +
  122008. +#if LINUX_VERSION_CODE < KERNEL_VERSION(2,6,30)
  122009. + strcpy(d->gadget.dev.bus_id, "gadget");
  122010. +#else
  122011. + dev_set_name(&d->gadget.dev, "%s", "gadget");
  122012. +#endif
  122013. +
  122014. + d->gadget.dev.parent = &_dev->dev;
  122015. + d->gadget.dev.release = dwc_otg_pcd_gadget_release;
  122016. + d->gadget.ops = &dwc_otg_pcd_ops;
  122017. + d->gadget.max_speed = dwc_otg_pcd_is_dualspeed(otg_dev->pcd) ? USB_SPEED_HIGH:USB_SPEED_FULL;
  122018. + d->gadget.is_otg = dwc_otg_pcd_is_otg(otg_dev->pcd);
  122019. +
  122020. + d->driver = 0;
  122021. + /* Register the gadget device */
  122022. + retval = device_register(&d->gadget.dev);
  122023. + if (retval != 0) {
  122024. + DWC_ERROR("device_register failed\n");
  122025. + DWC_FREE(d);
  122026. + return NULL;
  122027. + }
  122028. +
  122029. + return d;
  122030. +}
  122031. +
  122032. +static void free_wrapper(struct gadget_wrapper *d)
  122033. +{
  122034. + if (d->driver) {
  122035. + /* should have been done already by driver model core */
  122036. + DWC_WARN("driver '%s' is still registered\n",
  122037. + d->driver->driver.name);
  122038. + usb_gadget_unregister_driver(d->driver);
  122039. + }
  122040. +
  122041. + device_unregister(&d->gadget.dev);
  122042. + DWC_FREE(d);
  122043. +}
  122044. +
  122045. +/**
  122046. + * This function initialized the PCD portion of the driver.
  122047. + *
  122048. + */
  122049. +int pcd_init(dwc_bus_dev_t *_dev)
  122050. +{
  122051. + dwc_otg_device_t *otg_dev = DWC_OTG_BUSDRVDATA(_dev);
  122052. + int retval = 0;
  122053. +
  122054. + DWC_DEBUGPL(DBG_PCDV, "%s(%p) otg_dev=%p\n", __func__, _dev, otg_dev);
  122055. +
  122056. + otg_dev->pcd = dwc_otg_pcd_init(otg_dev->core_if);
  122057. +
  122058. + if (!otg_dev->pcd) {
  122059. + DWC_ERROR("dwc_otg_pcd_init failed\n");
  122060. + return -ENOMEM;
  122061. + }
  122062. +
  122063. + otg_dev->pcd->otg_dev = otg_dev;
  122064. + gadget_wrapper = alloc_wrapper(_dev);
  122065. +
  122066. + /*
  122067. + * Initialize EP structures
  122068. + */
  122069. + gadget_add_eps(gadget_wrapper);
  122070. + /*
  122071. + * Setup interupt handler
  122072. + */
  122073. +#ifdef PLATFORM_INTERFACE
  122074. + DWC_DEBUGPL(DBG_ANY, "registering handler for irq%d\n",
  122075. + platform_get_irq(_dev, fiq_enable ? 0 : 1));
  122076. + retval = request_irq(platform_get_irq(_dev, fiq_enable ? 0 : 1), dwc_otg_pcd_irq,
  122077. + IRQF_SHARED, gadget_wrapper->gadget.name,
  122078. + otg_dev->pcd);
  122079. + if (retval != 0) {
  122080. + DWC_ERROR("request of irq%d failed\n",
  122081. + platform_get_irq(_dev, fiq_enable ? 0 : 1));
  122082. + free_wrapper(gadget_wrapper);
  122083. + return -EBUSY;
  122084. + }
  122085. +#else
  122086. + DWC_DEBUGPL(DBG_ANY, "registering handler for irq%d\n",
  122087. + _dev->irq);
  122088. + retval = request_irq(_dev->irq, dwc_otg_pcd_irq,
  122089. + IRQF_SHARED | IRQF_DISABLED,
  122090. + gadget_wrapper->gadget.name, otg_dev->pcd);
  122091. + if (retval != 0) {
  122092. + DWC_ERROR("request of irq%d failed\n", _dev->irq);
  122093. + free_wrapper(gadget_wrapper);
  122094. + return -EBUSY;
  122095. + }
  122096. +#endif
  122097. +
  122098. + dwc_otg_pcd_start(gadget_wrapper->pcd, &fops);
  122099. +
  122100. + return retval;
  122101. +}
  122102. +
  122103. +/**
  122104. + * Cleanup the PCD.
  122105. + */
  122106. +void pcd_remove(dwc_bus_dev_t *_dev)
  122107. +{
  122108. + dwc_otg_device_t *otg_dev = DWC_OTG_BUSDRVDATA(_dev);
  122109. + dwc_otg_pcd_t *pcd = otg_dev->pcd;
  122110. +
  122111. + DWC_DEBUGPL(DBG_PCDV, "%s(%p) otg_dev %p\n", __func__, _dev, otg_dev);
  122112. +
  122113. + /*
  122114. + * Free the IRQ
  122115. + */
  122116. +#ifdef PLATFORM_INTERFACE
  122117. + free_irq(platform_get_irq(_dev, 0), pcd);
  122118. +#else
  122119. + free_irq(_dev->irq, pcd);
  122120. +#endif
  122121. + dwc_otg_pcd_remove(otg_dev->pcd);
  122122. + free_wrapper(gadget_wrapper);
  122123. + otg_dev->pcd = 0;
  122124. +}
  122125. +
  122126. +/**
  122127. + * This function registers a gadget driver with the PCD.
  122128. + *
  122129. + * When a driver is successfully registered, it will receive control
  122130. + * requests including set_configuration(), which enables non-control
  122131. + * requests. then usb traffic follows until a disconnect is reported.
  122132. + * then a host may connect again, or the driver might get unbound.
  122133. + *
  122134. + * @param driver The driver being registered
  122135. + * @param bind The bind function of gadget driver
  122136. + */
  122137. +
  122138. +int usb_gadget_probe_driver(struct usb_gadget_driver *driver)
  122139. +{
  122140. + int retval;
  122141. +
  122142. + DWC_DEBUGPL(DBG_PCD, "registering gadget driver '%s'\n",
  122143. + driver->driver.name);
  122144. +
  122145. + if (!driver || driver->max_speed == USB_SPEED_UNKNOWN ||
  122146. + !driver->bind ||
  122147. + !driver->unbind || !driver->disconnect || !driver->setup) {
  122148. + DWC_DEBUGPL(DBG_PCDV, "EINVAL\n");
  122149. + return -EINVAL;
  122150. + }
  122151. + if (gadget_wrapper == 0) {
  122152. + DWC_DEBUGPL(DBG_PCDV, "ENODEV\n");
  122153. + return -ENODEV;
  122154. + }
  122155. + if (gadget_wrapper->driver != 0) {
  122156. + DWC_DEBUGPL(DBG_PCDV, "EBUSY (%p)\n", gadget_wrapper->driver);
  122157. + return -EBUSY;
  122158. + }
  122159. +
  122160. + /* hook up the driver */
  122161. + gadget_wrapper->driver = driver;
  122162. + gadget_wrapper->gadget.dev.driver = &driver->driver;
  122163. +
  122164. + DWC_DEBUGPL(DBG_PCD, "bind to driver %s\n", driver->driver.name);
  122165. + retval = driver->bind(&gadget_wrapper->gadget, gadget_wrapper->driver);
  122166. + if (retval) {
  122167. + DWC_ERROR("bind to driver %s --> error %d\n",
  122168. + driver->driver.name, retval);
  122169. + gadget_wrapper->driver = 0;
  122170. + gadget_wrapper->gadget.dev.driver = 0;
  122171. + return retval;
  122172. + }
  122173. + DWC_DEBUGPL(DBG_ANY, "registered gadget driver '%s'\n",
  122174. + driver->driver.name);
  122175. + return 0;
  122176. +}
  122177. +EXPORT_SYMBOL(usb_gadget_probe_driver);
  122178. +
  122179. +/**
  122180. + * This function unregisters a gadget driver
  122181. + *
  122182. + * @param driver The driver being unregistered
  122183. + */
  122184. +int usb_gadget_unregister_driver(struct usb_gadget_driver *driver)
  122185. +{
  122186. + //DWC_DEBUGPL(DBG_PCDV,"%s(%p)\n", __func__, _driver);
  122187. +
  122188. + if (gadget_wrapper == 0) {
  122189. + DWC_DEBUGPL(DBG_ANY, "%s Return(%d): s_pcd==0\n", __func__,
  122190. + -ENODEV);
  122191. + return -ENODEV;
  122192. + }
  122193. + if (driver == 0 || driver != gadget_wrapper->driver) {
  122194. + DWC_DEBUGPL(DBG_ANY, "%s Return(%d): driver?\n", __func__,
  122195. + -EINVAL);
  122196. + return -EINVAL;
  122197. + }
  122198. +
  122199. + driver->unbind(&gadget_wrapper->gadget);
  122200. + gadget_wrapper->driver = 0;
  122201. +
  122202. + DWC_DEBUGPL(DBG_ANY, "unregistered driver '%s'\n", driver->driver.name);
  122203. + return 0;
  122204. +}
  122205. +
  122206. +EXPORT_SYMBOL(usb_gadget_unregister_driver);
  122207. +
  122208. +#endif /* DWC_HOST_ONLY */
  122209. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_regs.h linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_regs.h
  122210. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/dwc_otg_regs.h 1970-01-01 01:00:00.000000000 +0100
  122211. +++ linux-rpi/drivers/usb/host/dwc_otg/dwc_otg_regs.h 2015-11-29 09:42:39.923098428 +0100
  122212. @@ -0,0 +1,2550 @@
  122213. +/* ==========================================================================
  122214. + * $File: //dwh/usb_iip/dev/software/otg/linux/drivers/dwc_otg_regs.h $
  122215. + * $Revision: #98 $
  122216. + * $Date: 2012/08/10 $
  122217. + * $Change: 2047372 $
  122218. + *
  122219. + * Synopsys HS OTG Linux Software Driver and documentation (hereinafter,
  122220. + * "Software") is an Unsupported proprietary work of Synopsys, Inc. unless
  122221. + * otherwise expressly agreed to in writing between Synopsys and you.
  122222. + *
  122223. + * The Software IS NOT an item of Licensed Software or Licensed Product under
  122224. + * any End User Software License Agreement or Agreement for Licensed Product
  122225. + * with Synopsys or any supplement thereto. You are permitted to use and
  122226. + * redistribute this Software in source and binary forms, with or without
  122227. + * modification, provided that redistributions of source code must retain this
  122228. + * notice. You may not view, use, disclose, copy or distribute this file or
  122229. + * any information contained herein except pursuant to this license grant from
  122230. + * Synopsys. If you do not agree with this notice, including the disclaimer
  122231. + * below, then you are not authorized to use the Software.
  122232. + *
  122233. + * THIS SOFTWARE IS BEING DISTRIBUTED BY SYNOPSYS SOLELY ON AN "AS IS" BASIS
  122234. + * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  122235. + * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  122236. + * ARE HEREBY DISCLAIMED. IN NO EVENT SHALL SYNOPSYS BE LIABLE FOR ANY DIRECT,
  122237. + * INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  122238. + * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR
  122239. + * SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER
  122240. + * CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  122241. + * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  122242. + * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH
  122243. + * DAMAGE.
  122244. + * ========================================================================== */
  122245. +
  122246. +#ifndef __DWC_OTG_REGS_H__
  122247. +#define __DWC_OTG_REGS_H__
  122248. +
  122249. +#include "dwc_otg_core_if.h"
  122250. +
  122251. +/**
  122252. + * @file
  122253. + *
  122254. + * This file contains the data structures for accessing the DWC_otg core registers.
  122255. + *
  122256. + * The application interfaces with the HS OTG core by reading from and
  122257. + * writing to the Control and Status Register (CSR) space through the
  122258. + * AHB Slave interface. These registers are 32 bits wide, and the
  122259. + * addresses are 32-bit-block aligned.
  122260. + * CSRs are classified as follows:
  122261. + * - Core Global Registers
  122262. + * - Device Mode Registers
  122263. + * - Device Global Registers
  122264. + * - Device Endpoint Specific Registers
  122265. + * - Host Mode Registers
  122266. + * - Host Global Registers
  122267. + * - Host Port CSRs
  122268. + * - Host Channel Specific Registers
  122269. + *
  122270. + * Only the Core Global registers can be accessed in both Device and
  122271. + * Host modes. When the HS OTG core is operating in one mode, either
  122272. + * Device or Host, the application must not access registers from the
  122273. + * other mode. When the core switches from one mode to another, the
  122274. + * registers in the new mode of operation must be reprogrammed as they
  122275. + * would be after a power-on reset.
  122276. + */
  122277. +
  122278. +/****************************************************************************/
  122279. +/** DWC_otg Core registers .
  122280. + * The dwc_otg_core_global_regs structure defines the size
  122281. + * and relative field offsets for the Core Global registers.
  122282. + */
  122283. +typedef struct dwc_otg_core_global_regs {
  122284. + /** OTG Control and Status Register. <i>Offset: 000h</i> */
  122285. + volatile uint32_t gotgctl;
  122286. + /** OTG Interrupt Register. <i>Offset: 004h</i> */
  122287. + volatile uint32_t gotgint;
  122288. + /**Core AHB Configuration Register. <i>Offset: 008h</i> */
  122289. + volatile uint32_t gahbcfg;
  122290. +
  122291. +#define DWC_GLBINTRMASK 0x0001
  122292. +#define DWC_DMAENABLE 0x0020
  122293. +#define DWC_NPTXEMPTYLVL_EMPTY 0x0080
  122294. +#define DWC_NPTXEMPTYLVL_HALFEMPTY 0x0000
  122295. +#define DWC_PTXEMPTYLVL_EMPTY 0x0100
  122296. +#define DWC_PTXEMPTYLVL_HALFEMPTY 0x0000
  122297. +
  122298. + /**Core USB Configuration Register. <i>Offset: 00Ch</i> */
  122299. + volatile uint32_t gusbcfg;
  122300. + /**Core Reset Register. <i>Offset: 010h</i> */
  122301. + volatile uint32_t grstctl;
  122302. + /**Core Interrupt Register. <i>Offset: 014h</i> */
  122303. + volatile uint32_t gintsts;
  122304. + /**Core Interrupt Mask Register. <i>Offset: 018h</i> */
  122305. + volatile uint32_t gintmsk;
  122306. + /**Receive Status Queue Read Register (Read Only). <i>Offset: 01Ch</i> */
  122307. + volatile uint32_t grxstsr;
  122308. + /**Receive Status Queue Read & POP Register (Read Only). <i>Offset: 020h</i>*/
  122309. + volatile uint32_t grxstsp;
  122310. + /**Receive FIFO Size Register. <i>Offset: 024h</i> */
  122311. + volatile uint32_t grxfsiz;
  122312. + /**Non Periodic Transmit FIFO Size Register. <i>Offset: 028h</i> */
  122313. + volatile uint32_t gnptxfsiz;
  122314. + /**Non Periodic Transmit FIFO/Queue Status Register (Read
  122315. + * Only). <i>Offset: 02Ch</i> */
  122316. + volatile uint32_t gnptxsts;
  122317. + /**I2C Access Register. <i>Offset: 030h</i> */
  122318. + volatile uint32_t gi2cctl;
  122319. + /**PHY Vendor Control Register. <i>Offset: 034h</i> */
  122320. + volatile uint32_t gpvndctl;
  122321. + /**General Purpose Input/Output Register. <i>Offset: 038h</i> */
  122322. + volatile uint32_t ggpio;
  122323. + /**User ID Register. <i>Offset: 03Ch</i> */
  122324. + volatile uint32_t guid;
  122325. + /**Synopsys ID Register (Read Only). <i>Offset: 040h</i> */
  122326. + volatile uint32_t gsnpsid;
  122327. + /**User HW Config1 Register (Read Only). <i>Offset: 044h</i> */
  122328. + volatile uint32_t ghwcfg1;
  122329. + /**User HW Config2 Register (Read Only). <i>Offset: 048h</i> */
  122330. + volatile uint32_t ghwcfg2;
  122331. +#define DWC_SLAVE_ONLY_ARCH 0
  122332. +#define DWC_EXT_DMA_ARCH 1
  122333. +#define DWC_INT_DMA_ARCH 2
  122334. +
  122335. +#define DWC_MODE_HNP_SRP_CAPABLE 0
  122336. +#define DWC_MODE_SRP_ONLY_CAPABLE 1
  122337. +#define DWC_MODE_NO_HNP_SRP_CAPABLE 2
  122338. +#define DWC_MODE_SRP_CAPABLE_DEVICE 3
  122339. +#define DWC_MODE_NO_SRP_CAPABLE_DEVICE 4
  122340. +#define DWC_MODE_SRP_CAPABLE_HOST 5
  122341. +#define DWC_MODE_NO_SRP_CAPABLE_HOST 6
  122342. +
  122343. + /**User HW Config3 Register (Read Only). <i>Offset: 04Ch</i> */
  122344. + volatile uint32_t ghwcfg3;
  122345. + /**User HW Config4 Register (Read Only). <i>Offset: 050h</i>*/
  122346. + volatile uint32_t ghwcfg4;
  122347. + /** Core LPM Configuration register <i>Offset: 054h</i>*/
  122348. + volatile uint32_t glpmcfg;
  122349. + /** Global PowerDn Register <i>Offset: 058h</i> */
  122350. + volatile uint32_t gpwrdn;
  122351. + /** Global DFIFO SW Config Register <i>Offset: 05Ch</i> */
  122352. + volatile uint32_t gdfifocfg;
  122353. + /** ADP Control Register <i>Offset: 060h</i> */
  122354. + volatile uint32_t adpctl;
  122355. + /** Reserved <i>Offset: 064h-0FFh</i> */
  122356. + volatile uint32_t reserved39[39];
  122357. + /** Host Periodic Transmit FIFO Size Register. <i>Offset: 100h</i> */
  122358. + volatile uint32_t hptxfsiz;
  122359. + /** Device Periodic Transmit FIFO#n Register if dedicated fifos are disabled,
  122360. + otherwise Device Transmit FIFO#n Register.
  122361. + * <i>Offset: 104h + (FIFO_Number-1)*04h, 1 <= FIFO Number <= 15 (1<=n<=15).</i> */
  122362. + volatile uint32_t dtxfsiz[15];
  122363. +} dwc_otg_core_global_regs_t;
  122364. +
  122365. +/**
  122366. + * This union represents the bit fields of the Core OTG Control
  122367. + * and Status Register (GOTGCTL). Set the bits using the bit
  122368. + * fields then write the <i>d32</i> value to the register.
  122369. + */
  122370. +typedef union gotgctl_data {
  122371. + /** raw register data */
  122372. + uint32_t d32;
  122373. + /** register bits */
  122374. + struct {
  122375. + unsigned sesreqscs:1;
  122376. + unsigned sesreq:1;
  122377. + unsigned vbvalidoven:1;
  122378. + unsigned vbvalidovval:1;
  122379. + unsigned avalidoven:1;
  122380. + unsigned avalidovval:1;
  122381. + unsigned bvalidoven:1;
  122382. + unsigned bvalidovval:1;
  122383. + unsigned hstnegscs:1;
  122384. + unsigned hnpreq:1;
  122385. + unsigned hstsethnpen:1;
  122386. + unsigned devhnpen:1;
  122387. + unsigned reserved12_15:4;
  122388. + unsigned conidsts:1;
  122389. + unsigned dbnctime:1;
  122390. + unsigned asesvld:1;
  122391. + unsigned bsesvld:1;
  122392. + unsigned otgver:1;
  122393. + unsigned reserved1:1;
  122394. + unsigned multvalidbc:5;
  122395. + unsigned chirpen:1;
  122396. + unsigned reserved28_31:4;
  122397. + } b;
  122398. +} gotgctl_data_t;
  122399. +
  122400. +/**
  122401. + * This union represents the bit fields of the Core OTG Interrupt Register
  122402. + * (GOTGINT). Set/clear the bits using the bit fields then write the <i>d32</i>
  122403. + * value to the register.
  122404. + */
  122405. +typedef union gotgint_data {
  122406. + /** raw register data */
  122407. + uint32_t d32;
  122408. + /** register bits */
  122409. + struct {
  122410. + /** Current Mode */
  122411. + unsigned reserved0_1:2;
  122412. +
  122413. + /** Session End Detected */
  122414. + unsigned sesenddet:1;
  122415. +
  122416. + unsigned reserved3_7:5;
  122417. +
  122418. + /** Session Request Success Status Change */
  122419. + unsigned sesreqsucstschng:1;
  122420. + /** Host Negotiation Success Status Change */
  122421. + unsigned hstnegsucstschng:1;
  122422. +
  122423. + unsigned reserved10_16:7;
  122424. +
  122425. + /** Host Negotiation Detected */
  122426. + unsigned hstnegdet:1;
  122427. + /** A-Device Timeout Change */
  122428. + unsigned adevtoutchng:1;
  122429. + /** Debounce Done */
  122430. + unsigned debdone:1;
  122431. + /** Multi-Valued input changed */
  122432. + unsigned mvic:1;
  122433. +
  122434. + unsigned reserved31_21:11;
  122435. +
  122436. + } b;
  122437. +} gotgint_data_t;
  122438. +
  122439. +/**
  122440. + * This union represents the bit fields of the Core AHB Configuration
  122441. + * Register (GAHBCFG). Set/clear the bits using the bit fields then
  122442. + * write the <i>d32</i> value to the register.
  122443. + */
  122444. +typedef union gahbcfg_data {
  122445. + /** raw register data */
  122446. + uint32_t d32;
  122447. + /** register bits */
  122448. + struct {
  122449. + unsigned glblintrmsk:1;
  122450. +#define DWC_GAHBCFG_GLBINT_ENABLE 1
  122451. +
  122452. + unsigned hburstlen:4;
  122453. +#define DWC_GAHBCFG_INT_DMA_BURST_SINGLE 0
  122454. +#define DWC_GAHBCFG_INT_DMA_BURST_INCR 1
  122455. +#define DWC_GAHBCFG_INT_DMA_BURST_INCR4 3
  122456. +#define DWC_GAHBCFG_INT_DMA_BURST_INCR8 5
  122457. +#define DWC_GAHBCFG_INT_DMA_BURST_INCR16 7
  122458. +
  122459. + unsigned dmaenable:1;
  122460. +#define DWC_GAHBCFG_DMAENABLE 1
  122461. + unsigned reserved:1;
  122462. + unsigned nptxfemplvl_txfemplvl:1;
  122463. + unsigned ptxfemplvl:1;
  122464. +#define DWC_GAHBCFG_TXFEMPTYLVL_EMPTY 1
  122465. +#define DWC_GAHBCFG_TXFEMPTYLVL_HALFEMPTY 0
  122466. + unsigned reserved9_20:12;
  122467. + unsigned remmemsupp:1;
  122468. + unsigned notialldmawrit:1;
  122469. + unsigned ahbsingle:1;
  122470. + unsigned reserved24_31:8;
  122471. + } b;
  122472. +} gahbcfg_data_t;
  122473. +
  122474. +/**
  122475. + * This union represents the bit fields of the Core USB Configuration
  122476. + * Register (GUSBCFG). Set the bits using the bit fields then write
  122477. + * the <i>d32</i> value to the register.
  122478. + */
  122479. +typedef union gusbcfg_data {
  122480. + /** raw register data */
  122481. + uint32_t d32;
  122482. + /** register bits */
  122483. + struct {
  122484. + unsigned toutcal:3;
  122485. + unsigned phyif:1;
  122486. + unsigned ulpi_utmi_sel:1;
  122487. + unsigned fsintf:1;
  122488. + unsigned physel:1;
  122489. + unsigned ddrsel:1;
  122490. + unsigned srpcap:1;
  122491. + unsigned hnpcap:1;
  122492. + unsigned usbtrdtim:4;
  122493. + unsigned reserved1:1;
  122494. + unsigned phylpwrclksel:1;
  122495. + unsigned otgutmifssel:1;
  122496. + unsigned ulpi_fsls:1;
  122497. + unsigned ulpi_auto_res:1;
  122498. + unsigned ulpi_clk_sus_m:1;
  122499. + unsigned ulpi_ext_vbus_drv:1;
  122500. + unsigned ulpi_int_vbus_indicator:1;
  122501. + unsigned term_sel_dl_pulse:1;
  122502. + unsigned indicator_complement:1;
  122503. + unsigned indicator_pass_through:1;
  122504. + unsigned ulpi_int_prot_dis:1;
  122505. + unsigned ic_usb_cap:1;
  122506. + unsigned ic_traffic_pull_remove:1;
  122507. + unsigned tx_end_delay:1;
  122508. + unsigned force_host_mode:1;
  122509. + unsigned force_dev_mode:1;
  122510. + unsigned reserved31:1;
  122511. + } b;
  122512. +} gusbcfg_data_t;
  122513. +
  122514. +/**
  122515. + * This union represents the bit fields of the Core Reset Register
  122516. + * (GRSTCTL). Set/clear the bits using the bit fields then write the
  122517. + * <i>d32</i> value to the register.
  122518. + */
  122519. +typedef union grstctl_data {
  122520. + /** raw register data */
  122521. + uint32_t d32;
  122522. + /** register bits */
  122523. + struct {
  122524. + /** Core Soft Reset (CSftRst) (Device and Host)
  122525. + *
  122526. + * The application can flush the control logic in the
  122527. + * entire core using this bit. This bit resets the
  122528. + * pipelines in the AHB Clock domain as well as the
  122529. + * PHY Clock domain.
  122530. + *
  122531. + * The state machines are reset to an IDLE state, the
  122532. + * control bits in the CSRs are cleared, all the
  122533. + * transmit FIFOs and the receive FIFO are flushed.
  122534. + *
  122535. + * The status mask bits that control the generation of
  122536. + * the interrupt, are cleared, to clear the
  122537. + * interrupt. The interrupt status bits are not
  122538. + * cleared, so the application can get the status of
  122539. + * any events that occurred in the core after it has
  122540. + * set this bit.
  122541. + *
  122542. + * Any transactions on the AHB are terminated as soon
  122543. + * as possible following the protocol. Any
  122544. + * transactions on the USB are terminated immediately.
  122545. + *
  122546. + * The configuration settings in the CSRs are
  122547. + * unchanged, so the software doesn't have to
  122548. + * reprogram these registers (Device
  122549. + * Configuration/Host Configuration/Core System
  122550. + * Configuration/Core PHY Configuration).
  122551. + *
  122552. + * The application can write to this bit, any time it
  122553. + * wants to reset the core. This is a self clearing
  122554. + * bit and the core clears this bit after all the
  122555. + * necessary logic is reset in the core, which may
  122556. + * take several clocks, depending on the current state
  122557. + * of the core.
  122558. + */
  122559. + unsigned csftrst:1;
  122560. + /** Hclk Soft Reset
  122561. + *
  122562. + * The application uses this bit to reset the control logic in
  122563. + * the AHB clock domain. Only AHB clock domain pipelines are
  122564. + * reset.
  122565. + */
  122566. + unsigned hsftrst:1;
  122567. + /** Host Frame Counter Reset (Host Only)<br>
  122568. + *
  122569. + * The application can reset the (micro)frame number
  122570. + * counter inside the core, using this bit. When the
  122571. + * (micro)frame counter is reset, the subsequent SOF
  122572. + * sent out by the core, will have a (micro)frame
  122573. + * number of 0.
  122574. + */
  122575. + unsigned hstfrm:1;
  122576. + /** In Token Sequence Learning Queue Flush
  122577. + * (INTknQFlsh) (Device Only)
  122578. + */
  122579. + unsigned intknqflsh:1;
  122580. + /** RxFIFO Flush (RxFFlsh) (Device and Host)
  122581. + *
  122582. + * The application can flush the entire Receive FIFO
  122583. + * using this bit. The application must first
  122584. + * ensure that the core is not in the middle of a
  122585. + * transaction. The application should write into
  122586. + * this bit, only after making sure that neither the
  122587. + * DMA engine is reading from the RxFIFO nor the MAC
  122588. + * is writing the data in to the FIFO. The
  122589. + * application should wait until the bit is cleared
  122590. + * before performing any other operations. This bit
  122591. + * will takes 8 clocks (slowest of PHY or AHB clock)
  122592. + * to clear.
  122593. + */
  122594. + unsigned rxfflsh:1;
  122595. + /** TxFIFO Flush (TxFFlsh) (Device and Host).
  122596. + *
  122597. + * This bit is used to selectively flush a single or
  122598. + * all transmit FIFOs. The application must first
  122599. + * ensure that the core is not in the middle of a
  122600. + * transaction. The application should write into
  122601. + * this bit, only after making sure that neither the
  122602. + * DMA engine is writing into the TxFIFO nor the MAC
  122603. + * is reading the data out of the FIFO. The
  122604. + * application should wait until the core clears this
  122605. + * bit, before performing any operations. This bit
  122606. + * will takes 8 clocks (slowest of PHY or AHB clock)
  122607. + * to clear.
  122608. + */
  122609. + unsigned txfflsh:1;
  122610. +
  122611. + /** TxFIFO Number (TxFNum) (Device and Host).
  122612. + *
  122613. + * This is the FIFO number which needs to be flushed,
  122614. + * using the TxFIFO Flush bit. This field should not
  122615. + * be changed until the TxFIFO Flush bit is cleared by
  122616. + * the core.
  122617. + * - 0x0 : Non Periodic TxFIFO Flush
  122618. + * - 0x1 : Periodic TxFIFO #1 Flush in device mode
  122619. + * or Periodic TxFIFO in host mode
  122620. + * - 0x2 : Periodic TxFIFO #2 Flush in device mode.
  122621. + * - ...
  122622. + * - 0xF : Periodic TxFIFO #15 Flush in device mode
  122623. + * - 0x10: Flush all the Transmit NonPeriodic and
  122624. + * Transmit Periodic FIFOs in the core
  122625. + */
  122626. + unsigned txfnum:5;
  122627. + /** Reserved */
  122628. + unsigned reserved11_29:19;
  122629. + /** DMA Request Signal. Indicated DMA request is in
  122630. + * probress. Used for debug purpose. */
  122631. + unsigned dmareq:1;
  122632. + /** AHB Master Idle. Indicates the AHB Master State
  122633. + * Machine is in IDLE condition. */
  122634. + unsigned ahbidle:1;
  122635. + } b;
  122636. +} grstctl_t;
  122637. +
  122638. +/**
  122639. + * This union represents the bit fields of the Core Interrupt Mask
  122640. + * Register (GINTMSK). Set/clear the bits using the bit fields then
  122641. + * write the <i>d32</i> value to the register.
  122642. + */
  122643. +typedef union gintmsk_data {
  122644. + /** raw register data */
  122645. + uint32_t d32;
  122646. + /** register bits */
  122647. + struct {
  122648. + unsigned reserved0:1;
  122649. + unsigned modemismatch:1;
  122650. + unsigned otgintr:1;
  122651. + unsigned sofintr:1;
  122652. + unsigned rxstsqlvl:1;
  122653. + unsigned nptxfempty:1;
  122654. + unsigned ginnakeff:1;
  122655. + unsigned goutnakeff:1;
  122656. + unsigned ulpickint:1;
  122657. + unsigned i2cintr:1;
  122658. + unsigned erlysuspend:1;
  122659. + unsigned usbsuspend:1;
  122660. + unsigned usbreset:1;
  122661. + unsigned enumdone:1;
  122662. + unsigned isooutdrop:1;
  122663. + unsigned eopframe:1;
  122664. + unsigned restoredone:1;
  122665. + unsigned epmismatch:1;
  122666. + unsigned inepintr:1;
  122667. + unsigned outepintr:1;
  122668. + unsigned incomplisoin:1;
  122669. + unsigned incomplisoout:1;
  122670. + unsigned fetsusp:1;
  122671. + unsigned resetdet:1;
  122672. + unsigned portintr:1;
  122673. + unsigned hcintr:1;
  122674. + unsigned ptxfempty:1;
  122675. + unsigned lpmtranrcvd:1;
  122676. + unsigned conidstschng:1;
  122677. + unsigned disconnect:1;
  122678. + unsigned sessreqintr:1;
  122679. + unsigned wkupintr:1;
  122680. + } b;
  122681. +} gintmsk_data_t;
  122682. +/**
  122683. + * This union represents the bit fields of the Core Interrupt Register
  122684. + * (GINTSTS). Set/clear the bits using the bit fields then write the
  122685. + * <i>d32</i> value to the register.
  122686. + */
  122687. +typedef union gintsts_data {
  122688. + /** raw register data */
  122689. + uint32_t d32;
  122690. +#define DWC_SOF_INTR_MASK 0x0008
  122691. + /** register bits */
  122692. + struct {
  122693. +#define DWC_HOST_MODE 1
  122694. + unsigned curmode:1;
  122695. + unsigned modemismatch:1;
  122696. + unsigned otgintr:1;
  122697. + unsigned sofintr:1;
  122698. + unsigned rxstsqlvl:1;
  122699. + unsigned nptxfempty:1;
  122700. + unsigned ginnakeff:1;
  122701. + unsigned goutnakeff:1;
  122702. + unsigned ulpickint:1;
  122703. + unsigned i2cintr:1;
  122704. + unsigned erlysuspend:1;
  122705. + unsigned usbsuspend:1;
  122706. + unsigned usbreset:1;
  122707. + unsigned enumdone:1;
  122708. + unsigned isooutdrop:1;
  122709. + unsigned eopframe:1;
  122710. + unsigned restoredone:1;
  122711. + unsigned epmismatch:1;
  122712. + unsigned inepint:1;
  122713. + unsigned outepintr:1;
  122714. + unsigned incomplisoin:1;
  122715. + unsigned incomplisoout:1;
  122716. + unsigned fetsusp:1;
  122717. + unsigned resetdet:1;
  122718. + unsigned portintr:1;
  122719. + unsigned hcintr:1;
  122720. + unsigned ptxfempty:1;
  122721. + unsigned lpmtranrcvd:1;
  122722. + unsigned conidstschng:1;
  122723. + unsigned disconnect:1;
  122724. + unsigned sessreqintr:1;
  122725. + unsigned wkupintr:1;
  122726. + } b;
  122727. +} gintsts_data_t;
  122728. +
  122729. +/**
  122730. + * This union represents the bit fields in the Device Receive Status Read and
  122731. + * Pop Registers (GRXSTSR, GRXSTSP) Read the register into the <i>d32</i>
  122732. + * element then read out the bits using the <i>b</i>it elements.
  122733. + */
  122734. +typedef union device_grxsts_data {
  122735. + /** raw register data */
  122736. + uint32_t d32;
  122737. + /** register bits */
  122738. + struct {
  122739. + unsigned epnum:4;
  122740. + unsigned bcnt:11;
  122741. + unsigned dpid:2;
  122742. +
  122743. +#define DWC_STS_DATA_UPDT 0x2 // OUT Data Packet
  122744. +#define DWC_STS_XFER_COMP 0x3 // OUT Data Transfer Complete
  122745. +
  122746. +#define DWC_DSTS_GOUT_NAK 0x1 // Global OUT NAK
  122747. +#define DWC_DSTS_SETUP_COMP 0x4 // Setup Phase Complete
  122748. +#define DWC_DSTS_SETUP_UPDT 0x6 // SETUP Packet
  122749. + unsigned pktsts:4;
  122750. + unsigned fn:4;
  122751. + unsigned reserved25_31:7;
  122752. + } b;
  122753. +} device_grxsts_data_t;
  122754. +
  122755. +/**
  122756. + * This union represents the bit fields in the Host Receive Status Read and
  122757. + * Pop Registers (GRXSTSR, GRXSTSP) Read the register into the <i>d32</i>
  122758. + * element then read out the bits using the <i>b</i>it elements.
  122759. + */
  122760. +typedef union host_grxsts_data {
  122761. + /** raw register data */
  122762. + uint32_t d32;
  122763. + /** register bits */
  122764. + struct {
  122765. + unsigned chnum:4;
  122766. + unsigned bcnt:11;
  122767. + unsigned dpid:2;
  122768. +
  122769. + unsigned pktsts:4;
  122770. +#define DWC_GRXSTS_PKTSTS_IN 0x2
  122771. +#define DWC_GRXSTS_PKTSTS_IN_XFER_COMP 0x3
  122772. +#define DWC_GRXSTS_PKTSTS_DATA_TOGGLE_ERR 0x5
  122773. +#define DWC_GRXSTS_PKTSTS_CH_HALTED 0x7
  122774. +
  122775. + unsigned reserved21_31:11;
  122776. + } b;
  122777. +} host_grxsts_data_t;
  122778. +
  122779. +/**
  122780. + * This union represents the bit fields in the FIFO Size Registers (HPTXFSIZ,
  122781. + * GNPTXFSIZ, DPTXFSIZn, DIEPTXFn). Read the register into the <i>d32</i> element
  122782. + * then read out the bits using the <i>b</i>it elements.
  122783. + */
  122784. +typedef union fifosize_data {
  122785. + /** raw register data */
  122786. + uint32_t d32;
  122787. + /** register bits */
  122788. + struct {
  122789. + unsigned startaddr:16;
  122790. + unsigned depth:16;
  122791. + } b;
  122792. +} fifosize_data_t;
  122793. +
  122794. +/**
  122795. + * This union represents the bit fields in the Non-Periodic Transmit
  122796. + * FIFO/Queue Status Register (GNPTXSTS). Read the register into the
  122797. + * <i>d32</i> element then read out the bits using the <i>b</i>it
  122798. + * elements.
  122799. + */
  122800. +typedef union gnptxsts_data {
  122801. + /** raw register data */
  122802. + uint32_t d32;
  122803. + /** register bits */
  122804. + struct {
  122805. + unsigned nptxfspcavail:16;
  122806. + unsigned nptxqspcavail:8;
  122807. + /** Top of the Non-Periodic Transmit Request Queue
  122808. + * - bit 24 - Terminate (Last entry for the selected
  122809. + * channel/EP)
  122810. + * - bits 26:25 - Token Type
  122811. + * - 2'b00 - IN/OUT
  122812. + * - 2'b01 - Zero Length OUT
  122813. + * - 2'b10 - PING/Complete Split
  122814. + * - 2'b11 - Channel Halt
  122815. + * - bits 30:27 - Channel/EP Number
  122816. + */
  122817. + unsigned nptxqtop_terminate:1;
  122818. + unsigned nptxqtop_token:2;
  122819. + unsigned nptxqtop_chnep:4;
  122820. + unsigned reserved:1;
  122821. + } b;
  122822. +} gnptxsts_data_t;
  122823. +
  122824. +/**
  122825. + * This union represents the bit fields in the Transmit
  122826. + * FIFO Status Register (DTXFSTS). Read the register into the
  122827. + * <i>d32</i> element then read out the bits using the <i>b</i>it
  122828. + * elements.
  122829. + */
  122830. +typedef union dtxfsts_data {
  122831. + /** raw register data */
  122832. + uint32_t d32;
  122833. + /** register bits */
  122834. + struct {
  122835. + unsigned txfspcavail:16;
  122836. + unsigned reserved:16;
  122837. + } b;
  122838. +} dtxfsts_data_t;
  122839. +
  122840. +/**
  122841. + * This union represents the bit fields in the I2C Control Register
  122842. + * (I2CCTL). Read the register into the <i>d32</i> element then read out the
  122843. + * bits using the <i>b</i>it elements.
  122844. + */
  122845. +typedef union gi2cctl_data {
  122846. + /** raw register data */
  122847. + uint32_t d32;
  122848. + /** register bits */
  122849. + struct {
  122850. + unsigned rwdata:8;
  122851. + unsigned regaddr:8;
  122852. + unsigned addr:7;
  122853. + unsigned i2cen:1;
  122854. + unsigned ack:1;
  122855. + unsigned i2csuspctl:1;
  122856. + unsigned i2cdevaddr:2;
  122857. + unsigned i2cdatse0:1;
  122858. + unsigned reserved:1;
  122859. + unsigned rw:1;
  122860. + unsigned bsydne:1;
  122861. + } b;
  122862. +} gi2cctl_data_t;
  122863. +
  122864. +/**
  122865. + * This union represents the bit fields in the PHY Vendor Control Register
  122866. + * (GPVNDCTL). Read the register into the <i>d32</i> element then read out the
  122867. + * bits using the <i>b</i>it elements.
  122868. + */
  122869. +typedef union gpvndctl_data {
  122870. + /** raw register data */
  122871. + uint32_t d32;
  122872. + /** register bits */
  122873. + struct {
  122874. + unsigned regdata:8;
  122875. + unsigned vctrl:8;
  122876. + unsigned regaddr16_21:6;
  122877. + unsigned regwr:1;
  122878. + unsigned reserved23_24:2;
  122879. + unsigned newregreq:1;
  122880. + unsigned vstsbsy:1;
  122881. + unsigned vstsdone:1;
  122882. + unsigned reserved28_30:3;
  122883. + unsigned disulpidrvr:1;
  122884. + } b;
  122885. +} gpvndctl_data_t;
  122886. +
  122887. +/**
  122888. + * This union represents the bit fields in the General Purpose
  122889. + * Input/Output Register (GGPIO).
  122890. + * Read the register into the <i>d32</i> element then read out the
  122891. + * bits using the <i>b</i>it elements.
  122892. + */
  122893. +typedef union ggpio_data {
  122894. + /** raw register data */
  122895. + uint32_t d32;
  122896. + /** register bits */
  122897. + struct {
  122898. + unsigned gpi:16;
  122899. + unsigned gpo:16;
  122900. + } b;
  122901. +} ggpio_data_t;
  122902. +
  122903. +/**
  122904. + * This union represents the bit fields in the User ID Register
  122905. + * (GUID). Read the register into the <i>d32</i> element then read out the
  122906. + * bits using the <i>b</i>it elements.
  122907. + */
  122908. +typedef union guid_data {
  122909. + /** raw register data */
  122910. + uint32_t d32;
  122911. + /** register bits */
  122912. + struct {
  122913. + unsigned rwdata:32;
  122914. + } b;
  122915. +} guid_data_t;
  122916. +
  122917. +/**
  122918. + * This union represents the bit fields in the Synopsys ID Register
  122919. + * (GSNPSID). Read the register into the <i>d32</i> element then read out the
  122920. + * bits using the <i>b</i>it elements.
  122921. + */
  122922. +typedef union gsnpsid_data {
  122923. + /** raw register data */
  122924. + uint32_t d32;
  122925. + /** register bits */
  122926. + struct {
  122927. + unsigned rwdata:32;
  122928. + } b;
  122929. +} gsnpsid_data_t;
  122930. +
  122931. +/**
  122932. + * This union represents the bit fields in the User HW Config1
  122933. + * Register. Read the register into the <i>d32</i> element then read
  122934. + * out the bits using the <i>b</i>it elements.
  122935. + */
  122936. +typedef union hwcfg1_data {
  122937. + /** raw register data */
  122938. + uint32_t d32;
  122939. + /** register bits */
  122940. + struct {
  122941. + unsigned ep_dir0:2;
  122942. + unsigned ep_dir1:2;
  122943. + unsigned ep_dir2:2;
  122944. + unsigned ep_dir3:2;
  122945. + unsigned ep_dir4:2;
  122946. + unsigned ep_dir5:2;
  122947. + unsigned ep_dir6:2;
  122948. + unsigned ep_dir7:2;
  122949. + unsigned ep_dir8:2;
  122950. + unsigned ep_dir9:2;
  122951. + unsigned ep_dir10:2;
  122952. + unsigned ep_dir11:2;
  122953. + unsigned ep_dir12:2;
  122954. + unsigned ep_dir13:2;
  122955. + unsigned ep_dir14:2;
  122956. + unsigned ep_dir15:2;
  122957. + } b;
  122958. +} hwcfg1_data_t;
  122959. +
  122960. +/**
  122961. + * This union represents the bit fields in the User HW Config2
  122962. + * Register. Read the register into the <i>d32</i> element then read
  122963. + * out the bits using the <i>b</i>it elements.
  122964. + */
  122965. +typedef union hwcfg2_data {
  122966. + /** raw register data */
  122967. + uint32_t d32;
  122968. + /** register bits */
  122969. + struct {
  122970. + /* GHWCFG2 */
  122971. + unsigned op_mode:3;
  122972. +#define DWC_HWCFG2_OP_MODE_HNP_SRP_CAPABLE_OTG 0
  122973. +#define DWC_HWCFG2_OP_MODE_SRP_ONLY_CAPABLE_OTG 1
  122974. +#define DWC_HWCFG2_OP_MODE_NO_HNP_SRP_CAPABLE_OTG 2
  122975. +#define DWC_HWCFG2_OP_MODE_SRP_CAPABLE_DEVICE 3
  122976. +#define DWC_HWCFG2_OP_MODE_NO_SRP_CAPABLE_DEVICE 4
  122977. +#define DWC_HWCFG2_OP_MODE_SRP_CAPABLE_HOST 5
  122978. +#define DWC_HWCFG2_OP_MODE_NO_SRP_CAPABLE_HOST 6
  122979. +
  122980. + unsigned architecture:2;
  122981. + unsigned point2point:1;
  122982. + unsigned hs_phy_type:2;
  122983. +#define DWC_HWCFG2_HS_PHY_TYPE_NOT_SUPPORTED 0
  122984. +#define DWC_HWCFG2_HS_PHY_TYPE_UTMI 1
  122985. +#define DWC_HWCFG2_HS_PHY_TYPE_ULPI 2
  122986. +#define DWC_HWCFG2_HS_PHY_TYPE_UTMI_ULPI 3
  122987. +
  122988. + unsigned fs_phy_type:2;
  122989. + unsigned num_dev_ep:4;
  122990. + unsigned num_host_chan:4;
  122991. + unsigned perio_ep_supported:1;
  122992. + unsigned dynamic_fifo:1;
  122993. + unsigned multi_proc_int:1;
  122994. + unsigned reserved21:1;
  122995. + unsigned nonperio_tx_q_depth:2;
  122996. + unsigned host_perio_tx_q_depth:2;
  122997. + unsigned dev_token_q_depth:5;
  122998. + unsigned otg_enable_ic_usb:1;
  122999. + } b;
  123000. +} hwcfg2_data_t;
  123001. +
  123002. +/**
  123003. + * This union represents the bit fields in the User HW Config3
  123004. + * Register. Read the register into the <i>d32</i> element then read
  123005. + * out the bits using the <i>b</i>it elements.
  123006. + */
  123007. +typedef union hwcfg3_data {
  123008. + /** raw register data */
  123009. + uint32_t d32;
  123010. + /** register bits */
  123011. + struct {
  123012. + /* GHWCFG3 */
  123013. + unsigned xfer_size_cntr_width:4;
  123014. + unsigned packet_size_cntr_width:3;
  123015. + unsigned otg_func:1;
  123016. + unsigned i2c:1;
  123017. + unsigned vendor_ctrl_if:1;
  123018. + unsigned optional_features:1;
  123019. + unsigned synch_reset_type:1;
  123020. + unsigned adp_supp:1;
  123021. + unsigned otg_enable_hsic:1;
  123022. + unsigned bc_support:1;
  123023. + unsigned otg_lpm_en:1;
  123024. + unsigned dfifo_depth:16;
  123025. + } b;
  123026. +} hwcfg3_data_t;
  123027. +
  123028. +/**
  123029. + * This union represents the bit fields in the User HW Config4
  123030. + * Register. Read the register into the <i>d32</i> element then read
  123031. + * out the bits using the <i>b</i>it elements.
  123032. + */
  123033. +typedef union hwcfg4_data {
  123034. + /** raw register data */
  123035. + uint32_t d32;
  123036. + /** register bits */
  123037. + struct {
  123038. + unsigned num_dev_perio_in_ep:4;
  123039. + unsigned power_optimiz:1;
  123040. + unsigned min_ahb_freq:1;
  123041. + unsigned hiber:1;
  123042. + unsigned xhiber:1;
  123043. + unsigned reserved:6;
  123044. + unsigned utmi_phy_data_width:2;
  123045. + unsigned num_dev_mode_ctrl_ep:4;
  123046. + unsigned iddig_filt_en:1;
  123047. + unsigned vbus_valid_filt_en:1;
  123048. + unsigned a_valid_filt_en:1;
  123049. + unsigned b_valid_filt_en:1;
  123050. + unsigned session_end_filt_en:1;
  123051. + unsigned ded_fifo_en:1;
  123052. + unsigned num_in_eps:4;
  123053. + unsigned desc_dma:1;
  123054. + unsigned desc_dma_dyn:1;
  123055. + } b;
  123056. +} hwcfg4_data_t;
  123057. +
  123058. +/**
  123059. + * This union represents the bit fields of the Core LPM Configuration
  123060. + * Register (GLPMCFG). Set the bits using bit fields then write
  123061. + * the <i>d32</i> value to the register.
  123062. + */
  123063. +typedef union glpmctl_data {
  123064. + /** raw register data */
  123065. + uint32_t d32;
  123066. + /** register bits */
  123067. + struct {
  123068. + /** LPM-Capable (LPMCap) (Device and Host)
  123069. + * The application uses this bit to control
  123070. + * the DWC_otg core LPM capabilities.
  123071. + */
  123072. + unsigned lpm_cap_en:1;
  123073. + /** LPM response programmed by application (AppL1Res) (Device)
  123074. + * Handshake response to LPM token pre-programmed
  123075. + * by device application software.
  123076. + */
  123077. + unsigned appl_resp:1;
  123078. + /** Host Initiated Resume Duration (HIRD) (Device and Host)
  123079. + * In Host mode this field indicates the value of HIRD
  123080. + * to be sent in an LPM transaction.
  123081. + * In Device mode this field is updated with the
  123082. + * Received LPM Token HIRD bmAttribute
  123083. + * when an ACK/NYET/STALL response is sent
  123084. + * to an LPM transaction.
  123085. + */
  123086. + unsigned hird:4;
  123087. + /** RemoteWakeEnable (bRemoteWake) (Device and Host)
  123088. + * In Host mode this bit indicates the value of remote
  123089. + * wake up to be sent in wIndex field of LPM transaction.
  123090. + * In Device mode this field is updated with the
  123091. + * Received LPM Token bRemoteWake bmAttribute
  123092. + * when an ACK/NYET/STALL response is sent
  123093. + * to an LPM transaction.
  123094. + */
  123095. + unsigned rem_wkup_en:1;
  123096. + /** Enable utmi_sleep_n (EnblSlpM) (Device and Host)
  123097. + * The application uses this bit to control
  123098. + * the utmi_sleep_n assertion to the PHY when in L1 state.
  123099. + */
  123100. + unsigned en_utmi_sleep:1;
  123101. + /** HIRD Threshold (HIRD_Thres) (Device and Host)
  123102. + */
  123103. + unsigned hird_thres:5;
  123104. + /** LPM Response (CoreL1Res) (Device and Host)
  123105. + * In Host mode this bit contains handsake response to
  123106. + * LPM transaction.
  123107. + * In Device mode the response of the core to
  123108. + * LPM transaction received is reflected in these two bits.
  123109. + - 0x0 : ERROR (No handshake response)
  123110. + - 0x1 : STALL
  123111. + - 0x2 : NYET
  123112. + - 0x3 : ACK
  123113. + */
  123114. + unsigned lpm_resp:2;
  123115. + /** Port Sleep Status (SlpSts) (Device and Host)
  123116. + * This bit is set as long as a Sleep condition
  123117. + * is present on the USB bus.
  123118. + */
  123119. + unsigned prt_sleep_sts:1;
  123120. + /** Sleep State Resume OK (L1ResumeOK) (Device and Host)
  123121. + * Indicates that the application or host
  123122. + * can start resume from Sleep state.
  123123. + */
  123124. + unsigned sleep_state_resumeok:1;
  123125. + /** LPM channel Index (LPM_Chnl_Indx) (Host)
  123126. + * The channel number on which the LPM transaction
  123127. + * has to be applied while sending
  123128. + * an LPM transaction to the local device.
  123129. + */
  123130. + unsigned lpm_chan_index:4;
  123131. + /** LPM Retry Count (LPM_Retry_Cnt) (Host)
  123132. + * Number host retries that would be performed
  123133. + * if the device response was not valid response.
  123134. + */
  123135. + unsigned retry_count:3;
  123136. + /** Send LPM Transaction (SndLPM) (Host)
  123137. + * When set by application software,
  123138. + * an LPM transaction containing two tokens
  123139. + * is sent.
  123140. + */
  123141. + unsigned send_lpm:1;
  123142. + /** LPM Retry status (LPM_RetryCnt_Sts) (Host)
  123143. + * Number of LPM Host Retries still remaining
  123144. + * to be transmitted for the current LPM sequence
  123145. + */
  123146. + unsigned retry_count_sts:3;
  123147. + unsigned reserved28_29:2;
  123148. + /** In host mode once this bit is set, the host
  123149. + * configures to drive the HSIC Idle state on the bus.
  123150. + * It then waits for the device to initiate the Connect sequence.
  123151. + * In device mode once this bit is set, the device waits for
  123152. + * the HSIC Idle line state on the bus. Upon receving the Idle
  123153. + * line state, it initiates the HSIC Connect sequence.
  123154. + */
  123155. + unsigned hsic_connect:1;
  123156. + /** This bit overrides and functionally inverts
  123157. + * the if_select_hsic input port signal.
  123158. + */
  123159. + unsigned inv_sel_hsic:1;
  123160. + } b;
  123161. +} glpmcfg_data_t;
  123162. +
  123163. +/**
  123164. + * This union represents the bit fields of the Core ADP Timer, Control and
  123165. + * Status Register (ADPTIMCTLSTS). Set the bits using bit fields then write
  123166. + * the <i>d32</i> value to the register.
  123167. + */
  123168. +typedef union adpctl_data {
  123169. + /** raw register data */
  123170. + uint32_t d32;
  123171. + /** register bits */
  123172. + struct {
  123173. + /** Probe Discharge (PRB_DSCHG)
  123174. + * These bits set the times for TADP_DSCHG.
  123175. + * These bits are defined as follows:
  123176. + * 2'b00 - 4 msec
  123177. + * 2'b01 - 8 msec
  123178. + * 2'b10 - 16 msec
  123179. + * 2'b11 - 32 msec
  123180. + */
  123181. + unsigned prb_dschg:2;
  123182. + /** Probe Delta (PRB_DELTA)
  123183. + * These bits set the resolution for RTIM value.
  123184. + * The bits are defined in units of 32 kHz clock cycles as follows:
  123185. + * 2'b00 - 1 cycles
  123186. + * 2'b01 - 2 cycles
  123187. + * 2'b10 - 3 cycles
  123188. + * 2'b11 - 4 cycles
  123189. + * For example if this value is chosen to 2'b01, it means that RTIM
  123190. + * increments for every 3(three) 32Khz clock cycles.
  123191. + */
  123192. + unsigned prb_delta:2;
  123193. + /** Probe Period (PRB_PER)
  123194. + * These bits sets the TADP_PRD as shown in Figure 4 as follows:
  123195. + * 2'b00 - 0.625 to 0.925 sec (typical 0.775 sec)
  123196. + * 2'b01 - 1.25 to 1.85 sec (typical 1.55 sec)
  123197. + * 2'b10 - 1.9 to 2.6 sec (typical 2.275 sec)
  123198. + * 2'b11 - Reserved
  123199. + */
  123200. + unsigned prb_per:2;
  123201. + /** These bits capture the latest time it took for VBUS to ramp from
  123202. + * VADP_SINK to VADP_PRB.
  123203. + * 0x000 - 1 cycles
  123204. + * 0x001 - 2 cycles
  123205. + * 0x002 - 3 cycles
  123206. + * etc
  123207. + * 0x7FF - 2048 cycles
  123208. + * A time of 1024 cycles at 32 kHz corresponds to a time of 32 msec.
  123209. + */
  123210. + unsigned rtim:11;
  123211. + /** Enable Probe (EnaPrb)
  123212. + * When programmed to 1'b1, the core performs a probe operation.
  123213. + * This bit is valid only if OTG_Ver = 1'b1.
  123214. + */
  123215. + unsigned enaprb:1;
  123216. + /** Enable Sense (EnaSns)
  123217. + * When programmed to 1'b1, the core performs a Sense operation.
  123218. + * This bit is valid only if OTG_Ver = 1'b1.
  123219. + */
  123220. + unsigned enasns:1;
  123221. + /** ADP Reset (ADPRes)
  123222. + * When set, ADP controller is reset.
  123223. + * This bit is valid only if OTG_Ver = 1'b1.
  123224. + */
  123225. + unsigned adpres:1;
  123226. + /** ADP Enable (ADPEn)
  123227. + * When set, the core performs either ADP probing or sensing
  123228. + * based on EnaPrb or EnaSns.
  123229. + * This bit is valid only if OTG_Ver = 1'b1.
  123230. + */
  123231. + unsigned adpen:1;
  123232. + /** ADP Probe Interrupt (ADP_PRB_INT)
  123233. + * When this bit is set, it means that the VBUS
  123234. + * voltage is greater than VADP_PRB or VADP_PRB is reached.
  123235. + * This bit is valid only if OTG_Ver = 1'b1.
  123236. + */
  123237. + unsigned adp_prb_int:1;
  123238. + /**
  123239. + * ADP Sense Interrupt (ADP_SNS_INT)
  123240. + * When this bit is set, it means that the VBUS voltage is greater than
  123241. + * VADP_SNS value or VADP_SNS is reached.
  123242. + * This bit is valid only if OTG_Ver = 1'b1.
  123243. + */
  123244. + unsigned adp_sns_int:1;
  123245. + /** ADP Tomeout Interrupt (ADP_TMOUT_INT)
  123246. + * This bit is relevant only for an ADP probe.
  123247. + * When this bit is set, it means that the ramp time has
  123248. + * completed ie ADPCTL.RTIM has reached its terminal value
  123249. + * of 0x7FF. This is a debug feature that allows software
  123250. + * to read the ramp time after each cycle.
  123251. + * This bit is valid only if OTG_Ver = 1'b1.
  123252. + */
  123253. + unsigned adp_tmout_int:1;
  123254. + /** ADP Probe Interrupt Mask (ADP_PRB_INT_MSK)
  123255. + * When this bit is set, it unmasks the interrupt due to ADP_PRB_INT.
  123256. + * This bit is valid only if OTG_Ver = 1'b1.
  123257. + */
  123258. + unsigned adp_prb_int_msk:1;
  123259. + /** ADP Sense Interrupt Mask (ADP_SNS_INT_MSK)
  123260. + * When this bit is set, it unmasks the interrupt due to ADP_SNS_INT.
  123261. + * This bit is valid only if OTG_Ver = 1'b1.
  123262. + */
  123263. + unsigned adp_sns_int_msk:1;
  123264. + /** ADP Timoeout Interrupt Mask (ADP_TMOUT_MSK)
  123265. + * When this bit is set, it unmasks the interrupt due to ADP_TMOUT_INT.
  123266. + * This bit is valid only if OTG_Ver = 1'b1.
  123267. + */
  123268. + unsigned adp_tmout_int_msk:1;
  123269. + /** Access Request
  123270. + * 2'b00 - Read/Write Valid (updated by the core)
  123271. + * 2'b01 - Read
  123272. + * 2'b00 - Write
  123273. + * 2'b00 - Reserved
  123274. + */
  123275. + unsigned ar:2;
  123276. + /** Reserved */
  123277. + unsigned reserved29_31:3;
  123278. + } b;
  123279. +} adpctl_data_t;
  123280. +
  123281. +////////////////////////////////////////////
  123282. +// Device Registers
  123283. +/**
  123284. + * Device Global Registers. <i>Offsets 800h-BFFh</i>
  123285. + *
  123286. + * The following structures define the size and relative field offsets
  123287. + * for the Device Mode Registers.
  123288. + *
  123289. + * <i>These registers are visible only in Device mode and must not be
  123290. + * accessed in Host mode, as the results are unknown.</i>
  123291. + */
  123292. +typedef struct dwc_otg_dev_global_regs {
  123293. + /** Device Configuration Register. <i>Offset 800h</i> */
  123294. + volatile uint32_t dcfg;
  123295. + /** Device Control Register. <i>Offset: 804h</i> */
  123296. + volatile uint32_t dctl;
  123297. + /** Device Status Register (Read Only). <i>Offset: 808h</i> */
  123298. + volatile uint32_t dsts;
  123299. + /** Reserved. <i>Offset: 80Ch</i> */
  123300. + uint32_t unused;
  123301. + /** Device IN Endpoint Common Interrupt Mask
  123302. + * Register. <i>Offset: 810h</i> */
  123303. + volatile uint32_t diepmsk;
  123304. + /** Device OUT Endpoint Common Interrupt Mask
  123305. + * Register. <i>Offset: 814h</i> */
  123306. + volatile uint32_t doepmsk;
  123307. + /** Device All Endpoints Interrupt Register. <i>Offset: 818h</i> */
  123308. + volatile uint32_t daint;
  123309. + /** Device All Endpoints Interrupt Mask Register. <i>Offset:
  123310. + * 81Ch</i> */
  123311. + volatile uint32_t daintmsk;
  123312. + /** Device IN Token Queue Read Register-1 (Read Only).
  123313. + * <i>Offset: 820h</i> */
  123314. + volatile uint32_t dtknqr1;
  123315. + /** Device IN Token Queue Read Register-2 (Read Only).
  123316. + * <i>Offset: 824h</i> */
  123317. + volatile uint32_t dtknqr2;
  123318. + /** Device VBUS discharge Register. <i>Offset: 828h</i> */
  123319. + volatile uint32_t dvbusdis;
  123320. + /** Device VBUS Pulse Register. <i>Offset: 82Ch</i> */
  123321. + volatile uint32_t dvbuspulse;
  123322. + /** Device IN Token Queue Read Register-3 (Read Only). /
  123323. + * Device Thresholding control register (Read/Write)
  123324. + * <i>Offset: 830h</i> */
  123325. + volatile uint32_t dtknqr3_dthrctl;
  123326. + /** Device IN Token Queue Read Register-4 (Read Only). /
  123327. + * Device IN EPs empty Inr. Mask Register (Read/Write)
  123328. + * <i>Offset: 834h</i> */
  123329. + volatile uint32_t dtknqr4_fifoemptymsk;
  123330. + /** Device Each Endpoint Interrupt Register (Read Only). /
  123331. + * <i>Offset: 838h</i> */
  123332. + volatile uint32_t deachint;
  123333. + /** Device Each Endpoint Interrupt mask Register (Read/Write). /
  123334. + * <i>Offset: 83Ch</i> */
  123335. + volatile uint32_t deachintmsk;
  123336. + /** Device Each In Endpoint Interrupt mask Register (Read/Write). /
  123337. + * <i>Offset: 840h</i> */
  123338. + volatile uint32_t diepeachintmsk[MAX_EPS_CHANNELS];
  123339. + /** Device Each Out Endpoint Interrupt mask Register (Read/Write). /
  123340. + * <i>Offset: 880h</i> */
  123341. + volatile uint32_t doepeachintmsk[MAX_EPS_CHANNELS];
  123342. +} dwc_otg_device_global_regs_t;
  123343. +
  123344. +/**
  123345. + * This union represents the bit fields in the Device Configuration
  123346. + * Register. Read the register into the <i>d32</i> member then
  123347. + * set/clear the bits using the <i>b</i>it elements. Write the
  123348. + * <i>d32</i> member to the dcfg register.
  123349. + */
  123350. +typedef union dcfg_data {
  123351. + /** raw register data */
  123352. + uint32_t d32;
  123353. + /** register bits */
  123354. + struct {
  123355. + /** Device Speed */
  123356. + unsigned devspd:2;
  123357. + /** Non Zero Length Status OUT Handshake */
  123358. + unsigned nzstsouthshk:1;
  123359. +#define DWC_DCFG_SEND_STALL 1
  123360. +
  123361. + unsigned ena32khzs:1;
  123362. + /** Device Addresses */
  123363. + unsigned devaddr:7;
  123364. + /** Periodic Frame Interval */
  123365. + unsigned perfrint:2;
  123366. +#define DWC_DCFG_FRAME_INTERVAL_80 0
  123367. +#define DWC_DCFG_FRAME_INTERVAL_85 1
  123368. +#define DWC_DCFG_FRAME_INTERVAL_90 2
  123369. +#define DWC_DCFG_FRAME_INTERVAL_95 3
  123370. +
  123371. + /** Enable Device OUT NAK for bulk in DDMA mode */
  123372. + unsigned endevoutnak:1;
  123373. +
  123374. + unsigned reserved14_17:4;
  123375. + /** In Endpoint Mis-match count */
  123376. + unsigned epmscnt:5;
  123377. + /** Enable Descriptor DMA in Device mode */
  123378. + unsigned descdma:1;
  123379. + unsigned perschintvl:2;
  123380. + unsigned resvalid:6;
  123381. + } b;
  123382. +} dcfg_data_t;
  123383. +
  123384. +/**
  123385. + * This union represents the bit fields in the Device Control
  123386. + * Register. Read the register into the <i>d32</i> member then
  123387. + * set/clear the bits using the <i>b</i>it elements.
  123388. + */
  123389. +typedef union dctl_data {
  123390. + /** raw register data */
  123391. + uint32_t d32;
  123392. + /** register bits */
  123393. + struct {
  123394. + /** Remote Wakeup */
  123395. + unsigned rmtwkupsig:1;
  123396. + /** Soft Disconnect */
  123397. + unsigned sftdiscon:1;
  123398. + /** Global Non-Periodic IN NAK Status */
  123399. + unsigned gnpinnaksts:1;
  123400. + /** Global OUT NAK Status */
  123401. + unsigned goutnaksts:1;
  123402. + /** Test Control */
  123403. + unsigned tstctl:3;
  123404. + /** Set Global Non-Periodic IN NAK */
  123405. + unsigned sgnpinnak:1;
  123406. + /** Clear Global Non-Periodic IN NAK */
  123407. + unsigned cgnpinnak:1;
  123408. + /** Set Global OUT NAK */
  123409. + unsigned sgoutnak:1;
  123410. + /** Clear Global OUT NAK */
  123411. + unsigned cgoutnak:1;
  123412. + /** Power-On Programming Done */
  123413. + unsigned pwronprgdone:1;
  123414. + /** Reserved */
  123415. + unsigned reserved:1;
  123416. + /** Global Multi Count */
  123417. + unsigned gmc:2;
  123418. + /** Ignore Frame Number for ISOC EPs */
  123419. + unsigned ifrmnum:1;
  123420. + /** NAK on Babble */
  123421. + unsigned nakonbble:1;
  123422. + /** Enable Continue on BNA */
  123423. + unsigned encontonbna:1;
  123424. +
  123425. + unsigned reserved18_31:14;
  123426. + } b;
  123427. +} dctl_data_t;
  123428. +
  123429. +/**
  123430. + * This union represents the bit fields in the Device Status
  123431. + * Register. Read the register into the <i>d32</i> member then
  123432. + * set/clear the bits using the <i>b</i>it elements.
  123433. + */
  123434. +typedef union dsts_data {
  123435. + /** raw register data */
  123436. + uint32_t d32;
  123437. + /** register bits */
  123438. + struct {
  123439. + /** Suspend Status */
  123440. + unsigned suspsts:1;
  123441. + /** Enumerated Speed */
  123442. + unsigned enumspd:2;
  123443. +#define DWC_DSTS_ENUMSPD_HS_PHY_30MHZ_OR_60MHZ 0
  123444. +#define DWC_DSTS_ENUMSPD_FS_PHY_30MHZ_OR_60MHZ 1
  123445. +#define DWC_DSTS_ENUMSPD_LS_PHY_6MHZ 2
  123446. +#define DWC_DSTS_ENUMSPD_FS_PHY_48MHZ 3
  123447. + /** Erratic Error */
  123448. + unsigned errticerr:1;
  123449. + unsigned reserved4_7:4;
  123450. + /** Frame or Microframe Number of the received SOF */
  123451. + unsigned soffn:14;
  123452. + unsigned reserved22_31:10;
  123453. + } b;
  123454. +} dsts_data_t;
  123455. +
  123456. +/**
  123457. + * This union represents the bit fields in the Device IN EP Interrupt
  123458. + * Register and the Device IN EP Common Mask Register.
  123459. + *
  123460. + * - Read the register into the <i>d32</i> member then set/clear the
  123461. + * bits using the <i>b</i>it elements.
  123462. + */
  123463. +typedef union diepint_data {
  123464. + /** raw register data */
  123465. + uint32_t d32;
  123466. + /** register bits */
  123467. + struct {
  123468. + /** Transfer complete mask */
  123469. + unsigned xfercompl:1;
  123470. + /** Endpoint disable mask */
  123471. + unsigned epdisabled:1;
  123472. + /** AHB Error mask */
  123473. + unsigned ahberr:1;
  123474. + /** TimeOUT Handshake mask (non-ISOC EPs) */
  123475. + unsigned timeout:1;
  123476. + /** IN Token received with TxF Empty mask */
  123477. + unsigned intktxfemp:1;
  123478. + /** IN Token Received with EP mismatch mask */
  123479. + unsigned intknepmis:1;
  123480. + /** IN Endpoint NAK Effective mask */
  123481. + unsigned inepnakeff:1;
  123482. + /** Reserved */
  123483. + unsigned emptyintr:1;
  123484. +
  123485. + unsigned txfifoundrn:1;
  123486. +
  123487. + /** BNA Interrupt mask */
  123488. + unsigned bna:1;
  123489. +
  123490. + unsigned reserved10_12:3;
  123491. + /** BNA Interrupt mask */
  123492. + unsigned nak:1;
  123493. +
  123494. + unsigned reserved14_31:18;
  123495. + } b;
  123496. +} diepint_data_t;
  123497. +
  123498. +/**
  123499. + * This union represents the bit fields in the Device IN EP
  123500. + * Common/Dedicated Interrupt Mask Register.
  123501. + */
  123502. +typedef union diepint_data diepmsk_data_t;
  123503. +
  123504. +/**
  123505. + * This union represents the bit fields in the Device OUT EP Interrupt
  123506. + * Registerand Device OUT EP Common Interrupt Mask Register.
  123507. + *
  123508. + * - Read the register into the <i>d32</i> member then set/clear the
  123509. + * bits using the <i>b</i>it elements.
  123510. + */
  123511. +typedef union doepint_data {
  123512. + /** raw register data */
  123513. + uint32_t d32;
  123514. + /** register bits */
  123515. + struct {
  123516. + /** Transfer complete */
  123517. + unsigned xfercompl:1;
  123518. + /** Endpoint disable */
  123519. + unsigned epdisabled:1;
  123520. + /** AHB Error */
  123521. + unsigned ahberr:1;
  123522. + /** Setup Phase Done (contorl EPs) */
  123523. + unsigned setup:1;
  123524. + /** OUT Token Received when Endpoint Disabled */
  123525. + unsigned outtknepdis:1;
  123526. +
  123527. + unsigned stsphsercvd:1;
  123528. + /** Back-to-Back SETUP Packets Received */
  123529. + unsigned back2backsetup:1;
  123530. +
  123531. + unsigned reserved7:1;
  123532. + /** OUT packet Error */
  123533. + unsigned outpkterr:1;
  123534. + /** BNA Interrupt */
  123535. + unsigned bna:1;
  123536. +
  123537. + unsigned reserved10:1;
  123538. + /** Packet Drop Status */
  123539. + unsigned pktdrpsts:1;
  123540. + /** Babble Interrupt */
  123541. + unsigned babble:1;
  123542. + /** NAK Interrupt */
  123543. + unsigned nak:1;
  123544. + /** NYET Interrupt */
  123545. + unsigned nyet:1;
  123546. + /** Bit indicating setup packet received */
  123547. + unsigned sr:1;
  123548. +
  123549. + unsigned reserved16_31:16;
  123550. + } b;
  123551. +} doepint_data_t;
  123552. +
  123553. +/**
  123554. + * This union represents the bit fields in the Device OUT EP
  123555. + * Common/Dedicated Interrupt Mask Register.
  123556. + */
  123557. +typedef union doepint_data doepmsk_data_t;
  123558. +
  123559. +/**
  123560. + * This union represents the bit fields in the Device All EP Interrupt
  123561. + * and Mask Registers.
  123562. + * - Read the register into the <i>d32</i> member then set/clear the
  123563. + * bits using the <i>b</i>it elements.
  123564. + */
  123565. +typedef union daint_data {
  123566. + /** raw register data */
  123567. + uint32_t d32;
  123568. + /** register bits */
  123569. + struct {
  123570. + /** IN Endpoint bits */
  123571. + unsigned in:16;
  123572. + /** OUT Endpoint bits */
  123573. + unsigned out:16;
  123574. + } ep;
  123575. + struct {
  123576. + /** IN Endpoint bits */
  123577. + unsigned inep0:1;
  123578. + unsigned inep1:1;
  123579. + unsigned inep2:1;
  123580. + unsigned inep3:1;
  123581. + unsigned inep4:1;
  123582. + unsigned inep5:1;
  123583. + unsigned inep6:1;
  123584. + unsigned inep7:1;
  123585. + unsigned inep8:1;
  123586. + unsigned inep9:1;
  123587. + unsigned inep10:1;
  123588. + unsigned inep11:1;
  123589. + unsigned inep12:1;
  123590. + unsigned inep13:1;
  123591. + unsigned inep14:1;
  123592. + unsigned inep15:1;
  123593. + /** OUT Endpoint bits */
  123594. + unsigned outep0:1;
  123595. + unsigned outep1:1;
  123596. + unsigned outep2:1;
  123597. + unsigned outep3:1;
  123598. + unsigned outep4:1;
  123599. + unsigned outep5:1;
  123600. + unsigned outep6:1;
  123601. + unsigned outep7:1;
  123602. + unsigned outep8:1;
  123603. + unsigned outep9:1;
  123604. + unsigned outep10:1;
  123605. + unsigned outep11:1;
  123606. + unsigned outep12:1;
  123607. + unsigned outep13:1;
  123608. + unsigned outep14:1;
  123609. + unsigned outep15:1;
  123610. + } b;
  123611. +} daint_data_t;
  123612. +
  123613. +/**
  123614. + * This union represents the bit fields in the Device IN Token Queue
  123615. + * Read Registers.
  123616. + * - Read the register into the <i>d32</i> member.
  123617. + * - READ-ONLY Register
  123618. + */
  123619. +typedef union dtknq1_data {
  123620. + /** raw register data */
  123621. + uint32_t d32;
  123622. + /** register bits */
  123623. + struct {
  123624. + /** In Token Queue Write Pointer */
  123625. + unsigned intknwptr:5;
  123626. + /** Reserved */
  123627. + unsigned reserved05_06:2;
  123628. + /** write pointer has wrapped. */
  123629. + unsigned wrap_bit:1;
  123630. + /** EP Numbers of IN Tokens 0 ... 4 */
  123631. + unsigned epnums0_5:24;
  123632. + } b;
  123633. +} dtknq1_data_t;
  123634. +
  123635. +/**
  123636. + * This union represents Threshold control Register
  123637. + * - Read and write the register into the <i>d32</i> member.
  123638. + * - READ-WRITABLE Register
  123639. + */
  123640. +typedef union dthrctl_data {
  123641. + /** raw register data */
  123642. + uint32_t d32;
  123643. + /** register bits */
  123644. + struct {
  123645. + /** non ISO Tx Thr. Enable */
  123646. + unsigned non_iso_thr_en:1;
  123647. + /** ISO Tx Thr. Enable */
  123648. + unsigned iso_thr_en:1;
  123649. + /** Tx Thr. Length */
  123650. + unsigned tx_thr_len:9;
  123651. + /** AHB Threshold ratio */
  123652. + unsigned ahb_thr_ratio:2;
  123653. + /** Reserved */
  123654. + unsigned reserved13_15:3;
  123655. + /** Rx Thr. Enable */
  123656. + unsigned rx_thr_en:1;
  123657. + /** Rx Thr. Length */
  123658. + unsigned rx_thr_len:9;
  123659. + unsigned reserved26:1;
  123660. + /** Arbiter Parking Enable*/
  123661. + unsigned arbprken:1;
  123662. + /** Reserved */
  123663. + unsigned reserved28_31:4;
  123664. + } b;
  123665. +} dthrctl_data_t;
  123666. +
  123667. +/**
  123668. + * Device Logical IN Endpoint-Specific Registers. <i>Offsets
  123669. + * 900h-AFCh</i>
  123670. + *
  123671. + * There will be one set of endpoint registers per logical endpoint
  123672. + * implemented.
  123673. + *
  123674. + * <i>These registers are visible only in Device mode and must not be
  123675. + * accessed in Host mode, as the results are unknown.</i>
  123676. + */
  123677. +typedef struct dwc_otg_dev_in_ep_regs {
  123678. + /** Device IN Endpoint Control Register. <i>Offset:900h +
  123679. + * (ep_num * 20h) + 00h</i> */
  123680. + volatile uint32_t diepctl;
  123681. + /** Reserved. <i>Offset:900h + (ep_num * 20h) + 04h</i> */
  123682. + uint32_t reserved04;
  123683. + /** Device IN Endpoint Interrupt Register. <i>Offset:900h +
  123684. + * (ep_num * 20h) + 08h</i> */
  123685. + volatile uint32_t diepint;
  123686. + /** Reserved. <i>Offset:900h + (ep_num * 20h) + 0Ch</i> */
  123687. + uint32_t reserved0C;
  123688. + /** Device IN Endpoint Transfer Size
  123689. + * Register. <i>Offset:900h + (ep_num * 20h) + 10h</i> */
  123690. + volatile uint32_t dieptsiz;
  123691. + /** Device IN Endpoint DMA Address Register. <i>Offset:900h +
  123692. + * (ep_num * 20h) + 14h</i> */
  123693. + volatile uint32_t diepdma;
  123694. + /** Device IN Endpoint Transmit FIFO Status Register. <i>Offset:900h +
  123695. + * (ep_num * 20h) + 18h</i> */
  123696. + volatile uint32_t dtxfsts;
  123697. + /** Device IN Endpoint DMA Buffer Register. <i>Offset:900h +
  123698. + * (ep_num * 20h) + 1Ch</i> */
  123699. + volatile uint32_t diepdmab;
  123700. +} dwc_otg_dev_in_ep_regs_t;
  123701. +
  123702. +/**
  123703. + * Device Logical OUT Endpoint-Specific Registers. <i>Offsets:
  123704. + * B00h-CFCh</i>
  123705. + *
  123706. + * There will be one set of endpoint registers per logical endpoint
  123707. + * implemented.
  123708. + *
  123709. + * <i>These registers are visible only in Device mode and must not be
  123710. + * accessed in Host mode, as the results are unknown.</i>
  123711. + */
  123712. +typedef struct dwc_otg_dev_out_ep_regs {
  123713. + /** Device OUT Endpoint Control Register. <i>Offset:B00h +
  123714. + * (ep_num * 20h) + 00h</i> */
  123715. + volatile uint32_t doepctl;
  123716. + /** Reserved. <i>Offset:B00h + (ep_num * 20h) + 04h</i> */
  123717. + uint32_t reserved04;
  123718. + /** Device OUT Endpoint Interrupt Register. <i>Offset:B00h +
  123719. + * (ep_num * 20h) + 08h</i> */
  123720. + volatile uint32_t doepint;
  123721. + /** Reserved. <i>Offset:B00h + (ep_num * 20h) + 0Ch</i> */
  123722. + uint32_t reserved0C;
  123723. + /** Device OUT Endpoint Transfer Size Register. <i>Offset:
  123724. + * B00h + (ep_num * 20h) + 10h</i> */
  123725. + volatile uint32_t doeptsiz;
  123726. + /** Device OUT Endpoint DMA Address Register. <i>Offset:B00h
  123727. + * + (ep_num * 20h) + 14h</i> */
  123728. + volatile uint32_t doepdma;
  123729. + /** Reserved. <i>Offset:B00h + * (ep_num * 20h) + 18h</i> */
  123730. + uint32_t unused;
  123731. + /** Device OUT Endpoint DMA Buffer Register. <i>Offset:B00h
  123732. + * + (ep_num * 20h) + 1Ch</i> */
  123733. + uint32_t doepdmab;
  123734. +} dwc_otg_dev_out_ep_regs_t;
  123735. +
  123736. +/**
  123737. + * This union represents the bit fields in the Device EP Control
  123738. + * Register. Read the register into the <i>d32</i> member then
  123739. + * set/clear the bits using the <i>b</i>it elements.
  123740. + */
  123741. +typedef union depctl_data {
  123742. + /** raw register data */
  123743. + uint32_t d32;
  123744. + /** register bits */
  123745. + struct {
  123746. + /** Maximum Packet Size
  123747. + * IN/OUT EPn
  123748. + * IN/OUT EP0 - 2 bits
  123749. + * 2'b00: 64 Bytes
  123750. + * 2'b01: 32
  123751. + * 2'b10: 16
  123752. + * 2'b11: 8 */
  123753. + unsigned mps:11;
  123754. +#define DWC_DEP0CTL_MPS_64 0
  123755. +#define DWC_DEP0CTL_MPS_32 1
  123756. +#define DWC_DEP0CTL_MPS_16 2
  123757. +#define DWC_DEP0CTL_MPS_8 3
  123758. +
  123759. + /** Next Endpoint
  123760. + * IN EPn/IN EP0
  123761. + * OUT EPn/OUT EP0 - reserved */
  123762. + unsigned nextep:4;
  123763. +
  123764. + /** USB Active Endpoint */
  123765. + unsigned usbactep:1;
  123766. +
  123767. + /** Endpoint DPID (INTR/Bulk IN and OUT endpoints)
  123768. + * This field contains the PID of the packet going to
  123769. + * be received or transmitted on this endpoint. The
  123770. + * application should program the PID of the first
  123771. + * packet going to be received or transmitted on this
  123772. + * endpoint , after the endpoint is
  123773. + * activated. Application use the SetD1PID and
  123774. + * SetD0PID fields of this register to program either
  123775. + * D0 or D1 PID.
  123776. + *
  123777. + * The encoding for this field is
  123778. + * - 0: D0
  123779. + * - 1: D1
  123780. + */
  123781. + unsigned dpid:1;
  123782. +
  123783. + /** NAK Status */
  123784. + unsigned naksts:1;
  123785. +
  123786. + /** Endpoint Type
  123787. + * 2'b00: Control
  123788. + * 2'b01: Isochronous
  123789. + * 2'b10: Bulk
  123790. + * 2'b11: Interrupt */
  123791. + unsigned eptype:2;
  123792. +
  123793. + /** Snoop Mode
  123794. + * OUT EPn/OUT EP0
  123795. + * IN EPn/IN EP0 - reserved */
  123796. + unsigned snp:1;
  123797. +
  123798. + /** Stall Handshake */
  123799. + unsigned stall:1;
  123800. +
  123801. + /** Tx Fifo Number
  123802. + * IN EPn/IN EP0
  123803. + * OUT EPn/OUT EP0 - reserved */
  123804. + unsigned txfnum:4;
  123805. +
  123806. + /** Clear NAK */
  123807. + unsigned cnak:1;
  123808. + /** Set NAK */
  123809. + unsigned snak:1;
  123810. + /** Set DATA0 PID (INTR/Bulk IN and OUT endpoints)
  123811. + * Writing to this field sets the Endpoint DPID (DPID)
  123812. + * field in this register to DATA0. Set Even
  123813. + * (micro)frame (SetEvenFr) (ISO IN and OUT Endpoints)
  123814. + * Writing to this field sets the Even/Odd
  123815. + * (micro)frame (EO_FrNum) field to even (micro)
  123816. + * frame.
  123817. + */
  123818. + unsigned setd0pid:1;
  123819. + /** Set DATA1 PID (INTR/Bulk IN and OUT endpoints)
  123820. + * Writing to this field sets the Endpoint DPID (DPID)
  123821. + * field in this register to DATA1 Set Odd
  123822. + * (micro)frame (SetOddFr) (ISO IN and OUT Endpoints)
  123823. + * Writing to this field sets the Even/Odd
  123824. + * (micro)frame (EO_FrNum) field to odd (micro) frame.
  123825. + */
  123826. + unsigned setd1pid:1;
  123827. +
  123828. + /** Endpoint Disable */
  123829. + unsigned epdis:1;
  123830. + /** Endpoint Enable */
  123831. + unsigned epena:1;
  123832. + } b;
  123833. +} depctl_data_t;
  123834. +
  123835. +/**
  123836. + * This union represents the bit fields in the Device EP Transfer
  123837. + * Size Register. Read the register into the <i>d32</i> member then
  123838. + * set/clear the bits using the <i>b</i>it elements.
  123839. + */
  123840. +typedef union deptsiz_data {
  123841. + /** raw register data */
  123842. + uint32_t d32;
  123843. + /** register bits */
  123844. + struct {
  123845. + /** Transfer size */
  123846. + unsigned xfersize:19;
  123847. +/** Max packet count for EP (pow(2,10)-1) */
  123848. +#define MAX_PKT_CNT 1023
  123849. + /** Packet Count */
  123850. + unsigned pktcnt:10;
  123851. + /** Multi Count - Periodic IN endpoints */
  123852. + unsigned mc:2;
  123853. + unsigned reserved:1;
  123854. + } b;
  123855. +} deptsiz_data_t;
  123856. +
  123857. +/**
  123858. + * This union represents the bit fields in the Device EP 0 Transfer
  123859. + * Size Register. Read the register into the <i>d32</i> member then
  123860. + * set/clear the bits using the <i>b</i>it elements.
  123861. + */
  123862. +typedef union deptsiz0_data {
  123863. + /** raw register data */
  123864. + uint32_t d32;
  123865. + /** register bits */
  123866. + struct {
  123867. + /** Transfer size */
  123868. + unsigned xfersize:7;
  123869. + /** Reserved */
  123870. + unsigned reserved7_18:12;
  123871. + /** Packet Count */
  123872. + unsigned pktcnt:2;
  123873. + /** Reserved */
  123874. + unsigned reserved21_28:8;
  123875. + /**Setup Packet Count (DOEPTSIZ0 Only) */
  123876. + unsigned supcnt:2;
  123877. + unsigned reserved31;
  123878. + } b;
  123879. +} deptsiz0_data_t;
  123880. +
  123881. +/////////////////////////////////////////////////
  123882. +// DMA Descriptor Specific Structures
  123883. +//
  123884. +
  123885. +/** Buffer status definitions */
  123886. +
  123887. +#define BS_HOST_READY 0x0
  123888. +#define BS_DMA_BUSY 0x1
  123889. +#define BS_DMA_DONE 0x2
  123890. +#define BS_HOST_BUSY 0x3
  123891. +
  123892. +/** Receive/Transmit status definitions */
  123893. +
  123894. +#define RTS_SUCCESS 0x0
  123895. +#define RTS_BUFFLUSH 0x1
  123896. +#define RTS_RESERVED 0x2
  123897. +#define RTS_BUFERR 0x3
  123898. +
  123899. +/**
  123900. + * This union represents the bit fields in the DMA Descriptor
  123901. + * status quadlet. Read the quadlet into the <i>d32</i> member then
  123902. + * set/clear the bits using the <i>b</i>it, <i>b_iso_out</i> and
  123903. + * <i>b_iso_in</i> elements.
  123904. + */
  123905. +typedef union dev_dma_desc_sts {
  123906. + /** raw register data */
  123907. + uint32_t d32;
  123908. + /** quadlet bits */
  123909. + struct {
  123910. + /** Received number of bytes */
  123911. + unsigned bytes:16;
  123912. + /** NAK bit - only for OUT EPs */
  123913. + unsigned nak:1;
  123914. + unsigned reserved17_22:6;
  123915. + /** Multiple Transfer - only for OUT EPs */
  123916. + unsigned mtrf:1;
  123917. + /** Setup Packet received - only for OUT EPs */
  123918. + unsigned sr:1;
  123919. + /** Interrupt On Complete */
  123920. + unsigned ioc:1;
  123921. + /** Short Packet */
  123922. + unsigned sp:1;
  123923. + /** Last */
  123924. + unsigned l:1;
  123925. + /** Receive Status */
  123926. + unsigned sts:2;
  123927. + /** Buffer Status */
  123928. + unsigned bs:2;
  123929. + } b;
  123930. +
  123931. +//#ifdef DWC_EN_ISOC
  123932. + /** iso out quadlet bits */
  123933. + struct {
  123934. + /** Received number of bytes */
  123935. + unsigned rxbytes:11;
  123936. +
  123937. + unsigned reserved11:1;
  123938. + /** Frame Number */
  123939. + unsigned framenum:11;
  123940. + /** Received ISO Data PID */
  123941. + unsigned pid:2;
  123942. + /** Interrupt On Complete */
  123943. + unsigned ioc:1;
  123944. + /** Short Packet */
  123945. + unsigned sp:1;
  123946. + /** Last */
  123947. + unsigned l:1;
  123948. + /** Receive Status */
  123949. + unsigned rxsts:2;
  123950. + /** Buffer Status */
  123951. + unsigned bs:2;
  123952. + } b_iso_out;
  123953. +
  123954. + /** iso in quadlet bits */
  123955. + struct {
  123956. + /** Transmited number of bytes */
  123957. + unsigned txbytes:12;
  123958. + /** Frame Number */
  123959. + unsigned framenum:11;
  123960. + /** Transmited ISO Data PID */
  123961. + unsigned pid:2;
  123962. + /** Interrupt On Complete */
  123963. + unsigned ioc:1;
  123964. + /** Short Packet */
  123965. + unsigned sp:1;
  123966. + /** Last */
  123967. + unsigned l:1;
  123968. + /** Transmit Status */
  123969. + unsigned txsts:2;
  123970. + /** Buffer Status */
  123971. + unsigned bs:2;
  123972. + } b_iso_in;
  123973. +//#endif /* DWC_EN_ISOC */
  123974. +} dev_dma_desc_sts_t;
  123975. +
  123976. +/**
  123977. + * DMA Descriptor structure
  123978. + *
  123979. + * DMA Descriptor structure contains two quadlets:
  123980. + * Status quadlet and Data buffer pointer.
  123981. + */
  123982. +typedef struct dwc_otg_dev_dma_desc {
  123983. + /** DMA Descriptor status quadlet */
  123984. + dev_dma_desc_sts_t status;
  123985. + /** DMA Descriptor data buffer pointer */
  123986. + uint32_t buf;
  123987. +} dwc_otg_dev_dma_desc_t;
  123988. +
  123989. +/**
  123990. + * The dwc_otg_dev_if structure contains information needed to manage
  123991. + * the DWC_otg controller acting in device mode. It represents the
  123992. + * programming view of the device-specific aspects of the controller.
  123993. + */
  123994. +typedef struct dwc_otg_dev_if {
  123995. + /** Pointer to device Global registers.
  123996. + * Device Global Registers starting at offset 800h
  123997. + */
  123998. + dwc_otg_device_global_regs_t *dev_global_regs;
  123999. +#define DWC_DEV_GLOBAL_REG_OFFSET 0x800
  124000. +
  124001. + /**
  124002. + * Device Logical IN Endpoint-Specific Registers 900h-AFCh
  124003. + */
  124004. + dwc_otg_dev_in_ep_regs_t *in_ep_regs[MAX_EPS_CHANNELS];
  124005. +#define DWC_DEV_IN_EP_REG_OFFSET 0x900
  124006. +#define DWC_EP_REG_OFFSET 0x20
  124007. +
  124008. + /** Device Logical OUT Endpoint-Specific Registers B00h-CFCh */
  124009. + dwc_otg_dev_out_ep_regs_t *out_ep_regs[MAX_EPS_CHANNELS];
  124010. +#define DWC_DEV_OUT_EP_REG_OFFSET 0xB00
  124011. +
  124012. + /* Device configuration information */
  124013. + uint8_t speed; /**< Device Speed 0: Unknown, 1: LS, 2:FS, 3: HS */
  124014. + uint8_t num_in_eps; /**< Number # of Tx EP range: 0-15 exept ep0 */
  124015. + uint8_t num_out_eps; /**< Number # of Rx EP range: 0-15 exept ep 0*/
  124016. +
  124017. + /** Size of periodic FIFOs (Bytes) */
  124018. + uint16_t perio_tx_fifo_size[MAX_PERIO_FIFOS];
  124019. +
  124020. + /** Size of Tx FIFOs (Bytes) */
  124021. + uint16_t tx_fifo_size[MAX_TX_FIFOS];
  124022. +
  124023. + /** Thresholding enable flags and length varaiables **/
  124024. + uint16_t rx_thr_en;
  124025. + uint16_t iso_tx_thr_en;
  124026. + uint16_t non_iso_tx_thr_en;
  124027. +
  124028. + uint16_t rx_thr_length;
  124029. + uint16_t tx_thr_length;
  124030. +
  124031. + /**
  124032. + * Pointers to the DMA Descriptors for EP0 Control
  124033. + * transfers (virtual and physical)
  124034. + */
  124035. +
  124036. + /** 2 descriptors for SETUP packets */
  124037. + dwc_dma_t dma_setup_desc_addr[2];
  124038. + dwc_otg_dev_dma_desc_t *setup_desc_addr[2];
  124039. +
  124040. + /** Pointer to Descriptor with latest SETUP packet */
  124041. + dwc_otg_dev_dma_desc_t *psetup;
  124042. +
  124043. + /** Index of current SETUP handler descriptor */
  124044. + uint32_t setup_desc_index;
  124045. +
  124046. + /** Descriptor for Data In or Status In phases */
  124047. + dwc_dma_t dma_in_desc_addr;
  124048. + dwc_otg_dev_dma_desc_t *in_desc_addr;
  124049. +
  124050. + /** Descriptor for Data Out or Status Out phases */
  124051. + dwc_dma_t dma_out_desc_addr;
  124052. + dwc_otg_dev_dma_desc_t *out_desc_addr;
  124053. +
  124054. + /** Setup Packet Detected - if set clear NAK when queueing */
  124055. + uint32_t spd;
  124056. + /** Isoc ep pointer on which incomplete happens */
  124057. + void *isoc_ep;
  124058. +
  124059. +} dwc_otg_dev_if_t;
  124060. +
  124061. +/////////////////////////////////////////////////
  124062. +// Host Mode Register Structures
  124063. +//
  124064. +/**
  124065. + * The Host Global Registers structure defines the size and relative
  124066. + * field offsets for the Host Mode Global Registers. Host Global
  124067. + * Registers offsets 400h-7FFh.
  124068. +*/
  124069. +typedef struct dwc_otg_host_global_regs {
  124070. + /** Host Configuration Register. <i>Offset: 400h</i> */
  124071. + volatile uint32_t hcfg;
  124072. + /** Host Frame Interval Register. <i>Offset: 404h</i> */
  124073. + volatile uint32_t hfir;
  124074. + /** Host Frame Number / Frame Remaining Register. <i>Offset: 408h</i> */
  124075. + volatile uint32_t hfnum;
  124076. + /** Reserved. <i>Offset: 40Ch</i> */
  124077. + uint32_t reserved40C;
  124078. + /** Host Periodic Transmit FIFO/ Queue Status Register. <i>Offset: 410h</i> */
  124079. + volatile uint32_t hptxsts;
  124080. + /** Host All Channels Interrupt Register. <i>Offset: 414h</i> */
  124081. + volatile uint32_t haint;
  124082. + /** Host All Channels Interrupt Mask Register. <i>Offset: 418h</i> */
  124083. + volatile uint32_t haintmsk;
  124084. + /** Host Frame List Base Address Register . <i>Offset: 41Ch</i> */
  124085. + volatile uint32_t hflbaddr;
  124086. +} dwc_otg_host_global_regs_t;
  124087. +
  124088. +/**
  124089. + * This union represents the bit fields in the Host Configuration Register.
  124090. + * Read the register into the <i>d32</i> member then set/clear the bits using
  124091. + * the <i>b</i>it elements. Write the <i>d32</i> member to the hcfg register.
  124092. + */
  124093. +typedef union hcfg_data {
  124094. + /** raw register data */
  124095. + uint32_t d32;
  124096. +
  124097. + /** register bits */
  124098. + struct {
  124099. + /** FS/LS Phy Clock Select */
  124100. + unsigned fslspclksel:2;
  124101. +#define DWC_HCFG_30_60_MHZ 0
  124102. +#define DWC_HCFG_48_MHZ 1
  124103. +#define DWC_HCFG_6_MHZ 2
  124104. +
  124105. + /** FS/LS Only Support */
  124106. + unsigned fslssupp:1;
  124107. + unsigned reserved3_6:4;
  124108. + /** Enable 32-KHz Suspend Mode */
  124109. + unsigned ena32khzs:1;
  124110. + /** Resume Validation Periiod */
  124111. + unsigned resvalid:8;
  124112. + unsigned reserved16_22:7;
  124113. + /** Enable Scatter/gather DMA in Host mode */
  124114. + unsigned descdma:1;
  124115. + /** Frame List Entries */
  124116. + unsigned frlisten:2;
  124117. + /** Enable Periodic Scheduling */
  124118. + unsigned perschedena:1;
  124119. + unsigned reserved27_30:4;
  124120. + unsigned modechtimen:1;
  124121. + } b;
  124122. +} hcfg_data_t;
  124123. +
  124124. +/**
  124125. + * This union represents the bit fields in the Host Frame Remaing/Number
  124126. + * Register.
  124127. + */
  124128. +typedef union hfir_data {
  124129. + /** raw register data */
  124130. + uint32_t d32;
  124131. +
  124132. + /** register bits */
  124133. + struct {
  124134. + unsigned frint:16;
  124135. + unsigned hfirrldctrl:1;
  124136. + unsigned reserved:15;
  124137. + } b;
  124138. +} hfir_data_t;
  124139. +
  124140. +/**
  124141. + * This union represents the bit fields in the Host Frame Remaing/Number
  124142. + * Register.
  124143. + */
  124144. +typedef union hfnum_data {
  124145. + /** raw register data */
  124146. + uint32_t d32;
  124147. +
  124148. + /** register bits */
  124149. + struct {
  124150. + unsigned frnum:16;
  124151. +#define DWC_HFNUM_MAX_FRNUM 0x3FFF
  124152. + unsigned frrem:16;
  124153. + } b;
  124154. +} hfnum_data_t;
  124155. +
  124156. +typedef union hptxsts_data {
  124157. + /** raw register data */
  124158. + uint32_t d32;
  124159. +
  124160. + /** register bits */
  124161. + struct {
  124162. + unsigned ptxfspcavail:16;
  124163. + unsigned ptxqspcavail:8;
  124164. + /** Top of the Periodic Transmit Request Queue
  124165. + * - bit 24 - Terminate (last entry for the selected channel)
  124166. + * - bits 26:25 - Token Type
  124167. + * - 2'b00 - Zero length
  124168. + * - 2'b01 - Ping
  124169. + * - 2'b10 - Disable
  124170. + * - bits 30:27 - Channel Number
  124171. + * - bit 31 - Odd/even microframe
  124172. + */
  124173. + unsigned ptxqtop_terminate:1;
  124174. + unsigned ptxqtop_token:2;
  124175. + unsigned ptxqtop_chnum:4;
  124176. + unsigned ptxqtop_odd:1;
  124177. + } b;
  124178. +} hptxsts_data_t;
  124179. +
  124180. +/**
  124181. + * This union represents the bit fields in the Host Port Control and Status
  124182. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124183. + * bits using the <i>b</i>it elements. Write the <i>d32</i> member to the
  124184. + * hprt0 register.
  124185. + */
  124186. +typedef union hprt0_data {
  124187. + /** raw register data */
  124188. + uint32_t d32;
  124189. + /** register bits */
  124190. + struct {
  124191. + unsigned prtconnsts:1;
  124192. + unsigned prtconndet:1;
  124193. + unsigned prtena:1;
  124194. + unsigned prtenchng:1;
  124195. + unsigned prtovrcurract:1;
  124196. + unsigned prtovrcurrchng:1;
  124197. + unsigned prtres:1;
  124198. + unsigned prtsusp:1;
  124199. + unsigned prtrst:1;
  124200. + unsigned reserved9:1;
  124201. + unsigned prtlnsts:2;
  124202. + unsigned prtpwr:1;
  124203. + unsigned prttstctl:4;
  124204. + unsigned prtspd:2;
  124205. +#define DWC_HPRT0_PRTSPD_HIGH_SPEED 0
  124206. +#define DWC_HPRT0_PRTSPD_FULL_SPEED 1
  124207. +#define DWC_HPRT0_PRTSPD_LOW_SPEED 2
  124208. + unsigned reserved19_31:13;
  124209. + } b;
  124210. +} hprt0_data_t;
  124211. +
  124212. +/**
  124213. + * This union represents the bit fields in the Host All Interrupt
  124214. + * Register.
  124215. + */
  124216. +typedef union haint_data {
  124217. + /** raw register data */
  124218. + uint32_t d32;
  124219. + /** register bits */
  124220. + struct {
  124221. + unsigned ch0:1;
  124222. + unsigned ch1:1;
  124223. + unsigned ch2:1;
  124224. + unsigned ch3:1;
  124225. + unsigned ch4:1;
  124226. + unsigned ch5:1;
  124227. + unsigned ch6:1;
  124228. + unsigned ch7:1;
  124229. + unsigned ch8:1;
  124230. + unsigned ch9:1;
  124231. + unsigned ch10:1;
  124232. + unsigned ch11:1;
  124233. + unsigned ch12:1;
  124234. + unsigned ch13:1;
  124235. + unsigned ch14:1;
  124236. + unsigned ch15:1;
  124237. + unsigned reserved:16;
  124238. + } b;
  124239. +
  124240. + struct {
  124241. + unsigned chint:16;
  124242. + unsigned reserved:16;
  124243. + } b2;
  124244. +} haint_data_t;
  124245. +
  124246. +/**
  124247. + * This union represents the bit fields in the Host All Interrupt
  124248. + * Register.
  124249. + */
  124250. +typedef union haintmsk_data {
  124251. + /** raw register data */
  124252. + uint32_t d32;
  124253. + /** register bits */
  124254. + struct {
  124255. + unsigned ch0:1;
  124256. + unsigned ch1:1;
  124257. + unsigned ch2:1;
  124258. + unsigned ch3:1;
  124259. + unsigned ch4:1;
  124260. + unsigned ch5:1;
  124261. + unsigned ch6:1;
  124262. + unsigned ch7:1;
  124263. + unsigned ch8:1;
  124264. + unsigned ch9:1;
  124265. + unsigned ch10:1;
  124266. + unsigned ch11:1;
  124267. + unsigned ch12:1;
  124268. + unsigned ch13:1;
  124269. + unsigned ch14:1;
  124270. + unsigned ch15:1;
  124271. + unsigned reserved:16;
  124272. + } b;
  124273. +
  124274. + struct {
  124275. + unsigned chint:16;
  124276. + unsigned reserved:16;
  124277. + } b2;
  124278. +} haintmsk_data_t;
  124279. +
  124280. +/**
  124281. + * Host Channel Specific Registers. <i>500h-5FCh</i>
  124282. + */
  124283. +typedef struct dwc_otg_hc_regs {
  124284. + /** Host Channel 0 Characteristic Register. <i>Offset: 500h + (chan_num * 20h) + 00h</i> */
  124285. + volatile uint32_t hcchar;
  124286. + /** Host Channel 0 Split Control Register. <i>Offset: 500h + (chan_num * 20h) + 04h</i> */
  124287. + volatile uint32_t hcsplt;
  124288. + /** Host Channel 0 Interrupt Register. <i>Offset: 500h + (chan_num * 20h) + 08h</i> */
  124289. + volatile uint32_t hcint;
  124290. + /** Host Channel 0 Interrupt Mask Register. <i>Offset: 500h + (chan_num * 20h) + 0Ch</i> */
  124291. + volatile uint32_t hcintmsk;
  124292. + /** Host Channel 0 Transfer Size Register. <i>Offset: 500h + (chan_num * 20h) + 10h</i> */
  124293. + volatile uint32_t hctsiz;
  124294. + /** Host Channel 0 DMA Address Register. <i>Offset: 500h + (chan_num * 20h) + 14h</i> */
  124295. + volatile uint32_t hcdma;
  124296. + volatile uint32_t reserved;
  124297. + /** Host Channel 0 DMA Buffer Address Register. <i>Offset: 500h + (chan_num * 20h) + 1Ch</i> */
  124298. + volatile uint32_t hcdmab;
  124299. +} dwc_otg_hc_regs_t;
  124300. +
  124301. +/**
  124302. + * This union represents the bit fields in the Host Channel Characteristics
  124303. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124304. + * bits using the <i>b</i>it elements. Write the <i>d32</i> member to the
  124305. + * hcchar register.
  124306. + */
  124307. +typedef union hcchar_data {
  124308. + /** raw register data */
  124309. + uint32_t d32;
  124310. +
  124311. + /** register bits */
  124312. + struct {
  124313. + /** Maximum packet size in bytes */
  124314. + unsigned mps:11;
  124315. +
  124316. + /** Endpoint number */
  124317. + unsigned epnum:4;
  124318. +
  124319. + /** 0: OUT, 1: IN */
  124320. + unsigned epdir:1;
  124321. +
  124322. + unsigned reserved:1;
  124323. +
  124324. + /** 0: Full/high speed device, 1: Low speed device */
  124325. + unsigned lspddev:1;
  124326. +
  124327. + /** 0: Control, 1: Isoc, 2: Bulk, 3: Intr */
  124328. + unsigned eptype:2;
  124329. +
  124330. + /** Packets per frame for periodic transfers. 0 is reserved. */
  124331. + unsigned multicnt:2;
  124332. +
  124333. + /** Device address */
  124334. + unsigned devaddr:7;
  124335. +
  124336. + /**
  124337. + * Frame to transmit periodic transaction.
  124338. + * 0: even, 1: odd
  124339. + */
  124340. + unsigned oddfrm:1;
  124341. +
  124342. + /** Channel disable */
  124343. + unsigned chdis:1;
  124344. +
  124345. + /** Channel enable */
  124346. + unsigned chen:1;
  124347. + } b;
  124348. +} hcchar_data_t;
  124349. +
  124350. +typedef union hcsplt_data {
  124351. + /** raw register data */
  124352. + uint32_t d32;
  124353. +
  124354. + /** register bits */
  124355. + struct {
  124356. + /** Port Address */
  124357. + unsigned prtaddr:7;
  124358. +
  124359. + /** Hub Address */
  124360. + unsigned hubaddr:7;
  124361. +
  124362. + /** Transaction Position */
  124363. + unsigned xactpos:2;
  124364. +#define DWC_HCSPLIT_XACTPOS_MID 0
  124365. +#define DWC_HCSPLIT_XACTPOS_END 1
  124366. +#define DWC_HCSPLIT_XACTPOS_BEGIN 2
  124367. +#define DWC_HCSPLIT_XACTPOS_ALL 3
  124368. +
  124369. + /** Do Complete Split */
  124370. + unsigned compsplt:1;
  124371. +
  124372. + /** Reserved */
  124373. + unsigned reserved:14;
  124374. +
  124375. + /** Split Enble */
  124376. + unsigned spltena:1;
  124377. + } b;
  124378. +} hcsplt_data_t;
  124379. +
  124380. +/**
  124381. + * This union represents the bit fields in the Host All Interrupt
  124382. + * Register.
  124383. + */
  124384. +typedef union hcint_data {
  124385. + /** raw register data */
  124386. + uint32_t d32;
  124387. + /** register bits */
  124388. + struct {
  124389. + /** Transfer Complete */
  124390. + unsigned xfercomp:1;
  124391. + /** Channel Halted */
  124392. + unsigned chhltd:1;
  124393. + /** AHB Error */
  124394. + unsigned ahberr:1;
  124395. + /** STALL Response Received */
  124396. + unsigned stall:1;
  124397. + /** NAK Response Received */
  124398. + unsigned nak:1;
  124399. + /** ACK Response Received */
  124400. + unsigned ack:1;
  124401. + /** NYET Response Received */
  124402. + unsigned nyet:1;
  124403. + /** Transaction Err */
  124404. + unsigned xacterr:1;
  124405. + /** Babble Error */
  124406. + unsigned bblerr:1;
  124407. + /** Frame Overrun */
  124408. + unsigned frmovrun:1;
  124409. + /** Data Toggle Error */
  124410. + unsigned datatglerr:1;
  124411. + /** Buffer Not Available (only for DDMA mode) */
  124412. + unsigned bna:1;
  124413. + /** Exessive transaction error (only for DDMA mode) */
  124414. + unsigned xcs_xact:1;
  124415. + /** Frame List Rollover interrupt */
  124416. + unsigned frm_list_roll:1;
  124417. + /** Reserved */
  124418. + unsigned reserved14_31:18;
  124419. + } b;
  124420. +} hcint_data_t;
  124421. +
  124422. +/**
  124423. + * This union represents the bit fields in the Host Channel Interrupt Mask
  124424. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124425. + * bits using the <i>b</i>it elements. Write the <i>d32</i> member to the
  124426. + * hcintmsk register.
  124427. + */
  124428. +typedef union hcintmsk_data {
  124429. + /** raw register data */
  124430. + uint32_t d32;
  124431. +
  124432. + /** register bits */
  124433. + struct {
  124434. + unsigned xfercompl:1;
  124435. + unsigned chhltd:1;
  124436. + unsigned ahberr:1;
  124437. + unsigned stall:1;
  124438. + unsigned nak:1;
  124439. + unsigned ack:1;
  124440. + unsigned nyet:1;
  124441. + unsigned xacterr:1;
  124442. + unsigned bblerr:1;
  124443. + unsigned frmovrun:1;
  124444. + unsigned datatglerr:1;
  124445. + unsigned bna:1;
  124446. + unsigned xcs_xact:1;
  124447. + unsigned frm_list_roll:1;
  124448. + unsigned reserved14_31:18;
  124449. + } b;
  124450. +} hcintmsk_data_t;
  124451. +
  124452. +/**
  124453. + * This union represents the bit fields in the Host Channel Transfer Size
  124454. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124455. + * bits using the <i>b</i>it elements. Write the <i>d32</i> member to the
  124456. + * hcchar register.
  124457. + */
  124458. +
  124459. +typedef union hctsiz_data {
  124460. + /** raw register data */
  124461. + uint32_t d32;
  124462. +
  124463. + /** register bits */
  124464. + struct {
  124465. + /** Total transfer size in bytes */
  124466. + unsigned xfersize:19;
  124467. +
  124468. + /** Data packets to transfer */
  124469. + unsigned pktcnt:10;
  124470. +
  124471. + /**
  124472. + * Packet ID for next data packet
  124473. + * 0: DATA0
  124474. + * 1: DATA2
  124475. + * 2: DATA1
  124476. + * 3: MDATA (non-Control), SETUP (Control)
  124477. + */
  124478. + unsigned pid:2;
  124479. +#define DWC_HCTSIZ_DATA0 0
  124480. +#define DWC_HCTSIZ_DATA1 2
  124481. +#define DWC_HCTSIZ_DATA2 1
  124482. +#define DWC_HCTSIZ_MDATA 3
  124483. +#define DWC_HCTSIZ_SETUP 3
  124484. +
  124485. + /** Do PING protocol when 1 */
  124486. + unsigned dopng:1;
  124487. + } b;
  124488. +
  124489. + /** register bits */
  124490. + struct {
  124491. + /** Scheduling information */
  124492. + unsigned schinfo:8;
  124493. +
  124494. + /** Number of transfer descriptors.
  124495. + * Max value:
  124496. + * 64 in general,
  124497. + * 256 only for HS isochronous endpoint.
  124498. + */
  124499. + unsigned ntd:8;
  124500. +
  124501. + /** Data packets to transfer */
  124502. + unsigned reserved16_28:13;
  124503. +
  124504. + /**
  124505. + * Packet ID for next data packet
  124506. + * 0: DATA0
  124507. + * 1: DATA2
  124508. + * 2: DATA1
  124509. + * 3: MDATA (non-Control)
  124510. + */
  124511. + unsigned pid:2;
  124512. +
  124513. + /** Do PING protocol when 1 */
  124514. + unsigned dopng:1;
  124515. + } b_ddma;
  124516. +} hctsiz_data_t;
  124517. +
  124518. +/**
  124519. + * This union represents the bit fields in the Host DMA Address
  124520. + * Register used in Descriptor DMA mode.
  124521. + */
  124522. +typedef union hcdma_data {
  124523. + /** raw register data */
  124524. + uint32_t d32;
  124525. + /** register bits */
  124526. + struct {
  124527. + unsigned reserved0_2:3;
  124528. + /** Current Transfer Descriptor. Not used for ISOC */
  124529. + unsigned ctd:8;
  124530. + /** Start Address of Descriptor List */
  124531. + unsigned dma_addr:21;
  124532. + } b;
  124533. +} hcdma_data_t;
  124534. +
  124535. +/**
  124536. + * This union represents the bit fields in the DMA Descriptor
  124537. + * status quadlet for host mode. Read the quadlet into the <i>d32</i> member then
  124538. + * set/clear the bits using the <i>b</i>it elements.
  124539. + */
  124540. +typedef union host_dma_desc_sts {
  124541. + /** raw register data */
  124542. + uint32_t d32;
  124543. + /** quadlet bits */
  124544. +
  124545. + /* for non-isochronous */
  124546. + struct {
  124547. + /** Number of bytes */
  124548. + unsigned n_bytes:17;
  124549. + /** QTD offset to jump when Short Packet received - only for IN EPs */
  124550. + unsigned qtd_offset:6;
  124551. + /**
  124552. + * Set to request the core to jump to alternate QTD if
  124553. + * Short Packet received - only for IN EPs
  124554. + */
  124555. + unsigned a_qtd:1;
  124556. + /**
  124557. + * Setup Packet bit. When set indicates that buffer contains
  124558. + * setup packet.
  124559. + */
  124560. + unsigned sup:1;
  124561. + /** Interrupt On Complete */
  124562. + unsigned ioc:1;
  124563. + /** End of List */
  124564. + unsigned eol:1;
  124565. + unsigned reserved27:1;
  124566. + /** Rx/Tx Status */
  124567. + unsigned sts:2;
  124568. +#define DMA_DESC_STS_PKTERR 1
  124569. + unsigned reserved30:1;
  124570. + /** Active Bit */
  124571. + unsigned a:1;
  124572. + } b;
  124573. + /* for isochronous */
  124574. + struct {
  124575. + /** Number of bytes */
  124576. + unsigned n_bytes:12;
  124577. + unsigned reserved12_24:13;
  124578. + /** Interrupt On Complete */
  124579. + unsigned ioc:1;
  124580. + unsigned reserved26_27:2;
  124581. + /** Rx/Tx Status */
  124582. + unsigned sts:2;
  124583. + unsigned reserved30:1;
  124584. + /** Active Bit */
  124585. + unsigned a:1;
  124586. + } b_isoc;
  124587. +} host_dma_desc_sts_t;
  124588. +
  124589. +#define MAX_DMA_DESC_SIZE 131071
  124590. +#define MAX_DMA_DESC_NUM_GENERIC 64
  124591. +#define MAX_DMA_DESC_NUM_HS_ISOC 256
  124592. +#define MAX_FRLIST_EN_NUM 64
  124593. +/**
  124594. + * Host-mode DMA Descriptor structure
  124595. + *
  124596. + * DMA Descriptor structure contains two quadlets:
  124597. + * Status quadlet and Data buffer pointer.
  124598. + */
  124599. +typedef struct dwc_otg_host_dma_desc {
  124600. + /** DMA Descriptor status quadlet */
  124601. + host_dma_desc_sts_t status;
  124602. + /** DMA Descriptor data buffer pointer */
  124603. + uint32_t buf;
  124604. +} dwc_otg_host_dma_desc_t;
  124605. +
  124606. +/** OTG Host Interface Structure.
  124607. + *
  124608. + * The OTG Host Interface Structure structure contains information
  124609. + * needed to manage the DWC_otg controller acting in host mode. It
  124610. + * represents the programming view of the host-specific aspects of the
  124611. + * controller.
  124612. + */
  124613. +typedef struct dwc_otg_host_if {
  124614. + /** Host Global Registers starting at offset 400h.*/
  124615. + dwc_otg_host_global_regs_t *host_global_regs;
  124616. +#define DWC_OTG_HOST_GLOBAL_REG_OFFSET 0x400
  124617. +
  124618. + /** Host Port 0 Control and Status Register */
  124619. + volatile uint32_t *hprt0;
  124620. +#define DWC_OTG_HOST_PORT_REGS_OFFSET 0x440
  124621. +
  124622. + /** Host Channel Specific Registers at offsets 500h-5FCh. */
  124623. + dwc_otg_hc_regs_t *hc_regs[MAX_EPS_CHANNELS];
  124624. +#define DWC_OTG_HOST_CHAN_REGS_OFFSET 0x500
  124625. +#define DWC_OTG_CHAN_REGS_OFFSET 0x20
  124626. +
  124627. + /* Host configuration information */
  124628. + /** Number of Host Channels (range: 1-16) */
  124629. + uint8_t num_host_channels;
  124630. + /** Periodic EPs supported (0: no, 1: yes) */
  124631. + uint8_t perio_eps_supported;
  124632. + /** Periodic Tx FIFO Size (Only 1 host periodic Tx FIFO) */
  124633. + uint16_t perio_tx_fifo_size;
  124634. +
  124635. +} dwc_otg_host_if_t;
  124636. +
  124637. +/**
  124638. + * This union represents the bit fields in the Power and Clock Gating Control
  124639. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124640. + * bits using the <i>b</i>it elements.
  124641. + */
  124642. +typedef union pcgcctl_data {
  124643. + /** raw register data */
  124644. + uint32_t d32;
  124645. +
  124646. + /** register bits */
  124647. + struct {
  124648. + /** Stop Pclk */
  124649. + unsigned stoppclk:1;
  124650. + /** Gate Hclk */
  124651. + unsigned gatehclk:1;
  124652. + /** Power Clamp */
  124653. + unsigned pwrclmp:1;
  124654. + /** Reset Power Down Modules */
  124655. + unsigned rstpdwnmodule:1;
  124656. + /** Reserved */
  124657. + unsigned reserved:1;
  124658. + /** Enable Sleep Clock Gating (Enbl_L1Gating) */
  124659. + unsigned enbl_sleep_gating:1;
  124660. + /** PHY In Sleep (PhySleep) */
  124661. + unsigned phy_in_sleep:1;
  124662. + /** Deep Sleep*/
  124663. + unsigned deep_sleep:1;
  124664. + unsigned resetaftsusp:1;
  124665. + unsigned restoremode:1;
  124666. + unsigned enbl_extnd_hiber:1;
  124667. + unsigned extnd_hiber_pwrclmp:1;
  124668. + unsigned extnd_hiber_switch:1;
  124669. + unsigned ess_reg_restored:1;
  124670. + unsigned prt_clk_sel:2;
  124671. + unsigned port_power:1;
  124672. + unsigned max_xcvrselect:2;
  124673. + unsigned max_termsel:1;
  124674. + unsigned mac_dev_addr:7;
  124675. + unsigned p2hd_dev_enum_spd:2;
  124676. + unsigned p2hd_prt_spd:2;
  124677. + unsigned if_dev_mode:1;
  124678. + } b;
  124679. +} pcgcctl_data_t;
  124680. +
  124681. +/**
  124682. + * This union represents the bit fields in the Global Data FIFO Software
  124683. + * Configuration Register. Read the register into the <i>d32</i> member then
  124684. + * set/clear the bits using the <i>b</i>it elements.
  124685. + */
  124686. +typedef union gdfifocfg_data {
  124687. + /* raw register data */
  124688. + uint32_t d32;
  124689. + /** register bits */
  124690. + struct {
  124691. + /** OTG Data FIFO depth */
  124692. + unsigned gdfifocfg:16;
  124693. + /** Start address of EP info controller */
  124694. + unsigned epinfobase:16;
  124695. + } b;
  124696. +} gdfifocfg_data_t;
  124697. +
  124698. +/**
  124699. + * This union represents the bit fields in the Global Power Down Register
  124700. + * Register. Read the register into the <i>d32</i> member then set/clear the
  124701. + * bits using the <i>b</i>it elements.
  124702. + */
  124703. +typedef union gpwrdn_data {
  124704. + /* raw register data */
  124705. + uint32_t d32;
  124706. +
  124707. + /** register bits */
  124708. + struct {
  124709. + /** PMU Interrupt Select */
  124710. + unsigned pmuintsel:1;
  124711. + /** PMU Active */
  124712. + unsigned pmuactv:1;
  124713. + /** Restore */
  124714. + unsigned restore:1;
  124715. + /** Power Down Clamp */
  124716. + unsigned pwrdnclmp:1;
  124717. + /** Power Down Reset */
  124718. + unsigned pwrdnrstn:1;
  124719. + /** Power Down Switch */
  124720. + unsigned pwrdnswtch:1;
  124721. + /** Disable VBUS */
  124722. + unsigned dis_vbus:1;
  124723. + /** Line State Change */
  124724. + unsigned lnstschng:1;
  124725. + /** Line state change mask */
  124726. + unsigned lnstchng_msk:1;
  124727. + /** Reset Detected */
  124728. + unsigned rst_det:1;
  124729. + /** Reset Detect mask */
  124730. + unsigned rst_det_msk:1;
  124731. + /** Disconnect Detected */
  124732. + unsigned disconn_det:1;
  124733. + /** Disconnect Detect mask */
  124734. + unsigned disconn_det_msk:1;
  124735. + /** Connect Detected*/
  124736. + unsigned connect_det:1;
  124737. + /** Connect Detected Mask*/
  124738. + unsigned connect_det_msk:1;
  124739. + /** SRP Detected */
  124740. + unsigned srp_det:1;
  124741. + /** SRP Detect mask */
  124742. + unsigned srp_det_msk:1;
  124743. + /** Status Change Interrupt */
  124744. + unsigned sts_chngint:1;
  124745. + /** Status Change Interrupt Mask */
  124746. + unsigned sts_chngint_msk:1;
  124747. + /** Line State */
  124748. + unsigned linestate:2;
  124749. + /** Indicates current mode(status of IDDIG signal) */
  124750. + unsigned idsts:1;
  124751. + /** B Session Valid signal status*/
  124752. + unsigned bsessvld:1;
  124753. + /** ADP Event Detected */
  124754. + unsigned adp_int:1;
  124755. + /** Multi Valued ID pin */
  124756. + unsigned mult_val_id_bc:5;
  124757. + /** Reserved 24_31 */
  124758. + unsigned reserved29_31:3;
  124759. + } b;
  124760. +} gpwrdn_data_t;
  124761. +
  124762. +#endif
  124763. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/Makefile linux-rpi/drivers/usb/host/dwc_otg/Makefile
  124764. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/Makefile 1970-01-01 01:00:00.000000000 +0100
  124765. +++ linux-rpi/drivers/usb/host/dwc_otg/Makefile 2015-11-29 09:42:39.915098960 +0100
  124766. @@ -0,0 +1,82 @@
  124767. +#
  124768. +# Makefile for DWC_otg Highspeed USB controller driver
  124769. +#
  124770. +
  124771. +ifneq ($(KERNELRELEASE),)
  124772. +
  124773. +# Use the BUS_INTERFACE variable to compile the software for either
  124774. +# PCI(PCI_INTERFACE) or LM(LM_INTERFACE) bus.
  124775. +ifeq ($(BUS_INTERFACE),)
  124776. +# BUS_INTERFACE = -DPCI_INTERFACE
  124777. +# BUS_INTERFACE = -DLM_INTERFACE
  124778. + BUS_INTERFACE = -DPLATFORM_INTERFACE
  124779. +endif
  124780. +
  124781. +#ccflags-y += -DDEBUG
  124782. +#ccflags-y += -DDWC_OTG_DEBUGLEV=1 # reduce common debug msgs
  124783. +
  124784. +# Use one of the following flags to compile the software in host-only or
  124785. +# device-only mode.
  124786. +#ccflags-y += -DDWC_HOST_ONLY
  124787. +#ccflags-y += -DDWC_DEVICE_ONLY
  124788. +
  124789. +ccflags-y += -Dlinux -DDWC_HS_ELECT_TST
  124790. +#ccflags-y += -DDWC_EN_ISOC
  124791. +ccflags-y += -I$(obj)/../dwc_common_port
  124792. +#ccflags-y += -I$(PORTLIB)
  124793. +ccflags-y += -DDWC_LINUX
  124794. +ccflags-y += $(CFI)
  124795. +ccflags-y += $(BUS_INTERFACE)
  124796. +#ccflags-y += -DDWC_DEV_SRPCAP
  124797. +
  124798. +obj-$(CONFIG_USB_DWCOTG) += dwc_otg.o
  124799. +
  124800. +dwc_otg-objs := dwc_otg_driver.o dwc_otg_attr.o
  124801. +dwc_otg-objs += dwc_otg_cil.o dwc_otg_cil_intr.o
  124802. +dwc_otg-objs += dwc_otg_pcd_linux.o dwc_otg_pcd.o dwc_otg_pcd_intr.o
  124803. +dwc_otg-objs += dwc_otg_hcd.o dwc_otg_hcd_linux.o dwc_otg_hcd_intr.o dwc_otg_hcd_queue.o dwc_otg_hcd_ddma.o
  124804. +dwc_otg-objs += dwc_otg_adp.o
  124805. +dwc_otg-objs += dwc_otg_fiq_fsm.o
  124806. +dwc_otg-objs += dwc_otg_fiq_stub.o
  124807. +ifneq ($(CFI),)
  124808. +dwc_otg-objs += dwc_otg_cfi.o
  124809. +endif
  124810. +
  124811. +kernrelwd := $(subst ., ,$(KERNELRELEASE))
  124812. +kernrel3 := $(word 1,$(kernrelwd)).$(word 2,$(kernrelwd)).$(word 3,$(kernrelwd))
  124813. +
  124814. +ifneq ($(kernrel3),2.6.20)
  124815. +ccflags-y += $(CPPFLAGS)
  124816. +endif
  124817. +
  124818. +else
  124819. +
  124820. +PWD := $(shell pwd)
  124821. +PORTLIB := $(PWD)/../dwc_common_port
  124822. +
  124823. +# Command paths
  124824. +CTAGS := $(CTAGS)
  124825. +DOXYGEN := $(DOXYGEN)
  124826. +
  124827. +default: portlib
  124828. + $(MAKE) -C$(KDIR) M=$(PWD) ARCH=$(ARCH) CROSS_COMPILE=$(CROSS_COMPILE) modules
  124829. +
  124830. +install: default
  124831. + $(MAKE) -C$(KDIR) M=$(PORTLIB) modules_install
  124832. + $(MAKE) -C$(KDIR) M=$(PWD) modules_install
  124833. +
  124834. +portlib:
  124835. + $(MAKE) -C$(KDIR) M=$(PORTLIB) ARCH=$(ARCH) CROSS_COMPILE=$(CROSS_COMPILE) modules
  124836. + cp $(PORTLIB)/Module.symvers $(PWD)/
  124837. +
  124838. +docs: $(wildcard *.[hc]) doc/doxygen.cfg
  124839. + $(DOXYGEN) doc/doxygen.cfg
  124840. +
  124841. +tags: $(wildcard *.[hc])
  124842. + $(CTAGS) -e $(wildcard *.[hc]) $(wildcard linux/*.[hc]) $(wildcard $(KDIR)/include/linux/usb*.h)
  124843. +
  124844. +
  124845. +clean:
  124846. + rm -rf *.o *.ko .*cmd *.mod.c .tmp_versions Module.symvers
  124847. +
  124848. +endif
  124849. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/dwc_otg_test.pm linux-rpi/drivers/usb/host/dwc_otg/test/dwc_otg_test.pm
  124850. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/dwc_otg_test.pm 1970-01-01 01:00:00.000000000 +0100
  124851. +++ linux-rpi/drivers/usb/host/dwc_otg/test/dwc_otg_test.pm 2015-11-29 09:42:39.923098428 +0100
  124852. @@ -0,0 +1,337 @@
  124853. +package dwc_otg_test;
  124854. +
  124855. +use strict;
  124856. +use Exporter ();
  124857. +
  124858. +use vars qw(@ISA @EXPORT
  124859. +$sysfsdir $paramdir $errors $params
  124860. +);
  124861. +
  124862. +@ISA = qw(Exporter);
  124863. +
  124864. +#
  124865. +# Globals
  124866. +#
  124867. +$sysfsdir = "/sys/devices/lm0";
  124868. +$paramdir = "/sys/module/dwc_otg";
  124869. +$errors = 0;
  124870. +
  124871. +$params = [
  124872. + {
  124873. + NAME => "otg_cap",
  124874. + DEFAULT => 0,
  124875. + ENUM => [],
  124876. + LOW => 0,
  124877. + HIGH => 2
  124878. + },
  124879. + {
  124880. + NAME => "dma_enable",
  124881. + DEFAULT => 0,
  124882. + ENUM => [],
  124883. + LOW => 0,
  124884. + HIGH => 1
  124885. + },
  124886. + {
  124887. + NAME => "dma_burst_size",
  124888. + DEFAULT => 32,
  124889. + ENUM => [1, 4, 8, 16, 32, 64, 128, 256],
  124890. + LOW => 1,
  124891. + HIGH => 256
  124892. + },
  124893. + {
  124894. + NAME => "host_speed",
  124895. + DEFAULT => 0,
  124896. + ENUM => [],
  124897. + LOW => 0,
  124898. + HIGH => 1
  124899. + },
  124900. + {
  124901. + NAME => "host_support_fs_ls_low_power",
  124902. + DEFAULT => 0,
  124903. + ENUM => [],
  124904. + LOW => 0,
  124905. + HIGH => 1
  124906. + },
  124907. + {
  124908. + NAME => "host_ls_low_power_phy_clk",
  124909. + DEFAULT => 0,
  124910. + ENUM => [],
  124911. + LOW => 0,
  124912. + HIGH => 1
  124913. + },
  124914. + {
  124915. + NAME => "dev_speed",
  124916. + DEFAULT => 0,
  124917. + ENUM => [],
  124918. + LOW => 0,
  124919. + HIGH => 1
  124920. + },
  124921. + {
  124922. + NAME => "enable_dynamic_fifo",
  124923. + DEFAULT => 1,
  124924. + ENUM => [],
  124925. + LOW => 0,
  124926. + HIGH => 1
  124927. + },
  124928. + {
  124929. + NAME => "data_fifo_size",
  124930. + DEFAULT => 8192,
  124931. + ENUM => [],
  124932. + LOW => 32,
  124933. + HIGH => 32768
  124934. + },
  124935. + {
  124936. + NAME => "dev_rx_fifo_size",
  124937. + DEFAULT => 1064,
  124938. + ENUM => [],
  124939. + LOW => 16,
  124940. + HIGH => 32768
  124941. + },
  124942. + {
  124943. + NAME => "dev_nperio_tx_fifo_size",
  124944. + DEFAULT => 1024,
  124945. + ENUM => [],
  124946. + LOW => 16,
  124947. + HIGH => 32768
  124948. + },
  124949. + {
  124950. + NAME => "dev_perio_tx_fifo_size_1",
  124951. + DEFAULT => 256,
  124952. + ENUM => [],
  124953. + LOW => 4,
  124954. + HIGH => 768
  124955. + },
  124956. + {
  124957. + NAME => "dev_perio_tx_fifo_size_2",
  124958. + DEFAULT => 256,
  124959. + ENUM => [],
  124960. + LOW => 4,
  124961. + HIGH => 768
  124962. + },
  124963. + {
  124964. + NAME => "dev_perio_tx_fifo_size_3",
  124965. + DEFAULT => 256,
  124966. + ENUM => [],
  124967. + LOW => 4,
  124968. + HIGH => 768
  124969. + },
  124970. + {
  124971. + NAME => "dev_perio_tx_fifo_size_4",
  124972. + DEFAULT => 256,
  124973. + ENUM => [],
  124974. + LOW => 4,
  124975. + HIGH => 768
  124976. + },
  124977. + {
  124978. + NAME => "dev_perio_tx_fifo_size_5",
  124979. + DEFAULT => 256,
  124980. + ENUM => [],
  124981. + LOW => 4,
  124982. + HIGH => 768
  124983. + },
  124984. + {
  124985. + NAME => "dev_perio_tx_fifo_size_6",
  124986. + DEFAULT => 256,
  124987. + ENUM => [],
  124988. + LOW => 4,
  124989. + HIGH => 768
  124990. + },
  124991. + {
  124992. + NAME => "dev_perio_tx_fifo_size_7",
  124993. + DEFAULT => 256,
  124994. + ENUM => [],
  124995. + LOW => 4,
  124996. + HIGH => 768
  124997. + },
  124998. + {
  124999. + NAME => "dev_perio_tx_fifo_size_8",
  125000. + DEFAULT => 256,
  125001. + ENUM => [],
  125002. + LOW => 4,
  125003. + HIGH => 768
  125004. + },
  125005. + {
  125006. + NAME => "dev_perio_tx_fifo_size_9",
  125007. + DEFAULT => 256,
  125008. + ENUM => [],
  125009. + LOW => 4,
  125010. + HIGH => 768
  125011. + },
  125012. + {
  125013. + NAME => "dev_perio_tx_fifo_size_10",
  125014. + DEFAULT => 256,
  125015. + ENUM => [],
  125016. + LOW => 4,
  125017. + HIGH => 768
  125018. + },
  125019. + {
  125020. + NAME => "dev_perio_tx_fifo_size_11",
  125021. + DEFAULT => 256,
  125022. + ENUM => [],
  125023. + LOW => 4,
  125024. + HIGH => 768
  125025. + },
  125026. + {
  125027. + NAME => "dev_perio_tx_fifo_size_12",
  125028. + DEFAULT => 256,
  125029. + ENUM => [],
  125030. + LOW => 4,
  125031. + HIGH => 768
  125032. + },
  125033. + {
  125034. + NAME => "dev_perio_tx_fifo_size_13",
  125035. + DEFAULT => 256,
  125036. + ENUM => [],
  125037. + LOW => 4,
  125038. + HIGH => 768
  125039. + },
  125040. + {
  125041. + NAME => "dev_perio_tx_fifo_size_14",
  125042. + DEFAULT => 256,
  125043. + ENUM => [],
  125044. + LOW => 4,
  125045. + HIGH => 768
  125046. + },
  125047. + {
  125048. + NAME => "dev_perio_tx_fifo_size_15",
  125049. + DEFAULT => 256,
  125050. + ENUM => [],
  125051. + LOW => 4,
  125052. + HIGH => 768
  125053. + },
  125054. + {
  125055. + NAME => "host_rx_fifo_size",
  125056. + DEFAULT => 1024,
  125057. + ENUM => [],
  125058. + LOW => 16,
  125059. + HIGH => 32768
  125060. + },
  125061. + {
  125062. + NAME => "host_nperio_tx_fifo_size",
  125063. + DEFAULT => 1024,
  125064. + ENUM => [],
  125065. + LOW => 16,
  125066. + HIGH => 32768
  125067. + },
  125068. + {
  125069. + NAME => "host_perio_tx_fifo_size",
  125070. + DEFAULT => 1024,
  125071. + ENUM => [],
  125072. + LOW => 16,
  125073. + HIGH => 32768
  125074. + },
  125075. + {
  125076. + NAME => "max_transfer_size",
  125077. + DEFAULT => 65535,
  125078. + ENUM => [],
  125079. + LOW => 2047,
  125080. + HIGH => 65535
  125081. + },
  125082. + {
  125083. + NAME => "max_packet_count",
  125084. + DEFAULT => 511,
  125085. + ENUM => [],
  125086. + LOW => 15,
  125087. + HIGH => 511
  125088. + },
  125089. + {
  125090. + NAME => "host_channels",
  125091. + DEFAULT => 12,
  125092. + ENUM => [],
  125093. + LOW => 1,
  125094. + HIGH => 16
  125095. + },
  125096. + {
  125097. + NAME => "dev_endpoints",
  125098. + DEFAULT => 6,
  125099. + ENUM => [],
  125100. + LOW => 1,
  125101. + HIGH => 15
  125102. + },
  125103. + {
  125104. + NAME => "phy_type",
  125105. + DEFAULT => 1,
  125106. + ENUM => [],
  125107. + LOW => 0,
  125108. + HIGH => 2
  125109. + },
  125110. + {
  125111. + NAME => "phy_utmi_width",
  125112. + DEFAULT => 16,
  125113. + ENUM => [8, 16],
  125114. + LOW => 8,
  125115. + HIGH => 16
  125116. + },
  125117. + {
  125118. + NAME => "phy_ulpi_ddr",
  125119. + DEFAULT => 0,
  125120. + ENUM => [],
  125121. + LOW => 0,
  125122. + HIGH => 1
  125123. + },
  125124. + ];
  125125. +
  125126. +
  125127. +#
  125128. +#
  125129. +sub check_arch {
  125130. + $_ = `uname -m`;
  125131. + chomp;
  125132. + unless (m/armv4tl/) {
  125133. + warn "# \n# Can't execute on $_. Run on integrator platform.\n# \n";
  125134. + return 0;
  125135. + }
  125136. + return 1;
  125137. +}
  125138. +
  125139. +#
  125140. +#
  125141. +sub load_module {
  125142. + my $params = shift;
  125143. + print "\nRemoving Module\n";
  125144. + system "rmmod dwc_otg";
  125145. + print "Loading Module\n";
  125146. + if ($params ne "") {
  125147. + print "Module Parameters: $params\n";
  125148. + }
  125149. + if (system("modprobe dwc_otg $params")) {
  125150. + warn "Unable to load module\n";
  125151. + return 0;
  125152. + }
  125153. + return 1;
  125154. +}
  125155. +
  125156. +#
  125157. +#
  125158. +sub test_status {
  125159. + my $arg = shift;
  125160. +
  125161. + print "\n";
  125162. +
  125163. + if (defined $arg) {
  125164. + warn "WARNING: $arg\n";
  125165. + }
  125166. +
  125167. + if ($errors > 0) {
  125168. + warn "TEST FAILED with $errors errors\n";
  125169. + return 0;
  125170. + } else {
  125171. + print "TEST PASSED\n";
  125172. + return 0 if (defined $arg);
  125173. + }
  125174. + return 1;
  125175. +}
  125176. +
  125177. +#
  125178. +#
  125179. +@EXPORT = qw(
  125180. +$sysfsdir
  125181. +$paramdir
  125182. +$params
  125183. +$errors
  125184. +check_arch
  125185. +load_module
  125186. +test_status
  125187. +);
  125188. +
  125189. +1;
  125190. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/Makefile linux-rpi/drivers/usb/host/dwc_otg/test/Makefile
  125191. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/Makefile 1970-01-01 01:00:00.000000000 +0100
  125192. +++ linux-rpi/drivers/usb/host/dwc_otg/test/Makefile 2015-11-29 09:42:39.923098428 +0100
  125193. @@ -0,0 +1,16 @@
  125194. +
  125195. +PERL=/usr/bin/perl
  125196. +PL_TESTS=test_sysfs.pl test_mod_param.pl
  125197. +
  125198. +.PHONY : test
  125199. +test : perl_tests
  125200. +
  125201. +perl_tests :
  125202. + @echo
  125203. + @echo Running perl tests
  125204. + @for test in $(PL_TESTS); do \
  125205. + if $(PERL) ./$$test ; then \
  125206. + echo "=======> $$test, PASSED" ; \
  125207. + else echo "=======> $$test, FAILED" ; \
  125208. + fi \
  125209. + done
  125210. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/test_mod_param.pl linux-rpi/drivers/usb/host/dwc_otg/test/test_mod_param.pl
  125211. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/test_mod_param.pl 1970-01-01 01:00:00.000000000 +0100
  125212. +++ linux-rpi/drivers/usb/host/dwc_otg/test/test_mod_param.pl 2015-11-29 09:42:39.923098428 +0100
  125213. @@ -0,0 +1,133 @@
  125214. +#!/usr/bin/perl -w
  125215. +#
  125216. +# Run this program on the integrator.
  125217. +#
  125218. +# - Tests module parameter default values.
  125219. +# - Tests setting of valid module parameter values via modprobe.
  125220. +# - Tests invalid module parameter values.
  125221. +# -----------------------------------------------------------------------------
  125222. +use strict;
  125223. +use dwc_otg_test;
  125224. +
  125225. +check_arch() or die;
  125226. +
  125227. +#
  125228. +#
  125229. +sub test {
  125230. + my ($param,$expected) = @_;
  125231. + my $value = get($param);
  125232. +
  125233. + if ($value == $expected) {
  125234. + print "$param = $value, okay\n";
  125235. + }
  125236. +
  125237. + else {
  125238. + warn "ERROR: value of $param != $expected, $value\n";
  125239. + $errors ++;
  125240. + }
  125241. +}
  125242. +
  125243. +#
  125244. +#
  125245. +sub get {
  125246. + my $param = shift;
  125247. + my $tmp = `cat $paramdir/$param`;
  125248. + chomp $tmp;
  125249. + return $tmp;
  125250. +}
  125251. +
  125252. +#
  125253. +#
  125254. +sub test_main {
  125255. +
  125256. + print "\nTesting Module Parameters\n";
  125257. +
  125258. + load_module("") or die;
  125259. +
  125260. + # Test initial values
  125261. + print "\nTesting Default Values\n";
  125262. + foreach (@{$params}) {
  125263. + test ($_->{NAME}, $_->{DEFAULT});
  125264. + }
  125265. +
  125266. + # Test low value
  125267. + print "\nTesting Low Value\n";
  125268. + my $cmd_params = "";
  125269. + foreach (@{$params}) {
  125270. + $cmd_params = $cmd_params . "$_->{NAME}=$_->{LOW} ";
  125271. + }
  125272. + load_module($cmd_params) or die;
  125273. +
  125274. + foreach (@{$params}) {
  125275. + test ($_->{NAME}, $_->{LOW});
  125276. + }
  125277. +
  125278. + # Test high value
  125279. + print "\nTesting High Value\n";
  125280. + $cmd_params = "";
  125281. + foreach (@{$params}) {
  125282. + $cmd_params = $cmd_params . "$_->{NAME}=$_->{HIGH} ";
  125283. + }
  125284. + load_module($cmd_params) or die;
  125285. +
  125286. + foreach (@{$params}) {
  125287. + test ($_->{NAME}, $_->{HIGH});
  125288. + }
  125289. +
  125290. + # Test Enum
  125291. + print "\nTesting Enumerated\n";
  125292. + foreach (@{$params}) {
  125293. + if (defined $_->{ENUM}) {
  125294. + my $value;
  125295. + foreach $value (@{$_->{ENUM}}) {
  125296. + $cmd_params = "$_->{NAME}=$value";
  125297. + load_module($cmd_params) or die;
  125298. + test ($_->{NAME}, $value);
  125299. + }
  125300. + }
  125301. + }
  125302. +
  125303. + # Test Invalid Values
  125304. + print "\nTesting Invalid Values\n";
  125305. + $cmd_params = "";
  125306. + foreach (@{$params}) {
  125307. + $cmd_params = $cmd_params . sprintf "$_->{NAME}=%d ", $_->{LOW}-1;
  125308. + }
  125309. + load_module($cmd_params) or die;
  125310. +
  125311. + foreach (@{$params}) {
  125312. + test ($_->{NAME}, $_->{DEFAULT});
  125313. + }
  125314. +
  125315. + $cmd_params = "";
  125316. + foreach (@{$params}) {
  125317. + $cmd_params = $cmd_params . sprintf "$_->{NAME}=%d ", $_->{HIGH}+1;
  125318. + }
  125319. + load_module($cmd_params) or die;
  125320. +
  125321. + foreach (@{$params}) {
  125322. + test ($_->{NAME}, $_->{DEFAULT});
  125323. + }
  125324. +
  125325. + print "\nTesting Enumerated\n";
  125326. + foreach (@{$params}) {
  125327. + if (defined $_->{ENUM}) {
  125328. + my $value;
  125329. + foreach $value (@{$_->{ENUM}}) {
  125330. + $value = $value + 1;
  125331. + $cmd_params = "$_->{NAME}=$value";
  125332. + load_module($cmd_params) or die;
  125333. + test ($_->{NAME}, $_->{DEFAULT});
  125334. + $value = $value - 2;
  125335. + $cmd_params = "$_->{NAME}=$value";
  125336. + load_module($cmd_params) or die;
  125337. + test ($_->{NAME}, $_->{DEFAULT});
  125338. + }
  125339. + }
  125340. + }
  125341. +
  125342. + test_status() or die;
  125343. +}
  125344. +
  125345. +test_main();
  125346. +0;
  125347. diff -Nur linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/test_sysfs.pl linux-rpi/drivers/usb/host/dwc_otg/test/test_sysfs.pl
  125348. --- linux-4.1.13.orig/drivers/usb/host/dwc_otg/test/test_sysfs.pl 1970-01-01 01:00:00.000000000 +0100
  125349. +++ linux-rpi/drivers/usb/host/dwc_otg/test/test_sysfs.pl 2015-11-29 09:42:39.923098428 +0100
  125350. @@ -0,0 +1,193 @@
  125351. +#!/usr/bin/perl -w
  125352. +#
  125353. +# Run this program on the integrator
  125354. +# - Tests select sysfs attributes.
  125355. +# - Todo ... test more attributes, hnp/srp, buspower/bussuspend, etc.
  125356. +# -----------------------------------------------------------------------------
  125357. +use strict;
  125358. +use dwc_otg_test;
  125359. +
  125360. +check_arch() or die;
  125361. +
  125362. +#
  125363. +#
  125364. +sub test {
  125365. + my ($attr,$expected) = @_;
  125366. + my $string = get($attr);
  125367. +
  125368. + if ($string eq $expected) {
  125369. + printf("$attr = $string, okay\n");
  125370. + }
  125371. + else {
  125372. + warn "ERROR: value of $attr != $expected, $string\n";
  125373. + $errors ++;
  125374. + }
  125375. +}
  125376. +
  125377. +#
  125378. +#
  125379. +sub set {
  125380. + my ($reg, $value) = @_;
  125381. + system "echo $value > $sysfsdir/$reg";
  125382. +}
  125383. +
  125384. +#
  125385. +#
  125386. +sub get {
  125387. + my $attr = shift;
  125388. + my $string = `cat $sysfsdir/$attr`;
  125389. + chomp $string;
  125390. + if ($string =~ m/\s\=\s/) {
  125391. + my $tmp;
  125392. + ($tmp, $string) = split /\s=\s/, $string;
  125393. + }
  125394. + return $string;
  125395. +}
  125396. +
  125397. +#
  125398. +#
  125399. +sub test_main {
  125400. + print("\nTesting Sysfs Attributes\n");
  125401. +
  125402. + load_module("") or die;
  125403. +
  125404. + # Test initial values of regoffset/regvalue/guid/gsnpsid
  125405. + print("\nTesting Default Values\n");
  125406. +
  125407. + test("regoffset", "0xffffffff");
  125408. + test("regvalue", "invalid offset");
  125409. + test("guid", "0x12345678"); # this will fail if it has been changed
  125410. + test("gsnpsid", "0x4f54200a");
  125411. +
  125412. + # Test operation of regoffset/regvalue
  125413. + print("\nTesting regoffset\n");
  125414. + set('regoffset', '5a5a5a5a');
  125415. + test("regoffset", "0xffffffff");
  125416. +
  125417. + set('regoffset', '0');
  125418. + test("regoffset", "0x00000000");
  125419. +
  125420. + set('regoffset', '40000');
  125421. + test("regoffset", "0x00000000");
  125422. +
  125423. + set('regoffset', '3ffff');
  125424. + test("regoffset", "0x0003ffff");
  125425. +
  125426. + set('regoffset', '1');
  125427. + test("regoffset", "0x00000001");
  125428. +
  125429. + print("\nTesting regvalue\n");
  125430. + set('regoffset', '3c');
  125431. + test("regvalue", "0x12345678");
  125432. + set('regvalue', '5a5a5a5a');
  125433. + test("regvalue", "0x5a5a5a5a");
  125434. + set('regvalue','a5a5a5a5');
  125435. + test("regvalue", "0xa5a5a5a5");
  125436. + set('guid','12345678');
  125437. +
  125438. + # Test HNP Capable
  125439. + print("\nTesting HNP Capable bit\n");
  125440. + set('hnpcapable', '1');
  125441. + test("hnpcapable", "0x1");
  125442. + set('hnpcapable','0');
  125443. + test("hnpcapable", "0x0");
  125444. +
  125445. + set('regoffset','0c');
  125446. +
  125447. + my $old = get('gusbcfg');
  125448. + print("setting hnpcapable\n");
  125449. + set('hnpcapable', '1');
  125450. + test("hnpcapable", "0x1");
  125451. + test('gusbcfg', sprintf "0x%08x", (oct ($old) | (1<<9)));
  125452. + test('regvalue', sprintf "0x%08x", (oct ($old) | (1<<9)));
  125453. +
  125454. + $old = get('gusbcfg');
  125455. + print("clearing hnpcapable\n");
  125456. + set('hnpcapable', '0');
  125457. + test("hnpcapable", "0x0");
  125458. + test ('gusbcfg', sprintf "0x%08x", oct ($old) & (~(1<<9)));
  125459. + test ('regvalue', sprintf "0x%08x", oct ($old) & (~(1<<9)));
  125460. +
  125461. + # Test SRP Capable
  125462. + print("\nTesting SRP Capable bit\n");
  125463. + set('srpcapable', '1');
  125464. + test("srpcapable", "0x1");
  125465. + set('srpcapable','0');
  125466. + test("srpcapable", "0x0");
  125467. +
  125468. + set('regoffset','0c');
  125469. +
  125470. + $old = get('gusbcfg');
  125471. + print("setting srpcapable\n");
  125472. + set('srpcapable', '1');
  125473. + test("srpcapable", "0x1");
  125474. + test('gusbcfg', sprintf "0x%08x", (oct ($old) | (1<<8)));
  125475. + test('regvalue', sprintf "0x%08x", (oct ($old) | (1<<8)));
  125476. +
  125477. + $old = get('gusbcfg');
  125478. + print("clearing srpcapable\n");
  125479. + set('srpcapable', '0');
  125480. + test("srpcapable", "0x0");
  125481. + test('gusbcfg', sprintf "0x%08x", oct ($old) & (~(1<<8)));
  125482. + test('regvalue', sprintf "0x%08x", oct ($old) & (~(1<<8)));
  125483. +
  125484. + # Test GGPIO
  125485. + print("\nTesting GGPIO\n");
  125486. + set('ggpio','5a5a5a5a');
  125487. + test('ggpio','0x5a5a0000');
  125488. + set('ggpio','a5a5a5a5');
  125489. + test('ggpio','0xa5a50000');
  125490. + set('ggpio','11110000');
  125491. + test('ggpio','0x11110000');
  125492. + set('ggpio','00001111');
  125493. + test('ggpio','0x00000000');
  125494. +
  125495. + # Test DEVSPEED
  125496. + print("\nTesting DEVSPEED\n");
  125497. + set('regoffset','800');
  125498. + $old = get('regvalue');
  125499. + set('devspeed','0');
  125500. + test('devspeed','0x0');
  125501. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3)));
  125502. + set('devspeed','1');
  125503. + test('devspeed','0x1');
  125504. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3) | 1));
  125505. + set('devspeed','2');
  125506. + test('devspeed','0x2');
  125507. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3) | 2));
  125508. + set('devspeed','3');
  125509. + test('devspeed','0x3');
  125510. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3) | 3));
  125511. + set('devspeed','4');
  125512. + test('devspeed','0x0');
  125513. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3)));
  125514. + set('devspeed','5');
  125515. + test('devspeed','0x1');
  125516. + test('regvalue',sprintf("0x%08x", oct($old) & ~(0x3) | 1));
  125517. +
  125518. +
  125519. + # mode Returns the current mode:0 for device mode1 for host mode Read
  125520. + # hnp Initiate the Host Negotiation Protocol. Read returns the status. Read/Write
  125521. + # srp Initiate the Session Request Protocol. Read returns the status. Read/Write
  125522. + # buspower Get or Set the Power State of the bus (0 - Off or 1 - On) Read/Write
  125523. + # bussuspend Suspend the USB bus. Read/Write
  125524. + # busconnected Get the connection status of the bus Read
  125525. +
  125526. + # gotgctl Get or set the Core Control Status Register. Read/Write
  125527. + ## gusbcfg Get or set the Core USB Configuration Register Read/Write
  125528. + # grxfsiz Get or set the Receive FIFO Size Register Read/Write
  125529. + # gnptxfsiz Get or set the non-periodic Transmit Size Register Read/Write
  125530. + # gpvndctl Get or set the PHY Vendor Control Register Read/Write
  125531. + ## ggpio Get the value in the lower 16-bits of the General Purpose IO Register or Set the upper 16 bits. Read/Write
  125532. + ## guid Get or set the value of the User ID Register Read/Write
  125533. + ## gsnpsid Get the value of the Synopsys ID Regester Read
  125534. + ## devspeed Get or set the device speed setting in the DCFG register Read/Write
  125535. + # enumspeed Gets the device enumeration Speed. Read
  125536. + # hptxfsiz Get the value of the Host Periodic Transmit FIFO Read
  125537. + # hprt0 Get or Set the value in the Host Port Control and Status Register Read/Write
  125538. +
  125539. + test_status("TEST NYI") or die;
  125540. +}
  125541. +
  125542. +test_main();
  125543. +0;
  125544. diff -Nur linux-4.1.13.orig/drivers/usb/host/Kconfig linux-rpi/drivers/usb/host/Kconfig
  125545. --- linux-4.1.13.orig/drivers/usb/host/Kconfig 2015-11-09 23:34:10.000000000 +0100
  125546. +++ linux-rpi/drivers/usb/host/Kconfig 2015-11-29 09:42:39.915098960 +0100
  125547. @@ -738,6 +738,19 @@
  125548. To compile this driver a module, choose M here: the module
  125549. will be called "hwa-hc".
  125550. +config USB_DWCOTG
  125551. + tristate "Synopsis DWC host support"
  125552. + depends on USB
  125553. + help
  125554. + The Synopsis DWC controller is a dual-role
  125555. + host/peripheral/OTG ("On The Go") USB controllers.
  125556. +
  125557. + Enable this option to support this IP in host controller mode.
  125558. + If unsure, say N.
  125559. +
  125560. + To compile this driver as a module, choose M here: the
  125561. + modules built will be called dwc_otg and dwc_common_port.
  125562. +
  125563. config USB_IMX21_HCD
  125564. tristate "i.MX21 HCD support"
  125565. depends on ARM && ARCH_MXC
  125566. diff -Nur linux-4.1.13.orig/drivers/usb/host/Makefile linux-rpi/drivers/usb/host/Makefile
  125567. --- linux-4.1.13.orig/drivers/usb/host/Makefile 2015-11-09 23:34:10.000000000 +0100
  125568. +++ linux-rpi/drivers/usb/host/Makefile 2015-11-29 09:42:39.915098960 +0100
  125569. @@ -68,6 +68,8 @@
  125570. obj-$(CONFIG_USB_U132_HCD) += u132-hcd.o
  125571. obj-$(CONFIG_USB_R8A66597_HCD) += r8a66597-hcd.o
  125572. obj-$(CONFIG_USB_HWA_HCD) += hwa-hc.o
  125573. +
  125574. +obj-$(CONFIG_USB_DWCOTG) += dwc_otg/ dwc_common_port/
  125575. obj-$(CONFIG_USB_IMX21_HCD) += imx21-hcd.o
  125576. obj-$(CONFIG_USB_FSL_MPH_DR_OF) += fsl-mph-dr-of.o
  125577. obj-$(CONFIG_USB_HCD_BCMA) += bcma-hcd.o
  125578. diff -Nur linux-4.1.13.orig/drivers/usb/Makefile linux-rpi/drivers/usb/Makefile
  125579. --- linux-4.1.13.orig/drivers/usb/Makefile 2015-11-09 23:34:10.000000000 +0100
  125580. +++ linux-rpi/drivers/usb/Makefile 2015-11-29 09:42:39.847103478 +0100
  125581. @@ -7,6 +7,7 @@
  125582. obj-$(CONFIG_USB) += core/
  125583. obj-$(CONFIG_USB_SUPPORT) += phy/
  125584. +obj-$(CONFIG_USB_DWCOTG) += host/
  125585. obj-$(CONFIG_USB_DWC3) += dwc3/
  125586. obj-$(CONFIG_USB_DWC2) += dwc2/
  125587. obj-$(CONFIG_USB_ISP1760) += isp1760/
  125588. diff -Nur linux-4.1.13.orig/drivers/video/backlight/Kconfig linux-rpi/drivers/video/backlight/Kconfig
  125589. --- linux-4.1.13.orig/drivers/video/backlight/Kconfig 2015-11-09 23:34:10.000000000 +0100
  125590. +++ linux-rpi/drivers/video/backlight/Kconfig 2015-11-29 09:42:40.023091784 +0100
  125591. @@ -263,6 +263,12 @@
  125592. If you have a LCD backlight adjustable by PWM, say Y to enable
  125593. this driver.
  125594. +config BACKLIGHT_RPI
  125595. + tristate "Raspberry Pi display firmware driven backlight"
  125596. + help
  125597. + If you have the Raspberry Pi DSI touchscreen display, say Y to
  125598. + enable the mailbox-controlled backlight driver.
  125599. +
  125600. config BACKLIGHT_DA903X
  125601. tristate "Backlight Driver for DA9030/DA9034 using WLED"
  125602. depends on PMIC_DA903X
  125603. diff -Nur linux-4.1.13.orig/drivers/video/backlight/Makefile linux-rpi/drivers/video/backlight/Makefile
  125604. --- linux-4.1.13.orig/drivers/video/backlight/Makefile 2015-11-09 23:34:10.000000000 +0100
  125605. +++ linux-rpi/drivers/video/backlight/Makefile 2015-11-29 09:42:40.023091784 +0100
  125606. @@ -49,6 +49,7 @@
  125607. obj-$(CONFIG_BACKLIGHT_PANDORA) += pandora_bl.o
  125608. obj-$(CONFIG_BACKLIGHT_PCF50633) += pcf50633-backlight.o
  125609. obj-$(CONFIG_BACKLIGHT_PWM) += pwm_bl.o
  125610. +obj-$(CONFIG_BACKLIGHT_RPI) += rpi_backlight.o
  125611. obj-$(CONFIG_BACKLIGHT_SAHARA) += kb3886_bl.o
  125612. obj-$(CONFIG_BACKLIGHT_SKY81452) += sky81452-backlight.o
  125613. obj-$(CONFIG_BACKLIGHT_TOSA) += tosa_bl.o
  125614. diff -Nur linux-4.1.13.orig/drivers/video/backlight/rpi_backlight.c linux-rpi/drivers/video/backlight/rpi_backlight.c
  125615. --- linux-4.1.13.orig/drivers/video/backlight/rpi_backlight.c 1970-01-01 01:00:00.000000000 +0100
  125616. +++ linux-rpi/drivers/video/backlight/rpi_backlight.c 2015-11-29 09:42:40.027091518 +0100
  125617. @@ -0,0 +1,119 @@
  125618. +/*
  125619. + * rpi_bl.c - Backlight controller through VPU
  125620. + *
  125621. + * This program is free software; you can redistribute it and/or modify
  125622. + * it under the terms of the GNU General Public License version 2 as
  125623. + * published by the Free Software Foundation.
  125624. + */
  125625. +
  125626. +#include <linux/backlight.h>
  125627. +#include <linux/err.h>
  125628. +#include <linux/fb.h>
  125629. +#include <linux/gpio.h>
  125630. +#include <linux/init.h>
  125631. +#include <linux/kernel.h>
  125632. +#include <linux/module.h>
  125633. +#include <linux/of.h>
  125634. +#include <linux/of_gpio.h>
  125635. +#include <linux/platform_device.h>
  125636. +#include <linux/slab.h>
  125637. +#include <soc/bcm2835/raspberrypi-firmware.h>
  125638. +
  125639. +struct rpi_backlight {
  125640. + struct device *dev;
  125641. + struct device *fbdev;
  125642. + struct rpi_firmware *fw;
  125643. +};
  125644. +
  125645. +static int rpi_backlight_update_status(struct backlight_device *bl)
  125646. +{
  125647. + struct rpi_backlight *gbl = bl_get_data(bl);
  125648. + int brightness = bl->props.brightness;
  125649. + int ret;
  125650. +
  125651. + if (bl->props.power != FB_BLANK_UNBLANK ||
  125652. + bl->props.fb_blank != FB_BLANK_UNBLANK ||
  125653. + bl->props.state & (BL_CORE_SUSPENDED | BL_CORE_FBBLANK))
  125654. + brightness = 0;
  125655. +
  125656. + ret = rpi_firmware_property(gbl->fw,
  125657. + RPI_FIRMWARE_FRAMEBUFFER_SET_BACKLIGHT,
  125658. + &brightness, sizeof(brightness));
  125659. + if (ret) {
  125660. + dev_err(gbl->dev, "Failed to set brightness\n");
  125661. + return ret;
  125662. + }
  125663. +
  125664. + if (brightness < 0) {
  125665. + dev_err(gbl->dev, "Backlight change failed\n");
  125666. + return -EAGAIN;
  125667. + }
  125668. +
  125669. + return 0;
  125670. +}
  125671. +
  125672. +static const struct backlight_ops rpi_backlight_ops = {
  125673. + .options = BL_CORE_SUSPENDRESUME,
  125674. + .update_status = rpi_backlight_update_status,
  125675. +};
  125676. +
  125677. +static int rpi_backlight_probe(struct platform_device *pdev)
  125678. +{
  125679. + struct backlight_properties props;
  125680. + struct backlight_device *bl;
  125681. + struct rpi_backlight *gbl;
  125682. + struct device_node *fw_node;
  125683. +
  125684. + gbl = devm_kzalloc(&pdev->dev, sizeof(*gbl), GFP_KERNEL);
  125685. + if (gbl == NULL)
  125686. + return -ENOMEM;
  125687. +
  125688. + gbl->dev = &pdev->dev;
  125689. +
  125690. + fw_node = of_parse_phandle(pdev->dev.of_node, "firmware", 0);
  125691. + if (!fw_node) {
  125692. + dev_err(&pdev->dev, "Missing firmware node\n");
  125693. + return -ENOENT;
  125694. + }
  125695. +
  125696. + gbl->fw = rpi_firmware_get(fw_node);
  125697. + if (!gbl->fw)
  125698. + return -EPROBE_DEFER;
  125699. +
  125700. + memset(&props, 0, sizeof(props));
  125701. + props.type = BACKLIGHT_RAW;
  125702. + props.max_brightness = 255;
  125703. + bl = devm_backlight_device_register(&pdev->dev, dev_name(&pdev->dev),
  125704. + &pdev->dev, gbl, &rpi_backlight_ops,
  125705. + &props);
  125706. + if (IS_ERR(bl)) {
  125707. + dev_err(&pdev->dev, "failed to register backlight\n");
  125708. + return PTR_ERR(bl);
  125709. + }
  125710. +
  125711. + bl->props.brightness = 255;
  125712. + backlight_update_status(bl);
  125713. +
  125714. + platform_set_drvdata(pdev, bl);
  125715. + return 0;
  125716. +}
  125717. +
  125718. +static const struct of_device_id rpi_backlight_of_match[] = {
  125719. + { .compatible = "raspberrypi,rpi-backlight" },
  125720. + { /* sentinel */ }
  125721. +};
  125722. +MODULE_DEVICE_TABLE(of, rpi_backlight_of_match);
  125723. +
  125724. +static struct platform_driver rpi_backlight_driver = {
  125725. + .driver = {
  125726. + .name = "rpi-backlight",
  125727. + .of_match_table = of_match_ptr(rpi_backlight_of_match),
  125728. + },
  125729. + .probe = rpi_backlight_probe,
  125730. +};
  125731. +
  125732. +module_platform_driver(rpi_backlight_driver);
  125733. +
  125734. +MODULE_AUTHOR("Gordon Hollingworth <gordon@raspberrypi.org>");
  125735. +MODULE_DESCRIPTION("Raspberry Pi mailbox based Backlight Driver");
  125736. +MODULE_LICENSE("GPL");
  125737. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/bcm2708_fb.c linux-rpi/drivers/video/fbdev/bcm2708_fb.c
  125738. --- linux-4.1.13.orig/drivers/video/fbdev/bcm2708_fb.c 1970-01-01 01:00:00.000000000 +0100
  125739. +++ linux-rpi/drivers/video/fbdev/bcm2708_fb.c 2015-11-29 09:42:40.071088595 +0100
  125740. @@ -0,0 +1,847 @@
  125741. +/*
  125742. + * linux/drivers/video/bcm2708_fb.c
  125743. + *
  125744. + * Copyright (C) 2010 Broadcom
  125745. + *
  125746. + * This file is subject to the terms and conditions of the GNU General Public
  125747. + * License. See the file COPYING in the main directory of this archive
  125748. + * for more details.
  125749. + *
  125750. + * Broadcom simple framebuffer driver
  125751. + *
  125752. + * This file is derived from cirrusfb.c
  125753. + * Copyright 1999-2001 Jeff Garzik <jgarzik@pobox.com>
  125754. + *
  125755. + */
  125756. +#include <linux/module.h>
  125757. +#include <linux/kernel.h>
  125758. +#include <linux/errno.h>
  125759. +#include <linux/string.h>
  125760. +#include <linux/slab.h>
  125761. +#include <linux/mm.h>
  125762. +#include <linux/fb.h>
  125763. +#include <linux/init.h>
  125764. +#include <linux/interrupt.h>
  125765. +#include <linux/ioport.h>
  125766. +#include <linux/list.h>
  125767. +#include <linux/platform_data/dma-bcm2708.h>
  125768. +#include <linux/platform_device.h>
  125769. +#include <linux/clk.h>
  125770. +#include <linux/printk.h>
  125771. +#include <linux/console.h>
  125772. +#include <linux/debugfs.h>
  125773. +#include <asm/sizes.h>
  125774. +#include <linux/io.h>
  125775. +#include <linux/dma-mapping.h>
  125776. +#include <soc/bcm2835/raspberrypi-firmware.h>
  125777. +
  125778. +//#define BCM2708_FB_DEBUG
  125779. +#define MODULE_NAME "bcm2708_fb"
  125780. +
  125781. +#ifdef BCM2708_FB_DEBUG
  125782. +#define print_debug(fmt,...) pr_debug("%s:%s:%d: "fmt, MODULE_NAME, __func__, __LINE__, ##__VA_ARGS__)
  125783. +#else
  125784. +#define print_debug(fmt,...)
  125785. +#endif
  125786. +
  125787. +/* This is limited to 16 characters when displayed by X startup */
  125788. +static const char *bcm2708_name = "BCM2708 FB";
  125789. +
  125790. +#define DRIVER_NAME "bcm2708_fb"
  125791. +
  125792. +static int fbwidth = 800; /* module parameter */
  125793. +static int fbheight = 480; /* module parameter */
  125794. +static int fbdepth = 16; /* module parameter */
  125795. +static int fbswap = 0; /* module parameter */
  125796. +
  125797. +static u32 dma_busy_wait_threshold = 1<<15;
  125798. +module_param(dma_busy_wait_threshold, int, 0644);
  125799. +MODULE_PARM_DESC(dma_busy_wait_threshold, "Busy-wait for DMA completion below this area");
  125800. +
  125801. +struct fb_alloc_tags {
  125802. + struct rpi_firmware_property_tag_header tag1;
  125803. + u32 xres, yres;
  125804. + struct rpi_firmware_property_tag_header tag2;
  125805. + u32 xres_virtual, yres_virtual;
  125806. + struct rpi_firmware_property_tag_header tag3;
  125807. + u32 bpp;
  125808. + struct rpi_firmware_property_tag_header tag4;
  125809. + u32 xoffset, yoffset;
  125810. + struct rpi_firmware_property_tag_header tag5;
  125811. + u32 base, screen_size;
  125812. + struct rpi_firmware_property_tag_header tag6;
  125813. + u32 pitch;
  125814. +};
  125815. +
  125816. +struct bcm2708_fb_stats {
  125817. + struct debugfs_regset32 regset;
  125818. + u32 dma_copies;
  125819. + u32 dma_irqs;
  125820. +};
  125821. +
  125822. +struct bcm2708_fb {
  125823. + struct fb_info fb;
  125824. + struct platform_device *dev;
  125825. + struct rpi_firmware *fw;
  125826. + u32 cmap[16];
  125827. + u32 gpu_cmap[256];
  125828. + int dma_chan;
  125829. + int dma_irq;
  125830. + void __iomem *dma_chan_base;
  125831. + void *cb_base; /* DMA control blocks */
  125832. + dma_addr_t cb_handle;
  125833. + struct dentry *debugfs_dir;
  125834. + wait_queue_head_t dma_waitq;
  125835. + struct bcm2708_fb_stats stats;
  125836. + unsigned long fb_bus_address;
  125837. +};
  125838. +
  125839. +#define to_bcm2708(info) container_of(info, struct bcm2708_fb, fb)
  125840. +
  125841. +static void bcm2708_fb_debugfs_deinit(struct bcm2708_fb *fb)
  125842. +{
  125843. + debugfs_remove_recursive(fb->debugfs_dir);
  125844. + fb->debugfs_dir = NULL;
  125845. +}
  125846. +
  125847. +static int bcm2708_fb_debugfs_init(struct bcm2708_fb *fb)
  125848. +{
  125849. + static struct debugfs_reg32 stats_registers[] = {
  125850. + {
  125851. + "dma_copies",
  125852. + offsetof(struct bcm2708_fb_stats, dma_copies)
  125853. + },
  125854. + {
  125855. + "dma_irqs",
  125856. + offsetof(struct bcm2708_fb_stats, dma_irqs)
  125857. + },
  125858. + };
  125859. +
  125860. + fb->debugfs_dir = debugfs_create_dir(DRIVER_NAME, NULL);
  125861. + if (!fb->debugfs_dir) {
  125862. + pr_warn("%s: could not create debugfs entry\n",
  125863. + __func__);
  125864. + return -EFAULT;
  125865. + }
  125866. +
  125867. + fb->stats.regset.regs = stats_registers;
  125868. + fb->stats.regset.nregs = ARRAY_SIZE(stats_registers);
  125869. + fb->stats.regset.base = &fb->stats;
  125870. +
  125871. + if (!debugfs_create_regset32(
  125872. + "stats", 0444, fb->debugfs_dir, &fb->stats.regset)) {
  125873. + pr_warn("%s: could not create statistics registers\n",
  125874. + __func__);
  125875. + goto fail;
  125876. + }
  125877. + return 0;
  125878. +
  125879. +fail:
  125880. + bcm2708_fb_debugfs_deinit(fb);
  125881. + return -EFAULT;
  125882. +}
  125883. +
  125884. +static int bcm2708_fb_set_bitfields(struct fb_var_screeninfo *var)
  125885. +{
  125886. + int ret = 0;
  125887. +
  125888. + memset(&var->transp, 0, sizeof(var->transp));
  125889. +
  125890. + var->red.msb_right = 0;
  125891. + var->green.msb_right = 0;
  125892. + var->blue.msb_right = 0;
  125893. +
  125894. + switch (var->bits_per_pixel) {
  125895. + case 1:
  125896. + case 2:
  125897. + case 4:
  125898. + case 8:
  125899. + var->red.length = var->bits_per_pixel;
  125900. + var->red.offset = 0;
  125901. + var->green.length = var->bits_per_pixel;
  125902. + var->green.offset = 0;
  125903. + var->blue.length = var->bits_per_pixel;
  125904. + var->blue.offset = 0;
  125905. + break;
  125906. + case 16:
  125907. + var->red.length = 5;
  125908. + var->blue.length = 5;
  125909. + /*
  125910. + * Green length can be 5 or 6 depending whether
  125911. + * we're operating in RGB555 or RGB565 mode.
  125912. + */
  125913. + if (var->green.length != 5 && var->green.length != 6)
  125914. + var->green.length = 6;
  125915. + break;
  125916. + case 24:
  125917. + var->red.length = 8;
  125918. + var->blue.length = 8;
  125919. + var->green.length = 8;
  125920. + break;
  125921. + case 32:
  125922. + var->red.length = 8;
  125923. + var->green.length = 8;
  125924. + var->blue.length = 8;
  125925. + var->transp.length = 8;
  125926. + break;
  125927. + default:
  125928. + ret = -EINVAL;
  125929. + break;
  125930. + }
  125931. +
  125932. + /*
  125933. + * >= 16bpp displays have separate colour component bitfields
  125934. + * encoded in the pixel data. Calculate their position from
  125935. + * the bitfield length defined above.
  125936. + */
  125937. + if (ret == 0 && var->bits_per_pixel >= 24 && fbswap) {
  125938. + var->blue.offset = 0;
  125939. + var->green.offset = var->blue.offset + var->blue.length;
  125940. + var->red.offset = var->green.offset + var->green.length;
  125941. + var->transp.offset = var->red.offset + var->red.length;
  125942. + } else if (ret == 0 && var->bits_per_pixel >= 24) {
  125943. + var->red.offset = 0;
  125944. + var->green.offset = var->red.offset + var->red.length;
  125945. + var->blue.offset = var->green.offset + var->green.length;
  125946. + var->transp.offset = var->blue.offset + var->blue.length;
  125947. + } else if (ret == 0 && var->bits_per_pixel >= 16) {
  125948. + var->blue.offset = 0;
  125949. + var->green.offset = var->blue.offset + var->blue.length;
  125950. + var->red.offset = var->green.offset + var->green.length;
  125951. + var->transp.offset = var->red.offset + var->red.length;
  125952. + }
  125953. +
  125954. + return ret;
  125955. +}
  125956. +
  125957. +static int bcm2708_fb_check_var(struct fb_var_screeninfo *var,
  125958. + struct fb_info *info)
  125959. +{
  125960. + /* info input, var output */
  125961. + int yres;
  125962. +
  125963. + /* info input, var output */
  125964. + print_debug("bcm2708_fb_check_var info(%p) %dx%d (%dx%d), %d, %d\n", info,
  125965. + info->var.xres, info->var.yres, info->var.xres_virtual,
  125966. + info->var.yres_virtual, (int)info->screen_size,
  125967. + info->var.bits_per_pixel);
  125968. + print_debug("bcm2708_fb_check_var var(%p) %dx%d (%dx%d), %d\n", var,
  125969. + var->xres, var->yres, var->xres_virtual, var->yres_virtual,
  125970. + var->bits_per_pixel);
  125971. +
  125972. + if (!var->bits_per_pixel)
  125973. + var->bits_per_pixel = 16;
  125974. +
  125975. + if (bcm2708_fb_set_bitfields(var) != 0) {
  125976. + pr_err("bcm2708_fb_check_var: invalid bits_per_pixel %d\n",
  125977. + var->bits_per_pixel);
  125978. + return -EINVAL;
  125979. + }
  125980. +
  125981. +
  125982. + if (var->xres_virtual < var->xres)
  125983. + var->xres_virtual = var->xres;
  125984. + /* use highest possible virtual resolution */
  125985. + if (var->yres_virtual == -1) {
  125986. + var->yres_virtual = 480;
  125987. +
  125988. + pr_err
  125989. + ("bcm2708_fb_check_var: virtual resolution set to maximum of %dx%d\n",
  125990. + var->xres_virtual, var->yres_virtual);
  125991. + }
  125992. + if (var->yres_virtual < var->yres)
  125993. + var->yres_virtual = var->yres;
  125994. +
  125995. + if (var->xoffset < 0)
  125996. + var->xoffset = 0;
  125997. + if (var->yoffset < 0)
  125998. + var->yoffset = 0;
  125999. +
  126000. + /* truncate xoffset and yoffset to maximum if too high */
  126001. + if (var->xoffset > var->xres_virtual - var->xres)
  126002. + var->xoffset = var->xres_virtual - var->xres - 1;
  126003. + if (var->yoffset > var->yres_virtual - var->yres)
  126004. + var->yoffset = var->yres_virtual - var->yres - 1;
  126005. +
  126006. + return 0;
  126007. +}
  126008. +
  126009. +static int bcm2708_fb_set_par(struct fb_info *info)
  126010. +{
  126011. + struct bcm2708_fb *fb = to_bcm2708(info);
  126012. + struct fb_alloc_tags fbinfo = {
  126013. + .tag1 = { RPI_FIRMWARE_FRAMEBUFFER_SET_PHYSICAL_WIDTH_HEIGHT,
  126014. + 8, 0, },
  126015. + .xres = info->var.xres,
  126016. + .yres = info->var.yres,
  126017. + .tag2 = { RPI_FIRMWARE_FRAMEBUFFER_SET_VIRTUAL_WIDTH_HEIGHT,
  126018. + 8, 0, },
  126019. + .xres_virtual = info->var.xres_virtual,
  126020. + .yres_virtual = info->var.yres_virtual,
  126021. + .tag3 = { RPI_FIRMWARE_FRAMEBUFFER_SET_DEPTH, 4, 0 },
  126022. + .bpp = info->var.bits_per_pixel,
  126023. + .tag4 = { RPI_FIRMWARE_FRAMEBUFFER_SET_VIRTUAL_OFFSET, 8, 0 },
  126024. + .xoffset = info->var.xoffset,
  126025. + .yoffset = info->var.yoffset,
  126026. + .tag5 = { RPI_FIRMWARE_FRAMEBUFFER_ALLOCATE, 8, 0 },
  126027. + .base = 0,
  126028. + .screen_size = 0,
  126029. + .tag6 = { RPI_FIRMWARE_FRAMEBUFFER_GET_PITCH, 4, 0 },
  126030. + .pitch = 0,
  126031. + };
  126032. + int ret;
  126033. +
  126034. + print_debug("bcm2708_fb_set_par info(%p) %dx%d (%dx%d), %d, %d\n", info,
  126035. + info->var.xres, info->var.yres, info->var.xres_virtual,
  126036. + info->var.yres_virtual, (int)info->screen_size,
  126037. + info->var.bits_per_pixel);
  126038. +
  126039. + ret = rpi_firmware_property_list(fb->fw, &fbinfo, sizeof(fbinfo));
  126040. + if (ret) {
  126041. + dev_err(info->device,
  126042. + "Failed to allocate GPU framebuffer (%d)\n", ret);
  126043. + return ret;
  126044. + }
  126045. +
  126046. + if (info->var.bits_per_pixel <= 8)
  126047. + fb->fb.fix.visual = FB_VISUAL_PSEUDOCOLOR;
  126048. + else
  126049. + fb->fb.fix.visual = FB_VISUAL_TRUECOLOR;
  126050. +
  126051. + fb->fb.fix.line_length = fbinfo.pitch;
  126052. + fbinfo.base |= 0x40000000;
  126053. + fb->fb_bus_address = fbinfo.base;
  126054. + fbinfo.base &= ~0xc0000000;
  126055. + fb->fb.fix.smem_start = fbinfo.base;
  126056. + fb->fb.fix.smem_len = fbinfo.pitch * fbinfo.yres_virtual;
  126057. + fb->fb.screen_size = fbinfo.screen_size;
  126058. + if (fb->fb.screen_base)
  126059. + iounmap(fb->fb.screen_base);
  126060. + fb->fb.screen_base = ioremap_wc(fbinfo.base, fb->fb.screen_size);
  126061. + if (!fb->fb.screen_base) {
  126062. + /* the console may currently be locked */
  126063. + console_trylock();
  126064. + console_unlock();
  126065. + dev_err(info->device, "Failed to set screen_base\n");
  126066. + return -ENOMEM;
  126067. + }
  126068. +
  126069. + print_debug
  126070. + ("BCM2708FB: start = %p,%p width=%d, height=%d, bpp=%d, pitch=%d size=%d\n",
  126071. + (void *)fb->fb.screen_base, (void *)fb->fb_bus_address,
  126072. + fbinfo.xres, fbinfo.yres, fbinfo.bpp,
  126073. + fbinfo.pitch, (int)fb->fb.screen_size);
  126074. +
  126075. + return 0;
  126076. +}
  126077. +
  126078. +static inline u32 convert_bitfield(int val, struct fb_bitfield *bf)
  126079. +{
  126080. + unsigned int mask = (1 << bf->length) - 1;
  126081. +
  126082. + return (val >> (16 - bf->length) & mask) << bf->offset;
  126083. +}
  126084. +
  126085. +
  126086. +static int bcm2708_fb_setcolreg(unsigned int regno, unsigned int red,
  126087. + unsigned int green, unsigned int blue,
  126088. + unsigned int transp, struct fb_info *info)
  126089. +{
  126090. + struct bcm2708_fb *fb = to_bcm2708(info);
  126091. +
  126092. + /*print_debug("BCM2708FB: setcolreg %d:(%02x,%02x,%02x,%02x) %x\n", regno, red, green, blue, transp, fb->fb.fix.visual);*/
  126093. + if (fb->fb.var.bits_per_pixel <= 8) {
  126094. + if (regno < 256) {
  126095. + /* blue [23:16], green [15:8], red [7:0] */
  126096. + fb->gpu_cmap[regno] = ((red >> 8) & 0xff) << 0 |
  126097. + ((green >> 8) & 0xff) << 8 |
  126098. + ((blue >> 8) & 0xff) << 16;
  126099. + }
  126100. + /* Hack: we need to tell GPU the palette has changed, but currently bcm2708_fb_set_par takes noticable time when called for every (256) colour */
  126101. + /* So just call it for what looks like the last colour in a list for now. */
  126102. + if (regno == 15 || regno == 255) {
  126103. + struct packet {
  126104. + u32 offset;
  126105. + u32 length;
  126106. + u32 cmap[256];
  126107. + } *packet;
  126108. + int ret;
  126109. +
  126110. + packet = kmalloc(sizeof(*packet), GFP_KERNEL);
  126111. + if (!packet)
  126112. + return -ENOMEM;
  126113. + packet->offset = 0;
  126114. + packet->length = regno + 1;
  126115. + memcpy(packet->cmap, fb->gpu_cmap, sizeof(packet->cmap));
  126116. + ret = rpi_firmware_property(fb->fw, RPI_FIRMWARE_FRAMEBUFFER_SET_PALETTE,
  126117. + packet, (2 + packet->length) * sizeof(u32));
  126118. + if (ret || packet->offset)
  126119. + dev_err(info->device, "Failed to set palette (%d,%u)\n",
  126120. + ret, packet->offset);
  126121. + kfree(packet);
  126122. + }
  126123. + } else if (regno < 16) {
  126124. + fb->cmap[regno] = convert_bitfield(transp, &fb->fb.var.transp) |
  126125. + convert_bitfield(blue, &fb->fb.var.blue) |
  126126. + convert_bitfield(green, &fb->fb.var.green) |
  126127. + convert_bitfield(red, &fb->fb.var.red);
  126128. + }
  126129. + return regno > 255;
  126130. +}
  126131. +
  126132. +static int bcm2708_fb_blank(int blank_mode, struct fb_info *info)
  126133. +{
  126134. + struct bcm2708_fb *fb = to_bcm2708(info);
  126135. + u32 value;
  126136. + int ret;
  126137. +
  126138. + switch (blank_mode) {
  126139. + case FB_BLANK_UNBLANK:
  126140. + value = 0;
  126141. + break;
  126142. + case FB_BLANK_NORMAL:
  126143. + case FB_BLANK_VSYNC_SUSPEND:
  126144. + case FB_BLANK_HSYNC_SUSPEND:
  126145. + case FB_BLANK_POWERDOWN:
  126146. + value = 1;
  126147. + break;
  126148. + default:
  126149. + return -EINVAL;
  126150. + }
  126151. +
  126152. + ret = rpi_firmware_property(fb->fw, RPI_FIRMWARE_FRAMEBUFFER_BLANK,
  126153. + &value, sizeof(value));
  126154. + if (ret)
  126155. + dev_err(info->device, "bcm2708_fb_blank(%d) failed: %d\n",
  126156. + blank_mode, ret);
  126157. +
  126158. + return ret;
  126159. +}
  126160. +
  126161. +static int bcm2708_fb_pan_display(struct fb_var_screeninfo *var, struct fb_info *info)
  126162. +{
  126163. + s32 result;
  126164. + info->var.xoffset = var->xoffset;
  126165. + info->var.yoffset = var->yoffset;
  126166. + result = bcm2708_fb_set_par(info);
  126167. + if (result != 0)
  126168. + pr_err("bcm2708_fb_pan_display(%d,%d) returns=%d\n", var->xoffset, var->yoffset, result);
  126169. + return result;
  126170. +}
  126171. +
  126172. +static int bcm2708_ioctl(struct fb_info *info, unsigned int cmd, unsigned long arg)
  126173. +{
  126174. + struct bcm2708_fb *fb = to_bcm2708(info);
  126175. + u32 dummy = 0;
  126176. + int ret;
  126177. +
  126178. + switch (cmd) {
  126179. + case FBIO_WAITFORVSYNC:
  126180. + ret = rpi_firmware_property(fb->fw,
  126181. + RPI_FIRMWARE_FRAMEBUFFER_SET_VSYNC,
  126182. + &dummy, sizeof(dummy));
  126183. + break;
  126184. + default:
  126185. + dev_dbg(info->device, "Unknown ioctl 0x%x\n", cmd);
  126186. + return -ENOTTY;
  126187. + }
  126188. +
  126189. + if (ret)
  126190. + dev_err(info->device, "ioctl 0x%x failed (%d)\n", cmd, ret);
  126191. +
  126192. + return ret;
  126193. +}
  126194. +static void bcm2708_fb_fillrect(struct fb_info *info,
  126195. + const struct fb_fillrect *rect)
  126196. +{
  126197. + /* (is called) print_debug("bcm2708_fb_fillrect\n"); */
  126198. + cfb_fillrect(info, rect);
  126199. +}
  126200. +
  126201. +/* A helper function for configuring dma control block */
  126202. +static void set_dma_cb(struct bcm2708_dma_cb *cb,
  126203. + int burst_size,
  126204. + dma_addr_t dst,
  126205. + int dst_stride,
  126206. + dma_addr_t src,
  126207. + int src_stride,
  126208. + int w,
  126209. + int h)
  126210. +{
  126211. + cb->info = BCM2708_DMA_BURST(burst_size) | BCM2708_DMA_S_WIDTH |
  126212. + BCM2708_DMA_S_INC | BCM2708_DMA_D_WIDTH |
  126213. + BCM2708_DMA_D_INC | BCM2708_DMA_TDMODE;
  126214. + cb->dst = dst;
  126215. + cb->src = src;
  126216. + /*
  126217. + * This is not really obvious from the DMA documentation,
  126218. + * but the top 16 bits must be programmmed to "height -1"
  126219. + * and not "height" in 2D mode.
  126220. + */
  126221. + cb->length = ((h - 1) << 16) | w;
  126222. + cb->stride = ((dst_stride - w) << 16) | (u16)(src_stride - w);
  126223. + cb->pad[0] = 0;
  126224. + cb->pad[1] = 0;
  126225. +}
  126226. +
  126227. +static void bcm2708_fb_copyarea(struct fb_info *info,
  126228. + const struct fb_copyarea *region)
  126229. +{
  126230. + struct bcm2708_fb *fb = to_bcm2708(info);
  126231. + struct bcm2708_dma_cb *cb = fb->cb_base;
  126232. + int bytes_per_pixel = (info->var.bits_per_pixel + 7) >> 3;
  126233. + /* Channel 0 supports larger bursts and is a bit faster */
  126234. + int burst_size = (fb->dma_chan == 0) ? 8 : 2;
  126235. + int pixels = region->width * region->height;
  126236. +
  126237. + /* Fallback to cfb_copyarea() if we don't like something */
  126238. + if (in_atomic() ||
  126239. + bytes_per_pixel > 4 ||
  126240. + info->var.xres * info->var.yres > 1920 * 1200 ||
  126241. + region->width <= 0 || region->width > info->var.xres ||
  126242. + region->height <= 0 || region->height > info->var.yres ||
  126243. + region->sx < 0 || region->sx >= info->var.xres ||
  126244. + region->sy < 0 || region->sy >= info->var.yres ||
  126245. + region->dx < 0 || region->dx >= info->var.xres ||
  126246. + region->dy < 0 || region->dy >= info->var.yres ||
  126247. + region->sx + region->width > info->var.xres ||
  126248. + region->dx + region->width > info->var.xres ||
  126249. + region->sy + region->height > info->var.yres ||
  126250. + region->dy + region->height > info->var.yres) {
  126251. + cfb_copyarea(info, region);
  126252. + return;
  126253. + }
  126254. +
  126255. + if (region->dy == region->sy && region->dx > region->sx) {
  126256. + /*
  126257. + * A difficult case of overlapped copy. Because DMA can't
  126258. + * copy individual scanlines in backwards direction, we need
  126259. + * two-pass processing. We do it by programming a chain of dma
  126260. + * control blocks in the first 16K part of the buffer and use
  126261. + * the remaining 48K as the intermediate temporary scratch
  126262. + * buffer. The buffer size is sufficient to handle up to
  126263. + * 1920x1200 resolution at 32bpp pixel depth.
  126264. + */
  126265. + int y;
  126266. + dma_addr_t control_block_pa = fb->cb_handle;
  126267. + dma_addr_t scratchbuf = fb->cb_handle + 16 * 1024;
  126268. + int scanline_size = bytes_per_pixel * region->width;
  126269. + int scanlines_per_cb = (64 * 1024 - 16 * 1024) / scanline_size;
  126270. +
  126271. + for (y = 0; y < region->height; y += scanlines_per_cb) {
  126272. + dma_addr_t src =
  126273. + fb->fb_bus_address +
  126274. + bytes_per_pixel * region->sx +
  126275. + (region->sy + y) * fb->fb.fix.line_length;
  126276. + dma_addr_t dst =
  126277. + fb->fb_bus_address +
  126278. + bytes_per_pixel * region->dx +
  126279. + (region->dy + y) * fb->fb.fix.line_length;
  126280. +
  126281. + if (region->height - y < scanlines_per_cb)
  126282. + scanlines_per_cb = region->height - y;
  126283. +
  126284. + set_dma_cb(cb, burst_size, scratchbuf, scanline_size,
  126285. + src, fb->fb.fix.line_length,
  126286. + scanline_size, scanlines_per_cb);
  126287. + control_block_pa += sizeof(struct bcm2708_dma_cb);
  126288. + cb->next = control_block_pa;
  126289. + cb++;
  126290. +
  126291. + set_dma_cb(cb, burst_size, dst, fb->fb.fix.line_length,
  126292. + scratchbuf, scanline_size,
  126293. + scanline_size, scanlines_per_cb);
  126294. + control_block_pa += sizeof(struct bcm2708_dma_cb);
  126295. + cb->next = control_block_pa;
  126296. + cb++;
  126297. + }
  126298. + /* move the pointer back to the last dma control block */
  126299. + cb--;
  126300. + } else {
  126301. + /* A single dma control block is enough. */
  126302. + int sy, dy, stride;
  126303. + if (region->dy <= region->sy) {
  126304. + /* processing from top to bottom */
  126305. + dy = region->dy;
  126306. + sy = region->sy;
  126307. + stride = fb->fb.fix.line_length;
  126308. + } else {
  126309. + /* processing from bottom to top */
  126310. + dy = region->dy + region->height - 1;
  126311. + sy = region->sy + region->height - 1;
  126312. + stride = -fb->fb.fix.line_length;
  126313. + }
  126314. + set_dma_cb(cb, burst_size,
  126315. + fb->fb_bus_address + dy * fb->fb.fix.line_length +
  126316. + bytes_per_pixel * region->dx,
  126317. + stride,
  126318. + fb->fb_bus_address + sy * fb->fb.fix.line_length +
  126319. + bytes_per_pixel * region->sx,
  126320. + stride,
  126321. + region->width * bytes_per_pixel,
  126322. + region->height);
  126323. + }
  126324. +
  126325. + /* end of dma control blocks chain */
  126326. + cb->next = 0;
  126327. +
  126328. +
  126329. + if (pixels < dma_busy_wait_threshold) {
  126330. + bcm_dma_start(fb->dma_chan_base, fb->cb_handle);
  126331. + bcm_dma_wait_idle(fb->dma_chan_base);
  126332. + } else {
  126333. + void __iomem *dma_chan = fb->dma_chan_base;
  126334. + cb->info |= BCM2708_DMA_INT_EN;
  126335. + bcm_dma_start(fb->dma_chan_base, fb->cb_handle);
  126336. + while (bcm_dma_is_busy(dma_chan)) {
  126337. + wait_event_interruptible(
  126338. + fb->dma_waitq,
  126339. + !bcm_dma_is_busy(dma_chan));
  126340. + }
  126341. + fb->stats.dma_irqs++;
  126342. + }
  126343. + fb->stats.dma_copies++;
  126344. +}
  126345. +
  126346. +static void bcm2708_fb_imageblit(struct fb_info *info,
  126347. + const struct fb_image *image)
  126348. +{
  126349. + /* (is called) print_debug("bcm2708_fb_imageblit\n"); */
  126350. + cfb_imageblit(info, image);
  126351. +}
  126352. +
  126353. +static irqreturn_t bcm2708_fb_dma_irq(int irq, void *cxt)
  126354. +{
  126355. + struct bcm2708_fb *fb = cxt;
  126356. +
  126357. + /* FIXME: should read status register to check if this is
  126358. + * actually interrupting us or not, in case this interrupt
  126359. + * ever becomes shared amongst several DMA channels
  126360. + *
  126361. + * readl(dma_chan_base + BCM2708_DMA_CS) & BCM2708_DMA_IRQ;
  126362. + */
  126363. +
  126364. + /* acknowledge the interrupt */
  126365. + writel(BCM2708_DMA_INT, fb->dma_chan_base + BCM2708_DMA_CS);
  126366. +
  126367. + wake_up(&fb->dma_waitq);
  126368. + return IRQ_HANDLED;
  126369. +}
  126370. +
  126371. +static struct fb_ops bcm2708_fb_ops = {
  126372. + .owner = THIS_MODULE,
  126373. + .fb_check_var = bcm2708_fb_check_var,
  126374. + .fb_set_par = bcm2708_fb_set_par,
  126375. + .fb_setcolreg = bcm2708_fb_setcolreg,
  126376. + .fb_blank = bcm2708_fb_blank,
  126377. + .fb_fillrect = bcm2708_fb_fillrect,
  126378. + .fb_copyarea = bcm2708_fb_copyarea,
  126379. + .fb_imageblit = bcm2708_fb_imageblit,
  126380. + .fb_pan_display = bcm2708_fb_pan_display,
  126381. + .fb_ioctl = bcm2708_ioctl,
  126382. +};
  126383. +
  126384. +static int bcm2708_fb_register(struct bcm2708_fb *fb)
  126385. +{
  126386. + int ret;
  126387. +
  126388. + fb->fb.fbops = &bcm2708_fb_ops;
  126389. + fb->fb.flags = FBINFO_FLAG_DEFAULT | FBINFO_HWACCEL_COPYAREA;
  126390. + fb->fb.pseudo_palette = fb->cmap;
  126391. +
  126392. + strncpy(fb->fb.fix.id, bcm2708_name, sizeof(fb->fb.fix.id));
  126393. + fb->fb.fix.type = FB_TYPE_PACKED_PIXELS;
  126394. + fb->fb.fix.type_aux = 0;
  126395. + fb->fb.fix.xpanstep = 1;
  126396. + fb->fb.fix.ypanstep = 1;
  126397. + fb->fb.fix.ywrapstep = 0;
  126398. + fb->fb.fix.accel = FB_ACCEL_NONE;
  126399. +
  126400. + fb->fb.var.xres = fbwidth;
  126401. + fb->fb.var.yres = fbheight;
  126402. + fb->fb.var.xres_virtual = fbwidth;
  126403. + fb->fb.var.yres_virtual = fbheight;
  126404. + fb->fb.var.bits_per_pixel = fbdepth;
  126405. + fb->fb.var.vmode = FB_VMODE_NONINTERLACED;
  126406. + fb->fb.var.activate = FB_ACTIVATE_NOW;
  126407. + fb->fb.var.nonstd = 0;
  126408. + fb->fb.var.height = -1; /* height of picture in mm */
  126409. + fb->fb.var.width = -1; /* width of picture in mm */
  126410. + fb->fb.var.accel_flags = 0;
  126411. +
  126412. + fb->fb.monspecs.hfmin = 0;
  126413. + fb->fb.monspecs.hfmax = 100000;
  126414. + fb->fb.monspecs.vfmin = 0;
  126415. + fb->fb.monspecs.vfmax = 400;
  126416. + fb->fb.monspecs.dclkmin = 1000000;
  126417. + fb->fb.monspecs.dclkmax = 100000000;
  126418. +
  126419. + bcm2708_fb_set_bitfields(&fb->fb.var);
  126420. + init_waitqueue_head(&fb->dma_waitq);
  126421. +
  126422. + /*
  126423. + * Allocate colourmap.
  126424. + */
  126425. +
  126426. + fb_set_var(&fb->fb, &fb->fb.var);
  126427. + ret = bcm2708_fb_set_par(&fb->fb);
  126428. + if (ret)
  126429. + return ret;
  126430. +
  126431. + print_debug("BCM2708FB: registering framebuffer (%dx%d@%d) (%d)\n", fbwidth,
  126432. + fbheight, fbdepth, fbswap);
  126433. +
  126434. + ret = register_framebuffer(&fb->fb);
  126435. + print_debug("BCM2708FB: register framebuffer (%d)\n", ret);
  126436. + if (ret == 0)
  126437. + goto out;
  126438. +
  126439. + print_debug("BCM2708FB: cannot register framebuffer (%d)\n", ret);
  126440. +out:
  126441. + return ret;
  126442. +}
  126443. +
  126444. +static int bcm2708_fb_probe(struct platform_device *dev)
  126445. +{
  126446. + struct device_node *fw_np;
  126447. + struct rpi_firmware *fw;
  126448. + struct bcm2708_fb *fb;
  126449. + int ret;
  126450. +
  126451. + fw_np = of_parse_phandle(dev->dev.of_node, "firmware", 0);
  126452. +/* Remove comment when booting without Device Tree is no longer supported
  126453. + if (!fw_np) {
  126454. + dev_err(&dev->dev, "Missing firmware node\n");
  126455. + return -ENOENT;
  126456. + }
  126457. +*/
  126458. + fw = rpi_firmware_get(fw_np);
  126459. + if (!fw)
  126460. + return -EPROBE_DEFER;
  126461. +
  126462. + fb = kzalloc(sizeof(struct bcm2708_fb), GFP_KERNEL);
  126463. + if (!fb) {
  126464. + dev_err(&dev->dev,
  126465. + "could not allocate new bcm2708_fb struct\n");
  126466. + ret = -ENOMEM;
  126467. + goto free_region;
  126468. + }
  126469. +
  126470. + fb->fw = fw;
  126471. + bcm2708_fb_debugfs_init(fb);
  126472. +
  126473. + fb->cb_base = dma_alloc_writecombine(&dev->dev, SZ_64K,
  126474. + &fb->cb_handle, GFP_KERNEL);
  126475. + if (!fb->cb_base) {
  126476. + dev_err(&dev->dev, "cannot allocate DMA CBs\n");
  126477. + ret = -ENOMEM;
  126478. + goto free_fb;
  126479. + }
  126480. +
  126481. + pr_info("BCM2708FB: allocated DMA memory %08x\n",
  126482. + fb->cb_handle);
  126483. +
  126484. + ret = bcm_dma_chan_alloc(BCM_DMA_FEATURE_BULK,
  126485. + &fb->dma_chan_base, &fb->dma_irq);
  126486. + if (ret < 0) {
  126487. + dev_err(&dev->dev, "couldn't allocate a DMA channel\n");
  126488. + goto free_cb;
  126489. + }
  126490. + fb->dma_chan = ret;
  126491. +
  126492. + ret = request_irq(fb->dma_irq, bcm2708_fb_dma_irq,
  126493. + 0, "bcm2708_fb dma", fb);
  126494. + if (ret) {
  126495. + pr_err("%s: failed to request DMA irq\n", __func__);
  126496. + goto free_dma_chan;
  126497. + }
  126498. +
  126499. +
  126500. + pr_info("BCM2708FB: allocated DMA channel %d @ %p\n",
  126501. + fb->dma_chan, fb->dma_chan_base);
  126502. +
  126503. + fb->dev = dev;
  126504. + fb->fb.device = &dev->dev;
  126505. +
  126506. + ret = bcm2708_fb_register(fb);
  126507. + if (ret == 0) {
  126508. + platform_set_drvdata(dev, fb);
  126509. + goto out;
  126510. + }
  126511. +
  126512. +free_dma_chan:
  126513. + bcm_dma_chan_free(fb->dma_chan);
  126514. +free_cb:
  126515. + dma_free_writecombine(&dev->dev, SZ_64K, fb->cb_base, fb->cb_handle);
  126516. +free_fb:
  126517. + kfree(fb);
  126518. +free_region:
  126519. + dev_err(&dev->dev, "probe failed, err %d\n", ret);
  126520. +out:
  126521. + return ret;
  126522. +}
  126523. +
  126524. +static int bcm2708_fb_remove(struct platform_device *dev)
  126525. +{
  126526. + struct bcm2708_fb *fb = platform_get_drvdata(dev);
  126527. +
  126528. + platform_set_drvdata(dev, NULL);
  126529. +
  126530. + if (fb->fb.screen_base)
  126531. + iounmap(fb->fb.screen_base);
  126532. + unregister_framebuffer(&fb->fb);
  126533. +
  126534. + dma_free_writecombine(&dev->dev, SZ_64K, fb->cb_base, fb->cb_handle);
  126535. + bcm_dma_chan_free(fb->dma_chan);
  126536. +
  126537. + bcm2708_fb_debugfs_deinit(fb);
  126538. +
  126539. + free_irq(fb->dma_irq, fb);
  126540. +
  126541. + kfree(fb);
  126542. +
  126543. + return 0;
  126544. +}
  126545. +
  126546. +static const struct of_device_id bcm2708_fb_of_match_table[] = {
  126547. + { .compatible = "brcm,bcm2708-fb", },
  126548. + {},
  126549. +};
  126550. +MODULE_DEVICE_TABLE(of, bcm2708_fb_of_match_table);
  126551. +
  126552. +static struct platform_driver bcm2708_fb_driver = {
  126553. + .probe = bcm2708_fb_probe,
  126554. + .remove = bcm2708_fb_remove,
  126555. + .driver = {
  126556. + .name = DRIVER_NAME,
  126557. + .owner = THIS_MODULE,
  126558. + .of_match_table = bcm2708_fb_of_match_table,
  126559. + },
  126560. +};
  126561. +
  126562. +static int __init bcm2708_fb_init(void)
  126563. +{
  126564. + return platform_driver_register(&bcm2708_fb_driver);
  126565. +}
  126566. +
  126567. +module_init(bcm2708_fb_init);
  126568. +
  126569. +static void __exit bcm2708_fb_exit(void)
  126570. +{
  126571. + platform_driver_unregister(&bcm2708_fb_driver);
  126572. +}
  126573. +
  126574. +module_exit(bcm2708_fb_exit);
  126575. +
  126576. +module_param(fbwidth, int, 0644);
  126577. +module_param(fbheight, int, 0644);
  126578. +module_param(fbdepth, int, 0644);
  126579. +module_param(fbswap, int, 0644);
  126580. +
  126581. +MODULE_DESCRIPTION("BCM2708 framebuffer driver");
  126582. +MODULE_LICENSE("GPL");
  126583. +
  126584. +MODULE_PARM_DESC(fbwidth, "Width of ARM Framebuffer");
  126585. +MODULE_PARM_DESC(fbheight, "Height of ARM Framebuffer");
  126586. +MODULE_PARM_DESC(fbdepth, "Bit depth of ARM Framebuffer");
  126587. +MODULE_PARM_DESC(fbswap, "Swap order of red and blue in 24 and 32 bit modes");
  126588. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/core/cfbimgblt.c linux-rpi/drivers/video/fbdev/core/cfbimgblt.c
  126589. --- linux-4.1.13.orig/drivers/video/fbdev/core/cfbimgblt.c 2015-11-09 23:34:10.000000000 +0100
  126590. +++ linux-rpi/drivers/video/fbdev/core/cfbimgblt.c 2015-11-29 09:42:40.075088329 +0100
  126591. @@ -28,6 +28,11 @@
  126592. *
  126593. * Also need to add code to deal with cards endians that are different than
  126594. * the native cpu endians. I also need to deal with MSB position in the word.
  126595. + * Modified by Harm Hanemaaijer (fgenfb@yahoo.com) 2013:
  126596. + * - Provide optimized versions of fast_imageblit for 16 and 32bpp that are
  126597. + * significantly faster than the previous implementation.
  126598. + * - Simplify the fast/slow_imageblit selection code, avoiding integer
  126599. + * divides.
  126600. */
  126601. #include <linux/module.h>
  126602. #include <linux/string.h>
  126603. @@ -262,6 +267,133 @@
  126604. }
  126605. }
  126606. +/*
  126607. + * Optimized fast_imageblit for bpp == 16. ppw = 2, bit_mask = 3 folded
  126608. + * into the code, main loop unrolled.
  126609. + */
  126610. +
  126611. +static inline void fast_imageblit16(const struct fb_image *image,
  126612. + struct fb_info *p, u8 __iomem * dst1,
  126613. + u32 fgcolor, u32 bgcolor)
  126614. +{
  126615. + u32 fgx = fgcolor, bgx = bgcolor;
  126616. + u32 spitch = (image->width + 7) / 8;
  126617. + u32 end_mask, eorx;
  126618. + const char *s = image->data, *src;
  126619. + u32 __iomem *dst;
  126620. + const u32 *tab = NULL;
  126621. + int i, j, k;
  126622. +
  126623. + tab = fb_be_math(p) ? cfb_tab16_be : cfb_tab16_le;
  126624. +
  126625. + fgx <<= 16;
  126626. + bgx <<= 16;
  126627. + fgx |= fgcolor;
  126628. + bgx |= bgcolor;
  126629. +
  126630. + eorx = fgx ^ bgx;
  126631. + k = image->width / 2;
  126632. +
  126633. + for (i = image->height; i--;) {
  126634. + dst = (u32 __iomem *) dst1;
  126635. + src = s;
  126636. +
  126637. + j = k;
  126638. + while (j >= 4) {
  126639. + u8 bits = *src;
  126640. + end_mask = tab[(bits >> 6) & 3];
  126641. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126642. + end_mask = tab[(bits >> 4) & 3];
  126643. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126644. + end_mask = tab[(bits >> 2) & 3];
  126645. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126646. + end_mask = tab[bits & 3];
  126647. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126648. + src++;
  126649. + j -= 4;
  126650. + }
  126651. + if (j != 0) {
  126652. + u8 bits = *src;
  126653. + end_mask = tab[(bits >> 6) & 3];
  126654. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126655. + if (j >= 2) {
  126656. + end_mask = tab[(bits >> 4) & 3];
  126657. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126658. + if (j == 3) {
  126659. + end_mask = tab[(bits >> 2) & 3];
  126660. + FB_WRITEL((end_mask & eorx) ^ bgx, dst);
  126661. + }
  126662. + }
  126663. + }
  126664. + dst1 += p->fix.line_length;
  126665. + s += spitch;
  126666. + }
  126667. +}
  126668. +
  126669. +/*
  126670. + * Optimized fast_imageblit for bpp == 32. ppw = 1, bit_mask = 1 folded
  126671. + * into the code, main loop unrolled.
  126672. + */
  126673. +
  126674. +static inline void fast_imageblit32(const struct fb_image *image,
  126675. + struct fb_info *p, u8 __iomem * dst1,
  126676. + u32 fgcolor, u32 bgcolor)
  126677. +{
  126678. + u32 fgx = fgcolor, bgx = bgcolor;
  126679. + u32 spitch = (image->width + 7) / 8;
  126680. + u32 end_mask, eorx;
  126681. + const char *s = image->data, *src;
  126682. + u32 __iomem *dst;
  126683. + const u32 *tab = NULL;
  126684. + int i, j, k;
  126685. +
  126686. + tab = cfb_tab32;
  126687. +
  126688. + eorx = fgx ^ bgx;
  126689. + k = image->width;
  126690. +
  126691. + for (i = image->height; i--;) {
  126692. + dst = (u32 __iomem *) dst1;
  126693. + src = s;
  126694. +
  126695. + j = k;
  126696. + while (j >= 8) {
  126697. + u8 bits = *src;
  126698. + end_mask = tab[(bits >> 7) & 1];
  126699. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126700. + end_mask = tab[(bits >> 6) & 1];
  126701. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126702. + end_mask = tab[(bits >> 5) & 1];
  126703. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126704. + end_mask = tab[(bits >> 4) & 1];
  126705. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126706. + end_mask = tab[(bits >> 3) & 1];
  126707. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126708. + end_mask = tab[(bits >> 2) & 1];
  126709. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126710. + end_mask = tab[(bits >> 1) & 1];
  126711. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126712. + end_mask = tab[bits & 1];
  126713. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126714. + src++;
  126715. + j -= 8;
  126716. + }
  126717. + if (j != 0) {
  126718. + u32 bits = (u32) * src;
  126719. + while (j > 1) {
  126720. + end_mask = tab[(bits >> 7) & 1];
  126721. + FB_WRITEL((end_mask & eorx) ^ bgx, dst++);
  126722. + bits <<= 1;
  126723. + j--;
  126724. + }
  126725. + end_mask = tab[(bits >> 7) & 1];
  126726. + FB_WRITEL((end_mask & eorx) ^ bgx, dst);
  126727. + }
  126728. + dst1 += p->fix.line_length;
  126729. + s += spitch;
  126730. + }
  126731. +}
  126732. +
  126733. void cfb_imageblit(struct fb_info *p, const struct fb_image *image)
  126734. {
  126735. u32 fgcolor, bgcolor, start_index, bitstart, pitch_index = 0;
  126736. @@ -294,11 +426,21 @@
  126737. bgcolor = image->bg_color;
  126738. }
  126739. - if (32 % bpp == 0 && !start_index && !pitch_index &&
  126740. - ((width & (32/bpp-1)) == 0) &&
  126741. - bpp >= 8 && bpp <= 32)
  126742. - fast_imageblit(image, p, dst1, fgcolor, bgcolor);
  126743. - else
  126744. + if (!start_index && !pitch_index) {
  126745. + if (bpp == 32)
  126746. + fast_imageblit32(image, p, dst1, fgcolor,
  126747. + bgcolor);
  126748. + else if (bpp == 16 && (width & 1) == 0)
  126749. + fast_imageblit16(image, p, dst1, fgcolor,
  126750. + bgcolor);
  126751. + else if (bpp == 8 && (width & 3) == 0)
  126752. + fast_imageblit(image, p, dst1, fgcolor,
  126753. + bgcolor);
  126754. + else
  126755. + slow_imageblit(image, p, dst1, fgcolor,
  126756. + bgcolor,
  126757. + start_index, pitch_index);
  126758. + } else
  126759. slow_imageblit(image, p, dst1, fgcolor, bgcolor,
  126760. start_index, pitch_index);
  126761. } else
  126762. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/core/fbmem.c linux-rpi/drivers/video/fbdev/core/fbmem.c
  126763. --- linux-4.1.13.orig/drivers/video/fbdev/core/fbmem.c 2015-11-09 23:34:10.000000000 +0100
  126764. +++ linux-rpi/drivers/video/fbdev/core/fbmem.c 2015-11-29 09:42:40.075088329 +0100
  126765. @@ -1084,6 +1084,25 @@
  126766. }
  126767. EXPORT_SYMBOL(fb_blank);
  126768. +static int fb_copyarea_user(struct fb_info *info,
  126769. + struct fb_copyarea *copy)
  126770. +{
  126771. + int ret = 0;
  126772. + if (!lock_fb_info(info))
  126773. + return -ENODEV;
  126774. + if (copy->dx + copy->width > info->var.xres ||
  126775. + copy->sx + copy->width > info->var.xres ||
  126776. + copy->dy + copy->height > info->var.yres ||
  126777. + copy->sy + copy->height > info->var.yres) {
  126778. + ret = -EINVAL;
  126779. + goto out;
  126780. + }
  126781. + info->fbops->fb_copyarea(info, copy);
  126782. +out:
  126783. + unlock_fb_info(info);
  126784. + return ret;
  126785. +}
  126786. +
  126787. static long do_fb_ioctl(struct fb_info *info, unsigned int cmd,
  126788. unsigned long arg)
  126789. {
  126790. @@ -1094,6 +1113,7 @@
  126791. struct fb_cmap cmap_from;
  126792. struct fb_cmap_user cmap;
  126793. struct fb_event event;
  126794. + struct fb_copyarea copy;
  126795. void __user *argp = (void __user *)arg;
  126796. long ret = 0;
  126797. @@ -1211,6 +1231,15 @@
  126798. unlock_fb_info(info);
  126799. console_unlock();
  126800. break;
  126801. + case FBIOCOPYAREA:
  126802. + if (info->flags & FBINFO_HWACCEL_COPYAREA) {
  126803. + /* only provide this ioctl if it is accelerated */
  126804. + if (copy_from_user(&copy, argp, sizeof(copy)))
  126805. + return -EFAULT;
  126806. + ret = fb_copyarea_user(info, &copy);
  126807. + break;
  126808. + }
  126809. + /* fall through */
  126810. default:
  126811. if (!lock_fb_info(info))
  126812. return -ENODEV;
  126813. @@ -1365,6 +1394,7 @@
  126814. case FBIOPAN_DISPLAY:
  126815. case FBIOGET_CON2FBMAP:
  126816. case FBIOPUT_CON2FBMAP:
  126817. + case FBIOCOPYAREA:
  126818. arg = (unsigned long) compat_ptr(arg);
  126819. case FBIOBLANK:
  126820. ret = do_fb_ioctl(info, cmd, arg);
  126821. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/Kconfig linux-rpi/drivers/video/fbdev/Kconfig
  126822. --- linux-4.1.13.orig/drivers/video/fbdev/Kconfig 2015-11-09 23:34:10.000000000 +0100
  126823. +++ linux-rpi/drivers/video/fbdev/Kconfig 2015-11-29 09:42:40.031091253 +0100
  126824. @@ -224,6 +224,20 @@
  126825. comment "Frame buffer hardware drivers"
  126826. depends on FB
  126827. +config FB_BCM2708
  126828. + tristate "BCM2708 framebuffer support"
  126829. + depends on FB && RASPBERRYPI_FIRMWARE
  126830. + select FB_CFB_FILLRECT
  126831. + select FB_CFB_COPYAREA
  126832. + select FB_CFB_IMAGEBLIT
  126833. + help
  126834. + This framebuffer device driver is for the BCM2708 framebuffer.
  126835. +
  126836. + If you want to compile this as a module (=code which can be
  126837. + inserted into and removed from the running kernel), say M
  126838. + here and read <file:Documentation/kbuild/modules.txt>. The module
  126839. + will be called bcm2708_fb.
  126840. +
  126841. config FB_GRVGA
  126842. tristate "Aeroflex Gaisler framebuffer support"
  126843. depends on FB && SPARC
  126844. @@ -2481,3 +2495,16 @@
  126845. help
  126846. This driver implements support for the Solomon SSD1307
  126847. OLED controller over I2C.
  126848. +
  126849. +config FB_RPISENSE
  126850. + tristate "Raspberry Pi Sense HAT framebuffer"
  126851. + depends on FB
  126852. + select MFD_RPISENSE_CORE
  126853. + select FB_SYS_FOPS
  126854. + select FB_SYS_FILLRECT
  126855. + select FB_SYS_COPYAREA
  126856. + select FB_SYS_IMAGEBLIT
  126857. + select FB_DEFERRED_IO
  126858. +
  126859. + help
  126860. + This is the framebuffer driver for the Raspberry Pi Sense HAT
  126861. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/Makefile linux-rpi/drivers/video/fbdev/Makefile
  126862. --- linux-4.1.13.orig/drivers/video/fbdev/Makefile 2015-11-09 23:34:10.000000000 +0100
  126863. +++ linux-rpi/drivers/video/fbdev/Makefile 2015-11-29 09:42:40.031091253 +0100
  126864. @@ -12,6 +12,7 @@
  126865. obj-$(CONFIG_FB_WMT_GE_ROPS) += wmt_ge_rops.o
  126866. # Hardware specific drivers go first
  126867. +obj-$(CONFIG_FB_BCM2708) += bcm2708_fb.o
  126868. obj-$(CONFIG_FB_AMIGA) += amifb.o c2p_planar.o
  126869. obj-$(CONFIG_FB_ARC) += arcfb.o
  126870. obj-$(CONFIG_FB_CLPS711X) += clps711x-fb.o
  126871. @@ -149,6 +150,7 @@
  126872. obj-$(CONFIG_FB_MXS) += mxsfb.o
  126873. obj-$(CONFIG_FB_SSD1307) += ssd1307fb.o
  126874. obj-$(CONFIG_FB_SIMPLE) += simplefb.o
  126875. +obj-$(CONFIG_FB_RPISENSE) += rpisense-fb.o
  126876. # the test framebuffer is last
  126877. obj-$(CONFIG_FB_VIRTUAL) += vfb.o
  126878. diff -Nur linux-4.1.13.orig/drivers/video/fbdev/rpisense-fb.c linux-rpi/drivers/video/fbdev/rpisense-fb.c
  126879. --- linux-4.1.13.orig/drivers/video/fbdev/rpisense-fb.c 1970-01-01 01:00:00.000000000 +0100
  126880. +++ linux-rpi/drivers/video/fbdev/rpisense-fb.c 2015-11-29 09:42:40.111085937 +0100
  126881. @@ -0,0 +1,293 @@
  126882. +/*
  126883. + * Raspberry Pi Sense HAT framebuffer driver
  126884. + * http://raspberrypi.org
  126885. + *
  126886. + * Copyright (C) 2015 Raspberry Pi
  126887. + *
  126888. + * Author: Serge Schneider
  126889. + *
  126890. + * This program is free software; you can redistribute it and/or modify it
  126891. + * under the terms of the GNU General Public License as published by the
  126892. + * Free Software Foundation; either version 2 of the License, or (at your
  126893. + * option) any later version.
  126894. + *
  126895. + */
  126896. +
  126897. +#include <linux/module.h>
  126898. +#include <linux/kernel.h>
  126899. +#include <linux/errno.h>
  126900. +#include <linux/string.h>
  126901. +#include <linux/mm.h>
  126902. +#include <linux/slab.h>
  126903. +#include <linux/uaccess.h>
  126904. +#include <linux/delay.h>
  126905. +#include <linux/fb.h>
  126906. +#include <linux/init.h>
  126907. +
  126908. +#include <linux/mfd/rpisense/framebuffer.h>
  126909. +#include <linux/mfd/rpisense/core.h>
  126910. +
  126911. +static bool lowlight;
  126912. +module_param(lowlight, bool, 0);
  126913. +MODULE_PARM_DESC(lowlight, "Reduce LED matrix brightness to one third");
  126914. +
  126915. +struct rpisense *rpisense;
  126916. +
  126917. +struct rpisense_fb_param {
  126918. + char __iomem *vmem;
  126919. + u8 *vmem_work;
  126920. + u32 vmemsize;
  126921. + u8 *gamma;
  126922. +};
  126923. +
  126924. +static u8 gamma_default[32] = {0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x01, 0x01,
  126925. + 0x02, 0x02, 0x03, 0x03, 0x04, 0x05, 0x06, 0x07,
  126926. + 0x08, 0x09, 0x0A, 0x0B, 0x0C, 0x0E, 0x0F, 0x11,
  126927. + 0x12, 0x14, 0x15, 0x17, 0x19, 0x1B, 0x1D, 0x1F,};
  126928. +
  126929. +static u8 gamma_low[32] = {0x00, 0x01, 0x01, 0x01, 0x01, 0x01, 0x01, 0x01,
  126930. + 0x01, 0x01, 0x01, 0x01, 0x01, 0x02, 0x02, 0x02,
  126931. + 0x03, 0x03, 0x03, 0x04, 0x04, 0x05, 0x05, 0x06,
  126932. + 0x06, 0x07, 0x07, 0x08, 0x08, 0x09, 0x0A, 0x0A,};
  126933. +
  126934. +static u8 gamma_user[32];
  126935. +
  126936. +static struct rpisense_fb_param rpisense_fb_param = {
  126937. + .vmem = NULL,
  126938. + .vmemsize = 128,
  126939. + .gamma = gamma_default,
  126940. +};
  126941. +
  126942. +static struct fb_deferred_io rpisense_fb_defio;
  126943. +
  126944. +static struct fb_fix_screeninfo rpisense_fb_fix = {
  126945. + .id = "RPi-Sense FB",
  126946. + .type = FB_TYPE_PACKED_PIXELS,
  126947. + .visual = FB_VISUAL_TRUECOLOR,
  126948. + .xpanstep = 0,
  126949. + .ypanstep = 0,
  126950. + .ywrapstep = 0,
  126951. + .accel = FB_ACCEL_NONE,
  126952. + .line_length = 16,
  126953. +};
  126954. +
  126955. +static struct fb_var_screeninfo rpisense_fb_var = {
  126956. + .xres = 8,
  126957. + .yres = 8,
  126958. + .xres_virtual = 8,
  126959. + .yres_virtual = 8,
  126960. + .bits_per_pixel = 16,
  126961. + .red = {11, 5, 0},
  126962. + .green = {5, 6, 0},
  126963. + .blue = {0, 5, 0},
  126964. +};
  126965. +
  126966. +static ssize_t rpisense_fb_write(struct fb_info *info,
  126967. + const char __user *buf, size_t count,
  126968. + loff_t *ppos)
  126969. +{
  126970. + ssize_t res = fb_sys_write(info, buf, count, ppos);
  126971. +
  126972. + schedule_delayed_work(&info->deferred_work, rpisense_fb_defio.delay);
  126973. + return res;
  126974. +}
  126975. +
  126976. +static void rpisense_fb_fillrect(struct fb_info *info,
  126977. + const struct fb_fillrect *rect)
  126978. +{
  126979. + sys_fillrect(info, rect);
  126980. + schedule_delayed_work(&info->deferred_work, rpisense_fb_defio.delay);
  126981. +}
  126982. +
  126983. +static void rpisense_fb_copyarea(struct fb_info *info,
  126984. + const struct fb_copyarea *area)
  126985. +{
  126986. + sys_copyarea(info, area);
  126987. + schedule_delayed_work(&info->deferred_work, rpisense_fb_defio.delay);
  126988. +}
  126989. +
  126990. +static void rpisense_fb_imageblit(struct fb_info *info,
  126991. + const struct fb_image *image)
  126992. +{
  126993. + sys_imageblit(info, image);
  126994. + schedule_delayed_work(&info->deferred_work, rpisense_fb_defio.delay);
  126995. +}
  126996. +
  126997. +static void rpisense_fb_deferred_io(struct fb_info *info,
  126998. + struct list_head *pagelist)
  126999. +{
  127000. + int i;
  127001. + int j;
  127002. + u8 *vmem_work = rpisense_fb_param.vmem_work;
  127003. + u16 *mem = (u16 *)rpisense_fb_param.vmem;
  127004. + u8 *gamma = rpisense_fb_param.gamma;
  127005. +
  127006. + vmem_work[0] = 0;
  127007. + for (j = 0; j < 8; j++) {
  127008. + for (i = 0; i < 8; i++) {
  127009. + vmem_work[(j * 24) + i + 1] =
  127010. + gamma[(mem[(j * 8) + i] >> 11) & 0x1F];
  127011. + vmem_work[(j * 24) + (i + 8) + 1] =
  127012. + gamma[(mem[(j * 8) + i] >> 6) & 0x1F];
  127013. + vmem_work[(j * 24) + (i + 16) + 1] =
  127014. + gamma[(mem[(j * 8) + i]) & 0x1F];
  127015. + }
  127016. + }
  127017. + rpisense_block_write(rpisense, vmem_work, 193);
  127018. +}
  127019. +
  127020. +static struct fb_deferred_io rpisense_fb_defio = {
  127021. + .delay = HZ/100,
  127022. + .deferred_io = rpisense_fb_deferred_io,
  127023. +};
  127024. +
  127025. +static int rpisense_fb_ioctl(struct fb_info *info, unsigned int cmd,
  127026. + unsigned long arg)
  127027. +{
  127028. + switch (cmd) {
  127029. + case SENSEFB_FBIOGET_GAMMA:
  127030. + if (copy_to_user((void __user *) arg, rpisense_fb_param.gamma,
  127031. + sizeof(u8[32])))
  127032. + return -EFAULT;
  127033. + return 0;
  127034. + case SENSEFB_FBIOSET_GAMMA:
  127035. + if (copy_from_user(gamma_user, (void __user *)arg,
  127036. + sizeof(u8[32])))
  127037. + return -EFAULT;
  127038. + rpisense_fb_param.gamma = gamma_user;
  127039. + schedule_delayed_work(&info->deferred_work,
  127040. + rpisense_fb_defio.delay);
  127041. + return 0;
  127042. + case SENSEFB_FBIORESET_GAMMA:
  127043. + switch (arg) {
  127044. + case 0:
  127045. + rpisense_fb_param.gamma = gamma_default;
  127046. + break;
  127047. + case 1:
  127048. + rpisense_fb_param.gamma = gamma_low;
  127049. + break;
  127050. + case 2:
  127051. + rpisense_fb_param.gamma = gamma_user;
  127052. + break;
  127053. + default:
  127054. + return -EINVAL;
  127055. + }
  127056. + schedule_delayed_work(&info->deferred_work,
  127057. + rpisense_fb_defio.delay);
  127058. + break;
  127059. + default:
  127060. + return -EINVAL;
  127061. + }
  127062. + return 0;
  127063. +}
  127064. +
  127065. +static struct fb_ops rpisense_fb_ops = {
  127066. + .owner = THIS_MODULE,
  127067. + .fb_read = fb_sys_read,
  127068. + .fb_write = rpisense_fb_write,
  127069. + .fb_fillrect = rpisense_fb_fillrect,
  127070. + .fb_copyarea = rpisense_fb_copyarea,
  127071. + .fb_imageblit = rpisense_fb_imageblit,
  127072. + .fb_ioctl = rpisense_fb_ioctl,
  127073. +};
  127074. +
  127075. +static int rpisense_fb_probe(struct platform_device *pdev)
  127076. +{
  127077. + struct fb_info *info;
  127078. + int ret = -ENOMEM;
  127079. + struct rpisense_fb *rpisense_fb;
  127080. +
  127081. + rpisense = rpisense_get_dev();
  127082. + rpisense_fb = &rpisense->framebuffer;
  127083. +
  127084. + rpisense_fb_param.vmem = vzalloc(rpisense_fb_param.vmemsize);
  127085. + if (!rpisense_fb_param.vmem)
  127086. + return ret;
  127087. +
  127088. + rpisense_fb_param.vmem_work = devm_kmalloc(&pdev->dev, 193, GFP_KERNEL);
  127089. + if (!rpisense_fb_param.vmem_work)
  127090. + goto err_malloc;
  127091. +
  127092. + info = framebuffer_alloc(0, &pdev->dev);
  127093. + if (!info) {
  127094. + dev_err(&pdev->dev, "Could not allocate framebuffer.\n");
  127095. + goto err_malloc;
  127096. + }
  127097. + rpisense_fb->info = info;
  127098. +
  127099. + rpisense_fb_fix.smem_start = (unsigned long)rpisense_fb_param.vmem;
  127100. + rpisense_fb_fix.smem_len = rpisense_fb_param.vmemsize;
  127101. +
  127102. + info->fbops = &rpisense_fb_ops;
  127103. + info->fix = rpisense_fb_fix;
  127104. + info->var = rpisense_fb_var;
  127105. + info->fbdefio = &rpisense_fb_defio;
  127106. + info->flags = FBINFO_FLAG_DEFAULT | FBINFO_VIRTFB;
  127107. + info->screen_base = rpisense_fb_param.vmem;
  127108. + info->screen_size = rpisense_fb_param.vmemsize;
  127109. +
  127110. + if (lowlight)
  127111. + rpisense_fb_param.gamma = gamma_low;
  127112. +
  127113. + fb_deferred_io_init(info);
  127114. +
  127115. + ret = register_framebuffer(info);
  127116. + if (ret < 0) {
  127117. + dev_err(&pdev->dev, "Could not register framebuffer.\n");
  127118. + goto err_fballoc;
  127119. + }
  127120. +
  127121. + fb_info(info, "%s frame buffer device\n", info->fix.id);
  127122. + schedule_delayed_work(&info->deferred_work, rpisense_fb_defio.delay);
  127123. + return 0;
  127124. +err_fballoc:
  127125. + framebuffer_release(info);
  127126. +err_malloc:
  127127. + vfree(rpisense_fb_param.vmem);
  127128. + return ret;
  127129. +}
  127130. +
  127131. +static int rpisense_fb_remove(struct platform_device *pdev)
  127132. +{
  127133. + struct rpisense_fb *rpisense_fb = &rpisense->framebuffer;
  127134. + struct fb_info *info = rpisense_fb->info;
  127135. +
  127136. + if (info) {
  127137. + unregister_framebuffer(info);
  127138. + fb_deferred_io_cleanup(info);
  127139. + framebuffer_release(info);
  127140. + vfree(rpisense_fb_param.vmem);
  127141. + }
  127142. +
  127143. + return 0;
  127144. +}
  127145. +
  127146. +#ifdef CONFIG_OF
  127147. +static const struct of_device_id rpisense_fb_id[] = {
  127148. + { .compatible = "rpi,rpi-sense-fb" },
  127149. + { },
  127150. +};
  127151. +MODULE_DEVICE_TABLE(of, rpisense_fb_id);
  127152. +#endif
  127153. +
  127154. +static struct platform_device_id rpisense_fb_device_id[] = {
  127155. + { .name = "rpi-sense-fb" },
  127156. + { },
  127157. +};
  127158. +MODULE_DEVICE_TABLE(platform, rpisense_fb_device_id);
  127159. +
  127160. +static struct platform_driver rpisense_fb_driver = {
  127161. + .probe = rpisense_fb_probe,
  127162. + .remove = rpisense_fb_remove,
  127163. + .driver = {
  127164. + .name = "rpi-sense-fb",
  127165. + .owner = THIS_MODULE,
  127166. + },
  127167. +};
  127168. +
  127169. +module_platform_driver(rpisense_fb_driver);
  127170. +
  127171. +MODULE_DESCRIPTION("Raspberry Pi Sense HAT framebuffer driver");
  127172. +MODULE_AUTHOR("Serge Schneider <serge@raspberrypi.org>");
  127173. +MODULE_LICENSE("GPL");
  127174. +
  127175. diff -Nur linux-4.1.13.orig/drivers/video/logo/logo_linux_clut224.ppm linux-rpi/drivers/video/logo/logo_linux_clut224.ppm
  127176. --- linux-4.1.13.orig/drivers/video/logo/logo_linux_clut224.ppm 2015-11-09 23:34:10.000000000 +0100
  127177. +++ linux-rpi/drivers/video/logo/logo_linux_clut224.ppm 2015-11-29 09:42:40.131084608 +0100
  127178. @@ -1,1604 +1,883 @@
  127179. P3
  127180. -# Standard 224-color Linux logo
  127181. -80 80
  127182. +63 80
  127183. 255
  127184. - 0 0 0 0 0 0 0 0 0 0 0 0
  127185. - 0 0 0 0 0 0 0 0 0 0 0 0
  127186. - 0 0 0 0 0 0 0 0 0 0 0 0
  127187. - 0 0 0 0 0 0 0 0 0 0 0 0
  127188. - 0 0 0 0 0 0 0 0 0 0 0 0
  127189. - 0 0 0 0 0 0 0 0 0 0 0 0
  127190. - 0 0 0 0 0 0 0 0 0 0 0 0
  127191. - 0 0 0 0 0 0 0 0 0 0 0 0
  127192. - 0 0 0 0 0 0 0 0 0 0 0 0
  127193. - 6 6 6 6 6 6 10 10 10 10 10 10
  127194. - 10 10 10 6 6 6 6 6 6 6 6 6
  127195. - 0 0 0 0 0 0 0 0 0 0 0 0
  127196. - 0 0 0 0 0 0 0 0 0 0 0 0
  127197. - 0 0 0 0 0 0 0 0 0 0 0 0
  127198. - 0 0 0 0 0 0 0 0 0 0 0 0
  127199. - 0 0 0 0 0 0 0 0 0 0 0 0
  127200. - 0 0 0 0 0 0 0 0 0 0 0 0
  127201. - 0 0 0 0 0 0 0 0 0 0 0 0
  127202. - 0 0 0 0 0 0 0 0 0 0 0 0
  127203. - 0 0 0 0 0 0 0 0 0 0 0 0
  127204. - 0 0 0 0 0 0 0 0 0 0 0 0
  127205. - 0 0 0 0 0 0 0 0 0 0 0 0
  127206. - 0 0 0 0 0 0 0 0 0 0 0 0
  127207. - 0 0 0 0 0 0 0 0 0 0 0 0
  127208. - 0 0 0 0 0 0 0 0 0 0 0 0
  127209. - 0 0 0 0 0 0 0 0 0 0 0 0
  127210. - 0 0 0 0 0 0 0 0 0 0 0 0
  127211. - 0 0 0 0 0 0 0 0 0 0 0 0
  127212. - 0 0 0 6 6 6 10 10 10 14 14 14
  127213. - 22 22 22 26 26 26 30 30 30 34 34 34
  127214. - 30 30 30 30 30 30 26 26 26 18 18 18
  127215. - 14 14 14 10 10 10 6 6 6 0 0 0
  127216. - 0 0 0 0 0 0 0 0 0 0 0 0
  127217. - 0 0 0 0 0 0 0 0 0 0 0 0
  127218. - 0 0 0 0 0 0 0 0 0 0 0 0
  127219. - 0 0 0 0 0 0 0 0 0 0 0 0
  127220. - 0 0 0 0 0 0 0 0 0 0 0 0
  127221. - 0 0 0 0 0 0 0 0 0 0 0 0
  127222. - 0 0 0 0 0 0 0 0 0 0 0 0
  127223. - 0 0 0 0 0 0 0 0 0 0 0 0
  127224. - 0 0 0 0 0 0 0 0 0 0 0 0
  127225. - 0 0 0 0 0 1 0 0 1 0 0 0
  127226. - 0 0 0 0 0 0 0 0 0 0 0 0
  127227. - 0 0 0 0 0 0 0 0 0 0 0 0
  127228. - 0 0 0 0 0 0 0 0 0 0 0 0
  127229. - 0 0 0 0 0 0 0 0 0 0 0 0
  127230. - 0 0 0 0 0 0 0 0 0 0 0 0
  127231. - 0 0 0 0 0 0 0 0 0 0 0 0
  127232. - 6 6 6 14 14 14 26 26 26 42 42 42
  127233. - 54 54 54 66 66 66 78 78 78 78 78 78
  127234. - 78 78 78 74 74 74 66 66 66 54 54 54
  127235. - 42 42 42 26 26 26 18 18 18 10 10 10
  127236. - 6 6 6 0 0 0 0 0 0 0 0 0
  127237. - 0 0 0 0 0 0 0 0 0 0 0 0
  127238. - 0 0 0 0 0 0 0 0 0 0 0 0
  127239. - 0 0 0 0 0 0 0 0 0 0 0 0
  127240. - 0 0 0 0 0 0 0 0 0 0 0 0
  127241. - 0 0 0 0 0 0 0 0 0 0 0 0
  127242. - 0 0 0 0 0 0 0 0 0 0 0 0
  127243. - 0 0 0 0 0 0 0 0 0 0 0 0
  127244. - 0 0 0 0 0 0 0 0 0 0 0 0
  127245. - 0 0 1 0 0 0 0 0 0 0 0 0
  127246. - 0 0 0 0 0 0 0 0 0 0 0 0
  127247. - 0 0 0 0 0 0 0 0 0 0 0 0
  127248. - 0 0 0 0 0 0 0 0 0 0 0 0
  127249. - 0 0 0 0 0 0 0 0 0 0 0 0
  127250. - 0 0 0 0 0 0 0 0 0 0 0 0
  127251. - 0 0 0 0 0 0 0 0 0 10 10 10
  127252. - 22 22 22 42 42 42 66 66 66 86 86 86
  127253. - 66 66 66 38 38 38 38 38 38 22 22 22
  127254. - 26 26 26 34 34 34 54 54 54 66 66 66
  127255. - 86 86 86 70 70 70 46 46 46 26 26 26
  127256. - 14 14 14 6 6 6 0 0 0 0 0 0
  127257. - 0 0 0 0 0 0 0 0 0 0 0 0
  127258. - 0 0 0 0 0 0 0 0 0 0 0 0
  127259. - 0 0 0 0 0 0 0 0 0 0 0 0
  127260. - 0 0 0 0 0 0 0 0 0 0 0 0
  127261. - 0 0 0 0 0 0 0 0 0 0 0 0
  127262. - 0 0 0 0 0 0 0 0 0 0 0 0
  127263. - 0 0 0 0 0 0 0 0 0 0 0 0
  127264. - 0 0 0 0 0 0 0 0 0 0 0 0
  127265. - 0 0 1 0 0 1 0 0 1 0 0 0
  127266. - 0 0 0 0 0 0 0 0 0 0 0 0
  127267. - 0 0 0 0 0 0 0 0 0 0 0 0
  127268. - 0 0 0 0 0 0 0 0 0 0 0 0
  127269. - 0 0 0 0 0 0 0 0 0 0 0 0
  127270. - 0 0 0 0 0 0 0 0 0 0 0 0
  127271. - 0 0 0 0 0 0 10 10 10 26 26 26
  127272. - 50 50 50 82 82 82 58 58 58 6 6 6
  127273. - 2 2 6 2 2 6 2 2 6 2 2 6
  127274. - 2 2 6 2 2 6 2 2 6 2 2 6
  127275. - 6 6 6 54 54 54 86 86 86 66 66 66
  127276. - 38 38 38 18 18 18 6 6 6 0 0 0
  127277. - 0 0 0 0 0 0 0 0 0 0 0 0
  127278. - 0 0 0 0 0 0 0 0 0 0 0 0
  127279. - 0 0 0 0 0 0 0 0 0 0 0 0
  127280. - 0 0 0 0 0 0 0 0 0 0 0 0
  127281. - 0 0 0 0 0 0 0 0 0 0 0 0
  127282. - 0 0 0 0 0 0 0 0 0 0 0 0
  127283. - 0 0 0 0 0 0 0 0 0 0 0 0
  127284. - 0 0 0 0 0 0 0 0 0 0 0 0
  127285. - 0 0 0 0 0 0 0 0 0 0 0 0
  127286. - 0 0 0 0 0 0 0 0 0 0 0 0
  127287. - 0 0 0 0 0 0 0 0 0 0 0 0
  127288. - 0 0 0 0 0 0 0 0 0 0 0 0
  127289. - 0 0 0 0 0 0 0 0 0 0 0 0
  127290. - 0 0 0 0 0 0 0 0 0 0 0 0
  127291. - 0 0 0 6 6 6 22 22 22 50 50 50
  127292. - 78 78 78 34 34 34 2 2 6 2 2 6
  127293. - 2 2 6 2 2 6 2 2 6 2 2 6
  127294. - 2 2 6 2 2 6 2 2 6 2 2 6
  127295. - 2 2 6 2 2 6 6 6 6 70 70 70
  127296. - 78 78 78 46 46 46 22 22 22 6 6 6
  127297. - 0 0 0 0 0 0 0 0 0 0 0 0
  127298. - 0 0 0 0 0 0 0 0 0 0 0 0
  127299. - 0 0 0 0 0 0 0 0 0 0 0 0
  127300. - 0 0 0 0 0 0 0 0 0 0 0 0
  127301. - 0 0 0 0 0 0 0 0 0 0 0 0
  127302. - 0 0 0 0 0 0 0 0 0 0 0 0
  127303. - 0 0 0 0 0 0 0 0 0 0 0 0
  127304. - 0 0 0 0 0 0 0 0 0 0 0 0
  127305. - 0 0 1 0 0 1 0 0 1 0 0 0
  127306. - 0 0 0 0 0 0 0 0 0 0 0 0
  127307. - 0 0 0 0 0 0 0 0 0 0 0 0
  127308. - 0 0 0 0 0 0 0 0 0 0 0 0
  127309. - 0 0 0 0 0 0 0 0 0 0 0 0
  127310. - 0 0 0 0 0 0 0 0 0 0 0 0
  127311. - 6 6 6 18 18 18 42 42 42 82 82 82
  127312. - 26 26 26 2 2 6 2 2 6 2 2 6
  127313. - 2 2 6 2 2 6 2 2 6 2 2 6
  127314. - 2 2 6 2 2 6 2 2 6 14 14 14
  127315. - 46 46 46 34 34 34 6 6 6 2 2 6
  127316. - 42 42 42 78 78 78 42 42 42 18 18 18
  127317. - 6 6 6 0 0 0 0 0 0 0 0 0
  127318. - 0 0 0 0 0 0 0 0 0 0 0 0
  127319. - 0 0 0 0 0 0 0 0 0 0 0 0
  127320. - 0 0 0 0 0 0 0 0 0 0 0 0
  127321. - 0 0 0 0 0 0 0 0 0 0 0 0
  127322. - 0 0 0 0 0 0 0 0 0 0 0 0
  127323. - 0 0 0 0 0 0 0 0 0 0 0 0
  127324. - 0 0 0 0 0 0 0 0 0 0 0 0
  127325. - 0 0 1 0 0 0 0 0 1 0 0 0
  127326. - 0 0 0 0 0 0 0 0 0 0 0 0
  127327. - 0 0 0 0 0 0 0 0 0 0 0 0
  127328. - 0 0 0 0 0 0 0 0 0 0 0 0
  127329. - 0 0 0 0 0 0 0 0 0 0 0 0
  127330. - 0 0 0 0 0 0 0 0 0 0 0 0
  127331. - 10 10 10 30 30 30 66 66 66 58 58 58
  127332. - 2 2 6 2 2 6 2 2 6 2 2 6
  127333. - 2 2 6 2 2 6 2 2 6 2 2 6
  127334. - 2 2 6 2 2 6 2 2 6 26 26 26
  127335. - 86 86 86 101 101 101 46 46 46 10 10 10
  127336. - 2 2 6 58 58 58 70 70 70 34 34 34
  127337. - 10 10 10 0 0 0 0 0 0 0 0 0
  127338. - 0 0 0 0 0 0 0 0 0 0 0 0
  127339. - 0 0 0 0 0 0 0 0 0 0 0 0
  127340. - 0 0 0 0 0 0 0 0 0 0 0 0
  127341. - 0 0 0 0 0 0 0 0 0 0 0 0
  127342. - 0 0 0 0 0 0 0 0 0 0 0 0
  127343. - 0 0 0 0 0 0 0 0 0 0 0 0
  127344. - 0 0 0 0 0 0 0 0 0 0 0 0
  127345. - 0 0 1 0 0 1 0 0 1 0 0 0
  127346. - 0 0 0 0 0 0 0 0 0 0 0 0
  127347. - 0 0 0 0 0 0 0 0 0 0 0 0
  127348. - 0 0 0 0 0 0 0 0 0 0 0 0
  127349. - 0 0 0 0 0 0 0 0 0 0 0 0
  127350. - 0 0 0 0 0 0 0 0 0 0 0 0
  127351. - 14 14 14 42 42 42 86 86 86 10 10 10
  127352. - 2 2 6 2 2 6 2 2 6 2 2 6
  127353. - 2 2 6 2 2 6 2 2 6 2 2 6
  127354. - 2 2 6 2 2 6 2 2 6 30 30 30
  127355. - 94 94 94 94 94 94 58 58 58 26 26 26
  127356. - 2 2 6 6 6 6 78 78 78 54 54 54
  127357. - 22 22 22 6 6 6 0 0 0 0 0 0
  127358. - 0 0 0 0 0 0 0 0 0 0 0 0
  127359. - 0 0 0 0 0 0 0 0 0 0 0 0
  127360. - 0 0 0 0 0 0 0 0 0 0 0 0
  127361. - 0 0 0 0 0 0 0 0 0 0 0 0
  127362. - 0 0 0 0 0 0 0 0 0 0 0 0
  127363. - 0 0 0 0 0 0 0 0 0 0 0 0
  127364. - 0 0 0 0 0 0 0 0 0 0 0 0
  127365. - 0 0 0 0 0 0 0 0 0 0 0 0
  127366. - 0 0 0 0 0 0 0 0 0 0 0 0
  127367. - 0 0 0 0 0 0 0 0 0 0 0 0
  127368. - 0 0 0 0 0 0 0 0 0 0 0 0
  127369. - 0 0 0 0 0 0 0 0 0 0 0 0
  127370. - 0 0 0 0 0 0 0 0 0 6 6 6
  127371. - 22 22 22 62 62 62 62 62 62 2 2 6
  127372. - 2 2 6 2 2 6 2 2 6 2 2 6
  127373. - 2 2 6 2 2 6 2 2 6 2 2 6
  127374. - 2 2 6 2 2 6 2 2 6 26 26 26
  127375. - 54 54 54 38 38 38 18 18 18 10 10 10
  127376. - 2 2 6 2 2 6 34 34 34 82 82 82
  127377. - 38 38 38 14 14 14 0 0 0 0 0 0
  127378. - 0 0 0 0 0 0 0 0 0 0 0 0
  127379. - 0 0 0 0 0 0 0 0 0 0 0 0
  127380. - 0 0 0 0 0 0 0 0 0 0 0 0
  127381. - 0 0 0 0 0 0 0 0 0 0 0 0
  127382. - 0 0 0 0 0 0 0 0 0 0 0 0
  127383. - 0 0 0 0 0 0 0 0 0 0 0 0
  127384. - 0 0 0 0 0 0 0 0 0 0 0 0
  127385. - 0 0 0 0 0 1 0 0 1 0 0 0
  127386. - 0 0 0 0 0 0 0 0 0 0 0 0
  127387. - 0 0 0 0 0 0 0 0 0 0 0 0
  127388. - 0 0 0 0 0 0 0 0 0 0 0 0
  127389. - 0 0 0 0 0 0 0 0 0 0 0 0
  127390. - 0 0 0 0 0 0 0 0 0 6 6 6
  127391. - 30 30 30 78 78 78 30 30 30 2 2 6
  127392. - 2 2 6 2 2 6 2 2 6 2 2 6
  127393. - 2 2 6 2 2 6 2 2 6 2 2 6
  127394. - 2 2 6 2 2 6 2 2 6 10 10 10
  127395. - 10 10 10 2 2 6 2 2 6 2 2 6
  127396. - 2 2 6 2 2 6 2 2 6 78 78 78
  127397. - 50 50 50 18 18 18 6 6 6 0 0 0
  127398. - 0 0 0 0 0 0 0 0 0 0 0 0
  127399. - 0 0 0 0 0 0 0 0 0 0 0 0
  127400. - 0 0 0 0 0 0 0 0 0 0 0 0
  127401. - 0 0 0 0 0 0 0 0 0 0 0 0
  127402. - 0 0 0 0 0 0 0 0 0 0 0 0
  127403. - 0 0 0 0 0 0 0 0 0 0 0 0
  127404. - 0 0 0 0 0 0 0 0 0 0 0 0
  127405. - 0 0 1 0 0 0 0 0 0 0 0 0
  127406. - 0 0 0 0 0 0 0 0 0 0 0 0
  127407. - 0 0 0 0 0 0 0 0 0 0 0 0
  127408. - 0 0 0 0 0 0 0 0 0 0 0 0
  127409. - 0 0 0 0 0 0 0 0 0 0 0 0
  127410. - 0 0 0 0 0 0 0 0 0 10 10 10
  127411. - 38 38 38 86 86 86 14 14 14 2 2 6
  127412. - 2 2 6 2 2 6 2 2 6 2 2 6
  127413. - 2 2 6 2 2 6 2 2 6 2 2 6
  127414. - 2 2 6 2 2 6 2 2 6 2 2 6
  127415. - 2 2 6 2 2 6 2 2 6 2 2 6
  127416. - 2 2 6 2 2 6 2 2 6 54 54 54
  127417. - 66 66 66 26 26 26 6 6 6 0 0 0
  127418. - 0 0 0 0 0 0 0 0 0 0 0 0
  127419. - 0 0 0 0 0 0 0 0 0 0 0 0
  127420. - 0 0 0 0 0 0 0 0 0 0 0 0
  127421. - 0 0 0 0 0 0 0 0 0 0 0 0
  127422. - 0 0 0 0 0 0 0 0 0 0 0 0
  127423. - 0 0 0 0 0 0 0 0 0 0 0 0
  127424. - 0 0 0 0 0 0 0 0 0 0 0 0
  127425. - 0 0 0 0 0 1 0 0 1 0 0 0
  127426. - 0 0 0 0 0 0 0 0 0 0 0 0
  127427. - 0 0 0 0 0 0 0 0 0 0 0 0
  127428. - 0 0 0 0 0 0 0 0 0 0 0 0
  127429. - 0 0 0 0 0 0 0 0 0 0 0 0
  127430. - 0 0 0 0 0 0 0 0 0 14 14 14
  127431. - 42 42 42 82 82 82 2 2 6 2 2 6
  127432. - 2 2 6 6 6 6 10 10 10 2 2 6
  127433. - 2 2 6 2 2 6 2 2 6 2 2 6
  127434. - 2 2 6 2 2 6 2 2 6 6 6 6
  127435. - 14 14 14 10 10 10 2 2 6 2 2 6
  127436. - 2 2 6 2 2 6 2 2 6 18 18 18
  127437. - 82 82 82 34 34 34 10 10 10 0 0 0
  127438. - 0 0 0 0 0 0 0 0 0 0 0 0
  127439. - 0 0 0 0 0 0 0 0 0 0 0 0
  127440. - 0 0 0 0 0 0 0 0 0 0 0 0
  127441. - 0 0 0 0 0 0 0 0 0 0 0 0
  127442. - 0 0 0 0 0 0 0 0 0 0 0 0
  127443. - 0 0 0 0 0 0 0 0 0 0 0 0
  127444. - 0 0 0 0 0 0 0 0 0 0 0 0
  127445. - 0 0 1 0 0 0 0 0 0 0 0 0
  127446. - 0 0 0 0 0 0 0 0 0 0 0 0
  127447. - 0 0 0 0 0 0 0 0 0 0 0 0
  127448. - 0 0 0 0 0 0 0 0 0 0 0 0
  127449. - 0 0 0 0 0 0 0 0 0 0 0 0
  127450. - 0 0 0 0 0 0 0 0 0 14 14 14
  127451. - 46 46 46 86 86 86 2 2 6 2 2 6
  127452. - 6 6 6 6 6 6 22 22 22 34 34 34
  127453. - 6 6 6 2 2 6 2 2 6 2 2 6
  127454. - 2 2 6 2 2 6 18 18 18 34 34 34
  127455. - 10 10 10 50 50 50 22 22 22 2 2 6
  127456. - 2 2 6 2 2 6 2 2 6 10 10 10
  127457. - 86 86 86 42 42 42 14 14 14 0 0 0
  127458. - 0 0 0 0 0 0 0 0 0 0 0 0
  127459. - 0 0 0 0 0 0 0 0 0 0 0 0
  127460. - 0 0 0 0 0 0 0 0 0 0 0 0
  127461. - 0 0 0 0 0 0 0 0 0 0 0 0
  127462. - 0 0 0 0 0 0 0 0 0 0 0 0
  127463. - 0 0 0 0 0 0 0 0 0 0 0 0
  127464. - 0 0 0 0 0 0 0 0 0 0 0 0
  127465. - 0 0 1 0 0 1 0 0 1 0 0 0
  127466. - 0 0 0 0 0 0 0 0 0 0 0 0
  127467. - 0 0 0 0 0 0 0 0 0 0 0 0
  127468. - 0 0 0 0 0 0 0 0 0 0 0 0
  127469. - 0 0 0 0 0 0 0 0 0 0 0 0
  127470. - 0 0 0 0 0 0 0 0 0 14 14 14
  127471. - 46 46 46 86 86 86 2 2 6 2 2 6
  127472. - 38 38 38 116 116 116 94 94 94 22 22 22
  127473. - 22 22 22 2 2 6 2 2 6 2 2 6
  127474. - 14 14 14 86 86 86 138 138 138 162 162 162
  127475. -154 154 154 38 38 38 26 26 26 6 6 6
  127476. - 2 2 6 2 2 6 2 2 6 2 2 6
  127477. - 86 86 86 46 46 46 14 14 14 0 0 0
  127478. - 0 0 0 0 0 0 0 0 0 0 0 0
  127479. - 0 0 0 0 0 0 0 0 0 0 0 0
  127480. - 0 0 0 0 0 0 0 0 0 0 0 0
  127481. - 0 0 0 0 0 0 0 0 0 0 0 0
  127482. - 0 0 0 0 0 0 0 0 0 0 0 0
  127483. - 0 0 0 0 0 0 0 0 0 0 0 0
  127484. - 0 0 0 0 0 0 0 0 0 0 0 0
  127485. - 0 0 0 0 0 0 0 0 0 0 0 0
  127486. - 0 0 0 0 0 0 0 0 0 0 0 0
  127487. - 0 0 0 0 0 0 0 0 0 0 0 0
  127488. - 0 0 0 0 0 0 0 0 0 0 0 0
  127489. - 0 0 0 0 0 0 0 0 0 0 0 0
  127490. - 0 0 0 0 0 0 0 0 0 14 14 14
  127491. - 46 46 46 86 86 86 2 2 6 14 14 14
  127492. -134 134 134 198 198 198 195 195 195 116 116 116
  127493. - 10 10 10 2 2 6 2 2 6 6 6 6
  127494. -101 98 89 187 187 187 210 210 210 218 218 218
  127495. -214 214 214 134 134 134 14 14 14 6 6 6
  127496. - 2 2 6 2 2 6 2 2 6 2 2 6
  127497. - 86 86 86 50 50 50 18 18 18 6 6 6
  127498. - 0 0 0 0 0 0 0 0 0 0 0 0
  127499. - 0 0 0 0 0 0 0 0 0 0 0 0
  127500. - 0 0 0 0 0 0 0 0 0 0 0 0
  127501. - 0 0 0 0 0 0 0 0 0 0 0 0
  127502. - 0 0 0 0 0 0 0 0 0 0 0 0
  127503. - 0 0 0 0 0 0 0 0 0 0 0 0
  127504. - 0 0 0 0 0 0 0 0 1 0 0 0
  127505. - 0 0 1 0 0 1 0 0 1 0 0 0
  127506. - 0 0 0 0 0 0 0 0 0 0 0 0
  127507. - 0 0 0 0 0 0 0 0 0 0 0 0
  127508. - 0 0 0 0 0 0 0 0 0 0 0 0
  127509. - 0 0 0 0 0 0 0 0 0 0 0 0
  127510. - 0 0 0 0 0 0 0 0 0 14 14 14
  127511. - 46 46 46 86 86 86 2 2 6 54 54 54
  127512. -218 218 218 195 195 195 226 226 226 246 246 246
  127513. - 58 58 58 2 2 6 2 2 6 30 30 30
  127514. -210 210 210 253 253 253 174 174 174 123 123 123
  127515. -221 221 221 234 234 234 74 74 74 2 2 6
  127516. - 2 2 6 2 2 6 2 2 6 2 2 6
  127517. - 70 70 70 58 58 58 22 22 22 6 6 6
  127518. - 0 0 0 0 0 0 0 0 0 0 0 0
  127519. - 0 0 0 0 0 0 0 0 0 0 0 0
  127520. - 0 0 0 0 0 0 0 0 0 0 0 0
  127521. - 0 0 0 0 0 0 0 0 0 0 0 0
  127522. - 0 0 0 0 0 0 0 0 0 0 0 0
  127523. - 0 0 0 0 0 0 0 0 0 0 0 0
  127524. - 0 0 0 0 0 0 0 0 0 0 0 0
  127525. - 0 0 0 0 0 0 0 0 0 0 0 0
  127526. - 0 0 0 0 0 0 0 0 0 0 0 0
  127527. - 0 0 0 0 0 0 0 0 0 0 0 0
  127528. - 0 0 0 0 0 0 0 0 0 0 0 0
  127529. - 0 0 0 0 0 0 0 0 0 0 0 0
  127530. - 0 0 0 0 0 0 0 0 0 14 14 14
  127531. - 46 46 46 82 82 82 2 2 6 106 106 106
  127532. -170 170 170 26 26 26 86 86 86 226 226 226
  127533. -123 123 123 10 10 10 14 14 14 46 46 46
  127534. -231 231 231 190 190 190 6 6 6 70 70 70
  127535. - 90 90 90 238 238 238 158 158 158 2 2 6
  127536. - 2 2 6 2 2 6 2 2 6 2 2 6
  127537. - 70 70 70 58 58 58 22 22 22 6 6 6
  127538. - 0 0 0 0 0 0 0 0 0 0 0 0
  127539. - 0 0 0 0 0 0 0 0 0 0 0 0
  127540. - 0 0 0 0 0 0 0 0 0 0 0 0
  127541. - 0 0 0 0 0 0 0 0 0 0 0 0
  127542. - 0 0 0 0 0 0 0 0 0 0 0 0
  127543. - 0 0 0 0 0 0 0 0 0 0 0 0
  127544. - 0 0 0 0 0 0 0 0 1 0 0 0
  127545. - 0 0 1 0 0 1 0 0 1 0 0 0
  127546. - 0 0 0 0 0 0 0 0 0 0 0 0
  127547. - 0 0 0 0 0 0 0 0 0 0 0 0
  127548. - 0 0 0 0 0 0 0 0 0 0 0 0
  127549. - 0 0 0 0 0 0 0 0 0 0 0 0
  127550. - 0 0 0 0 0 0 0 0 0 14 14 14
  127551. - 42 42 42 86 86 86 6 6 6 116 116 116
  127552. -106 106 106 6 6 6 70 70 70 149 149 149
  127553. -128 128 128 18 18 18 38 38 38 54 54 54
  127554. -221 221 221 106 106 106 2 2 6 14 14 14
  127555. - 46 46 46 190 190 190 198 198 198 2 2 6
  127556. - 2 2 6 2 2 6 2 2 6 2 2 6
  127557. - 74 74 74 62 62 62 22 22 22 6 6 6
  127558. - 0 0 0 0 0 0 0 0 0 0 0 0
  127559. - 0 0 0 0 0 0 0 0 0 0 0 0
  127560. - 0 0 0 0 0 0 0 0 0 0 0 0
  127561. - 0 0 0 0 0 0 0 0 0 0 0 0
  127562. - 0 0 0 0 0 0 0 0 0 0 0 0
  127563. - 0 0 0 0 0 0 0 0 0 0 0 0
  127564. - 0 0 0 0 0 0 0 0 1 0 0 0
  127565. - 0 0 1 0 0 0 0 0 1 0 0 0
  127566. - 0 0 0 0 0 0 0 0 0 0 0 0
  127567. - 0 0 0 0 0 0 0 0 0 0 0 0
  127568. - 0 0 0 0 0 0 0 0 0 0 0 0
  127569. - 0 0 0 0 0 0 0 0 0 0 0 0
  127570. - 0 0 0 0 0 0 0 0 0 14 14 14
  127571. - 42 42 42 94 94 94 14 14 14 101 101 101
  127572. -128 128 128 2 2 6 18 18 18 116 116 116
  127573. -118 98 46 121 92 8 121 92 8 98 78 10
  127574. -162 162 162 106 106 106 2 2 6 2 2 6
  127575. - 2 2 6 195 195 195 195 195 195 6 6 6
  127576. - 2 2 6 2 2 6 2 2 6 2 2 6
  127577. - 74 74 74 62 62 62 22 22 22 6 6 6
  127578. - 0 0 0 0 0 0 0 0 0 0 0 0
  127579. - 0 0 0 0 0 0 0 0 0 0 0 0
  127580. - 0 0 0 0 0 0 0 0 0 0 0 0
  127581. - 0 0 0 0 0 0 0 0 0 0 0 0
  127582. - 0 0 0 0 0 0 0 0 0 0 0 0
  127583. - 0 0 0 0 0 0 0 0 0 0 0 0
  127584. - 0 0 0 0 0 0 0 0 1 0 0 1
  127585. - 0 0 1 0 0 0 0 0 1 0 0 0
  127586. - 0 0 0 0 0 0 0 0 0 0 0 0
  127587. - 0 0 0 0 0 0 0 0 0 0 0 0
  127588. - 0 0 0 0 0 0 0 0 0 0 0 0
  127589. - 0 0 0 0 0 0 0 0 0 0 0 0
  127590. - 0 0 0 0 0 0 0 0 0 10 10 10
  127591. - 38 38 38 90 90 90 14 14 14 58 58 58
  127592. -210 210 210 26 26 26 54 38 6 154 114 10
  127593. -226 170 11 236 186 11 225 175 15 184 144 12
  127594. -215 174 15 175 146 61 37 26 9 2 2 6
  127595. - 70 70 70 246 246 246 138 138 138 2 2 6
  127596. - 2 2 6 2 2 6 2 2 6 2 2 6
  127597. - 70 70 70 66 66 66 26 26 26 6 6 6
  127598. - 0 0 0 0 0 0 0 0 0 0 0 0
  127599. - 0 0 0 0 0 0 0 0 0 0 0 0
  127600. - 0 0 0 0 0 0 0 0 0 0 0 0
  127601. - 0 0 0 0 0 0 0 0 0 0 0 0
  127602. - 0 0 0 0 0 0 0 0 0 0 0 0
  127603. - 0 0 0 0 0 0 0 0 0 0 0 0
  127604. - 0 0 0 0 0 0 0 0 0 0 0 0
  127605. - 0 0 0 0 0 0 0 0 0 0 0 0
  127606. - 0 0 0 0 0 0 0 0 0 0 0 0
  127607. - 0 0 0 0 0 0 0 0 0 0 0 0
  127608. - 0 0 0 0 0 0 0 0 0 0 0 0
  127609. - 0 0 0 0 0 0 0 0 0 0 0 0
  127610. - 0 0 0 0 0 0 0 0 0 10 10 10
  127611. - 38 38 38 86 86 86 14 14 14 10 10 10
  127612. -195 195 195 188 164 115 192 133 9 225 175 15
  127613. -239 182 13 234 190 10 232 195 16 232 200 30
  127614. -245 207 45 241 208 19 232 195 16 184 144 12
  127615. -218 194 134 211 206 186 42 42 42 2 2 6
  127616. - 2 2 6 2 2 6 2 2 6 2 2 6
  127617. - 50 50 50 74 74 74 30 30 30 6 6 6
  127618. - 0 0 0 0 0 0 0 0 0 0 0 0
  127619. - 0 0 0 0 0 0 0 0 0 0 0 0
  127620. - 0 0 0 0 0 0 0 0 0 0 0 0
  127621. - 0 0 0 0 0 0 0 0 0 0 0 0
  127622. - 0 0 0 0 0 0 0 0 0 0 0 0
  127623. - 0 0 0 0 0 0 0 0 0 0 0 0
  127624. - 0 0 0 0 0 0 0 0 0 0 0 0
  127625. - 0 0 0 0 0 0 0 0 0 0 0 0
  127626. - 0 0 0 0 0 0 0 0 0 0 0 0
  127627. - 0 0 0 0 0 0 0 0 0 0 0 0
  127628. - 0 0 0 0 0 0 0 0 0 0 0 0
  127629. - 0 0 0 0 0 0 0 0 0 0 0 0
  127630. - 0 0 0 0 0 0 0 0 0 10 10 10
  127631. - 34 34 34 86 86 86 14 14 14 2 2 6
  127632. -121 87 25 192 133 9 219 162 10 239 182 13
  127633. -236 186 11 232 195 16 241 208 19 244 214 54
  127634. -246 218 60 246 218 38 246 215 20 241 208 19
  127635. -241 208 19 226 184 13 121 87 25 2 2 6
  127636. - 2 2 6 2 2 6 2 2 6 2 2 6
  127637. - 50 50 50 82 82 82 34 34 34 10 10 10
  127638. - 0 0 0 0 0 0 0 0 0 0 0 0
  127639. - 0 0 0 0 0 0 0 0 0 0 0 0
  127640. - 0 0 0 0 0 0 0 0 0 0 0 0
  127641. - 0 0 0 0 0 0 0 0 0 0 0 0
  127642. - 0 0 0 0 0 0 0 0 0 0 0 0
  127643. - 0 0 0 0 0 0 0 0 0 0 0 0
  127644. - 0 0 0 0 0 0 0 0 0 0 0 0
  127645. - 0 0 0 0 0 0 0 0 0 0 0 0
  127646. - 0 0 0 0 0 0 0 0 0 0 0 0
  127647. - 0 0 0 0 0 0 0 0 0 0 0 0
  127648. - 0 0 0 0 0 0 0 0 0 0 0 0
  127649. - 0 0 0 0 0 0 0 0 0 0 0 0
  127650. - 0 0 0 0 0 0 0 0 0 10 10 10
  127651. - 34 34 34 82 82 82 30 30 30 61 42 6
  127652. -180 123 7 206 145 10 230 174 11 239 182 13
  127653. -234 190 10 238 202 15 241 208 19 246 218 74
  127654. -246 218 38 246 215 20 246 215 20 246 215 20
  127655. -226 184 13 215 174 15 184 144 12 6 6 6
  127656. - 2 2 6 2 2 6 2 2 6 2 2 6
  127657. - 26 26 26 94 94 94 42 42 42 14 14 14
  127658. - 0 0 0 0 0 0 0 0 0 0 0 0
  127659. - 0 0 0 0 0 0 0 0 0 0 0 0
  127660. - 0 0 0 0 0 0 0 0 0 0 0 0
  127661. - 0 0 0 0 0 0 0 0 0 0 0 0
  127662. - 0 0 0 0 0 0 0 0 0 0 0 0
  127663. - 0 0 0 0 0 0 0 0 0 0 0 0
  127664. - 0 0 0 0 0 0 0 0 0 0 0 0
  127665. - 0 0 0 0 0 0 0 0 0 0 0 0
  127666. - 0 0 0 0 0 0 0 0 0 0 0 0
  127667. - 0 0 0 0 0 0 0 0 0 0 0 0
  127668. - 0 0 0 0 0 0 0 0 0 0 0 0
  127669. - 0 0 0 0 0 0 0 0 0 0 0 0
  127670. - 0 0 0 0 0 0 0 0 0 10 10 10
  127671. - 30 30 30 78 78 78 50 50 50 104 69 6
  127672. -192 133 9 216 158 10 236 178 12 236 186 11
  127673. -232 195 16 241 208 19 244 214 54 245 215 43
  127674. -246 215 20 246 215 20 241 208 19 198 155 10
  127675. -200 144 11 216 158 10 156 118 10 2 2 6
  127676. - 2 2 6 2 2 6 2 2 6 2 2 6
  127677. - 6 6 6 90 90 90 54 54 54 18 18 18
  127678. - 6 6 6 0 0 0 0 0 0 0 0 0
  127679. - 0 0 0 0 0 0 0 0 0 0 0 0
  127680. - 0 0 0 0 0 0 0 0 0 0 0 0
  127681. - 0 0 0 0 0 0 0 0 0 0 0 0
  127682. - 0 0 0 0 0 0 0 0 0 0 0 0
  127683. - 0 0 0 0 0 0 0 0 0 0 0 0
  127684. - 0 0 0 0 0 0 0 0 0 0 0 0
  127685. - 0 0 0 0 0 0 0 0 0 0 0 0
  127686. - 0 0 0 0 0 0 0 0 0 0 0 0
  127687. - 0 0 0 0 0 0 0 0 0 0 0 0
  127688. - 0 0 0 0 0 0 0 0 0 0 0 0
  127689. - 0 0 0 0 0 0 0 0 0 0 0 0
  127690. - 0 0 0 0 0 0 0 0 0 10 10 10
  127691. - 30 30 30 78 78 78 46 46 46 22 22 22
  127692. -137 92 6 210 162 10 239 182 13 238 190 10
  127693. -238 202 15 241 208 19 246 215 20 246 215 20
  127694. -241 208 19 203 166 17 185 133 11 210 150 10
  127695. -216 158 10 210 150 10 102 78 10 2 2 6
  127696. - 6 6 6 54 54 54 14 14 14 2 2 6
  127697. - 2 2 6 62 62 62 74 74 74 30 30 30
  127698. - 10 10 10 0 0 0 0 0 0 0 0 0
  127699. - 0 0 0 0 0 0 0 0 0 0 0 0
  127700. - 0 0 0 0 0 0 0 0 0 0 0 0
  127701. - 0 0 0 0 0 0 0 0 0 0 0 0
  127702. - 0 0 0 0 0 0 0 0 0 0 0 0
  127703. - 0 0 0 0 0 0 0 0 0 0 0 0
  127704. - 0 0 0 0 0 0 0 0 0 0 0 0
  127705. - 0 0 0 0 0 0 0 0 0 0 0 0
  127706. - 0 0 0 0 0 0 0 0 0 0 0 0
  127707. - 0 0 0 0 0 0 0 0 0 0 0 0
  127708. - 0 0 0 0 0 0 0 0 0 0 0 0
  127709. - 0 0 0 0 0 0 0 0 0 0 0 0
  127710. - 0 0 0 0 0 0 0 0 0 10 10 10
  127711. - 34 34 34 78 78 78 50 50 50 6 6 6
  127712. - 94 70 30 139 102 15 190 146 13 226 184 13
  127713. -232 200 30 232 195 16 215 174 15 190 146 13
  127714. -168 122 10 192 133 9 210 150 10 213 154 11
  127715. -202 150 34 182 157 106 101 98 89 2 2 6
  127716. - 2 2 6 78 78 78 116 116 116 58 58 58
  127717. - 2 2 6 22 22 22 90 90 90 46 46 46
  127718. - 18 18 18 6 6 6 0 0 0 0 0 0
  127719. - 0 0 0 0 0 0 0 0 0 0 0 0
  127720. - 0 0 0 0 0 0 0 0 0 0 0 0
  127721. - 0 0 0 0 0 0 0 0 0 0 0 0
  127722. - 0 0 0 0 0 0 0 0 0 0 0 0
  127723. - 0 0 0 0 0 0 0 0 0 0 0 0
  127724. - 0 0 0 0 0 0 0 0 0 0 0 0
  127725. - 0 0 0 0 0 0 0 0 0 0 0 0
  127726. - 0 0 0 0 0 0 0 0 0 0 0 0
  127727. - 0 0 0 0 0 0 0 0 0 0 0 0
  127728. - 0 0 0 0 0 0 0 0 0 0 0 0
  127729. - 0 0 0 0 0 0 0 0 0 0 0 0
  127730. - 0 0 0 0 0 0 0 0 0 10 10 10
  127731. - 38 38 38 86 86 86 50 50 50 6 6 6
  127732. -128 128 128 174 154 114 156 107 11 168 122 10
  127733. -198 155 10 184 144 12 197 138 11 200 144 11
  127734. -206 145 10 206 145 10 197 138 11 188 164 115
  127735. -195 195 195 198 198 198 174 174 174 14 14 14
  127736. - 2 2 6 22 22 22 116 116 116 116 116 116
  127737. - 22 22 22 2 2 6 74 74 74 70 70 70
  127738. - 30 30 30 10 10 10 0 0 0 0 0 0
  127739. - 0 0 0 0 0 0 0 0 0 0 0 0
  127740. - 0 0 0 0 0 0 0 0 0 0 0 0
  127741. - 0 0 0 0 0 0 0 0 0 0 0 0
  127742. - 0 0 0 0 0 0 0 0 0 0 0 0
  127743. - 0 0 0 0 0 0 0 0 0 0 0 0
  127744. - 0 0 0 0 0 0 0 0 0 0 0 0
  127745. - 0 0 0 0 0 0 0 0 0 0 0 0
  127746. - 0 0 0 0 0 0 0 0 0 0 0 0
  127747. - 0 0 0 0 0 0 0 0 0 0 0 0
  127748. - 0 0 0 0 0 0 0 0 0 0 0 0
  127749. - 0 0 0 0 0 0 0 0 0 0 0 0
  127750. - 0 0 0 0 0 0 6 6 6 18 18 18
  127751. - 50 50 50 101 101 101 26 26 26 10 10 10
  127752. -138 138 138 190 190 190 174 154 114 156 107 11
  127753. -197 138 11 200 144 11 197 138 11 192 133 9
  127754. -180 123 7 190 142 34 190 178 144 187 187 187
  127755. -202 202 202 221 221 221 214 214 214 66 66 66
  127756. - 2 2 6 2 2 6 50 50 50 62 62 62
  127757. - 6 6 6 2 2 6 10 10 10 90 90 90
  127758. - 50 50 50 18 18 18 6 6 6 0 0 0
  127759. - 0 0 0 0 0 0 0 0 0 0 0 0
  127760. - 0 0 0 0 0 0 0 0 0 0 0 0
  127761. - 0 0 0 0 0 0 0 0 0 0 0 0
  127762. - 0 0 0 0 0 0 0 0 0 0 0 0
  127763. - 0 0 0 0 0 0 0 0 0 0 0 0
  127764. - 0 0 0 0 0 0 0 0 0 0 0 0
  127765. - 0 0 0 0 0 0 0 0 0 0 0 0
  127766. - 0 0 0 0 0 0 0 0 0 0 0 0
  127767. - 0 0 0 0 0 0 0 0 0 0 0 0
  127768. - 0 0 0 0 0 0 0 0 0 0 0 0
  127769. - 0 0 0 0 0 0 0 0 0 0 0 0
  127770. - 0 0 0 0 0 0 10 10 10 34 34 34
  127771. - 74 74 74 74 74 74 2 2 6 6 6 6
  127772. -144 144 144 198 198 198 190 190 190 178 166 146
  127773. -154 121 60 156 107 11 156 107 11 168 124 44
  127774. -174 154 114 187 187 187 190 190 190 210 210 210
  127775. -246 246 246 253 253 253 253 253 253 182 182 182
  127776. - 6 6 6 2 2 6 2 2 6 2 2 6
  127777. - 2 2 6 2 2 6 2 2 6 62 62 62
  127778. - 74 74 74 34 34 34 14 14 14 0 0 0
  127779. - 0 0 0 0 0 0 0 0 0 0 0 0
  127780. - 0 0 0 0 0 0 0 0 0 0 0 0
  127781. - 0 0 0 0 0 0 0 0 0 0 0 0
  127782. - 0 0 0 0 0 0 0 0 0 0 0 0
  127783. - 0 0 0 0 0 0 0 0 0 0 0 0
  127784. - 0 0 0 0 0 0 0 0 0 0 0 0
  127785. - 0 0 0 0 0 0 0 0 0 0 0 0
  127786. - 0 0 0 0 0 0 0 0 0 0 0 0
  127787. - 0 0 0 0 0 0 0 0 0 0 0 0
  127788. - 0 0 0 0 0 0 0 0 0 0 0 0
  127789. - 0 0 0 0 0 0 0 0 0 0 0 0
  127790. - 0 0 0 10 10 10 22 22 22 54 54 54
  127791. - 94 94 94 18 18 18 2 2 6 46 46 46
  127792. -234 234 234 221 221 221 190 190 190 190 190 190
  127793. -190 190 190 187 187 187 187 187 187 190 190 190
  127794. -190 190 190 195 195 195 214 214 214 242 242 242
  127795. -253 253 253 253 253 253 253 253 253 253 253 253
  127796. - 82 82 82 2 2 6 2 2 6 2 2 6
  127797. - 2 2 6 2 2 6 2 2 6 14 14 14
  127798. - 86 86 86 54 54 54 22 22 22 6 6 6
  127799. - 0 0 0 0 0 0 0 0 0 0 0 0
  127800. - 0 0 0 0 0 0 0 0 0 0 0 0
  127801. - 0 0 0 0 0 0 0 0 0 0 0 0
  127802. - 0 0 0 0 0 0 0 0 0 0 0 0
  127803. - 0 0 0 0 0 0 0 0 0 0 0 0
  127804. - 0 0 0 0 0 0 0 0 0 0 0 0
  127805. - 0 0 0 0 0 0 0 0 0 0 0 0
  127806. - 0 0 0 0 0 0 0 0 0 0 0 0
  127807. - 0 0 0 0 0 0 0 0 0 0 0 0
  127808. - 0 0 0 0 0 0 0 0 0 0 0 0
  127809. - 0 0 0 0 0 0 0 0 0 0 0 0
  127810. - 6 6 6 18 18 18 46 46 46 90 90 90
  127811. - 46 46 46 18 18 18 6 6 6 182 182 182
  127812. -253 253 253 246 246 246 206 206 206 190 190 190
  127813. -190 190 190 190 190 190 190 190 190 190 190 190
  127814. -206 206 206 231 231 231 250 250 250 253 253 253
  127815. -253 253 253 253 253 253 253 253 253 253 253 253
  127816. -202 202 202 14 14 14 2 2 6 2 2 6
  127817. - 2 2 6 2 2 6 2 2 6 2 2 6
  127818. - 42 42 42 86 86 86 42 42 42 18 18 18
  127819. - 6 6 6 0 0 0 0 0 0 0 0 0
  127820. - 0 0 0 0 0 0 0 0 0 0 0 0
  127821. - 0 0 0 0 0 0 0 0 0 0 0 0
  127822. - 0 0 0 0 0 0 0 0 0 0 0 0
  127823. - 0 0 0 0 0 0 0 0 0 0 0 0
  127824. - 0 0 0 0 0 0 0 0 0 0 0 0
  127825. - 0 0 0 0 0 0 0 0 0 0 0 0
  127826. - 0 0 0 0 0 0 0 0 0 0 0 0
  127827. - 0 0 0 0 0 0 0 0 0 0 0 0
  127828. - 0 0 0 0 0 0 0 0 0 0 0 0
  127829. - 0 0 0 0 0 0 0 0 0 6 6 6
  127830. - 14 14 14 38 38 38 74 74 74 66 66 66
  127831. - 2 2 6 6 6 6 90 90 90 250 250 250
  127832. -253 253 253 253 253 253 238 238 238 198 198 198
  127833. -190 190 190 190 190 190 195 195 195 221 221 221
  127834. -246 246 246 253 253 253 253 253 253 253 253 253
  127835. -253 253 253 253 253 253 253 253 253 253 253 253
  127836. -253 253 253 82 82 82 2 2 6 2 2 6
  127837. - 2 2 6 2 2 6 2 2 6 2 2 6
  127838. - 2 2 6 78 78 78 70 70 70 34 34 34
  127839. - 14 14 14 6 6 6 0 0 0 0 0 0
  127840. - 0 0 0 0 0 0 0 0 0 0 0 0
  127841. - 0 0 0 0 0 0 0 0 0 0 0 0
  127842. - 0 0 0 0 0 0 0 0 0 0 0 0
  127843. - 0 0 0 0 0 0 0 0 0 0 0 0
  127844. - 0 0 0 0 0 0 0 0 0 0 0 0
  127845. - 0 0 0 0 0 0 0 0 0 0 0 0
  127846. - 0 0 0 0 0 0 0 0 0 0 0 0
  127847. - 0 0 0 0 0 0 0 0 0 0 0 0
  127848. - 0 0 0 0 0 0 0 0 0 0 0 0
  127849. - 0 0 0 0 0 0 0 0 0 14 14 14
  127850. - 34 34 34 66 66 66 78 78 78 6 6 6
  127851. - 2 2 6 18 18 18 218 218 218 253 253 253
  127852. -253 253 253 253 253 253 253 253 253 246 246 246
  127853. -226 226 226 231 231 231 246 246 246 253 253 253
  127854. -253 253 253 253 253 253 253 253 253 253 253 253
  127855. -253 253 253 253 253 253 253 253 253 253 253 253
  127856. -253 253 253 178 178 178 2 2 6 2 2 6
  127857. - 2 2 6 2 2 6 2 2 6 2 2 6
  127858. - 2 2 6 18 18 18 90 90 90 62 62 62
  127859. - 30 30 30 10 10 10 0 0 0 0 0 0
  127860. - 0 0 0 0 0 0 0 0 0 0 0 0
  127861. - 0 0 0 0 0 0 0 0 0 0 0 0
  127862. - 0 0 0 0 0 0 0 0 0 0 0 0
  127863. - 0 0 0 0 0 0 0 0 0 0 0 0
  127864. - 0 0 0 0 0 0 0 0 0 0 0 0
  127865. - 0 0 0 0 0 0 0 0 0 0 0 0
  127866. - 0 0 0 0 0 0 0 0 0 0 0 0
  127867. - 0 0 0 0 0 0 0 0 0 0 0 0
  127868. - 0 0 0 0 0 0 0 0 0 0 0 0
  127869. - 0 0 0 0 0 0 10 10 10 26 26 26
  127870. - 58 58 58 90 90 90 18 18 18 2 2 6
  127871. - 2 2 6 110 110 110 253 253 253 253 253 253
  127872. -253 253 253 253 253 253 253 253 253 253 253 253
  127873. -250 250 250 253 253 253 253 253 253 253 253 253
  127874. -253 253 253 253 253 253 253 253 253 253 253 253
  127875. -253 253 253 253 253 253 253 253 253 253 253 253
  127876. -253 253 253 231 231 231 18 18 18 2 2 6
  127877. - 2 2 6 2 2 6 2 2 6 2 2 6
  127878. - 2 2 6 2 2 6 18 18 18 94 94 94
  127879. - 54 54 54 26 26 26 10 10 10 0 0 0
  127880. - 0 0 0 0 0 0 0 0 0 0 0 0
  127881. - 0 0 0 0 0 0 0 0 0 0 0 0
  127882. - 0 0 0 0 0 0 0 0 0 0 0 0
  127883. - 0 0 0 0 0 0 0 0 0 0 0 0
  127884. - 0 0 0 0 0 0 0 0 0 0 0 0
  127885. - 0 0 0 0 0 0 0 0 0 0 0 0
  127886. - 0 0 0 0 0 0 0 0 0 0 0 0
  127887. - 0 0 0 0 0 0 0 0 0 0 0 0
  127888. - 0 0 0 0 0 0 0 0 0 0 0 0
  127889. - 0 0 0 6 6 6 22 22 22 50 50 50
  127890. - 90 90 90 26 26 26 2 2 6 2 2 6
  127891. - 14 14 14 195 195 195 250 250 250 253 253 253
  127892. -253 253 253 253 253 253 253 253 253 253 253 253
  127893. -253 253 253 253 253 253 253 253 253 253 253 253
  127894. -253 253 253 253 253 253 253 253 253 253 253 253
  127895. -253 253 253 253 253 253 253 253 253 253 253 253
  127896. -250 250 250 242 242 242 54 54 54 2 2 6
  127897. - 2 2 6 2 2 6 2 2 6 2 2 6
  127898. - 2 2 6 2 2 6 2 2 6 38 38 38
  127899. - 86 86 86 50 50 50 22 22 22 6 6 6
  127900. - 0 0 0 0 0 0 0 0 0 0 0 0
  127901. - 0 0 0 0 0 0 0 0 0 0 0 0
  127902. - 0 0 0 0 0 0 0 0 0 0 0 0
  127903. - 0 0 0 0 0 0 0 0 0 0 0 0
  127904. - 0 0 0 0 0 0 0 0 0 0 0 0
  127905. - 0 0 0 0 0 0 0 0 0 0 0 0
  127906. - 0 0 0 0 0 0 0 0 0 0 0 0
  127907. - 0 0 0 0 0 0 0 0 0 0 0 0
  127908. - 0 0 0 0 0 0 0 0 0 0 0 0
  127909. - 6 6 6 14 14 14 38 38 38 82 82 82
  127910. - 34 34 34 2 2 6 2 2 6 2 2 6
  127911. - 42 42 42 195 195 195 246 246 246 253 253 253
  127912. -253 253 253 253 253 253 253 253 253 250 250 250
  127913. -242 242 242 242 242 242 250 250 250 253 253 253
  127914. -253 253 253 253 253 253 253 253 253 253 253 253
  127915. -253 253 253 250 250 250 246 246 246 238 238 238
  127916. -226 226 226 231 231 231 101 101 101 6 6 6
  127917. - 2 2 6 2 2 6 2 2 6 2 2 6
  127918. - 2 2 6 2 2 6 2 2 6 2 2 6
  127919. - 38 38 38 82 82 82 42 42 42 14 14 14
  127920. - 6 6 6 0 0 0 0 0 0 0 0 0
  127921. - 0 0 0 0 0 0 0 0 0 0 0 0
  127922. - 0 0 0 0 0 0 0 0 0 0 0 0
  127923. - 0 0 0 0 0 0 0 0 0 0 0 0
  127924. - 0 0 0 0 0 0 0 0 0 0 0 0
  127925. - 0 0 0 0 0 0 0 0 0 0 0 0
  127926. - 0 0 0 0 0 0 0 0 0 0 0 0
  127927. - 0 0 0 0 0 0 0 0 0 0 0 0
  127928. - 0 0 0 0 0 0 0 0 0 0 0 0
  127929. - 10 10 10 26 26 26 62 62 62 66 66 66
  127930. - 2 2 6 2 2 6 2 2 6 6 6 6
  127931. - 70 70 70 170 170 170 206 206 206 234 234 234
  127932. -246 246 246 250 250 250 250 250 250 238 238 238
  127933. -226 226 226 231 231 231 238 238 238 250 250 250
  127934. -250 250 250 250 250 250 246 246 246 231 231 231
  127935. -214 214 214 206 206 206 202 202 202 202 202 202
  127936. -198 198 198 202 202 202 182 182 182 18 18 18
  127937. - 2 2 6 2 2 6 2 2 6 2 2 6
  127938. - 2 2 6 2 2 6 2 2 6 2 2 6
  127939. - 2 2 6 62 62 62 66 66 66 30 30 30
  127940. - 10 10 10 0 0 0 0 0 0 0 0 0
  127941. - 0 0 0 0 0 0 0 0 0 0 0 0
  127942. - 0 0 0 0 0 0 0 0 0 0 0 0
  127943. - 0 0 0 0 0 0 0 0 0 0 0 0
  127944. - 0 0 0 0 0 0 0 0 0 0 0 0
  127945. - 0 0 0 0 0 0 0 0 0 0 0 0
  127946. - 0 0 0 0 0 0 0 0 0 0 0 0
  127947. - 0 0 0 0 0 0 0 0 0 0 0 0
  127948. - 0 0 0 0 0 0 0 0 0 0 0 0
  127949. - 14 14 14 42 42 42 82 82 82 18 18 18
  127950. - 2 2 6 2 2 6 2 2 6 10 10 10
  127951. - 94 94 94 182 182 182 218 218 218 242 242 242
  127952. -250 250 250 253 253 253 253 253 253 250 250 250
  127953. -234 234 234 253 253 253 253 253 253 253 253 253
  127954. -253 253 253 253 253 253 253 253 253 246 246 246
  127955. -238 238 238 226 226 226 210 210 210 202 202 202
  127956. -195 195 195 195 195 195 210 210 210 158 158 158
  127957. - 6 6 6 14 14 14 50 50 50 14 14 14
  127958. - 2 2 6 2 2 6 2 2 6 2 2 6
  127959. - 2 2 6 6 6 6 86 86 86 46 46 46
  127960. - 18 18 18 6 6 6 0 0 0 0 0 0
  127961. - 0 0 0 0 0 0 0 0 0 0 0 0
  127962. - 0 0 0 0 0 0 0 0 0 0 0 0
  127963. - 0 0 0 0 0 0 0 0 0 0 0 0
  127964. - 0 0 0 0 0 0 0 0 0 0 0 0
  127965. - 0 0 0 0 0 0 0 0 0 0 0 0
  127966. - 0 0 0 0 0 0 0 0 0 0 0 0
  127967. - 0 0 0 0 0 0 0 0 0 0 0 0
  127968. - 0 0 0 0 0 0 0 0 0 6 6 6
  127969. - 22 22 22 54 54 54 70 70 70 2 2 6
  127970. - 2 2 6 10 10 10 2 2 6 22 22 22
  127971. -166 166 166 231 231 231 250 250 250 253 253 253
  127972. -253 253 253 253 253 253 253 253 253 250 250 250
  127973. -242 242 242 253 253 253 253 253 253 253 253 253
  127974. -253 253 253 253 253 253 253 253 253 253 253 253
  127975. -253 253 253 253 253 253 253 253 253 246 246 246
  127976. -231 231 231 206 206 206 198 198 198 226 226 226
  127977. - 94 94 94 2 2 6 6 6 6 38 38 38
  127978. - 30 30 30 2 2 6 2 2 6 2 2 6
  127979. - 2 2 6 2 2 6 62 62 62 66 66 66
  127980. - 26 26 26 10 10 10 0 0 0 0 0 0
  127981. - 0 0 0 0 0 0 0 0 0 0 0 0
  127982. - 0 0 0 0 0 0 0 0 0 0 0 0
  127983. - 0 0 0 0 0 0 0 0 0 0 0 0
  127984. - 0 0 0 0 0 0 0 0 0 0 0 0
  127985. - 0 0 0 0 0 0 0 0 0 0 0 0
  127986. - 0 0 0 0 0 0 0 0 0 0 0 0
  127987. - 0 0 0 0 0 0 0 0 0 0 0 0
  127988. - 0 0 0 0 0 0 0 0 0 10 10 10
  127989. - 30 30 30 74 74 74 50 50 50 2 2 6
  127990. - 26 26 26 26 26 26 2 2 6 106 106 106
  127991. -238 238 238 253 253 253 253 253 253 253 253 253
  127992. -253 253 253 253 253 253 253 253 253 253 253 253
  127993. -253 253 253 253 253 253 253 253 253 253 253 253
  127994. -253 253 253 253 253 253 253 253 253 253 253 253
  127995. -253 253 253 253 253 253 253 253 253 253 253 253
  127996. -253 253 253 246 246 246 218 218 218 202 202 202
  127997. -210 210 210 14 14 14 2 2 6 2 2 6
  127998. - 30 30 30 22 22 22 2 2 6 2 2 6
  127999. - 2 2 6 2 2 6 18 18 18 86 86 86
  128000. - 42 42 42 14 14 14 0 0 0 0 0 0
  128001. - 0 0 0 0 0 0 0 0 0 0 0 0
  128002. - 0 0 0 0 0 0 0 0 0 0 0 0
  128003. - 0 0 0 0 0 0 0 0 0 0 0 0
  128004. - 0 0 0 0 0 0 0 0 0 0 0 0
  128005. - 0 0 0 0 0 0 0 0 0 0 0 0
  128006. - 0 0 0 0 0 0 0 0 0 0 0 0
  128007. - 0 0 0 0 0 0 0 0 0 0 0 0
  128008. - 0 0 0 0 0 0 0 0 0 14 14 14
  128009. - 42 42 42 90 90 90 22 22 22 2 2 6
  128010. - 42 42 42 2 2 6 18 18 18 218 218 218
  128011. -253 253 253 253 253 253 253 253 253 253 253 253
  128012. -253 253 253 253 253 253 253 253 253 253 253 253
  128013. -253 253 253 253 253 253 253 253 253 253 253 253
  128014. -253 253 253 253 253 253 253 253 253 253 253 253
  128015. -253 253 253 253 253 253 253 253 253 253 253 253
  128016. -253 253 253 253 253 253 250 250 250 221 221 221
  128017. -218 218 218 101 101 101 2 2 6 14 14 14
  128018. - 18 18 18 38 38 38 10 10 10 2 2 6
  128019. - 2 2 6 2 2 6 2 2 6 78 78 78
  128020. - 58 58 58 22 22 22 6 6 6 0 0 0
  128021. - 0 0 0 0 0 0 0 0 0 0 0 0
  128022. - 0 0 0 0 0 0 0 0 0 0 0 0
  128023. - 0 0 0 0 0 0 0 0 0 0 0 0
  128024. - 0 0 0 0 0 0 0 0 0 0 0 0
  128025. - 0 0 0 0 0 0 0 0 0 0 0 0
  128026. - 0 0 0 0 0 0 0 0 0 0 0 0
  128027. - 0 0 0 0 0 0 0 0 0 0 0 0
  128028. - 0 0 0 0 0 0 6 6 6 18 18 18
  128029. - 54 54 54 82 82 82 2 2 6 26 26 26
  128030. - 22 22 22 2 2 6 123 123 123 253 253 253
  128031. -253 253 253 253 253 253 253 253 253 253 253 253
  128032. -253 253 253 253 253 253 253 253 253 253 253 253
  128033. -253 253 253 253 253 253 253 253 253 253 253 253
  128034. -253 253 253 253 253 253 253 253 253 253 253 253
  128035. -253 253 253 253 253 253 253 253 253 253 253 253
  128036. -253 253 253 253 253 253 253 253 253 250 250 250
  128037. -238 238 238 198 198 198 6 6 6 38 38 38
  128038. - 58 58 58 26 26 26 38 38 38 2 2 6
  128039. - 2 2 6 2 2 6 2 2 6 46 46 46
  128040. - 78 78 78 30 30 30 10 10 10 0 0 0
  128041. - 0 0 0 0 0 0 0 0 0 0 0 0
  128042. - 0 0 0 0 0 0 0 0 0 0 0 0
  128043. - 0 0 0 0 0 0 0 0 0 0 0 0
  128044. - 0 0 0 0 0 0 0 0 0 0 0 0
  128045. - 0 0 0 0 0 0 0 0 0 0 0 0
  128046. - 0 0 0 0 0 0 0 0 0 0 0 0
  128047. - 0 0 0 0 0 0 0 0 0 0 0 0
  128048. - 0 0 0 0 0 0 10 10 10 30 30 30
  128049. - 74 74 74 58 58 58 2 2 6 42 42 42
  128050. - 2 2 6 22 22 22 231 231 231 253 253 253
  128051. -253 253 253 253 253 253 253 253 253 253 253 253
  128052. -253 253 253 253 253 253 253 253 253 250 250 250
  128053. -253 253 253 253 253 253 253 253 253 253 253 253
  128054. -253 253 253 253 253 253 253 253 253 253 253 253
  128055. -253 253 253 253 253 253 253 253 253 253 253 253
  128056. -253 253 253 253 253 253 253 253 253 253 253 253
  128057. -253 253 253 246 246 246 46 46 46 38 38 38
  128058. - 42 42 42 14 14 14 38 38 38 14 14 14
  128059. - 2 2 6 2 2 6 2 2 6 6 6 6
  128060. - 86 86 86 46 46 46 14 14 14 0 0 0
  128061. - 0 0 0 0 0 0 0 0 0 0 0 0
  128062. - 0 0 0 0 0 0 0 0 0 0 0 0
  128063. - 0 0 0 0 0 0 0 0 0 0 0 0
  128064. - 0 0 0 0 0 0 0 0 0 0 0 0
  128065. - 0 0 0 0 0 0 0 0 0 0 0 0
  128066. - 0 0 0 0 0 0 0 0 0 0 0 0
  128067. - 0 0 0 0 0 0 0 0 0 0 0 0
  128068. - 0 0 0 6 6 6 14 14 14 42 42 42
  128069. - 90 90 90 18 18 18 18 18 18 26 26 26
  128070. - 2 2 6 116 116 116 253 253 253 253 253 253
  128071. -253 253 253 253 253 253 253 253 253 253 253 253
  128072. -253 253 253 253 253 253 250 250 250 238 238 238
  128073. -253 253 253 253 253 253 253 253 253 253 253 253
  128074. -253 253 253 253 253 253 253 253 253 253 253 253
  128075. -253 253 253 253 253 253 253 253 253 253 253 253
  128076. -253 253 253 253 253 253 253 253 253 253 253 253
  128077. -253 253 253 253 253 253 94 94 94 6 6 6
  128078. - 2 2 6 2 2 6 10 10 10 34 34 34
  128079. - 2 2 6 2 2 6 2 2 6 2 2 6
  128080. - 74 74 74 58 58 58 22 22 22 6 6 6
  128081. - 0 0 0 0 0 0 0 0 0 0 0 0
  128082. - 0 0 0 0 0 0 0 0 0 0 0 0
  128083. - 0 0 0 0 0 0 0 0 0 0 0 0
  128084. - 0 0 0 0 0 0 0 0 0 0 0 0
  128085. - 0 0 0 0 0 0 0 0 0 0 0 0
  128086. - 0 0 0 0 0 0 0 0 0 0 0 0
  128087. - 0 0 0 0 0 0 0 0 0 0 0 0
  128088. - 0 0 0 10 10 10 26 26 26 66 66 66
  128089. - 82 82 82 2 2 6 38 38 38 6 6 6
  128090. - 14 14 14 210 210 210 253 253 253 253 253 253
  128091. -253 253 253 253 253 253 253 253 253 253 253 253
  128092. -253 253 253 253 253 253 246 246 246 242 242 242
  128093. -253 253 253 253 253 253 253 253 253 253 253 253
  128094. -253 253 253 253 253 253 253 253 253 253 253 253
  128095. -253 253 253 253 253 253 253 253 253 253 253 253
  128096. -253 253 253 253 253 253 253 253 253 253 253 253
  128097. -253 253 253 253 253 253 144 144 144 2 2 6
  128098. - 2 2 6 2 2 6 2 2 6 46 46 46
  128099. - 2 2 6 2 2 6 2 2 6 2 2 6
  128100. - 42 42 42 74 74 74 30 30 30 10 10 10
  128101. - 0 0 0 0 0 0 0 0 0 0 0 0
  128102. - 0 0 0 0 0 0 0 0 0 0 0 0
  128103. - 0 0 0 0 0 0 0 0 0 0 0 0
  128104. - 0 0 0 0 0 0 0 0 0 0 0 0
  128105. - 0 0 0 0 0 0 0 0 0 0 0 0
  128106. - 0 0 0 0 0 0 0 0 0 0 0 0
  128107. - 0 0 0 0 0 0 0 0 0 0 0 0
  128108. - 6 6 6 14 14 14 42 42 42 90 90 90
  128109. - 26 26 26 6 6 6 42 42 42 2 2 6
  128110. - 74 74 74 250 250 250 253 253 253 253 253 253
  128111. -253 253 253 253 253 253 253 253 253 253 253 253
  128112. -253 253 253 253 253 253 242 242 242 242 242 242
  128113. -253 253 253 253 253 253 253 253 253 253 253 253
  128114. -253 253 253 253 253 253 253 253 253 253 253 253
  128115. -253 253 253 253 253 253 253 253 253 253 253 253
  128116. -253 253 253 253 253 253 253 253 253 253 253 253
  128117. -253 253 253 253 253 253 182 182 182 2 2 6
  128118. - 2 2 6 2 2 6 2 2 6 46 46 46
  128119. - 2 2 6 2 2 6 2 2 6 2 2 6
  128120. - 10 10 10 86 86 86 38 38 38 10 10 10
  128121. - 0 0 0 0 0 0 0 0 0 0 0 0
  128122. - 0 0 0 0 0 0 0 0 0 0 0 0
  128123. - 0 0 0 0 0 0 0 0 0 0 0 0
  128124. - 0 0 0 0 0 0 0 0 0 0 0 0
  128125. - 0 0 0 0 0 0 0 0 0 0 0 0
  128126. - 0 0 0 0 0 0 0 0 0 0 0 0
  128127. - 0 0 0 0 0 0 0 0 0 0 0 0
  128128. - 10 10 10 26 26 26 66 66 66 82 82 82
  128129. - 2 2 6 22 22 22 18 18 18 2 2 6
  128130. -149 149 149 253 253 253 253 253 253 253 253 253
  128131. -253 253 253 253 253 253 253 253 253 253 253 253
  128132. -253 253 253 253 253 253 234 234 234 242 242 242
  128133. -253 253 253 253 253 253 253 253 253 253 253 253
  128134. -253 253 253 253 253 253 253 253 253 253 253 253
  128135. -253 253 253 253 253 253 253 253 253 253 253 253
  128136. -253 253 253 253 253 253 253 253 253 253 253 253
  128137. -253 253 253 253 253 253 206 206 206 2 2 6
  128138. - 2 2 6 2 2 6 2 2 6 38 38 38
  128139. - 2 2 6 2 2 6 2 2 6 2 2 6
  128140. - 6 6 6 86 86 86 46 46 46 14 14 14
  128141. - 0 0 0 0 0 0 0 0 0 0 0 0
  128142. - 0 0 0 0 0 0 0 0 0 0 0 0
  128143. - 0 0 0 0 0 0 0 0 0 0 0 0
  128144. - 0 0 0 0 0 0 0 0 0 0 0 0
  128145. - 0 0 0 0 0 0 0 0 0 0 0 0
  128146. - 0 0 0 0 0 0 0 0 0 0 0 0
  128147. - 0 0 0 0 0 0 0 0 0 6 6 6
  128148. - 18 18 18 46 46 46 86 86 86 18 18 18
  128149. - 2 2 6 34 34 34 10 10 10 6 6 6
  128150. -210 210 210 253 253 253 253 253 253 253 253 253
  128151. -253 253 253 253 253 253 253 253 253 253 253 253
  128152. -253 253 253 253 253 253 234 234 234 242 242 242
  128153. -253 253 253 253 253 253 253 253 253 253 253 253
  128154. -253 253 253 253 253 253 253 253 253 253 253 253
  128155. -253 253 253 253 253 253 253 253 253 253 253 253
  128156. -253 253 253 253 253 253 253 253 253 253 253 253
  128157. -253 253 253 253 253 253 221 221 221 6 6 6
  128158. - 2 2 6 2 2 6 6 6 6 30 30 30
  128159. - 2 2 6 2 2 6 2 2 6 2 2 6
  128160. - 2 2 6 82 82 82 54 54 54 18 18 18
  128161. - 6 6 6 0 0 0 0 0 0 0 0 0
  128162. - 0 0 0 0 0 0 0 0 0 0 0 0
  128163. - 0 0 0 0 0 0 0 0 0 0 0 0
  128164. - 0 0 0 0 0 0 0 0 0 0 0 0
  128165. - 0 0 0 0 0 0 0 0 0 0 0 0
  128166. - 0 0 0 0 0 0 0 0 0 0 0 0
  128167. - 0 0 0 0 0 0 0 0 0 10 10 10
  128168. - 26 26 26 66 66 66 62 62 62 2 2 6
  128169. - 2 2 6 38 38 38 10 10 10 26 26 26
  128170. -238 238 238 253 253 253 253 253 253 253 253 253
  128171. -253 253 253 253 253 253 253 253 253 253 253 253
  128172. -253 253 253 253 253 253 231 231 231 238 238 238
  128173. -253 253 253 253 253 253 253 253 253 253 253 253
  128174. -253 253 253 253 253 253 253 253 253 253 253 253
  128175. -253 253 253 253 253 253 253 253 253 253 253 253
  128176. -253 253 253 253 253 253 253 253 253 253 253 253
  128177. -253 253 253 253 253 253 231 231 231 6 6 6
  128178. - 2 2 6 2 2 6 10 10 10 30 30 30
  128179. - 2 2 6 2 2 6 2 2 6 2 2 6
  128180. - 2 2 6 66 66 66 58 58 58 22 22 22
  128181. - 6 6 6 0 0 0 0 0 0 0 0 0
  128182. - 0 0 0 0 0 0 0 0 0 0 0 0
  128183. - 0 0 0 0 0 0 0 0 0 0 0 0
  128184. - 0 0 0 0 0 0 0 0 0 0 0 0
  128185. - 0 0 0 0 0 0 0 0 0 0 0 0
  128186. - 0 0 0 0 0 0 0 0 0 0 0 0
  128187. - 0 0 0 0 0 0 0 0 0 10 10 10
  128188. - 38 38 38 78 78 78 6 6 6 2 2 6
  128189. - 2 2 6 46 46 46 14 14 14 42 42 42
  128190. -246 246 246 253 253 253 253 253 253 253 253 253
  128191. -253 253 253 253 253 253 253 253 253 253 253 253
  128192. -253 253 253 253 253 253 231 231 231 242 242 242
  128193. -253 253 253 253 253 253 253 253 253 253 253 253
  128194. -253 253 253 253 253 253 253 253 253 253 253 253
  128195. -253 253 253 253 253 253 253 253 253 253 253 253
  128196. -253 253 253 253 253 253 253 253 253 253 253 253
  128197. -253 253 253 253 253 253 234 234 234 10 10 10
  128198. - 2 2 6 2 2 6 22 22 22 14 14 14
  128199. - 2 2 6 2 2 6 2 2 6 2 2 6
  128200. - 2 2 6 66 66 66 62 62 62 22 22 22
  128201. - 6 6 6 0 0 0 0 0 0 0 0 0
  128202. - 0 0 0 0 0 0 0 0 0 0 0 0
  128203. - 0 0 0 0 0 0 0 0 0 0 0 0
  128204. - 0 0 0 0 0 0 0 0 0 0 0 0
  128205. - 0 0 0 0 0 0 0 0 0 0 0 0
  128206. - 0 0 0 0 0 0 0 0 0 0 0 0
  128207. - 0 0 0 0 0 0 6 6 6 18 18 18
  128208. - 50 50 50 74 74 74 2 2 6 2 2 6
  128209. - 14 14 14 70 70 70 34 34 34 62 62 62
  128210. -250 250 250 253 253 253 253 253 253 253 253 253
  128211. -253 253 253 253 253 253 253 253 253 253 253 253
  128212. -253 253 253 253 253 253 231 231 231 246 246 246
  128213. -253 253 253 253 253 253 253 253 253 253 253 253
  128214. -253 253 253 253 253 253 253 253 253 253 253 253
  128215. -253 253 253 253 253 253 253 253 253 253 253 253
  128216. -253 253 253 253 253 253 253 253 253 253 253 253
  128217. -253 253 253 253 253 253 234 234 234 14 14 14
  128218. - 2 2 6 2 2 6 30 30 30 2 2 6
  128219. - 2 2 6 2 2 6 2 2 6 2 2 6
  128220. - 2 2 6 66 66 66 62 62 62 22 22 22
  128221. - 6 6 6 0 0 0 0 0 0 0 0 0
  128222. - 0 0 0 0 0 0 0 0 0 0 0 0
  128223. - 0 0 0 0 0 0 0 0 0 0 0 0
  128224. - 0 0 0 0 0 0 0 0 0 0 0 0
  128225. - 0 0 0 0 0 0 0 0 0 0 0 0
  128226. - 0 0 0 0 0 0 0 0 0 0 0 0
  128227. - 0 0 0 0 0 0 6 6 6 18 18 18
  128228. - 54 54 54 62 62 62 2 2 6 2 2 6
  128229. - 2 2 6 30 30 30 46 46 46 70 70 70
  128230. -250 250 250 253 253 253 253 253 253 253 253 253
  128231. -253 253 253 253 253 253 253 253 253 253 253 253
  128232. -253 253 253 253 253 253 231 231 231 246 246 246
  128233. -253 253 253 253 253 253 253 253 253 253 253 253
  128234. -253 253 253 253 253 253 253 253 253 253 253 253
  128235. -253 253 253 253 253 253 253 253 253 253 253 253
  128236. -253 253 253 253 253 253 253 253 253 253 253 253
  128237. -253 253 253 253 253 253 226 226 226 10 10 10
  128238. - 2 2 6 6 6 6 30 30 30 2 2 6
  128239. - 2 2 6 2 2 6 2 2 6 2 2 6
  128240. - 2 2 6 66 66 66 58 58 58 22 22 22
  128241. - 6 6 6 0 0 0 0 0 0 0 0 0
  128242. - 0 0 0 0 0 0 0 0 0 0 0 0
  128243. - 0 0 0 0 0 0 0 0 0 0 0 0
  128244. - 0 0 0 0 0 0 0 0 0 0 0 0
  128245. - 0 0 0 0 0 0 0 0 0 0 0 0
  128246. - 0 0 0 0 0 0 0 0 0 0 0 0
  128247. - 0 0 0 0 0 0 6 6 6 22 22 22
  128248. - 58 58 58 62 62 62 2 2 6 2 2 6
  128249. - 2 2 6 2 2 6 30 30 30 78 78 78
  128250. -250 250 250 253 253 253 253 253 253 253 253 253
  128251. -253 253 253 253 253 253 253 253 253 253 253 253
  128252. -253 253 253 253 253 253 231 231 231 246 246 246
  128253. -253 253 253 253 253 253 253 253 253 253 253 253
  128254. -253 253 253 253 253 253 253 253 253 253 253 253
  128255. -253 253 253 253 253 253 253 253 253 253 253 253
  128256. -253 253 253 253 253 253 253 253 253 253 253 253
  128257. -253 253 253 253 253 253 206 206 206 2 2 6
  128258. - 22 22 22 34 34 34 18 14 6 22 22 22
  128259. - 26 26 26 18 18 18 6 6 6 2 2 6
  128260. - 2 2 6 82 82 82 54 54 54 18 18 18
  128261. - 6 6 6 0 0 0 0 0 0 0 0 0
  128262. - 0 0 0 0 0 0 0 0 0 0 0 0
  128263. - 0 0 0 0 0 0 0 0 0 0 0 0
  128264. - 0 0 0 0 0 0 0 0 0 0 0 0
  128265. - 0 0 0 0 0 0 0 0 0 0 0 0
  128266. - 0 0 0 0 0 0 0 0 0 0 0 0
  128267. - 0 0 0 0 0 0 6 6 6 26 26 26
  128268. - 62 62 62 106 106 106 74 54 14 185 133 11
  128269. -210 162 10 121 92 8 6 6 6 62 62 62
  128270. -238 238 238 253 253 253 253 253 253 253 253 253
  128271. -253 253 253 253 253 253 253 253 253 253 253 253
  128272. -253 253 253 253 253 253 231 231 231 246 246 246
  128273. -253 253 253 253 253 253 253 253 253 253 253 253
  128274. -253 253 253 253 253 253 253 253 253 253 253 253
  128275. -253 253 253 253 253 253 253 253 253 253 253 253
  128276. -253 253 253 253 253 253 253 253 253 253 253 253
  128277. -253 253 253 253 253 253 158 158 158 18 18 18
  128278. - 14 14 14 2 2 6 2 2 6 2 2 6
  128279. - 6 6 6 18 18 18 66 66 66 38 38 38
  128280. - 6 6 6 94 94 94 50 50 50 18 18 18
  128281. - 6 6 6 0 0 0 0 0 0 0 0 0
  128282. - 0 0 0 0 0 0 0 0 0 0 0 0
  128283. - 0 0 0 0 0 0 0 0 0 0 0 0
  128284. - 0 0 0 0 0 0 0 0 0 0 0 0
  128285. - 0 0 0 0 0 0 0 0 0 0 0 0
  128286. - 0 0 0 0 0 0 0 0 0 6 6 6
  128287. - 10 10 10 10 10 10 18 18 18 38 38 38
  128288. - 78 78 78 142 134 106 216 158 10 242 186 14
  128289. -246 190 14 246 190 14 156 118 10 10 10 10
  128290. - 90 90 90 238 238 238 253 253 253 253 253 253
  128291. -253 253 253 253 253 253 253 253 253 253 253 253
  128292. -253 253 253 253 253 253 231 231 231 250 250 250
  128293. -253 253 253 253 253 253 253 253 253 253 253 253
  128294. -253 253 253 253 253 253 253 253 253 253 253 253
  128295. -253 253 253 253 253 253 253 253 253 253 253 253
  128296. -253 253 253 253 253 253 253 253 253 246 230 190
  128297. -238 204 91 238 204 91 181 142 44 37 26 9
  128298. - 2 2 6 2 2 6 2 2 6 2 2 6
  128299. - 2 2 6 2 2 6 38 38 38 46 46 46
  128300. - 26 26 26 106 106 106 54 54 54 18 18 18
  128301. - 6 6 6 0 0 0 0 0 0 0 0 0
  128302. - 0 0 0 0 0 0 0 0 0 0 0 0
  128303. - 0 0 0 0 0 0 0 0 0 0 0 0
  128304. - 0 0 0 0 0 0 0 0 0 0 0 0
  128305. - 0 0 0 0 0 0 0 0 0 0 0 0
  128306. - 0 0 0 6 6 6 14 14 14 22 22 22
  128307. - 30 30 30 38 38 38 50 50 50 70 70 70
  128308. -106 106 106 190 142 34 226 170 11 242 186 14
  128309. -246 190 14 246 190 14 246 190 14 154 114 10
  128310. - 6 6 6 74 74 74 226 226 226 253 253 253
  128311. -253 253 253 253 253 253 253 253 253 253 253 253
  128312. -253 253 253 253 253 253 231 231 231 250 250 250
  128313. -253 253 253 253 253 253 253 253 253 253 253 253
  128314. -253 253 253 253 253 253 253 253 253 253 253 253
  128315. -253 253 253 253 253 253 253 253 253 253 253 253
  128316. -253 253 253 253 253 253 253 253 253 228 184 62
  128317. -241 196 14 241 208 19 232 195 16 38 30 10
  128318. - 2 2 6 2 2 6 2 2 6 2 2 6
  128319. - 2 2 6 6 6 6 30 30 30 26 26 26
  128320. -203 166 17 154 142 90 66 66 66 26 26 26
  128321. - 6 6 6 0 0 0 0 0 0 0 0 0
  128322. - 0 0 0 0 0 0 0 0 0 0 0 0
  128323. - 0 0 0 0 0 0 0 0 0 0 0 0
  128324. - 0 0 0 0 0 0 0 0 0 0 0 0
  128325. - 0 0 0 0 0 0 0 0 0 0 0 0
  128326. - 6 6 6 18 18 18 38 38 38 58 58 58
  128327. - 78 78 78 86 86 86 101 101 101 123 123 123
  128328. -175 146 61 210 150 10 234 174 13 246 186 14
  128329. -246 190 14 246 190 14 246 190 14 238 190 10
  128330. -102 78 10 2 2 6 46 46 46 198 198 198
  128331. -253 253 253 253 253 253 253 253 253 253 253 253
  128332. -253 253 253 253 253 253 234 234 234 242 242 242
  128333. -253 253 253 253 253 253 253 253 253 253 253 253
  128334. -253 253 253 253 253 253 253 253 253 253 253 253
  128335. -253 253 253 253 253 253 253 253 253 253 253 253
  128336. -253 253 253 253 253 253 253 253 253 224 178 62
  128337. -242 186 14 241 196 14 210 166 10 22 18 6
  128338. - 2 2 6 2 2 6 2 2 6 2 2 6
  128339. - 2 2 6 2 2 6 6 6 6 121 92 8
  128340. -238 202 15 232 195 16 82 82 82 34 34 34
  128341. - 10 10 10 0 0 0 0 0 0 0 0 0
  128342. - 0 0 0 0 0 0 0 0 0 0 0 0
  128343. - 0 0 0 0 0 0 0 0 0 0 0 0
  128344. - 0 0 0 0 0 0 0 0 0 0 0 0
  128345. - 0 0 0 0 0 0 0 0 0 0 0 0
  128346. - 14 14 14 38 38 38 70 70 70 154 122 46
  128347. -190 142 34 200 144 11 197 138 11 197 138 11
  128348. -213 154 11 226 170 11 242 186 14 246 190 14
  128349. -246 190 14 246 190 14 246 190 14 246 190 14
  128350. -225 175 15 46 32 6 2 2 6 22 22 22
  128351. -158 158 158 250 250 250 253 253 253 253 253 253
  128352. -253 253 253 253 253 253 253 253 253 253 253 253
  128353. -253 253 253 253 253 253 253 253 253 253 253 253
  128354. -253 253 253 253 253 253 253 253 253 253 253 253
  128355. -253 253 253 253 253 253 253 253 253 253 253 253
  128356. -253 253 253 250 250 250 242 242 242 224 178 62
  128357. -239 182 13 236 186 11 213 154 11 46 32 6
  128358. - 2 2 6 2 2 6 2 2 6 2 2 6
  128359. - 2 2 6 2 2 6 61 42 6 225 175 15
  128360. -238 190 10 236 186 11 112 100 78 42 42 42
  128361. - 14 14 14 0 0 0 0 0 0 0 0 0
  128362. - 0 0 0 0 0 0 0 0 0 0 0 0
  128363. - 0 0 0 0 0 0 0 0 0 0 0 0
  128364. - 0 0 0 0 0 0 0 0 0 0 0 0
  128365. - 0 0 0 0 0 0 0 0 0 6 6 6
  128366. - 22 22 22 54 54 54 154 122 46 213 154 11
  128367. -226 170 11 230 174 11 226 170 11 226 170 11
  128368. -236 178 12 242 186 14 246 190 14 246 190 14
  128369. -246 190 14 246 190 14 246 190 14 246 190 14
  128370. -241 196 14 184 144 12 10 10 10 2 2 6
  128371. - 6 6 6 116 116 116 242 242 242 253 253 253
  128372. -253 253 253 253 253 253 253 253 253 253 253 253
  128373. -253 253 253 253 253 253 253 253 253 253 253 253
  128374. -253 253 253 253 253 253 253 253 253 253 253 253
  128375. -253 253 253 253 253 253 253 253 253 253 253 253
  128376. -253 253 253 231 231 231 198 198 198 214 170 54
  128377. -236 178 12 236 178 12 210 150 10 137 92 6
  128378. - 18 14 6 2 2 6 2 2 6 2 2 6
  128379. - 6 6 6 70 47 6 200 144 11 236 178 12
  128380. -239 182 13 239 182 13 124 112 88 58 58 58
  128381. - 22 22 22 6 6 6 0 0 0 0 0 0
  128382. - 0 0 0 0 0 0 0 0 0 0 0 0
  128383. - 0 0 0 0 0 0 0 0 0 0 0 0
  128384. - 0 0 0 0 0 0 0 0 0 0 0 0
  128385. - 0 0 0 0 0 0 0 0 0 10 10 10
  128386. - 30 30 30 70 70 70 180 133 36 226 170 11
  128387. -239 182 13 242 186 14 242 186 14 246 186 14
  128388. -246 190 14 246 190 14 246 190 14 246 190 14
  128389. -246 190 14 246 190 14 246 190 14 246 190 14
  128390. -246 190 14 232 195 16 98 70 6 2 2 6
  128391. - 2 2 6 2 2 6 66 66 66 221 221 221
  128392. -253 253 253 253 253 253 253 253 253 253 253 253
  128393. -253 253 253 253 253 253 253 253 253 253 253 253
  128394. -253 253 253 253 253 253 253 253 253 253 253 253
  128395. -253 253 253 253 253 253 253 253 253 253 253 253
  128396. -253 253 253 206 206 206 198 198 198 214 166 58
  128397. -230 174 11 230 174 11 216 158 10 192 133 9
  128398. -163 110 8 116 81 8 102 78 10 116 81 8
  128399. -167 114 7 197 138 11 226 170 11 239 182 13
  128400. -242 186 14 242 186 14 162 146 94 78 78 78
  128401. - 34 34 34 14 14 14 6 6 6 0 0 0
  128402. - 0 0 0 0 0 0 0 0 0 0 0 0
  128403. - 0 0 0 0 0 0 0 0 0 0 0 0
  128404. - 0 0 0 0 0 0 0 0 0 0 0 0
  128405. - 0 0 0 0 0 0 0 0 0 6 6 6
  128406. - 30 30 30 78 78 78 190 142 34 226 170 11
  128407. -239 182 13 246 190 14 246 190 14 246 190 14
  128408. -246 190 14 246 190 14 246 190 14 246 190 14
  128409. -246 190 14 246 190 14 246 190 14 246 190 14
  128410. -246 190 14 241 196 14 203 166 17 22 18 6
  128411. - 2 2 6 2 2 6 2 2 6 38 38 38
  128412. -218 218 218 253 253 253 253 253 253 253 253 253
  128413. -253 253 253 253 253 253 253 253 253 253 253 253
  128414. -253 253 253 253 253 253 253 253 253 253 253 253
  128415. -253 253 253 253 253 253 253 253 253 253 253 253
  128416. -250 250 250 206 206 206 198 198 198 202 162 69
  128417. -226 170 11 236 178 12 224 166 10 210 150 10
  128418. -200 144 11 197 138 11 192 133 9 197 138 11
  128419. -210 150 10 226 170 11 242 186 14 246 190 14
  128420. -246 190 14 246 186 14 225 175 15 124 112 88
  128421. - 62 62 62 30 30 30 14 14 14 6 6 6
  128422. - 0 0 0 0 0 0 0 0 0 0 0 0
  128423. - 0 0 0 0 0 0 0 0 0 0 0 0
  128424. - 0 0 0 0 0 0 0 0 0 0 0 0
  128425. - 0 0 0 0 0 0 0 0 0 10 10 10
  128426. - 30 30 30 78 78 78 174 135 50 224 166 10
  128427. -239 182 13 246 190 14 246 190 14 246 190 14
  128428. -246 190 14 246 190 14 246 190 14 246 190 14
  128429. -246 190 14 246 190 14 246 190 14 246 190 14
  128430. -246 190 14 246 190 14 241 196 14 139 102 15
  128431. - 2 2 6 2 2 6 2 2 6 2 2 6
  128432. - 78 78 78 250 250 250 253 253 253 253 253 253
  128433. -253 253 253 253 253 253 253 253 253 253 253 253
  128434. -253 253 253 253 253 253 253 253 253 253 253 253
  128435. -253 253 253 253 253 253 253 253 253 253 253 253
  128436. -250 250 250 214 214 214 198 198 198 190 150 46
  128437. -219 162 10 236 178 12 234 174 13 224 166 10
  128438. -216 158 10 213 154 11 213 154 11 216 158 10
  128439. -226 170 11 239 182 13 246 190 14 246 190 14
  128440. -246 190 14 246 190 14 242 186 14 206 162 42
  128441. -101 101 101 58 58 58 30 30 30 14 14 14
  128442. - 6 6 6 0 0 0 0 0 0 0 0 0
  128443. - 0 0 0 0 0 0 0 0 0 0 0 0
  128444. - 0 0 0 0 0 0 0 0 0 0 0 0
  128445. - 0 0 0 0 0 0 0 0 0 10 10 10
  128446. - 30 30 30 74 74 74 174 135 50 216 158 10
  128447. -236 178 12 246 190 14 246 190 14 246 190 14
  128448. -246 190 14 246 190 14 246 190 14 246 190 14
  128449. -246 190 14 246 190 14 246 190 14 246 190 14
  128450. -246 190 14 246 190 14 241 196 14 226 184 13
  128451. - 61 42 6 2 2 6 2 2 6 2 2 6
  128452. - 22 22 22 238 238 238 253 253 253 253 253 253
  128453. -253 253 253 253 253 253 253 253 253 253 253 253
  128454. -253 253 253 253 253 253 253 253 253 253 253 253
  128455. -253 253 253 253 253 253 253 253 253 253 253 253
  128456. -253 253 253 226 226 226 187 187 187 180 133 36
  128457. -216 158 10 236 178 12 239 182 13 236 178 12
  128458. -230 174 11 226 170 11 226 170 11 230 174 11
  128459. -236 178 12 242 186 14 246 190 14 246 190 14
  128460. -246 190 14 246 190 14 246 186 14 239 182 13
  128461. -206 162 42 106 106 106 66 66 66 34 34 34
  128462. - 14 14 14 6 6 6 0 0 0 0 0 0
  128463. - 0 0 0 0 0 0 0 0 0 0 0 0
  128464. - 0 0 0 0 0 0 0 0 0 0 0 0
  128465. - 0 0 0 0 0 0 0 0 0 6 6 6
  128466. - 26 26 26 70 70 70 163 133 67 213 154 11
  128467. -236 178 12 246 190 14 246 190 14 246 190 14
  128468. -246 190 14 246 190 14 246 190 14 246 190 14
  128469. -246 190 14 246 190 14 246 190 14 246 190 14
  128470. -246 190 14 246 190 14 246 190 14 241 196 14
  128471. -190 146 13 18 14 6 2 2 6 2 2 6
  128472. - 46 46 46 246 246 246 253 253 253 253 253 253
  128473. -253 253 253 253 253 253 253 253 253 253 253 253
  128474. -253 253 253 253 253 253 253 253 253 253 253 253
  128475. -253 253 253 253 253 253 253 253 253 253 253 253
  128476. -253 253 253 221 221 221 86 86 86 156 107 11
  128477. -216 158 10 236 178 12 242 186 14 246 186 14
  128478. -242 186 14 239 182 13 239 182 13 242 186 14
  128479. -242 186 14 246 186 14 246 190 14 246 190 14
  128480. -246 190 14 246 190 14 246 190 14 246 190 14
  128481. -242 186 14 225 175 15 142 122 72 66 66 66
  128482. - 30 30 30 10 10 10 0 0 0 0 0 0
  128483. - 0 0 0 0 0 0 0 0 0 0 0 0
  128484. - 0 0 0 0 0 0 0 0 0 0 0 0
  128485. - 0 0 0 0 0 0 0 0 0 6 6 6
  128486. - 26 26 26 70 70 70 163 133 67 210 150 10
  128487. -236 178 12 246 190 14 246 190 14 246 190 14
  128488. -246 190 14 246 190 14 246 190 14 246 190 14
  128489. -246 190 14 246 190 14 246 190 14 246 190 14
  128490. -246 190 14 246 190 14 246 190 14 246 190 14
  128491. -232 195 16 121 92 8 34 34 34 106 106 106
  128492. -221 221 221 253 253 253 253 253 253 253 253 253
  128493. -253 253 253 253 253 253 253 253 253 253 253 253
  128494. -253 253 253 253 253 253 253 253 253 253 253 253
  128495. -253 253 253 253 253 253 253 253 253 253 253 253
  128496. -242 242 242 82 82 82 18 14 6 163 110 8
  128497. -216 158 10 236 178 12 242 186 14 246 190 14
  128498. -246 190 14 246 190 14 246 190 14 246 190 14
  128499. -246 190 14 246 190 14 246 190 14 246 190 14
  128500. -246 190 14 246 190 14 246 190 14 246 190 14
  128501. -246 190 14 246 190 14 242 186 14 163 133 67
  128502. - 46 46 46 18 18 18 6 6 6 0 0 0
  128503. - 0 0 0 0 0 0 0 0 0 0 0 0
  128504. - 0 0 0 0 0 0 0 0 0 0 0 0
  128505. - 0 0 0 0 0 0 0 0 0 10 10 10
  128506. - 30 30 30 78 78 78 163 133 67 210 150 10
  128507. -236 178 12 246 186 14 246 190 14 246 190 14
  128508. -246 190 14 246 190 14 246 190 14 246 190 14
  128509. -246 190 14 246 190 14 246 190 14 246 190 14
  128510. -246 190 14 246 190 14 246 190 14 246 190 14
  128511. -241 196 14 215 174 15 190 178 144 253 253 253
  128512. -253 253 253 253 253 253 253 253 253 253 253 253
  128513. -253 253 253 253 253 253 253 253 253 253 253 253
  128514. -253 253 253 253 253 253 253 253 253 253 253 253
  128515. -253 253 253 253 253 253 253 253 253 218 218 218
  128516. - 58 58 58 2 2 6 22 18 6 167 114 7
  128517. -216 158 10 236 178 12 246 186 14 246 190 14
  128518. -246 190 14 246 190 14 246 190 14 246 190 14
  128519. -246 190 14 246 190 14 246 190 14 246 190 14
  128520. -246 190 14 246 190 14 246 190 14 246 190 14
  128521. -246 190 14 246 186 14 242 186 14 190 150 46
  128522. - 54 54 54 22 22 22 6 6 6 0 0 0
  128523. - 0 0 0 0 0 0 0 0 0 0 0 0
  128524. - 0 0 0 0 0 0 0 0 0 0 0 0
  128525. - 0 0 0 0 0 0 0 0 0 14 14 14
  128526. - 38 38 38 86 86 86 180 133 36 213 154 11
  128527. -236 178 12 246 186 14 246 190 14 246 190 14
  128528. -246 190 14 246 190 14 246 190 14 246 190 14
  128529. -246 190 14 246 190 14 246 190 14 246 190 14
  128530. -246 190 14 246 190 14 246 190 14 246 190 14
  128531. -246 190 14 232 195 16 190 146 13 214 214 214
  128532. -253 253 253 253 253 253 253 253 253 253 253 253
  128533. -253 253 253 253 253 253 253 253 253 253 253 253
  128534. -253 253 253 253 253 253 253 253 253 253 253 253
  128535. -253 253 253 250 250 250 170 170 170 26 26 26
  128536. - 2 2 6 2 2 6 37 26 9 163 110 8
  128537. -219 162 10 239 182 13 246 186 14 246 190 14
  128538. -246 190 14 246 190 14 246 190 14 246 190 14
  128539. -246 190 14 246 190 14 246 190 14 246 190 14
  128540. -246 190 14 246 190 14 246 190 14 246 190 14
  128541. -246 186 14 236 178 12 224 166 10 142 122 72
  128542. - 46 46 46 18 18 18 6 6 6 0 0 0
  128543. - 0 0 0 0 0 0 0 0 0 0 0 0
  128544. - 0 0 0 0 0 0 0 0 0 0 0 0
  128545. - 0 0 0 0 0 0 6 6 6 18 18 18
  128546. - 50 50 50 109 106 95 192 133 9 224 166 10
  128547. -242 186 14 246 190 14 246 190 14 246 190 14
  128548. -246 190 14 246 190 14 246 190 14 246 190 14
  128549. -246 190 14 246 190 14 246 190 14 246 190 14
  128550. -246 190 14 246 190 14 246 190 14 246 190 14
  128551. -242 186 14 226 184 13 210 162 10 142 110 46
  128552. -226 226 226 253 253 253 253 253 253 253 253 253
  128553. -253 253 253 253 253 253 253 253 253 253 253 253
  128554. -253 253 253 253 253 253 253 253 253 253 253 253
  128555. -198 198 198 66 66 66 2 2 6 2 2 6
  128556. - 2 2 6 2 2 6 50 34 6 156 107 11
  128557. -219 162 10 239 182 13 246 186 14 246 190 14
  128558. -246 190 14 246 190 14 246 190 14 246 190 14
  128559. -246 190 14 246 190 14 246 190 14 246 190 14
  128560. -246 190 14 246 190 14 246 190 14 242 186 14
  128561. -234 174 13 213 154 11 154 122 46 66 66 66
  128562. - 30 30 30 10 10 10 0 0 0 0 0 0
  128563. - 0 0 0 0 0 0 0 0 0 0 0 0
  128564. - 0 0 0 0 0 0 0 0 0 0 0 0
  128565. - 0 0 0 0 0 0 6 6 6 22 22 22
  128566. - 58 58 58 154 121 60 206 145 10 234 174 13
  128567. -242 186 14 246 186 14 246 190 14 246 190 14
  128568. -246 190 14 246 190 14 246 190 14 246 190 14
  128569. -246 190 14 246 190 14 246 190 14 246 190 14
  128570. -246 190 14 246 190 14 246 190 14 246 190 14
  128571. -246 186 14 236 178 12 210 162 10 163 110 8
  128572. - 61 42 6 138 138 138 218 218 218 250 250 250
  128573. -253 253 253 253 253 253 253 253 253 250 250 250
  128574. -242 242 242 210 210 210 144 144 144 66 66 66
  128575. - 6 6 6 2 2 6 2 2 6 2 2 6
  128576. - 2 2 6 2 2 6 61 42 6 163 110 8
  128577. -216 158 10 236 178 12 246 190 14 246 190 14
  128578. -246 190 14 246 190 14 246 190 14 246 190 14
  128579. -246 190 14 246 190 14 246 190 14 246 190 14
  128580. -246 190 14 239 182 13 230 174 11 216 158 10
  128581. -190 142 34 124 112 88 70 70 70 38 38 38
  128582. - 18 18 18 6 6 6 0 0 0 0 0 0
  128583. - 0 0 0 0 0 0 0 0 0 0 0 0
  128584. - 0 0 0 0 0 0 0 0 0 0 0 0
  128585. - 0 0 0 0 0 0 6 6 6 22 22 22
  128586. - 62 62 62 168 124 44 206 145 10 224 166 10
  128587. -236 178 12 239 182 13 242 186 14 242 186 14
  128588. -246 186 14 246 190 14 246 190 14 246 190 14
  128589. -246 190 14 246 190 14 246 190 14 246 190 14
  128590. -246 190 14 246 190 14 246 190 14 246 190 14
  128591. -246 190 14 236 178 12 216 158 10 175 118 6
  128592. - 80 54 7 2 2 6 6 6 6 30 30 30
  128593. - 54 54 54 62 62 62 50 50 50 38 38 38
  128594. - 14 14 14 2 2 6 2 2 6 2 2 6
  128595. - 2 2 6 2 2 6 2 2 6 2 2 6
  128596. - 2 2 6 6 6 6 80 54 7 167 114 7
  128597. -213 154 11 236 178 12 246 190 14 246 190 14
  128598. -246 190 14 246 190 14 246 190 14 246 190 14
  128599. -246 190 14 242 186 14 239 182 13 239 182 13
  128600. -230 174 11 210 150 10 174 135 50 124 112 88
  128601. - 82 82 82 54 54 54 34 34 34 18 18 18
  128602. - 6 6 6 0 0 0 0 0 0 0 0 0
  128603. - 0 0 0 0 0 0 0 0 0 0 0 0
  128604. - 0 0 0 0 0 0 0 0 0 0 0 0
  128605. - 0 0 0 0 0 0 6 6 6 18 18 18
  128606. - 50 50 50 158 118 36 192 133 9 200 144 11
  128607. -216 158 10 219 162 10 224 166 10 226 170 11
  128608. -230 174 11 236 178 12 239 182 13 239 182 13
  128609. -242 186 14 246 186 14 246 190 14 246 190 14
  128610. -246 190 14 246 190 14 246 190 14 246 190 14
  128611. -246 186 14 230 174 11 210 150 10 163 110 8
  128612. -104 69 6 10 10 10 2 2 6 2 2 6
  128613. - 2 2 6 2 2 6 2 2 6 2 2 6
  128614. - 2 2 6 2 2 6 2 2 6 2 2 6
  128615. - 2 2 6 2 2 6 2 2 6 2 2 6
  128616. - 2 2 6 6 6 6 91 60 6 167 114 7
  128617. -206 145 10 230 174 11 242 186 14 246 190 14
  128618. -246 190 14 246 190 14 246 186 14 242 186 14
  128619. -239 182 13 230 174 11 224 166 10 213 154 11
  128620. -180 133 36 124 112 88 86 86 86 58 58 58
  128621. - 38 38 38 22 22 22 10 10 10 6 6 6
  128622. - 0 0 0 0 0 0 0 0 0 0 0 0
  128623. - 0 0 0 0 0 0 0 0 0 0 0 0
  128624. - 0 0 0 0 0 0 0 0 0 0 0 0
  128625. - 0 0 0 0 0 0 0 0 0 14 14 14
  128626. - 34 34 34 70 70 70 138 110 50 158 118 36
  128627. -167 114 7 180 123 7 192 133 9 197 138 11
  128628. -200 144 11 206 145 10 213 154 11 219 162 10
  128629. -224 166 10 230 174 11 239 182 13 242 186 14
  128630. -246 186 14 246 186 14 246 186 14 246 186 14
  128631. -239 182 13 216 158 10 185 133 11 152 99 6
  128632. -104 69 6 18 14 6 2 2 6 2 2 6
  128633. - 2 2 6 2 2 6 2 2 6 2 2 6
  128634. - 2 2 6 2 2 6 2 2 6 2 2 6
  128635. - 2 2 6 2 2 6 2 2 6 2 2 6
  128636. - 2 2 6 6 6 6 80 54 7 152 99 6
  128637. -192 133 9 219 162 10 236 178 12 239 182 13
  128638. -246 186 14 242 186 14 239 182 13 236 178 12
  128639. -224 166 10 206 145 10 192 133 9 154 121 60
  128640. - 94 94 94 62 62 62 42 42 42 22 22 22
  128641. - 14 14 14 6 6 6 0 0 0 0 0 0
  128642. - 0 0 0 0 0 0 0 0 0 0 0 0
  128643. - 0 0 0 0 0 0 0 0 0 0 0 0
  128644. - 0 0 0 0 0 0 0 0 0 0 0 0
  128645. - 0 0 0 0 0 0 0 0 0 6 6 6
  128646. - 18 18 18 34 34 34 58 58 58 78 78 78
  128647. -101 98 89 124 112 88 142 110 46 156 107 11
  128648. -163 110 8 167 114 7 175 118 6 180 123 7
  128649. -185 133 11 197 138 11 210 150 10 219 162 10
  128650. -226 170 11 236 178 12 236 178 12 234 174 13
  128651. -219 162 10 197 138 11 163 110 8 130 83 6
  128652. - 91 60 6 10 10 10 2 2 6 2 2 6
  128653. - 18 18 18 38 38 38 38 38 38 38 38 38
  128654. - 38 38 38 38 38 38 38 38 38 38 38 38
  128655. - 38 38 38 38 38 38 26 26 26 2 2 6
  128656. - 2 2 6 6 6 6 70 47 6 137 92 6
  128657. -175 118 6 200 144 11 219 162 10 230 174 11
  128658. -234 174 13 230 174 11 219 162 10 210 150 10
  128659. -192 133 9 163 110 8 124 112 88 82 82 82
  128660. - 50 50 50 30 30 30 14 14 14 6 6 6
  128661. - 0 0 0 0 0 0 0 0 0 0 0 0
  128662. - 0 0 0 0 0 0 0 0 0 0 0 0
  128663. - 0 0 0 0 0 0 0 0 0 0 0 0
  128664. - 0 0 0 0 0 0 0 0 0 0 0 0
  128665. - 0 0 0 0 0 0 0 0 0 0 0 0
  128666. - 6 6 6 14 14 14 22 22 22 34 34 34
  128667. - 42 42 42 58 58 58 74 74 74 86 86 86
  128668. -101 98 89 122 102 70 130 98 46 121 87 25
  128669. -137 92 6 152 99 6 163 110 8 180 123 7
  128670. -185 133 11 197 138 11 206 145 10 200 144 11
  128671. -180 123 7 156 107 11 130 83 6 104 69 6
  128672. - 50 34 6 54 54 54 110 110 110 101 98 89
  128673. - 86 86 86 82 82 82 78 78 78 78 78 78
  128674. - 78 78 78 78 78 78 78 78 78 78 78 78
  128675. - 78 78 78 82 82 82 86 86 86 94 94 94
  128676. -106 106 106 101 101 101 86 66 34 124 80 6
  128677. -156 107 11 180 123 7 192 133 9 200 144 11
  128678. -206 145 10 200 144 11 192 133 9 175 118 6
  128679. -139 102 15 109 106 95 70 70 70 42 42 42
  128680. - 22 22 22 10 10 10 0 0 0 0 0 0
  128681. - 0 0 0 0 0 0 0 0 0 0 0 0
  128682. - 0 0 0 0 0 0 0 0 0 0 0 0
  128683. - 0 0 0 0 0 0 0 0 0 0 0 0
  128684. - 0 0 0 0 0 0 0 0 0 0 0 0
  128685. - 0 0 0 0 0 0 0 0 0 0 0 0
  128686. - 0 0 0 0 0 0 6 6 6 10 10 10
  128687. - 14 14 14 22 22 22 30 30 30 38 38 38
  128688. - 50 50 50 62 62 62 74 74 74 90 90 90
  128689. -101 98 89 112 100 78 121 87 25 124 80 6
  128690. -137 92 6 152 99 6 152 99 6 152 99 6
  128691. -138 86 6 124 80 6 98 70 6 86 66 30
  128692. -101 98 89 82 82 82 58 58 58 46 46 46
  128693. - 38 38 38 34 34 34 34 34 34 34 34 34
  128694. - 34 34 34 34 34 34 34 34 34 34 34 34
  128695. - 34 34 34 34 34 34 38 38 38 42 42 42
  128696. - 54 54 54 82 82 82 94 86 76 91 60 6
  128697. -134 86 6 156 107 11 167 114 7 175 118 6
  128698. -175 118 6 167 114 7 152 99 6 121 87 25
  128699. -101 98 89 62 62 62 34 34 34 18 18 18
  128700. - 6 6 6 0 0 0 0 0 0 0 0 0
  128701. - 0 0 0 0 0 0 0 0 0 0 0 0
  128702. - 0 0 0 0 0 0 0 0 0 0 0 0
  128703. - 0 0 0 0 0 0 0 0 0 0 0 0
  128704. - 0 0 0 0 0 0 0 0 0 0 0 0
  128705. - 0 0 0 0 0 0 0 0 0 0 0 0
  128706. - 0 0 0 0 0 0 0 0 0 0 0 0
  128707. - 0 0 0 6 6 6 6 6 6 10 10 10
  128708. - 18 18 18 22 22 22 30 30 30 42 42 42
  128709. - 50 50 50 66 66 66 86 86 86 101 98 89
  128710. -106 86 58 98 70 6 104 69 6 104 69 6
  128711. -104 69 6 91 60 6 82 62 34 90 90 90
  128712. - 62 62 62 38 38 38 22 22 22 14 14 14
  128713. - 10 10 10 10 10 10 10 10 10 10 10 10
  128714. - 10 10 10 10 10 10 6 6 6 10 10 10
  128715. - 10 10 10 10 10 10 10 10 10 14 14 14
  128716. - 22 22 22 42 42 42 70 70 70 89 81 66
  128717. - 80 54 7 104 69 6 124 80 6 137 92 6
  128718. -134 86 6 116 81 8 100 82 52 86 86 86
  128719. - 58 58 58 30 30 30 14 14 14 6 6 6
  128720. - 0 0 0 0 0 0 0 0 0 0 0 0
  128721. - 0 0 0 0 0 0 0 0 0 0 0 0
  128722. - 0 0 0 0 0 0 0 0 0 0 0 0
  128723. - 0 0 0 0 0 0 0 0 0 0 0 0
  128724. - 0 0 0 0 0 0 0 0 0 0 0 0
  128725. - 0 0 0 0 0 0 0 0 0 0 0 0
  128726. - 0 0 0 0 0 0 0 0 0 0 0 0
  128727. - 0 0 0 0 0 0 0 0 0 0 0 0
  128728. - 0 0 0 6 6 6 10 10 10 14 14 14
  128729. - 18 18 18 26 26 26 38 38 38 54 54 54
  128730. - 70 70 70 86 86 86 94 86 76 89 81 66
  128731. - 89 81 66 86 86 86 74 74 74 50 50 50
  128732. - 30 30 30 14 14 14 6 6 6 0 0 0
  128733. - 0 0 0 0 0 0 0 0 0 0 0 0
  128734. - 0 0 0 0 0 0 0 0 0 0 0 0
  128735. - 0 0 0 0 0 0 0 0 0 0 0 0
  128736. - 6 6 6 18 18 18 34 34 34 58 58 58
  128737. - 82 82 82 89 81 66 89 81 66 89 81 66
  128738. - 94 86 66 94 86 76 74 74 74 50 50 50
  128739. - 26 26 26 14 14 14 6 6 6 0 0 0
  128740. - 0 0 0 0 0 0 0 0 0 0 0 0
  128741. - 0 0 0 0 0 0 0 0 0 0 0 0
  128742. - 0 0 0 0 0 0 0 0 0 0 0 0
  128743. - 0 0 0 0 0 0 0 0 0 0 0 0
  128744. - 0 0 0 0 0 0 0 0 0 0 0 0
  128745. - 0 0 0 0 0 0 0 0 0 0 0 0
  128746. - 0 0 0 0 0 0 0 0 0 0 0 0
  128747. - 0 0 0 0 0 0 0 0 0 0 0 0
  128748. - 0 0 0 0 0 0 0 0 0 0 0 0
  128749. - 6 6 6 6 6 6 14 14 14 18 18 18
  128750. - 30 30 30 38 38 38 46 46 46 54 54 54
  128751. - 50 50 50 42 42 42 30 30 30 18 18 18
  128752. - 10 10 10 0 0 0 0 0 0 0 0 0
  128753. - 0 0 0 0 0 0 0 0 0 0 0 0
  128754. - 0 0 0 0 0 0 0 0 0 0 0 0
  128755. - 0 0 0 0 0 0 0 0 0 0 0 0
  128756. - 0 0 0 6 6 6 14 14 14 26 26 26
  128757. - 38 38 38 50 50 50 58 58 58 58 58 58
  128758. - 54 54 54 42 42 42 30 30 30 18 18 18
  128759. - 10 10 10 0 0 0 0 0 0 0 0 0
  128760. - 0 0 0 0 0 0 0 0 0 0 0 0
  128761. - 0 0 0 0 0 0 0 0 0 0 0 0
  128762. - 0 0 0 0 0 0 0 0 0 0 0 0
  128763. - 0 0 0 0 0 0 0 0 0 0 0 0
  128764. - 0 0 0 0 0 0 0 0 0 0 0 0
  128765. - 0 0 0 0 0 0 0 0 0 0 0 0
  128766. - 0 0 0 0 0 0 0 0 0 0 0 0
  128767. - 0 0 0 0 0 0 0 0 0 0 0 0
  128768. - 0 0 0 0 0 0 0 0 0 0 0 0
  128769. - 0 0 0 0 0 0 0 0 0 6 6 6
  128770. - 6 6 6 10 10 10 14 14 14 18 18 18
  128771. - 18 18 18 14 14 14 10 10 10 6 6 6
  128772. - 0 0 0 0 0 0 0 0 0 0 0 0
  128773. - 0 0 0 0 0 0 0 0 0 0 0 0
  128774. - 0 0 0 0 0 0 0 0 0 0 0 0
  128775. - 0 0 0 0 0 0 0 0 0 0 0 0
  128776. - 0 0 0 0 0 0 0 0 0 6 6 6
  128777. - 14 14 14 18 18 18 22 22 22 22 22 22
  128778. - 18 18 18 14 14 14 10 10 10 6 6 6
  128779. - 0 0 0 0 0 0 0 0 0 0 0 0
  128780. - 0 0 0 0 0 0 0 0 0 0 0 0
  128781. - 0 0 0 0 0 0 0 0 0 0 0 0
  128782. - 0 0 0 0 0 0 0 0 0 0 0 0
  128783. - 0 0 0 0 0 0 0 0 0 0 0 0
  128784. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128785. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128786. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128787. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128788. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128789. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128790. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128791. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128792. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128793. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128794. +0 0 0 0 0 0 0 0 0
  128795. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128796. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128797. +0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 1 0
  128798. +0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128799. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128800. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128801. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128802. +0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0
  128803. +0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128804. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128805. +0 0 0 0 0 0 0 0 0
  128806. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128807. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0
  128808. +10 15 3 2 3 1 12 18 4 42 61 14 19 27 6 11 16 4
  128809. +38 55 13 10 15 3 3 4 1 10 15 3 0 0 0 0 0 0
  128810. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128811. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128812. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 3 1
  128813. +12 18 4 1 1 0 23 34 8 31 45 11 10 15 3 32 47 11
  128814. +34 49 12 3 4 1 3 4 1 3 4 1 0 0 0 0 0 0
  128815. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128816. +0 0 0 0 0 0 0 0 0
  128817. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128818. +0 0 0 0 0 0 10 15 3 29 42 10 26 37 9 12 18 4
  128819. +55 80 19 81 118 28 55 80 19 92 132 31 106 153 36 69 100 23
  128820. +100 144 34 80 116 27 42 61 14 81 118 28 23 34 8 27 40 9
  128821. +15 21 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128822. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128823. +0 0 0 0 0 0 1 1 0 29 42 10 15 21 5 50 72 17
  128824. +74 107 25 45 64 15 102 148 35 80 116 27 84 121 28 111 160 38
  128825. +69 100 23 65 94 22 81 118 28 29 42 10 17 25 6 29 42 10
  128826. +23 34 8 2 3 1 0 0 0 0 0 0 0 0 0 0 0 0
  128827. +0 0 0 0 0 0 0 0 0
  128828. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 4 1
  128829. +15 21 5 15 21 5 34 49 12 101 146 34 111 161 38 97 141 33
  128830. +97 141 33 119 172 41 117 170 40 116 167 40 118 170 40 118 171 40
  128831. +117 169 40 118 170 40 111 160 38 118 170 40 96 138 32 89 128 30
  128832. +81 118 28 11 16 4 10 15 3 1 1 0 0 0 0 0 0 0
  128833. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128834. +3 4 1 3 4 1 34 49 12 101 146 34 79 115 27 111 160 38
  128835. +114 165 39 113 163 39 118 170 40 117 169 40 118 171 40 117 169 40
  128836. +116 167 40 119 172 41 113 163 39 92 132 31 105 151 36 113 163 39
  128837. +75 109 26 19 27 6 16 23 5 11 16 4 0 1 0 0 0 0
  128838. +0 0 0 0 0 0 0 0 0
  128839. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 15 3
  128840. +80 116 27 106 153 36 105 151 36 114 165 39 118 170 40 118 171 40
  128841. +118 171 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128842. +117 169 40 117 169 40 117 170 40 117 169 40 118 170 40 118 170 40
  128843. +117 170 40 75 109 26 75 109 26 34 49 12 0 0 0 0 0 0
  128844. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 4 1
  128845. +64 92 22 65 94 22 100 144 34 118 171 40 118 170 40 117 169 40
  128846. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128847. +117 169 40 117 169 40 117 169 40 118 171 41 118 170 40 117 169 40
  128848. +109 158 37 105 151 36 104 150 35 47 69 16 0 0 0 0 0 0
  128849. +0 0 0 0 0 0 0 0 0
  128850. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128851. +42 61 14 115 167 39 118 170 40 117 169 40 117 169 40 117 169 40
  128852. +117 170 40 117 170 40 117 169 40 117 169 40 117 169 40 117 169 40
  128853. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128854. +117 169 40 117 169 40 118 170 40 96 138 32 17 25 6 0 0 0
  128855. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 47 69 16
  128856. +114 165 39 117 168 40 117 170 40 117 169 40 117 169 40 117 169 40
  128857. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128858. +117 169 40 117 169 40 118 170 40 117 169 40 117 169 40 117 169 40
  128859. +117 170 40 119 172 41 96 138 32 12 18 4 0 0 0 0 0 0
  128860. +0 0 0 0 0 0 0 0 0
  128861. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 15 3
  128862. +32 47 11 105 151 36 118 170 40 117 169 40 117 169 40 116 168 40
  128863. +109 157 37 111 160 38 117 169 40 118 171 40 117 169 40 117 169 40
  128864. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128865. +117 169 40 117 169 40 117 169 40 118 171 40 69 100 23 2 3 1
  128866. +0 0 0 0 0 0 0 0 0 0 0 0 19 27 6 101 146 34
  128867. +118 171 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128868. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 170 40
  128869. +118 171 40 115 166 39 107 154 36 111 161 38 117 169 40 117 169 40
  128870. +117 169 40 118 171 40 75 109 26 19 27 6 2 3 1 0 0 0
  128871. +0 0 0 0 0 0 0 0 0
  128872. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 16 23 5
  128873. +89 128 30 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128874. +111 160 38 92 132 31 79 115 27 96 138 32 115 166 39 119 171 41
  128875. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128876. +117 169 40 117 169 40 117 169 40 118 170 40 109 157 37 26 37 9
  128877. +0 0 0 0 0 0 0 0 0 0 0 0 64 92 22 118 171 40
  128878. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128879. +117 169 40 117 169 40 117 169 40 118 170 40 118 171 40 109 157 37
  128880. +89 128 30 81 118 28 100 144 34 115 166 39 117 169 40 117 169 40
  128881. +117 169 40 117 170 40 113 163 39 60 86 20 1 1 0 0 0 0
  128882. +0 0 0 0 0 0 0 0 0
  128883. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128884. +27 40 9 96 138 32 118 170 40 117 169 40 117 169 40 117 169 40
  128885. +117 170 40 117 169 40 101 146 34 67 96 23 55 80 19 84 121 28
  128886. +113 163 39 119 171 41 117 169 40 117 169 40 117 169 40 117 169 40
  128887. +117 169 40 117 169 40 117 169 40 117 169 40 119 171 41 65 94 22
  128888. +0 0 0 0 0 0 0 0 0 15 21 5 101 146 34 118 171 40
  128889. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128890. +117 169 40 118 170 40 118 171 40 104 150 35 69 100 23 53 76 18
  128891. +81 118 28 111 160 38 118 170 40 117 169 40 117 169 40 117 169 40
  128892. +117 169 40 114 165 39 69 100 23 10 15 3 0 0 0 0 0 0
  128893. +0 0 0 0 0 0 0 0 0
  128894. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0
  128895. +31 45 11 77 111 26 117 169 40 117 169 40 117 169 40 117 169 40
  128896. +117 169 40 117 169 40 118 170 40 116 168 40 92 132 31 47 69 16
  128897. +38 55 13 81 118 28 113 163 39 119 171 41 117 169 40 117 169 40
  128898. +117 169 40 117 169 40 117 169 40 117 169 40 118 171 41 92 132 31
  128899. +10 15 3 0 0 0 0 0 0 36 52 12 115 166 39 117 169 40
  128900. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 118 170 40
  128901. +118 171 40 102 148 35 64 92 22 34 49 12 65 94 22 106 153 36
  128902. +118 171 40 117 170 40 117 169 40 117 169 40 117 169 40 117 169 40
  128903. +118 170 40 107 154 36 55 80 19 15 21 5 0 0 0 0 0 0
  128904. +0 0 0 0 0 0 0 0 0
  128905. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128906. +29 42 10 101 146 34 118 171 40 117 169 40 117 169 40 117 169 40
  128907. +117 169 40 117 169 40 117 169 40 117 169 40 118 171 40 113 163 39
  128908. +75 109 26 27 40 9 36 52 12 89 128 30 116 167 40 118 171 40
  128909. +117 169 40 117 169 40 117 169 40 117 169 40 118 170 40 104 150 35
  128910. +16 23 5 0 0 0 0 0 0 53 76 18 118 171 40 117 169 40
  128911. +117 169 40 117 169 40 117 169 40 117 169 40 119 171 41 109 157 37
  128912. +67 96 23 23 34 8 42 61 14 96 138 32 118 170 40 118 170 40
  128913. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128914. +117 169 40 117 169 40 74 107 25 10 15 3 0 0 0 0 0 0
  128915. +0 0 0 0 0 0 0 0 0
  128916. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128917. +0 0 0 31 45 11 101 146 34 118 170 40 117 169 40 117 169 40
  128918. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128919. +119 171 41 102 148 35 47 69 16 14 20 5 50 72 17 102 148 35
  128920. +118 171 40 117 169 40 117 169 40 117 169 40 118 170 40 102 148 35
  128921. +15 21 5 0 0 0 0 0 0 50 72 17 118 170 40 117 169 40
  128922. +117 169 40 117 169 40 118 170 40 116 167 40 84 121 28 27 40 9
  128923. +19 27 6 74 107 25 114 165 39 118 171 40 117 169 40 117 169 40
  128924. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128925. +117 169 40 75 109 26 10 15 4 0 0 0 0 0 0 0 0 0
  128926. +0 0 0 0 0 0 0 0 0
  128927. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128928. +0 0 0 38 55 13 102 148 35 118 171 40 117 169 40 117 169 40
  128929. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128930. +117 169 40 118 170 40 115 167 39 77 111 26 17 25 6 19 27 6
  128931. +77 111 26 115 166 39 118 170 40 117 169 40 119 172 41 81 118 28
  128932. +3 4 1 0 0 0 0 0 0 27 40 9 111 160 38 118 170 40
  128933. +117 169 40 118 171 40 105 151 36 50 72 17 10 15 3 38 55 13
  128934. +100 144 34 118 171 40 117 169 40 117 169 40 117 169 40 117 169 40
  128935. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128936. +117 169 40 79 115 27 15 21 5 0 0 0 0 0 0 0 0 0
  128937. +0 0 0 0 0 0 0 0 0
  128938. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128939. +0 0 0 10 15 3 64 92 22 111 160 38 117 169 40 117 169 40
  128940. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128941. +117 169 40 117 169 40 117 169 40 118 171 40 96 138 32 32 47 11
  128942. +3 4 1 50 72 17 107 154 36 120 173 41 105 151 36 31 45 11
  128943. +0 0 0 0 0 0 0 0 0 3 4 1 65 94 22 117 169 40
  128944. +118 170 40 89 128 30 26 37 9 3 4 1 60 86 20 111 161 38
  128945. +118 171 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128946. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128947. +97 141 33 36 52 12 1 1 0 0 0 0 0 0 0 0 0 0
  128948. +0 0 0 0 0 0 0 0 0
  128949. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128950. +0 0 0 0 0 0 14 20 5 75 109 26 117 168 40 117 169 40
  128951. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128952. +117 169 40 117 169 40 117 169 40 117 169 40 118 171 40 107 154 36
  128953. +45 64 15 2 3 1 31 45 11 75 109 26 32 47 11 0 1 0
  128954. +0 0 0 0 0 0 0 0 0 0 0 0 10 15 3 55 80 19
  128955. +65 94 22 11 16 4 11 16 4 75 109 26 116 168 40 118 170 40
  128956. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128957. +117 169 40 117 169 40 117 169 40 117 169 40 118 170 40 107 154 36
  128958. +47 69 16 3 4 1 0 0 0 0 0 0 0 0 0 0 0 0
  128959. +0 0 0 0 0 0 0 0 0
  128960. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128961. +0 0 0 0 0 0 12 18 4 69 100 23 111 161 38 118 171 40
  128962. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128963. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 118 170 40
  128964. +111 160 38 50 72 17 2 3 1 2 3 1 0 0 0 0 0 0
  128965. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0
  128966. +1 1 0 12 18 4 81 118 28 118 170 40 117 169 40 117 169 40
  128967. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128968. +117 169 40 117 169 40 117 169 40 117 170 40 118 171 40 101 146 34
  128969. +42 61 14 2 3 1 0 0 0 0 0 0 0 0 0 0 0 0
  128970. +0 0 0 0 0 0 0 0 0
  128971. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128972. +0 0 0 0 0 0 0 0 0 3 4 1 36 52 12 89 128 30
  128973. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128974. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128975. +118 171 41 101 146 34 14 20 5 0 0 0 0 0 0 0 0 0
  128976. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128977. +0 0 0 47 69 16 118 170 40 117 169 40 117 169 40 117 169 40
  128978. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128979. +117 169 40 117 169 40 117 170 40 111 160 38 69 100 23 19 27 6
  128980. +0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128981. +0 0 0 0 0 0 0 0 0
  128982. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128983. +0 0 0 0 0 0 0 0 0 0 0 0 11 16 4 69 100 23
  128984. +115 167 39 119 172 41 117 169 40 117 169 40 117 169 40 117 169 40
  128985. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128986. +119 172 41 75 109 26 3 4 1 0 0 0 0 0 0 0 0 0
  128987. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128988. +0 0 0 23 34 8 106 153 36 118 170 40 117 169 40 117 169 40
  128989. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  128990. +117 169 40 118 170 40 119 172 41 105 151 36 42 61 14 2 3 1
  128991. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128992. +0 0 0 0 0 0 0 0 0
  128993. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128994. +0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 15 21 5
  128995. +45 64 15 80 116 27 114 165 39 118 170 40 117 169 40 117 169 40
  128996. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 119 172 41
  128997. +97 141 33 20 30 7 0 0 0 0 0 0 0 0 0 0 0 0
  128998. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  128999. +0 0 0 1 1 0 53 76 18 114 165 39 118 171 40 117 169 40
  129000. +117 169 40 117 169 40 117 169 40 117 169 40 117 169 40 117 169 40
  129001. +118 171 40 104 150 35 64 92 22 31 45 11 10 15 3 0 0 0
  129002. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129003. +0 0 0 0 0 0 0 0 0
  129004. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129005. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129006. +0 0 0 36 52 12 97 141 33 109 158 37 113 163 39 116 168 40
  129007. +117 169 40 117 170 40 118 170 40 119 172 41 115 167 39 84 121 28
  129008. +23 34 8 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129009. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129010. +0 0 0 0 0 0 3 4 1 50 72 17 102 148 35 118 171 40
  129011. +119 171 41 118 170 40 117 169 40 117 169 40 115 166 39 111 161 38
  129012. +109 157 37 79 115 27 12 18 4 0 0 0 0 0 0 0 0 0
  129013. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129014. +0 0 0 0 0 0 0 0 0
  129015. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129016. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129017. +0 0 0 3 4 1 15 21 5 23 34 8 45 64 15 106 153 36
  129018. +116 167 40 111 160 38 101 146 34 79 115 27 42 61 14 10 15 3
  129019. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129020. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129021. +0 0 0 0 0 0 0 0 0 1 1 0 20 30 7 60 86 20
  129022. +89 128 30 106 153 36 113 163 39 117 169 40 84 121 28 29 42 10
  129023. +19 27 6 10 15 3 2 3 1 0 0 0 0 0 0 0 0 0
  129024. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129025. +0 0 0 0 0 0 0 0 0
  129026. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129027. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129028. +0 0 0 0 0 0 0 0 0 0 0 0 16 23 5 38 55 13
  129029. +36 52 12 26 37 9 12 18 4 2 3 1 0 0 0 0 0 0
  129030. +0 0 0 0 0 0 0 0 0 1 0 0 19 2 7 52 5 18
  129031. +78 7 27 88 8 31 81 7 29 56 5 19 25 2 9 3 0 1
  129032. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129033. +3 4 1 19 27 6 31 45 11 38 55 13 32 47 11 3 4 1
  129034. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129035. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129036. +0 0 0 0 0 0 0 0 0
  129037. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129038. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129039. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 1
  129040. +9 0 3 12 1 4 9 0 3 4 0 1 0 0 0 0 0 0
  129041. +0 0 0 0 0 0 28 3 10 99 9 35 156 14 55 182 16 64
  129042. +189 17 66 190 17 67 189 17 66 184 17 65 166 15 58 118 13 41
  129043. +45 4 16 3 0 1 0 0 0 0 0 0 0 0 0 0 0 0
  129044. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129045. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129046. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129047. +0 0 0 0 0 0 0 0 0
  129048. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129049. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129050. +0 0 0 0 0 0 11 1 4 52 5 18 101 9 35 134 12 47
  129051. +151 14 53 154 14 54 151 14 53 113 10 40 11 1 4 0 0 0
  129052. +3 0 1 67 6 24 159 14 56 190 17 67 190 17 67 188 17 66
  129053. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 191 17 67
  129054. +174 16 61 101 9 35 14 1 5 0 0 0 35 3 12 108 10 38
  129055. +122 11 43 122 11 43 112 10 39 87 8 30 50 5 17 13 1 5
  129056. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129057. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129058. +0 0 0 0 0 0 0 0 0
  129059. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129060. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129061. +3 0 1 56 5 19 141 13 49 182 16 64 191 17 67 191 17 67
  129062. +190 17 67 190 17 67 191 17 67 113 10 40 3 0 1 1 0 0
  129063. +79 7 28 180 16 63 190 17 67 188 17 66 188 17 66 188 17 66
  129064. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129065. +189 17 66 188 17 66 122 11 43 11 1 4 41 4 14 176 16 62
  129066. +191 17 67 191 17 67 191 17 67 190 17 67 181 16 63 146 13 51
  129067. +75 7 26 10 1 4 0 0 0 0 0 0 0 0 0 0 0 0
  129068. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129069. +0 0 0 0 0 0 0 0 0
  129070. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129071. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 1 2
  129072. +90 8 32 178 16 62 191 17 67 188 17 66 188 17 66 188 17 66
  129073. +188 17 66 190 17 67 141 13 49 22 2 8 0 0 0 41 4 14
  129074. +173 16 61 190 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129075. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129076. +188 17 66 188 17 66 188 17 66 88 8 31 1 0 0 89 8 31
  129077. +185 17 65 189 17 66 188 17 66 188 17 66 189 17 66 191 17 67
  129078. +186 17 65 124 11 43 25 2 9 0 0 0 0 0 0 0 0 0
  129079. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129080. +0 0 0 0 0 0 0 0 0
  129081. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129082. +0 0 0 0 0 0 0 0 0 0 0 0 2 0 1 89 8 31
  129083. +184 17 65 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129084. +190 17 67 151 14 53 34 3 12 0 0 0 0 0 0 79 7 28
  129085. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129086. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129087. +188 17 66 188 17 66 191 17 67 146 13 51 9 1 3 7 1 2
  129088. +108 10 38 187 17 66 189 17 66 188 17 66 188 17 66 188 17 66
  129089. +188 17 66 190 17 67 141 13 49 22 2 8 0 0 0 0 0 0
  129090. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129091. +0 0 0 0 0 0 0 0 0
  129092. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129093. +0 0 0 0 0 0 0 0 0 0 0 0 52 5 18 176 16 62
  129094. +189 17 66 188 17 66 188 17 66 188 17 66 188 17 66 190 17 67
  129095. +151 14 53 38 3 13 0 0 0 0 0 0 0 0 0 50 5 17
  129096. +180 16 63 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129097. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129098. +188 17 66 188 17 66 191 17 67 141 13 49 7 1 3 0 0 0
  129099. +11 1 4 112 10 39 187 17 66 189 17 66 188 17 66 188 17 66
  129100. +188 17 66 188 17 66 190 17 67 113 10 40 5 0 2 0 0 0
  129101. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129102. +0 0 0 0 0 0 0 0 0
  129103. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129104. +0 0 0 0 0 0 0 0 0 7 1 3 132 12 46 191 17 67
  129105. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 146 13 51
  129106. +35 3 12 0 0 0 0 0 0 0 0 0 0 0 0 5 0 2
  129107. +101 9 35 185 17 65 190 17 67 188 17 66 188 17 66 188 17 66
  129108. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129109. +188 17 66 190 17 67 180 16 63 67 6 24 0 0 0 0 0 0
  129110. +0 0 0 11 1 4 108 10 38 186 17 65 189 17 66 188 17 66
  129111. +188 17 66 188 17 66 189 17 66 180 16 63 56 5 19 0 0 0
  129112. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129113. +0 0 0 0 0 0 0 0 0
  129114. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129115. +0 0 0 0 0 0 0 0 0 44 4 15 177 16 62 189 17 66
  129116. +188 17 66 188 17 66 189 17 66 189 17 66 134 12 47 28 3 10
  129117. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129118. +8 1 3 79 7 28 159 14 56 188 17 66 191 17 67 190 17 67
  129119. +189 17 66 189 17 66 189 17 66 189 17 66 190 17 67 191 17 67
  129120. +188 17 66 158 14 55 72 7 25 4 0 1 0 0 0 0 0 0
  129121. +0 0 0 0 0 0 8 1 3 95 9 33 182 16 64 189 17 67
  129122. +188 17 66 188 17 66 188 17 66 191 17 67 122 11 43 3 0 1
  129123. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129124. +0 0 0 0 0 0 0 0 0
  129125. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129126. +0 0 0 0 0 0 0 0 0 88 8 31 190 17 67 188 17 66
  129127. +188 17 66 189 17 66 185 17 65 113 10 40 18 2 6 0 0 0
  129128. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129129. +0 0 0 1 0 0 24 2 8 77 7 27 124 11 43 154 14 54
  129130. +168 15 59 173 16 61 173 16 61 168 15 59 154 14 54 124 11 43
  129131. +77 7 27 22 2 8 0 0 0 0 0 0 0 0 0 0 0 0
  129132. +0 0 0 0 0 0 0 0 0 5 0 2 77 7 27 173 16 61
  129133. +190 17 67 188 17 66 188 17 66 190 17 67 164 15 57 23 2 8
  129134. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129135. +0 0 0 0 0 0 0 0 0
  129136. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129137. +0 0 0 0 0 0 1 0 0 118 13 41 191 17 67 188 17 66
  129138. +190 17 67 174 16 61 87 8 30 8 1 3 0 0 0 0 0 0
  129139. +0 0 0 0 0 0 10 1 4 29 3 10 40 4 14 36 3 13
  129140. +18 2 6 2 0 1 0 0 0 0 0 0 3 0 1 14 1 5
  129141. +26 2 9 33 3 11 32 3 11 25 2 9 13 1 5 3 0 1
  129142. +0 0 0 14 1 5 56 5 19 95 9 33 109 10 38 101 9 35
  129143. +77 7 27 35 3 12 5 0 2 0 0 0 1 0 0 56 5 19
  129144. +156 14 55 190 17 67 188 17 66 188 17 66 182 16 64 50 5 17
  129145. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129146. +0 0 0 0 0 0 0 0 0
  129147. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129148. +0 0 0 0 0 0 5 0 2 134 12 47 191 17 67 189 17 66
  129149. +151 14 53 52 5 18 2 0 1 0 0 0 0 0 0 1 0 0
  129150. +28 3 10 90 8 32 146 13 51 170 15 60 178 16 62 174 16 61
  129151. +158 14 55 112 10 39 40 4 14 1 0 0 0 0 0 0 0 0
  129152. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 1
  129153. +56 5 19 146 13 51 183 17 64 191 17 67 191 17 67 191 17 67
  129154. +188 17 66 173 16 61 122 11 43 41 4 14 1 0 0 0 0 0
  129155. +30 3 10 124 11 43 185 17 65 190 17 67 187 17 66 67 6 24
  129156. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129157. +0 0 0 0 0 0 0 0 0
  129158. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129159. +0 0 0 0 0 0 6 1 2 134 12 47 168 15 59 99 9 35
  129160. +21 2 7 0 0 0 0 0 0 0 0 0 6 1 2 77 7 27
  129161. +162 15 57 190 17 67 191 17 67 189 17 66 189 17 66 189 17 66
  129162. +190 17 67 191 17 67 169 15 59 75 7 26 3 0 1 0 0 0
  129163. +0 0 0 0 0 0 0 0 0 0 0 0 2 0 1 79 7 28
  129164. +178 16 62 191 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129165. +188 17 66 189 17 66 191 17 67 170 15 60 79 7 28 5 0 2
  129166. +0 0 0 10 1 3 78 7 27 159 14 56 188 17 66 75 7 26
  129167. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129168. +0 0 0 0 0 0 0 0 0
  129169. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129170. +0 0 0 0 0 0 1 0 0 35 3 12 29 3 10 2 0 1
  129171. +0 0 0 0 0 0 0 0 0 9 1 3 101 9 35 183 17 64
  129172. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129173. +188 17 66 188 17 66 190 17 67 178 16 63 67 6 23 0 0 0
  129174. +0 0 0 0 0 0 0 0 0 0 0 0 52 5 18 174 16 61
  129175. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129176. +188 17 66 188 17 66 188 17 66 190 17 67 182 16 64 89 8 31
  129177. +4 0 1 0 0 0 0 0 0 25 2 9 73 7 26 31 3 11
  129178. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129179. +0 0 0 0 0 0 0 0 0
  129180. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129181. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129182. +0 0 0 0 0 0 4 0 1 98 9 34 187 17 66 189 17 66
  129183. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129184. +188 17 66 188 17 66 188 17 66 190 17 67 158 14 55 25 2 9
  129185. +0 0 0 0 0 0 0 0 0 8 1 3 134 12 47 191 17 67
  129186. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129187. +188 17 66 188 17 66 188 17 66 188 17 66 189 17 66 180 16 63
  129188. +68 6 24 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129189. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129190. +0 0 0 0 0 0 0 0 0
  129191. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129192. +0 0 0 6 1 2 19 2 7 3 0 1 0 0 0 0 0 0
  129193. +0 0 0 0 0 0 65 6 23 180 16 63 189 17 66 188 17 66
  129194. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129195. +188 17 66 188 17 66 188 17 66 188 17 66 189 17 66 83 8 29
  129196. +0 0 0 0 0 0 0 0 0 41 4 14 177 16 62 189 17 66
  129197. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129198. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 190 17 67
  129199. +159 14 56 28 3 10 0 0 0 0 0 0 0 0 0 23 2 8
  129200. +41 4 14 5 0 2 0 0 0 0 0 0 0 0 0 0 0 0
  129201. +0 0 0 0 0 0 0 0 0
  129202. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129203. +23 2 8 113 10 40 159 14 56 65 6 23 0 0 0 0 0 0
  129204. +0 0 0 16 1 6 146 13 51 191 17 67 188 17 66 188 17 66
  129205. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129206. +188 17 66 188 17 66 188 17 66 188 17 66 191 17 67 132 12 46
  129207. +5 0 2 0 0 0 0 0 0 77 7 27 189 17 66 188 17 66
  129208. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129209. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129210. +190 17 67 98 9 34 0 0 0 0 0 0 12 1 4 134 12 47
  129211. +178 16 63 108 10 38 16 1 6 0 0 0 0 0 0 0 0 0
  129212. +0 0 0 0 0 0 0 0 0
  129213. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 30 3 10
  129214. +141 13 49 190 17 67 191 17 67 134 12 47 6 1 2 0 0 0
  129215. +0 0 0 68 6 24 186 17 65 188 17 66 188 17 66 188 17 66
  129216. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129217. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 156 14 55
  129218. +14 1 5 0 0 0 0 0 0 98 9 34 191 17 67 188 17 66
  129219. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129220. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129221. +190 17 67 156 14 55 19 2 7 0 0 0 47 4 16 181 16 63
  129222. +190 17 67 189 17 66 126 14 44 17 2 6 0 0 0 0 0 0
  129223. +0 0 0 0 0 0 0 0 0
  129224. +0 0 0 0 0 0 0 0 0 0 0 0 16 1 6 134 12 47
  129225. +191 17 67 188 17 66 190 17 67 162 15 57 19 2 7 0 0 0
  129226. +3 0 1 123 11 43 191 17 67 188 17 66 188 17 66 188 17 66
  129227. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129228. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 163 15 57
  129229. +20 2 7 0 0 0 0 0 0 101 9 35 191 17 67 188 17 66
  129230. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129231. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129232. +188 17 66 182 16 64 52 5 18 0 0 0 73 7 26 188 17 66
  129233. +188 17 66 188 17 66 189 17 66 109 10 38 5 0 2 0 0 0
  129234. +0 0 0 0 0 0 0 0 0
  129235. +0 0 0 0 0 0 0 0 0 0 0 0 95 9 33 189 17 66
  129236. +188 17 66 188 17 66 189 17 66 171 15 60 29 3 10 0 0 0
  129237. +16 1 6 156 14 55 190 17 67 188 17 66 188 17 66 188 17 66
  129238. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129239. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 158 14 55
  129240. +17 2 6 0 0 0 0 0 0 85 8 30 190 17 67 188 17 66
  129241. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129242. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129243. +188 17 66 189 17 66 81 7 29 0 0 0 85 8 30 190 17 67
  129244. +188 17 66 188 17 66 189 17 66 180 16 63 56 5 19 0 0 0
  129245. +0 0 0 0 0 0 0 0 0
  129246. +0 0 0 0 0 0 0 0 0 25 2 9 162 15 57 190 17 67
  129247. +188 17 66 188 17 66 189 17 66 173 16 61 31 3 11 0 0 0
  129248. +30 3 10 171 15 60 189 17 66 188 17 66 188 17 66 188 17 66
  129249. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129250. +188 17 66 188 17 66 188 17 66 188 17 66 191 17 67 141 13 49
  129251. +7 1 2 0 0 0 0 0 0 56 5 19 183 17 64 188 17 66
  129252. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129253. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129254. +188 17 66 191 17 67 98 9 34 0 0 0 88 8 31 190 17 67
  129255. +188 17 66 188 17 66 188 17 66 191 17 67 124 11 43 5 0 2
  129256. +0 0 0 0 0 0 0 0 0
  129257. +0 0 0 0 0 0 0 0 0 68 6 24 187 17 66 188 17 66
  129258. +188 17 66 188 17 66 189 17 66 170 15 60 28 3 10 0 0 0
  129259. +34 3 12 174 16 61 189 17 66 188 17 66 188 17 66 188 17 66
  129260. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129261. +188 17 66 188 17 66 188 17 66 188 17 66 191 17 67 101 9 35
  129262. +0 0 0 0 0 0 0 0 0 21 2 7 159 14 56 190 17 67
  129263. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129264. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129265. +188 17 66 191 17 67 98 9 34 0 0 0 81 7 29 189 17 66
  129266. +188 17 66 188 17 66 188 17 66 189 17 66 168 15 59 28 3 10
  129267. +0 0 0 0 0 0 0 0 0
  129268. +0 0 0 0 0 0 0 0 0 109 10 38 191 17 67 188 17 66
  129269. +188 17 66 188 17 66 190 17 67 163 15 57 21 2 7 0 0 0
  129270. +26 2 9 168 15 59 189 17 66 188 17 66 188 17 66 188 17 66
  129271. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129272. +188 17 66 188 17 66 188 17 66 189 17 66 180 16 63 47 4 16
  129273. +0 0 0 0 0 0 0 0 0 0 0 0 108 10 38 190 17 67
  129274. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129275. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129276. +188 17 66 189 17 66 78 7 27 0 0 0 68 6 24 187 17 66
  129277. +188 17 66 188 17 66 188 17 66 188 17 66 183 17 64 56 5 19
  129278. +0 0 0 0 0 0 0 0 0
  129279. +0 0 0 0 0 0 3 0 1 131 12 46 191 17 67 188 17 66
  129280. +188 17 66 188 17 66 190 17 67 151 14 53 12 1 4 0 0 0
  129281. +11 1 4 146 13 51 190 17 67 188 17 66 188 17 66 188 17 66
  129282. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129283. +188 17 66 188 17 66 188 17 66 191 17 67 126 14 44 7 1 2
  129284. +0 0 0 0 0 0 0 0 0 0 0 0 32 3 11 164 15 58
  129285. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129286. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129287. +189 17 66 178 16 62 44 4 15 0 0 0 50 5 17 182 16 64
  129288. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 72 7 25
  129289. +0 0 0 0 0 0 0 0 0
  129290. +0 0 0 0 0 0 5 0 2 134 12 47 191 17 67 188 17 66
  129291. +188 17 66 188 17 66 191 17 67 131 12 46 3 0 1 0 0 0
  129292. +0 0 0 101 9 35 190 17 67 188 17 66 188 17 66 188 17 66
  129293. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129294. +188 17 66 188 17 66 190 17 67 170 15 60 44 4 15 0 0 0
  129295. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 77 7 27
  129296. +183 17 64 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129297. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129298. +191 17 67 134 12 47 9 1 3 0 0 0 31 3 11 171 15 60
  129299. +189 17 66 188 17 66 188 17 66 188 17 66 188 17 66 72 7 25
  129300. +0 0 0 0 0 0 0 0 0
  129301. +0 0 0 0 0 0 2 0 1 124 11 43 191 17 67 188 17 66
  129302. +188 17 66 188 17 66 191 17 67 101 9 35 0 0 0 0 0 0
  129303. +0 0 0 35 3 12 168 15 59 190 17 67 188 17 66 188 17 66
  129304. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129305. +188 17 66 189 17 66 182 16 64 77 7 27 0 0 0 0 0 0
  129306. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 1 2
  129307. +99 9 35 185 17 65 189 17 66 188 17 66 188 17 66 188 17 66
  129308. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 189 17 66
  129309. +177 16 62 56 5 19 0 0 0 0 0 0 13 1 5 151 14 53
  129310. +190 17 67 188 17 66 188 17 66 188 17 66 185 17 65 56 5 19
  129311. +0 0 0 0 0 0 0 0 0
  129312. +0 0 0 0 0 0 0 0 0 99 9 35 191 17 67 188 17 66
  129313. +188 17 66 188 17 66 186 17 65 65 6 23 0 0 0 0 0 0
  129314. +0 0 0 0 0 0 79 7 28 182 16 64 190 17 67 188 17 66
  129315. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129316. +191 17 67 177 16 62 83 8 29 4 0 1 0 0 0 0 0 0
  129317. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129318. +8 1 3 89 8 31 175 16 62 191 17 67 189 17 66 188 17 66
  129319. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 181 16 63
  129320. +85 8 30 3 0 1 0 0 0 0 0 0 1 0 0 118 13 41
  129321. +191 17 67 188 17 66 188 17 66 189 17 66 173 16 61 34 3 12
  129322. +0 0 0 0 0 0 0 0 0
  129323. +0 0 0 0 0 0 0 0 0 56 5 19 183 17 64 188 17 66
  129324. +188 17 66 189 17 66 169 15 59 30 3 10 0 0 0 0 0 0
  129325. +0 0 0 0 0 0 5 0 2 83 8 29 173 16 61 191 17 67
  129326. +190 17 67 189 17 66 189 17 66 190 17 67 191 17 67 187 17 66
  129327. +151 14 53 56 5 19 3 0 1 0 0 0 16 1 6 50 5 17
  129328. +79 7 28 95 9 33 95 9 33 75 7 26 41 4 14 10 1 4
  129329. +0 0 0 2 0 1 50 5 17 132 12 46 178 16 62 190 17 67
  129330. +191 17 67 191 17 67 191 17 67 186 17 65 154 14 54 68 6 24
  129331. +4 0 1 0 0 0 0 0 0 0 0 0 0 0 0 72 7 25
  129332. +187 17 66 188 17 66 188 17 66 191 17 67 141 13 49 9 1 3
  129333. +0 0 0 0 0 0 0 0 0
  129334. +0 0 0 0 0 0 0 0 0 14 1 5 151 14 53 190 17 67
  129335. +188 17 66 191 17 67 131 12 46 5 0 2 0 0 0 0 0 0
  129336. +0 0 0 0 0 0 0 0 0 2 0 1 44 4 15 113 10 40
  129337. +156 14 55 173 16 61 174 16 61 164 15 58 134 12 47 77 7 27
  129338. +18 2 6 0 0 0 16 1 6 85 8 30 151 14 53 182 16 64
  129339. +189 17 66 191 17 67 190 17 67 188 17 66 177 16 62 141 13 49
  129340. +68 6 24 8 1 3 0 0 0 8 1 3 44 4 15 88 8 31
  129341. +113 10 40 122 11 43 108 10 38 67 6 24 20 2 7 0 0 0
  129342. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 28 3 10
  129343. +166 15 58 190 17 67 188 17 66 187 17 66 79 7 28 0 0 0
  129344. +0 0 0 0 0 0 0 0 0
  129345. +0 0 0 0 0 0 0 0 0 0 0 0 73 7 26 185 17 65
  129346. +189 17 66 184 17 65 65 6 23 0 0 0 0 0 0 0 0 0
  129347. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 0 1
  129348. +17 2 6 32 3 11 34 3 12 22 2 8 6 1 2 0 0 0
  129349. +0 0 0 38 3 13 141 13 49 188 17 66 190 17 67 188 17 66
  129350. +188 17 66 188 17 66 188 17 66 188 17 66 189 17 66 191 17 67
  129351. +184 17 65 122 11 43 21 2 7 0 0 0 0 0 0 0 0 0
  129352. +0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129353. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0
  129354. +108 10 38 191 17 67 191 17 67 141 13 49 16 1 6 0 0 0
  129355. +0 0 0 0 0 0 0 0 0
  129356. +0 0 0 0 0 0 0 0 0 0 0 0 8 1 3 112 10 39
  129357. +186 17 65 124 11 43 10 1 4 0 0 0 0 0 0 0 0 0
  129358. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129359. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129360. +36 3 13 156 14 55 191 17 67 188 17 66 188 17 66 188 17 66
  129361. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129362. +189 17 66 190 17 67 134 12 47 18 2 6 0 0 0 0 0 0
  129363. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129364. +0 0 0 7 1 2 41 4 14 75 7 26 66 5 23 19 2 7
  129365. +26 2 9 144 13 50 154 14 54 40 4 14 0 0 0 0 0 0
  129366. +0 0 0 0 0 0 0 0 0
  129367. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 13 1 5
  129368. +56 5 19 19 2 7 0 0 0 7 1 2 29 3 10 35 3 12
  129369. +19 2 7 2 0 1 0 0 0 0 0 0 0 0 0 0 0 0
  129370. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 13 1 5
  129371. +134 12 47 191 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129372. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129373. +188 17 66 188 17 66 189 17 67 108 10 38 3 0 1 0 0 0
  129374. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0
  129375. +40 4 14 124 11 43 177 16 62 188 17 66 187 17 66 144 13 50
  129376. +24 2 8 17 2 6 22 2 8 0 0 0 0 0 0 0 0 0
  129377. +0 0 0 0 0 0 0 0 0
  129378. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129379. +0 0 0 0 0 0 19 2 7 122 11 43 171 15 60 175 16 62
  129380. +159 14 56 112 10 39 40 4 14 2 0 1 0 0 0 0 0 0
  129381. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 72 7 25
  129382. +186 17 65 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129383. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129384. +188 17 66 188 17 66 189 17 66 174 16 61 41 4 14 0 0 0
  129385. +0 0 0 0 0 0 0 0 0 0 0 0 3 0 1 72 7 25
  129386. +168 15 59 191 17 67 189 17 66 188 17 66 188 17 66 190 17 67
  129387. +95 9 33 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129388. +0 0 0 0 0 0 0 0 0
  129389. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129390. +0 0 0 0 0 0 95 9 33 191 17 67 189 17 66 189 17 66
  129391. +190 17 67 191 17 67 171 15 60 90 8 32 12 1 4 0 0 0
  129392. +0 0 0 0 0 0 0 0 0 0 0 0 5 0 2 132 12 46
  129393. +191 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129394. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129395. +188 17 66 188 17 66 188 17 66 190 17 67 98 9 34 0 0 0
  129396. +0 0 0 0 0 0 0 0 0 5 0 2 88 8 31 180 16 63
  129397. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 191 17 67
  129398. +146 13 51 11 1 4 0 0 0 0 0 0 0 0 0 0 0 0
  129399. +0 0 0 0 0 0 0 0 0
  129400. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129401. +0 0 0 9 1 3 144 13 50 191 17 67 188 17 66 188 17 66
  129402. +188 17 66 188 17 66 189 17 66 187 17 66 123 11 43 20 2 7
  129403. +0 0 0 0 0 0 0 0 0 0 0 0 21 2 7 163 15 57
  129404. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129405. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129406. +188 17 66 188 17 66 188 17 66 191 17 67 134 12 47 5 0 2
  129407. +0 0 0 0 0 0 3 0 1 88 8 31 182 16 64 189 17 66
  129408. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 189 17 66
  129409. +171 15 60 31 3 11 0 0 0 0 0 0 0 0 0 0 0 0
  129410. +0 0 0 0 0 0 0 0 0
  129411. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129412. +0 0 0 20 2 7 162 15 57 190 17 67 188 17 66 188 17 66
  129413. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 132 12 46
  129414. +20 2 7 0 0 0 0 0 0 0 0 0 32 3 11 173 16 61
  129415. +189 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129416. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129417. +188 17 66 188 17 66 188 17 66 190 17 67 151 14 53 12 1 4
  129418. +0 0 0 0 0 0 72 7 25 180 16 63 189 17 66 188 17 66
  129419. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129420. +181 16 63 47 4 16 0 0 0 0 0 0 0 0 0 0 0 0
  129421. +0 0 0 0 0 0 0 0 0
  129422. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129423. +0 0 0 21 2 7 163 15 57 190 17 67 188 17 66 188 17 66
  129424. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 190 17 67
  129425. +122 11 43 9 1 3 0 0 0 0 0 0 30 3 10 171 15 60
  129426. +189 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129427. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129428. +188 17 66 188 17 66 188 17 66 190 17 67 146 13 51 10 1 4
  129429. +0 0 0 38 3 13 166 15 58 190 17 67 188 17 66 188 17 66
  129430. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129431. +183 17 64 52 5 18 0 0 0 0 0 0 0 0 0 0 0 0
  129432. +0 0 0 0 0 0 0 0 0
  129433. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129434. +0 0 0 13 1 5 154 14 54 190 17 67 188 17 66 188 17 66
  129435. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129436. +186 17 65 79 7 28 0 0 0 0 0 0 14 1 5 156 14 54
  129437. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129438. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129439. +188 17 66 188 17 66 188 17 66 191 17 67 124 11 43 2 0 1
  129440. +5 0 2 122 11 43 191 17 67 188 17 66 188 17 66 188 17 66
  129441. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129442. +182 16 64 47 4 16 0 0 0 0 0 0 0 0 0 0 0 0
  129443. +0 0 0 0 0 0 0 0 0
  129444. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129445. +0 0 0 3 0 1 126 14 44 191 17 67 188 17 66 188 17 66
  129446. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129447. +190 17 67 158 14 55 23 2 8 0 0 0 1 0 0 113 10 40
  129448. +191 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129449. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129450. +188 17 66 188 17 66 188 17 66 188 17 66 78 7 27 0 0 0
  129451. +47 4 16 177 16 62 189 17 66 188 17 66 188 17 66 188 17 66
  129452. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 189 17 66
  129453. +173 16 61 34 3 12 0 0 0 0 0 0 0 0 0 0 0 0
  129454. +0 0 0 0 0 0 0 0 0
  129455. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129456. +0 0 0 0 0 0 85 8 30 189 17 66 188 17 66 188 17 66
  129457. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129458. +188 17 66 188 17 66 79 7 28 0 0 0 0 0 0 47 4 16
  129459. +175 16 62 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129460. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129461. +188 17 66 188 17 66 190 17 67 156 14 55 22 2 8 0 0 0
  129462. +109 10 38 191 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129463. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 190 17 67
  129464. +151 14 53 13 1 5 0 0 0 0 0 0 0 0 0 0 0 0
  129465. +0 0 0 0 0 0 0 0 0
  129466. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129467. +0 0 0 0 0 0 35 3 12 173 16 61 189 17 66 188 17 66
  129468. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129469. +188 17 66 191 17 67 134 12 47 7 1 2 0 0 0 3 0 1
  129470. +99 9 35 188 17 66 189 17 66 188 17 66 188 17 66 188 17 66
  129471. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129472. +188 17 66 189 17 66 181 16 63 68 6 24 0 0 0 18 2 6
  129473. +156 14 55 190 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129474. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 190 17 67
  129475. +101 9 35 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129476. +0 0 0 0 0 0 0 0 0
  129477. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129478. +0 0 0 0 0 0 3 0 1 118 13 41 191 17 67 188 17 66
  129479. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129480. +188 17 66 189 17 66 168 15 59 28 3 10 0 0 0 0 0 0
  129481. +12 1 4 113 10 40 187 17 66 189 17 67 188 17 66 188 17 66
  129482. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129483. +190 17 67 180 16 63 88 8 31 4 0 1 0 0 0 47 4 16
  129484. +180 16 63 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129485. +188 17 66 188 17 66 188 17 66 188 17 66 190 17 67 168 15 59
  129486. +36 3 13 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129487. +0 0 0 0 0 0 0 0 0
  129488. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129489. +0 0 0 0 0 0 0 0 0 38 3 13 164 15 58 190 17 67
  129490. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129491. +188 17 66 188 17 66 182 16 64 50 5 17 0 0 0 0 0 0
  129492. +0 0 0 11 1 4 90 8 32 169 15 59 190 17 67 190 17 67
  129493. +189 17 66 189 17 66 189 17 66 189 17 66 191 17 67 189 17 66
  129494. +158 14 55 68 6 24 4 0 1 0 0 0 0 0 0 73 7 26
  129495. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129496. +188 17 66 188 17 66 188 17 66 189 17 66 185 17 65 83 8 29
  129497. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129498. +0 0 0 0 0 0 0 0 0
  129499. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129500. +0 0 0 0 0 0 0 0 0 0 0 0 65 6 23 174 16 61
  129501. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129502. +188 17 66 188 17 66 185 17 65 56 5 19 0 0 0 0 0 0
  129503. +0 0 0 0 0 0 2 0 1 35 3 12 99 9 35 146 13 51
  129504. +170 15 60 177 16 62 177 16 62 166 15 58 141 13 49 85 8 30
  129505. +24 2 8 0 0 0 0 0 0 0 0 0 0 0 0 85 8 30
  129506. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129507. +188 17 66 188 17 66 188 17 66 189 17 66 112 10 39 8 1 3
  129508. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129509. +0 0 0 0 0 0 0 0 0
  129510. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129511. +0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 68 6 24
  129512. +170 15 60 191 17 67 188 17 66 188 17 66 188 17 66 188 17 66
  129513. +188 17 66 188 17 66 182 16 64 50 5 17 0 0 0 0 0 0
  129514. +0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 11 1 4
  129515. +28 3 10 40 4 14 38 3 13 25 2 9 8 1 3 0 0 0
  129516. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 78 7 27
  129517. +189 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129518. +188 17 66 189 17 66 187 17 66 113 10 40 14 1 5 0 0 0
  129519. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129520. +0 0 0 0 0 0 0 0 0
  129521. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129522. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0
  129523. +47 4 16 141 13 49 186 17 65 191 17 67 190 17 67 189 17 66
  129524. +189 17 66 191 17 67 156 14 55 20 2 7 0 0 0 0 0 0
  129525. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129526. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129527. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 44 4 15
  129528. +178 16 62 190 17 67 188 17 66 188 17 66 188 17 66 190 17 67
  129529. +191 17 67 173 16 61 90 8 32 10 1 4 0 0 0 0 0 0
  129530. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129531. +0 0 0 0 0 0 0 0 0
  129532. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129533. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129534. +0 0 0 14 1 5 68 6 24 131 12 46 162 15 57 174 16 61
  129535. +171 15 60 146 13 51 56 5 19 0 0 0 0 0 0 0 0 0
  129536. +0 0 0 0 0 0 0 0 0 3 0 1 14 1 5 29 3 10
  129537. +41 4 14 47 4 16 50 5 17 45 4 16 34 3 12 18 2 6
  129538. +5 0 2 0 0 0 0 0 0 0 0 0 0 0 0 5 0 2
  129539. +90 8 32 169 15 59 185 17 65 187 17 66 182 16 64 163 15 57
  129540. +113 10 40 41 4 14 2 0 1 0 0 0 0 0 0 0 0 0
  129541. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129542. +0 0 0 0 0 0 0 0 0
  129543. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129544. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129545. +0 0 0 0 0 0 0 0 0 5 0 2 21 2 7 34 3 12
  129546. +29 3 10 11 1 4 0 0 0 0 0 0 0 0 0 0 0 0
  129547. +3 0 1 32 3 11 79 7 28 124 11 43 154 14 54 171 15 60
  129548. +180 16 63 182 16 64 182 16 64 180 16 63 174 16 61 159 14 56
  129549. +132 12 46 88 8 31 34 3 12 3 0 1 0 0 0 0 0 0
  129550. +3 0 1 29 3 10 56 5 19 65 6 23 50 5 17 23 2 8
  129551. +3 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129552. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129553. +0 0 0 0 0 0 0 0 0
  129554. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129555. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129556. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129557. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 25 2 9
  129558. +109 10 38 169 15 59 189 17 66 191 17 67 190 17 67 189 17 66
  129559. +189 17 66 188 17 66 188 17 66 188 17 66 189 17 66 190 17 67
  129560. +191 17 67 190 17 67 171 15 60 98 9 34 10 1 3 0 0 0
  129561. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129562. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129563. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129564. +0 0 0 0 0 0 0 0 0
  129565. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129566. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129567. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129568. +0 0 0 0 0 0 0 0 0 0 0 0 14 1 5 141 13 49
  129569. +191 17 67 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129570. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129571. +188 17 66 188 17 66 189 17 67 186 17 65 65 6 23 0 0 0
  129572. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129573. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129574. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129575. +0 0 0 0 0 0 0 0 0
  129576. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129577. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129578. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129579. +0 0 0 0 0 0 0 0 0 0 0 0 23 2 8 166 15 58
  129580. +190 17 67 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129581. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129582. +188 17 66 188 17 66 189 17 66 176 16 62 45 4 16 0 0 0
  129583. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129584. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129585. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129586. +0 0 0 0 0 0 0 0 0
  129587. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129588. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129589. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129590. +0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 83 8 29
  129591. +183 17 64 189 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129592. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129593. +188 17 66 189 17 66 185 17 65 95 9 33 3 0 1 0 0 0
  129594. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129595. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129596. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129597. +0 0 0 0 0 0 0 0 0
  129598. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129599. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129600. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129601. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 5 0 2
  129602. +85 8 30 176 16 62 191 17 67 188 17 66 188 17 66 188 17 66
  129603. +188 17 66 188 17 66 188 17 66 188 17 66 188 17 66 188 17 66
  129604. +191 17 67 180 16 63 95 9 33 7 1 3 0 0 0 0 0 0
  129605. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129606. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129607. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129608. +0 0 0 0 0 0 0 0 0
  129609. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129610. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129611. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129612. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129613. +2 0 1 52 5 18 141 13 49 185 17 65 191 17 67 189 17 67
  129614. +189 17 66 188 17 66 188 17 66 189 17 66 191 17 67 187 17 66
  129615. +146 13 51 56 5 19 4 0 1 0 0 0 0 0 0 0 0 0
  129616. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129617. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129618. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129619. +0 0 0 0 0 0 0 0 0
  129620. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129621. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129622. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129623. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129624. +0 0 0 0 0 0 14 1 5 68 6 24 131 12 46 166 15 58
  129625. +180 16 63 183 17 64 180 16 63 168 15 59 134 12 47 75 7 26
  129626. +17 2 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129627. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129628. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129629. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129630. +0 0 0 0 0 0 0 0 0
  129631. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129632. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129633. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129634. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129635. +0 0 0 0 0 0 0 0 0 0 0 0 5 0 2 24 2 8
  129636. +44 4 15 52 5 18 45 4 16 26 2 9 6 1 2 0 0 0
  129637. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129638. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129639. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129640. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129641. +0 0 0 0 0 0 0 0 0
  129642. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129643. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129644. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129645. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129646. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129647. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129648. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129649. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129650. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129651. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129652. +0 0 0 0 0 0 0 0 0
  129653. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129654. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129655. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129656. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129657. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129658. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129659. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129660. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129661. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129662. +0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
  129663. +0 0 0 0 0 0 0 0 0
  129664. diff -Nur linux-4.1.13.orig/drivers/w1/masters/w1-gpio.c linux-rpi/drivers/w1/masters/w1-gpio.c
  129665. --- linux-4.1.13.orig/drivers/w1/masters/w1-gpio.c 2015-11-09 23:34:10.000000000 +0100
  129666. +++ linux-rpi/drivers/w1/masters/w1-gpio.c 2015-11-29 09:42:40.139084077 +0100
  129667. @@ -23,6 +23,19 @@
  129668. #include "../w1.h"
  129669. #include "../w1_int.h"
  129670. +static int w1_gpio_pullup = 0;
  129671. +static int w1_gpio_pullup_orig = 0;
  129672. +module_param_named(pullup, w1_gpio_pullup, int, 0);
  129673. +MODULE_PARM_DESC(pullup, "Enable parasitic power (power on data) mode");
  129674. +static int w1_gpio_pullup_pin = -1;
  129675. +static int w1_gpio_pullup_pin_orig = -1;
  129676. +module_param_named(extpullup, w1_gpio_pullup_pin, int, 0);
  129677. +MODULE_PARM_DESC(extpullup, "GPIO external pullup pin number");
  129678. +static int w1_gpio_pin = -1;
  129679. +static int w1_gpio_pin_orig = -1;
  129680. +module_param_named(gpiopin, w1_gpio_pin, int, 0);
  129681. +MODULE_PARM_DESC(gpiopin, "GPIO pin number");
  129682. +
  129683. static u8 w1_gpio_set_pullup(void *data, int delay)
  129684. {
  129685. struct w1_gpio_platform_data *pdata = data;
  129686. @@ -67,6 +80,16 @@
  129687. return gpio_get_value(pdata->pin) ? 1 : 0;
  129688. }
  129689. +static void w1_gpio_bitbang_pullup(void *data, u8 on)
  129690. +{
  129691. + struct w1_gpio_platform_data *pdata = data;
  129692. +
  129693. + if (on)
  129694. + gpio_direction_output(pdata->pin, 1);
  129695. + else
  129696. + gpio_direction_input(pdata->pin);
  129697. +}
  129698. +
  129699. #if defined(CONFIG_OF)
  129700. static const struct of_device_id w1_gpio_dt_ids[] = {
  129701. { .compatible = "w1-gpio" },
  129702. @@ -80,6 +103,7 @@
  129703. struct w1_gpio_platform_data *pdata = dev_get_platdata(&pdev->dev);
  129704. struct device_node *np = pdev->dev.of_node;
  129705. int gpio;
  129706. + u32 value;
  129707. pdata = devm_kzalloc(&pdev->dev, sizeof(*pdata), GFP_KERNEL);
  129708. if (!pdata)
  129709. @@ -88,6 +112,9 @@
  129710. if (of_get_property(np, "linux,open-drain", NULL))
  129711. pdata->is_open_drain = 1;
  129712. + if (of_property_read_u32(np, "rpi,parasitic-power", &value) == 0)
  129713. + pdata->parasitic_power = (value != 0);
  129714. +
  129715. gpio = of_get_gpio(np, 0);
  129716. if (gpio < 0) {
  129717. if (gpio != -EPROBE_DEFER)
  129718. @@ -103,7 +130,7 @@
  129719. if (gpio == -EPROBE_DEFER)
  129720. return gpio;
  129721. /* ignore other errors as the pullup gpio is optional */
  129722. - pdata->ext_pullup_enable_pin = gpio;
  129723. + pdata->ext_pullup_enable_pin = (gpio >= 0) ? gpio : -1;
  129724. pdev->dev.platform_data = pdata;
  129725. @@ -113,13 +140,15 @@
  129726. static int w1_gpio_probe(struct platform_device *pdev)
  129727. {
  129728. struct w1_bus_master *master;
  129729. - struct w1_gpio_platform_data *pdata;
  129730. + struct w1_gpio_platform_data *pdata = pdev->dev.platform_data;
  129731. int err;
  129732. - if (of_have_populated_dt()) {
  129733. - err = w1_gpio_probe_dt(pdev);
  129734. - if (err < 0)
  129735. - return err;
  129736. + if(pdata == NULL) {
  129737. + if (of_have_populated_dt()) {
  129738. + err = w1_gpio_probe_dt(pdev);
  129739. + if (err < 0)
  129740. + return err;
  129741. + }
  129742. }
  129743. pdata = dev_get_platdata(&pdev->dev);
  129744. @@ -136,6 +165,22 @@
  129745. return -ENOMEM;
  129746. }
  129747. + w1_gpio_pin_orig = pdata->pin;
  129748. + w1_gpio_pullup_pin_orig = pdata->ext_pullup_enable_pin;
  129749. + w1_gpio_pullup_orig = pdata->parasitic_power;
  129750. +
  129751. + if(gpio_is_valid(w1_gpio_pin)) {
  129752. + pdata->pin = w1_gpio_pin;
  129753. + pdata->ext_pullup_enable_pin = -1;
  129754. + pdata->parasitic_power = -1;
  129755. + }
  129756. + pdata->parasitic_power |= w1_gpio_pullup;
  129757. + if(gpio_is_valid(w1_gpio_pullup_pin)) {
  129758. + pdata->ext_pullup_enable_pin = w1_gpio_pullup_pin;
  129759. + }
  129760. +
  129761. + dev_info(&pdev->dev, "gpio pin %d, external pullup pin %d, parasitic power %d\n", pdata->pin, pdata->ext_pullup_enable_pin, pdata->parasitic_power);
  129762. +
  129763. err = devm_gpio_request(&pdev->dev, pdata->pin, "w1");
  129764. if (err) {
  129765. dev_err(&pdev->dev, "gpio_request (pin) failed\n");
  129766. @@ -165,6 +210,14 @@
  129767. master->set_pullup = w1_gpio_set_pullup;
  129768. }
  129769. + if (pdata->parasitic_power) {
  129770. + if (pdata->is_open_drain)
  129771. + printk(KERN_ERR "w1-gpio 'pullup'(parasitic power) "
  129772. + "option doesn't work with open drain GPIO\n");
  129773. + else
  129774. + master->bitbang_pullup = w1_gpio_bitbang_pullup;
  129775. + }
  129776. +
  129777. err = w1_add_master_device(master);
  129778. if (err) {
  129779. dev_err(&pdev->dev, "w1_add_master device failed\n");
  129780. @@ -195,6 +248,10 @@
  129781. w1_remove_master_device(master);
  129782. + pdata->pin = w1_gpio_pin_orig;
  129783. + pdata->ext_pullup_enable_pin = w1_gpio_pullup_pin_orig;
  129784. + pdata->parasitic_power = w1_gpio_pullup_orig;
  129785. +
  129786. return 0;
  129787. }
  129788. diff -Nur linux-4.1.13.orig/drivers/w1/slaves/w1_therm.c linux-rpi/drivers/w1/slaves/w1_therm.c
  129789. --- linux-4.1.13.orig/drivers/w1/slaves/w1_therm.c 2015-11-09 23:34:10.000000000 +0100
  129790. +++ linux-rpi/drivers/w1/slaves/w1_therm.c 2015-11-29 09:42:40.139084077 +0100
  129791. @@ -92,13 +92,24 @@
  129792. static ssize_t w1_slave_show(struct device *device,
  129793. struct device_attribute *attr, char *buf);
  129794. +static ssize_t w1_seq_show(struct device *device,
  129795. + struct device_attribute *attr, char *buf);
  129796. +
  129797. static DEVICE_ATTR_RO(w1_slave);
  129798. +static DEVICE_ATTR_RO(w1_seq);
  129799. static struct attribute *w1_therm_attrs[] = {
  129800. &dev_attr_w1_slave.attr,
  129801. NULL,
  129802. };
  129803. +
  129804. +static struct attribute *w1_ds28ea00_attrs[] = {
  129805. + &dev_attr_w1_slave.attr,
  129806. + &dev_attr_w1_seq.attr,
  129807. + NULL,
  129808. +};
  129809. ATTRIBUTE_GROUPS(w1_therm);
  129810. +ATTRIBUTE_GROUPS(w1_ds28ea00);
  129811. static struct w1_family_ops w1_therm_fops = {
  129812. .add_slave = w1_therm_add_slave,
  129813. @@ -106,6 +117,12 @@
  129814. .groups = w1_therm_groups,
  129815. };
  129816. +static struct w1_family_ops w1_ds28ea00_fops = {
  129817. + .add_slave = w1_therm_add_slave,
  129818. + .remove_slave = w1_therm_remove_slave,
  129819. + .groups = w1_ds28ea00_groups,
  129820. +};
  129821. +
  129822. static struct w1_family w1_therm_family_DS18S20 = {
  129823. .fid = W1_THERM_DS18S20,
  129824. .fops = &w1_therm_fops,
  129825. @@ -123,7 +140,7 @@
  129826. static struct w1_family w1_therm_family_DS28EA00 = {
  129827. .fid = W1_THERM_DS28EA00,
  129828. - .fops = &w1_therm_fops,
  129829. + .fops = &w1_ds28ea00_fops,
  129830. };
  129831. static struct w1_family w1_therm_family_DS1825 = {
  129832. @@ -316,6 +333,89 @@
  129833. return ret;
  129834. }
  129835. +#define W1_42_CHAIN 0x99
  129836. +#define W1_42_CHAIN_OFF 0x3C
  129837. +#define W1_42_CHAIN_OFF_INV 0xC3
  129838. +#define W1_42_CHAIN_ON 0x5A
  129839. +#define W1_42_CHAIN_ON_INV 0xA5
  129840. +#define W1_42_CHAIN_DONE 0x96
  129841. +#define W1_42_CHAIN_DONE_INV 0x69
  129842. +#define W1_42_COND_READ 0x0F
  129843. +#define W1_42_SUCCESS_CONFIRM_BYTE 0xAA
  129844. +#define W1_42_FINISHED_BYTE 0xFF
  129845. +static ssize_t w1_seq_show(struct device *device,
  129846. + struct device_attribute *attr, char *buf)
  129847. +{
  129848. + struct w1_slave *sl = dev_to_w1_slave(device);
  129849. + ssize_t c = PAGE_SIZE;
  129850. + int rv;
  129851. + int i;
  129852. + u8 ack;
  129853. + u64 rn;
  129854. + struct w1_reg_num *reg_num;
  129855. + int seq = 0;
  129856. +
  129857. + mutex_lock(&sl->master->bus_mutex);
  129858. + /* Place all devices in CHAIN state */
  129859. + if (w1_reset_bus(sl->master))
  129860. + goto error;
  129861. + w1_write_8(sl->master, W1_SKIP_ROM);
  129862. + w1_write_8(sl->master, W1_42_CHAIN);
  129863. + w1_write_8(sl->master, W1_42_CHAIN_ON);
  129864. + w1_write_8(sl->master, W1_42_CHAIN_ON_INV);
  129865. + msleep(sl->master->pullup_duration);
  129866. +
  129867. + /* check for acknowledgment */
  129868. + ack = w1_read_8(sl->master);
  129869. + if (ack != W1_42_SUCCESS_CONFIRM_BYTE)
  129870. + goto error;
  129871. +
  129872. + /* In case the bus fails to send 0xFF, limit*/
  129873. + for (i = 0; i <= 64; i++) {
  129874. + if (w1_reset_bus(sl->master))
  129875. + goto error;
  129876. +
  129877. + w1_write_8(sl->master, W1_42_COND_READ);
  129878. + rv = w1_read_block(sl->master, (u8 *)&rn, 8);
  129879. + reg_num = (struct w1_reg_num *) &rn;
  129880. + if (reg_num->family == W1_42_FINISHED_BYTE)
  129881. + break;
  129882. + if (sl->reg_num.id == reg_num->id)
  129883. + seq = i;
  129884. +
  129885. + w1_write_8(sl->master, W1_42_CHAIN);
  129886. + w1_write_8(sl->master, W1_42_CHAIN_DONE);
  129887. + w1_write_8(sl->master, W1_42_CHAIN_DONE_INV);
  129888. + w1_read_block(sl->master, &ack, sizeof(ack));
  129889. +
  129890. + /* check for acknowledgment */
  129891. + ack = w1_read_8(sl->master);
  129892. + if (ack != W1_42_SUCCESS_CONFIRM_BYTE)
  129893. + goto error;
  129894. +
  129895. + }
  129896. +
  129897. + /* Exit from CHAIN state */
  129898. + if (w1_reset_bus(sl->master))
  129899. + goto error;
  129900. + w1_write_8(sl->master, W1_SKIP_ROM);
  129901. + w1_write_8(sl->master, W1_42_CHAIN);
  129902. + w1_write_8(sl->master, W1_42_CHAIN_OFF);
  129903. + w1_write_8(sl->master, W1_42_CHAIN_OFF_INV);
  129904. +
  129905. + /* check for acknowledgment */
  129906. + ack = w1_read_8(sl->master);
  129907. + if (ack != W1_42_SUCCESS_CONFIRM_BYTE)
  129908. + goto error;
  129909. + mutex_unlock(&sl->master->bus_mutex);
  129910. +
  129911. + c -= snprintf(buf + PAGE_SIZE - c, c, "%d\n", seq);
  129912. + return PAGE_SIZE - c;
  129913. +error:
  129914. + mutex_unlock(&sl->master->bus_mutex);
  129915. + return -EIO;
  129916. +}
  129917. +
  129918. static int __init w1_therm_init(void)
  129919. {
  129920. int err, i;
  129921. diff -Nur linux-4.1.13.orig/drivers/w1/w1.h linux-rpi/drivers/w1/w1.h
  129922. --- linux-4.1.13.orig/drivers/w1/w1.h 2015-11-09 23:34:10.000000000 +0100
  129923. +++ linux-rpi/drivers/w1/w1.h 2015-11-29 09:42:40.139084077 +0100
  129924. @@ -171,6 +171,12 @@
  129925. u8 (*set_pullup)(void *, int);
  129926. + /**
  129927. + * Turns the pullup on/off in bitbanging mode, takes an on/off argument.
  129928. + * @return -1=Error, 0=completed
  129929. + */
  129930. + void (*bitbang_pullup) (void *, u8);
  129931. +
  129932. void (*search)(void *, struct w1_master *,
  129933. u8, w1_slave_found_callback);
  129934. };
  129935. diff -Nur linux-4.1.13.orig/drivers/w1/w1_int.c linux-rpi/drivers/w1/w1_int.c
  129936. --- linux-4.1.13.orig/drivers/w1/w1_int.c 2015-11-09 23:34:10.000000000 +0100
  129937. +++ linux-rpi/drivers/w1/w1_int.c 2015-11-29 09:42:40.139084077 +0100
  129938. @@ -123,6 +123,20 @@
  129939. return(-EINVAL);
  129940. }
  129941. + /* bitbanging hardware uses bitbang_pullup, other hardware uses set_pullup
  129942. + * and takes care of timing itself */
  129943. + if (!master->write_byte && !master->touch_bit && master->set_pullup) {
  129944. + printk(KERN_ERR "w1_add_master_device: set_pullup requires "
  129945. + "write_byte or touch_bit, disabling\n");
  129946. + master->set_pullup = NULL;
  129947. + }
  129948. +
  129949. + if (master->set_pullup && master->bitbang_pullup) {
  129950. + printk(KERN_ERR "w1_add_master_device: set_pullup should not "
  129951. + "be set when bitbang_pullup is used, disabling\n");
  129952. + master->set_pullup = NULL;
  129953. + }
  129954. +
  129955. /* Lock until the device is added (or not) to w1_masters. */
  129956. mutex_lock(&w1_mlock);
  129957. /* Search for the first available id (starting at 1). */
  129958. diff -Nur linux-4.1.13.orig/drivers/w1/w1_io.c linux-rpi/drivers/w1/w1_io.c
  129959. --- linux-4.1.13.orig/drivers/w1/w1_io.c 2015-11-09 23:34:10.000000000 +0100
  129960. +++ linux-rpi/drivers/w1/w1_io.c 2015-11-29 09:42:40.139084077 +0100
  129961. @@ -134,10 +134,22 @@
  129962. static void w1_post_write(struct w1_master *dev)
  129963. {
  129964. if (dev->pullup_duration) {
  129965. - if (dev->enable_pullup && dev->bus_master->set_pullup)
  129966. - dev->bus_master->set_pullup(dev->bus_master->data, 0);
  129967. - else
  129968. + if (dev->enable_pullup) {
  129969. + if (dev->bus_master->set_pullup) {
  129970. + dev->bus_master->set_pullup(dev->
  129971. + bus_master->data,
  129972. + 0);
  129973. + } else if (dev->bus_master->bitbang_pullup) {
  129974. + dev->bus_master->
  129975. + bitbang_pullup(dev->bus_master->data, 1);
  129976. msleep(dev->pullup_duration);
  129977. + dev->bus_master->
  129978. + bitbang_pullup(dev->bus_master->data, 0);
  129979. + }
  129980. + } else {
  129981. + msleep(dev->pullup_duration);
  129982. + }
  129983. +
  129984. dev->pullup_duration = 0;
  129985. }
  129986. }
  129987. diff -Nur linux-4.1.13.orig/drivers/watchdog/bcm2708_wdog.c linux-rpi/drivers/watchdog/bcm2708_wdog.c
  129988. --- linux-4.1.13.orig/drivers/watchdog/bcm2708_wdog.c 1970-01-01 01:00:00.000000000 +0100
  129989. +++ linux-rpi/drivers/watchdog/bcm2708_wdog.c 2015-11-29 09:42:40.139084077 +0100
  129990. @@ -0,0 +1,382 @@
  129991. +/*
  129992. + * Broadcom BCM2708 watchdog driver.
  129993. + *
  129994. + * (c) Copyright 2010 Broadcom Europe Ltd
  129995. + *
  129996. + * This program is free software; you can redistribute it and/or
  129997. + * modify it under the terms of the GNU General Public License
  129998. + * as published by the Free Software Foundation; either version
  129999. + * 2 of the License, or (at your option) any later version.
  130000. + *
  130001. + * BCM2708 watchdog driver. Loosely based on wdt driver.
  130002. + */
  130003. +
  130004. +#include <linux/interrupt.h>
  130005. +#include <linux/module.h>
  130006. +#include <linux/moduleparam.h>
  130007. +#include <linux/types.h>
  130008. +#include <linux/miscdevice.h>
  130009. +#include <linux/watchdog.h>
  130010. +#include <linux/fs.h>
  130011. +#include <linux/ioport.h>
  130012. +#include <linux/notifier.h>
  130013. +#include <linux/reboot.h>
  130014. +#include <linux/init.h>
  130015. +#include <linux/io.h>
  130016. +#include <linux/uaccess.h>
  130017. +#include <mach/platform.h>
  130018. +
  130019. +#define SECS_TO_WDOG_TICKS(x) ((x) << 16)
  130020. +#define WDOG_TICKS_TO_SECS(x) ((x) >> 16)
  130021. +
  130022. +static unsigned long wdog_is_open;
  130023. +static uint32_t wdog_ticks; /* Ticks to load into wdog timer */
  130024. +static char expect_close;
  130025. +
  130026. +/*
  130027. + * Module parameters
  130028. + */
  130029. +
  130030. +#define WD_TIMO 10 /* Default heartbeat = 60 seconds */
  130031. +static int heartbeat = WD_TIMO; /* Heartbeat in seconds */
  130032. +
  130033. +module_param(heartbeat, int, 0);
  130034. +MODULE_PARM_DESC(heartbeat,
  130035. + "Watchdog heartbeat in seconds. (0 < heartbeat < 65536, default="
  130036. + __MODULE_STRING(WD_TIMO) ")");
  130037. +
  130038. +static int nowayout = WATCHDOG_NOWAYOUT;
  130039. +module_param(nowayout, int, 0);
  130040. +MODULE_PARM_DESC(nowayout,
  130041. + "Watchdog cannot be stopped once started (default="
  130042. + __MODULE_STRING(WATCHDOG_NOWAYOUT) ")");
  130043. +
  130044. +static DEFINE_SPINLOCK(wdog_lock);
  130045. +
  130046. +/**
  130047. + * Start the watchdog driver.
  130048. + */
  130049. +
  130050. +static int wdog_start(unsigned long timeout)
  130051. +{
  130052. + uint32_t cur;
  130053. + unsigned long flags;
  130054. + spin_lock_irqsave(&wdog_lock, flags);
  130055. +
  130056. + /* enable the watchdog */
  130057. + iowrite32(PM_PASSWORD | (timeout & PM_WDOG_TIME_SET),
  130058. + __io_address(PM_WDOG));
  130059. + cur = ioread32(__io_address(PM_RSTC));
  130060. + iowrite32(PM_PASSWORD | (cur & PM_RSTC_WRCFG_CLR) |
  130061. + PM_RSTC_WRCFG_FULL_RESET, __io_address(PM_RSTC));
  130062. +
  130063. + spin_unlock_irqrestore(&wdog_lock, flags);
  130064. + return 0;
  130065. +}
  130066. +
  130067. +/**
  130068. + * Stop the watchdog driver.
  130069. + */
  130070. +
  130071. +static int wdog_stop(void)
  130072. +{
  130073. + iowrite32(PM_PASSWORD | PM_RSTC_RESET, __io_address(PM_RSTC));
  130074. + printk(KERN_INFO "watchdog stopped\n");
  130075. + return 0;
  130076. +}
  130077. +
  130078. +/**
  130079. + * Reload counter one with the watchdog heartbeat. We don't bother
  130080. + * reloading the cascade counter.
  130081. + */
  130082. +
  130083. +static void wdog_ping(void)
  130084. +{
  130085. + wdog_start(wdog_ticks);
  130086. +}
  130087. +
  130088. +/**
  130089. + * @t: the new heartbeat value that needs to be set.
  130090. + *
  130091. + * Set a new heartbeat value for the watchdog device. If the heartbeat
  130092. + * value is incorrect we keep the old value and return -EINVAL. If
  130093. + * successful we return 0.
  130094. + */
  130095. +
  130096. +static int wdog_set_heartbeat(int t)
  130097. +{
  130098. + if (t < 1 || t > WDOG_TICKS_TO_SECS(PM_WDOG_TIME_SET))
  130099. + return -EINVAL;
  130100. +
  130101. + heartbeat = t;
  130102. + wdog_ticks = SECS_TO_WDOG_TICKS(t);
  130103. + return 0;
  130104. +}
  130105. +
  130106. +/**
  130107. + * @file: file handle to the watchdog
  130108. + * @buf: buffer to write (unused as data does not matter here
  130109. + * @count: count of bytes
  130110. + * @ppos: pointer to the position to write. No seeks allowed
  130111. + *
  130112. + * A write to a watchdog device is defined as a keepalive signal.
  130113. + *
  130114. + * if 'nowayout' is set then normally a close() is ignored. But
  130115. + * if you write 'V' first then the close() will stop the timer.
  130116. + */
  130117. +
  130118. +static ssize_t wdog_write(struct file *file, const char __user *buf,
  130119. + size_t count, loff_t *ppos)
  130120. +{
  130121. + if (count) {
  130122. + if (!nowayout) {
  130123. + size_t i;
  130124. +
  130125. + /* In case it was set long ago */
  130126. + expect_close = 0;
  130127. +
  130128. + for (i = 0; i != count; i++) {
  130129. + char c;
  130130. + if (get_user(c, buf + i))
  130131. + return -EFAULT;
  130132. + if (c == 'V')
  130133. + expect_close = 42;
  130134. + }
  130135. + }
  130136. + wdog_ping();
  130137. + }
  130138. + return count;
  130139. +}
  130140. +
  130141. +static int wdog_get_status(void)
  130142. +{
  130143. + unsigned long flags;
  130144. + int status = 0;
  130145. + spin_lock_irqsave(&wdog_lock, flags);
  130146. + /* FIXME: readback reset reason */
  130147. + spin_unlock_irqrestore(&wdog_lock, flags);
  130148. + return status;
  130149. +}
  130150. +
  130151. +static uint32_t wdog_get_remaining(void)
  130152. +{
  130153. + uint32_t ret = ioread32(__io_address(PM_WDOG));
  130154. + return ret & PM_WDOG_TIME_SET;
  130155. +}
  130156. +
  130157. +/**
  130158. + * @file: file handle to the device
  130159. + * @cmd: watchdog command
  130160. + * @arg: argument pointer
  130161. + *
  130162. + * The watchdog API defines a common set of functions for all watchdogs
  130163. + * according to their available features. We only actually usefully support
  130164. + * querying capabilities and current status.
  130165. + */
  130166. +
  130167. +static long wdog_ioctl(struct file *file, unsigned int cmd, unsigned long arg)
  130168. +{
  130169. + void __user *argp = (void __user *)arg;
  130170. + int __user *p = argp;
  130171. + int new_heartbeat;
  130172. + int status;
  130173. + int options;
  130174. + uint32_t remaining;
  130175. +
  130176. + struct watchdog_info ident = {
  130177. + .options = WDIOF_SETTIMEOUT|
  130178. + WDIOF_MAGICCLOSE|
  130179. + WDIOF_KEEPALIVEPING,
  130180. + .firmware_version = 1,
  130181. + .identity = "BCM2708",
  130182. + };
  130183. +
  130184. + switch (cmd) {
  130185. + case WDIOC_GETSUPPORT:
  130186. + return copy_to_user(argp, &ident, sizeof(ident)) ? -EFAULT : 0;
  130187. + case WDIOC_GETSTATUS:
  130188. + status = wdog_get_status();
  130189. + return put_user(status, p);
  130190. + case WDIOC_GETBOOTSTATUS:
  130191. + return put_user(0, p);
  130192. + case WDIOC_KEEPALIVE:
  130193. + wdog_ping();
  130194. + return 0;
  130195. + case WDIOC_SETTIMEOUT:
  130196. + if (get_user(new_heartbeat, p))
  130197. + return -EFAULT;
  130198. + if (wdog_set_heartbeat(new_heartbeat))
  130199. + return -EINVAL;
  130200. + wdog_ping();
  130201. + /* Fall */
  130202. + case WDIOC_GETTIMEOUT:
  130203. + return put_user(heartbeat, p);
  130204. + case WDIOC_GETTIMELEFT:
  130205. + remaining = WDOG_TICKS_TO_SECS(wdog_get_remaining());
  130206. + return put_user(remaining, p);
  130207. + case WDIOC_SETOPTIONS:
  130208. + if (get_user(options, p))
  130209. + return -EFAULT;
  130210. + if (options & WDIOS_DISABLECARD)
  130211. + wdog_stop();
  130212. + if (options & WDIOS_ENABLECARD)
  130213. + wdog_start(wdog_ticks);
  130214. + return 0;
  130215. + default:
  130216. + return -ENOTTY;
  130217. + }
  130218. +}
  130219. +
  130220. +/**
  130221. + * @inode: inode of device
  130222. + * @file: file handle to device
  130223. + *
  130224. + * The watchdog device has been opened. The watchdog device is single
  130225. + * open and on opening we load the counters.
  130226. + */
  130227. +
  130228. +static int wdog_open(struct inode *inode, struct file *file)
  130229. +{
  130230. + if (test_and_set_bit(0, &wdog_is_open))
  130231. + return -EBUSY;
  130232. + /*
  130233. + * Activate
  130234. + */
  130235. + wdog_start(wdog_ticks);
  130236. + return nonseekable_open(inode, file);
  130237. +}
  130238. +
  130239. +/**
  130240. + * @inode: inode to board
  130241. + * @file: file handle to board
  130242. + *
  130243. + * The watchdog has a configurable API. There is a religious dispute
  130244. + * between people who want their watchdog to be able to shut down and
  130245. + * those who want to be sure if the watchdog manager dies the machine
  130246. + * reboots. In the former case we disable the counters, in the latter
  130247. + * case you have to open it again very soon.
  130248. + */
  130249. +
  130250. +static int wdog_release(struct inode *inode, struct file *file)
  130251. +{
  130252. + if (expect_close == 42) {
  130253. + wdog_stop();
  130254. + } else {
  130255. + printk(KERN_CRIT
  130256. + "wdt: WDT device closed unexpectedly. WDT will not stop!\n");
  130257. + wdog_ping();
  130258. + }
  130259. + clear_bit(0, &wdog_is_open);
  130260. + expect_close = 0;
  130261. + return 0;
  130262. +}
  130263. +
  130264. +/**
  130265. + * @this: our notifier block
  130266. + * @code: the event being reported
  130267. + * @unused: unused
  130268. + *
  130269. + * Our notifier is called on system shutdowns. Turn the watchdog
  130270. + * off so that it does not fire during the next reboot.
  130271. + */
  130272. +
  130273. +static int wdog_notify_sys(struct notifier_block *this, unsigned long code,
  130274. + void *unused)
  130275. +{
  130276. + if (code == SYS_DOWN || code == SYS_HALT)
  130277. + wdog_stop();
  130278. + return NOTIFY_DONE;
  130279. +}
  130280. +
  130281. +/*
  130282. + * Kernel Interfaces
  130283. + */
  130284. +
  130285. +
  130286. +static const struct file_operations wdog_fops = {
  130287. + .owner = THIS_MODULE,
  130288. + .llseek = no_llseek,
  130289. + .write = wdog_write,
  130290. + .unlocked_ioctl = wdog_ioctl,
  130291. + .open = wdog_open,
  130292. + .release = wdog_release,
  130293. +};
  130294. +
  130295. +static struct miscdevice wdog_miscdev = {
  130296. + .minor = WATCHDOG_MINOR,
  130297. + .name = "watchdog",
  130298. + .fops = &wdog_fops,
  130299. +};
  130300. +
  130301. +/*
  130302. + * The WDT card needs to learn about soft shutdowns in order to
  130303. + * turn the timebomb registers off.
  130304. + */
  130305. +
  130306. +static struct notifier_block wdog_notifier = {
  130307. + .notifier_call = wdog_notify_sys,
  130308. +};
  130309. +
  130310. +/**
  130311. + * cleanup_module:
  130312. + *
  130313. + * Unload the watchdog. You cannot do this with any file handles open.
  130314. + * If your watchdog is set to continue ticking on close and you unload
  130315. + * it, well it keeps ticking. We won't get the interrupt but the board
  130316. + * will not touch PC memory so all is fine. You just have to load a new
  130317. + * module in 60 seconds or reboot.
  130318. + */
  130319. +
  130320. +static void __exit wdog_exit(void)
  130321. +{
  130322. + misc_deregister(&wdog_miscdev);
  130323. + unregister_reboot_notifier(&wdog_notifier);
  130324. +}
  130325. +
  130326. +static int __init wdog_init(void)
  130327. +{
  130328. + int ret;
  130329. +
  130330. + /* Check that the heartbeat value is within it's range;
  130331. + if not reset to the default */
  130332. + if (wdog_set_heartbeat(heartbeat)) {
  130333. + wdog_set_heartbeat(WD_TIMO);
  130334. + printk(KERN_INFO "bcm2708_wdog: heartbeat value must be "
  130335. + "0 < heartbeat < %d, using %d\n",
  130336. + WDOG_TICKS_TO_SECS(PM_WDOG_TIME_SET),
  130337. + WD_TIMO);
  130338. + }
  130339. +
  130340. + ret = register_reboot_notifier(&wdog_notifier);
  130341. + if (ret) {
  130342. + printk(KERN_ERR
  130343. + "wdt: cannot register reboot notifier (err=%d)\n", ret);
  130344. + goto out_reboot;
  130345. + }
  130346. +
  130347. + ret = misc_register(&wdog_miscdev);
  130348. + if (ret) {
  130349. + printk(KERN_ERR
  130350. + "wdt: cannot register miscdev on minor=%d (err=%d)\n",
  130351. + WATCHDOG_MINOR, ret);
  130352. + goto out_misc;
  130353. + }
  130354. +
  130355. + printk(KERN_INFO "bcm2708 watchdog, heartbeat=%d sec (nowayout=%d)\n",
  130356. + heartbeat, nowayout);
  130357. + return 0;
  130358. +
  130359. +out_misc:
  130360. + unregister_reboot_notifier(&wdog_notifier);
  130361. +out_reboot:
  130362. + return ret;
  130363. +}
  130364. +
  130365. +module_init(wdog_init);
  130366. +module_exit(wdog_exit);
  130367. +
  130368. +MODULE_AUTHOR("Luke Diamand");
  130369. +MODULE_DESCRIPTION("Driver for BCM2708 watchdog");
  130370. +MODULE_ALIAS_MISCDEV(WATCHDOG_MINOR);
  130371. +MODULE_ALIAS_MISCDEV(TEMP_MINOR);
  130372. +MODULE_LICENSE("GPL");
  130373. diff -Nur linux-4.1.13.orig/drivers/watchdog/Kconfig linux-rpi/drivers/watchdog/Kconfig
  130374. --- linux-4.1.13.orig/drivers/watchdog/Kconfig 2015-11-09 23:34:10.000000000 +0100
  130375. +++ linux-rpi/drivers/watchdog/Kconfig 2015-11-29 09:42:40.139084077 +0100
  130376. @@ -451,6 +451,12 @@
  130377. To compile this driver as a module, choose M here: the
  130378. module will be called retu_wdt.
  130379. +config BCM2708_WDT
  130380. + tristate "BCM2708 Watchdog"
  130381. + depends on ARCH_BCM2708 || ARCH_BCM2709
  130382. + help
  130383. + Enables BCM2708 watchdog support.
  130384. +
  130385. config MOXART_WDT
  130386. tristate "MOXART watchdog"
  130387. depends on ARCH_MOXART
  130388. @@ -1216,7 +1222,7 @@
  130389. config BCM2835_WDT
  130390. tristate "Broadcom BCM2835 hardware watchdog"
  130391. - depends on ARCH_BCM2835
  130392. + depends on ARCH_BCM2835 || ARCH_BCM2708 || ARCH_BCM2709
  130393. select WATCHDOG_CORE
  130394. help
  130395. Watchdog driver for the built in watchdog hardware in Broadcom
  130396. diff -Nur linux-4.1.13.orig/drivers/watchdog/Makefile linux-rpi/drivers/watchdog/Makefile
  130397. --- linux-4.1.13.orig/drivers/watchdog/Makefile 2015-11-09 23:34:10.000000000 +0100
  130398. +++ linux-rpi/drivers/watchdog/Makefile 2015-11-29 09:42:40.139084077 +0100
  130399. @@ -56,6 +56,7 @@
  130400. obj-$(CONFIG_IMX2_WDT) += imx2_wdt.o
  130401. obj-$(CONFIG_UX500_WATCHDOG) += ux500_wdt.o
  130402. obj-$(CONFIG_RETU_WATCHDOG) += retu_wdt.o
  130403. +obj-$(CONFIG_BCM2708_WDT) += bcm2708_wdog.o
  130404. obj-$(CONFIG_BCM2835_WDT) += bcm2835_wdt.o
  130405. obj-$(CONFIG_MOXART_WDT) += moxart_wdt.o
  130406. obj-$(CONFIG_SIRFSOC_WATCHDOG) += sirfsoc_wdt.o
  130407. diff -Nur linux-4.1.13.orig/include/linux/broadcom/bcm2835_smi.h linux-rpi/include/linux/broadcom/bcm2835_smi.h
  130408. --- linux-4.1.13.orig/include/linux/broadcom/bcm2835_smi.h 1970-01-01 01:00:00.000000000 +0100
  130409. +++ linux-rpi/include/linux/broadcom/bcm2835_smi.h 2015-11-29 09:42:40.679048199 +0100
  130410. @@ -0,0 +1,391 @@
  130411. +/**
  130412. + * Declarations and definitions for Broadcom's Secondary Memory Interface
  130413. + *
  130414. + * Written by Luke Wren <luke@raspberrypi.org>
  130415. + * Copyright (c) 2015, Raspberry Pi (Trading) Ltd.
  130416. + * Copyright (c) 2010-2012 Broadcom. All rights reserved.
  130417. + *
  130418. + * Redistribution and use in source and binary forms, with or without
  130419. + * modification, are permitted provided that the following conditions
  130420. + * are met:
  130421. + * 1. Redistributions of source code must retain the above copyright
  130422. + * notice, this list of conditions, and the following disclaimer,
  130423. + * without modification.
  130424. + * 2. Redistributions in binary form must reproduce the above copyright
  130425. + * notice, this list of conditions and the following disclaimer in the
  130426. + * documentation and/or other materials provided with the distribution.
  130427. + * 3. The names of the above-listed copyright holders may not be used
  130428. + * to endorse or promote products derived from this software without
  130429. + * specific prior written permission.
  130430. + *
  130431. + * ALTERNATIVELY, this software may be distributed under the terms of the
  130432. + * GNU General Public License ("GPL") version 2, as published by the Free
  130433. + * Software Foundation.
  130434. + *
  130435. + * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
  130436. + * IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  130437. + * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  130438. + * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR
  130439. + * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  130440. + * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  130441. + * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  130442. + * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  130443. + * LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  130444. + * NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  130445. + * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  130446. + */
  130447. +
  130448. +#ifndef BCM2835_SMI_H
  130449. +#define BCM2835_SMI_H
  130450. +
  130451. +#include <linux/ioctl.h>
  130452. +
  130453. +#ifndef __KERNEL__
  130454. +#include <stdint.h>
  130455. +#include <stdbool.h>
  130456. +#endif
  130457. +
  130458. +#define BCM2835_SMI_IOC_MAGIC 0x1
  130459. +#define BCM2835_SMI_INVALID_HANDLE (~0)
  130460. +
  130461. +/* IOCTLs 0x100...0x1ff are not device-specific - we can use them */
  130462. +#define BCM2835_SMI_IOC_GET_SETTINGS _IO(BCM2835_SMI_IOC_MAGIC, 0)
  130463. +#define BCM2835_SMI_IOC_WRITE_SETTINGS _IO(BCM2835_SMI_IOC_MAGIC, 1)
  130464. +#define BCM2835_SMI_IOC_ADDRESS _IO(BCM2835_SMI_IOC_MAGIC, 2)
  130465. +#define BCM2835_SMI_IOC_MAX 2
  130466. +
  130467. +#define SMI_WIDTH_8BIT 0
  130468. +#define SMI_WIDTH_16BIT 1
  130469. +#define SMI_WIDTH_9BIT 2
  130470. +#define SMI_WIDTH_18BIT 3
  130471. +
  130472. +/* max number of bytes where DMA will not be used */
  130473. +#define DMA_THRESHOLD_BYTES 128
  130474. +#define DMA_BOUNCE_BUFFER_SIZE (1024 * 1024 / 2)
  130475. +#define DMA_BOUNCE_BUFFER_COUNT 3
  130476. +
  130477. +
  130478. +struct smi_settings {
  130479. + int data_width;
  130480. + /* Whether or not to pack multiple SMI transfers into a
  130481. + single 32 bit FIFO word */
  130482. + bool pack_data;
  130483. +
  130484. + /* Timing for reads (writes the same but for WE)
  130485. + *
  130486. + * OE ----------+ +--------------------
  130487. + * | |
  130488. + * +----------+
  130489. + * SD -<==============================>-----------
  130490. + * SA -<=========================================>-
  130491. + * <-setup-> <-strobe -> <-hold -> <- pace ->
  130492. + */
  130493. +
  130494. + int read_setup_time;
  130495. + int read_hold_time;
  130496. + int read_pace_time;
  130497. + int read_strobe_time;
  130498. +
  130499. + int write_setup_time;
  130500. + int write_hold_time;
  130501. + int write_pace_time;
  130502. + int write_strobe_time;
  130503. +
  130504. + bool dma_enable; /* DREQs */
  130505. + bool dma_passthrough_enable; /* External DREQs */
  130506. + int dma_read_thresh;
  130507. + int dma_write_thresh;
  130508. + int dma_panic_read_thresh;
  130509. + int dma_panic_write_thresh;
  130510. +};
  130511. +
  130512. +/****************************************************************************
  130513. +*
  130514. +* Declare exported SMI functions
  130515. +*
  130516. +***************************************************************************/
  130517. +
  130518. +#ifdef __KERNEL__
  130519. +
  130520. +#include <linux/dmaengine.h> /* for enum dma_transfer_direction */
  130521. +#include <linux/of.h>
  130522. +#include <linux/semaphore.h>
  130523. +
  130524. +struct bcm2835_smi_instance;
  130525. +
  130526. +struct bcm2835_smi_bounce_info {
  130527. + struct semaphore callback_sem;
  130528. + void *buffer[DMA_BOUNCE_BUFFER_COUNT];
  130529. + dma_addr_t phys[DMA_BOUNCE_BUFFER_COUNT];
  130530. + struct scatterlist sgl[DMA_BOUNCE_BUFFER_COUNT];
  130531. +};
  130532. +
  130533. +
  130534. +void bcm2835_smi_set_regs_from_settings(struct bcm2835_smi_instance *);
  130535. +
  130536. +struct smi_settings *bcm2835_smi_get_settings_from_regs(
  130537. + struct bcm2835_smi_instance *inst);
  130538. +
  130539. +void bcm2835_smi_write_buf(
  130540. + struct bcm2835_smi_instance *inst,
  130541. + const void *buf,
  130542. + size_t n_bytes);
  130543. +
  130544. +void bcm2835_smi_read_buf(
  130545. + struct bcm2835_smi_instance *inst,
  130546. + void *buf,
  130547. + size_t n_bytes);
  130548. +
  130549. +void bcm2835_smi_set_address(struct bcm2835_smi_instance *inst,
  130550. + unsigned int address);
  130551. +
  130552. +ssize_t bcm2835_smi_user_dma(
  130553. + struct bcm2835_smi_instance *inst,
  130554. + enum dma_transfer_direction dma_dir,
  130555. + char __user *user_ptr,
  130556. + size_t count,
  130557. + struct bcm2835_smi_bounce_info **bounce);
  130558. +
  130559. +struct bcm2835_smi_instance *bcm2835_smi_get(struct device_node *node);
  130560. +
  130561. +#endif /* __KERNEL__ */
  130562. +
  130563. +/****************************************************************
  130564. +*
  130565. +* Implementation-only declarations
  130566. +*
  130567. +****************************************************************/
  130568. +
  130569. +#ifdef BCM2835_SMI_IMPLEMENTATION
  130570. +
  130571. +/* Clock manager registers for SMI clock: */
  130572. +#define CM_SMI_BASE_ADDRESS ((BCM2708_PERI_BASE) + 0x1010b0)
  130573. +/* Clock manager "password" to protect registers from spurious writes */
  130574. +#define CM_PWD (0x5a << 24)
  130575. +
  130576. +#define CM_SMI_CTL 0x00
  130577. +#define CM_SMI_DIV 0x04
  130578. +
  130579. +#define CM_SMI_CTL_FLIP (1 << 8)
  130580. +#define CM_SMI_CTL_BUSY (1 << 7)
  130581. +#define CM_SMI_CTL_KILL (1 << 5)
  130582. +#define CM_SMI_CTL_ENAB (1 << 4)
  130583. +#define CM_SMI_CTL_SRC_MASK (0xf)
  130584. +#define CM_SMI_CTL_SRC_OFFS (0)
  130585. +
  130586. +#define CM_SMI_DIV_DIVI_MASK (0xf << 12)
  130587. +#define CM_SMI_DIV_DIVI_OFFS (12)
  130588. +#define CM_SMI_DIV_DIVF_MASK (0xff << 4)
  130589. +#define CM_SMI_DIV_DIVF_OFFS (4)
  130590. +
  130591. +/* SMI register mapping:*/
  130592. +#define SMI_BASE_ADDRESS ((BCM2708_PERI_BASE) + 0x600000)
  130593. +
  130594. +#define SMICS 0x00 /* control + status register */
  130595. +#define SMIL 0x04 /* length/count (n external txfers) */
  130596. +#define SMIA 0x08 /* address register */
  130597. +#define SMID 0x0c /* data register */
  130598. +#define SMIDSR0 0x10 /* device 0 read settings */
  130599. +#define SMIDSW0 0x14 /* device 0 write settings */
  130600. +#define SMIDSR1 0x18 /* device 1 read settings */
  130601. +#define SMIDSW1 0x1c /* device 1 write settings */
  130602. +#define SMIDSR2 0x20 /* device 2 read settings */
  130603. +#define SMIDSW2 0x24 /* device 2 write settings */
  130604. +#define SMIDSR3 0x28 /* device 3 read settings */
  130605. +#define SMIDSW3 0x2c /* device 3 write settings */
  130606. +#define SMIDC 0x30 /* DMA control registers */
  130607. +#define SMIDCS 0x34 /* direct control/status register */
  130608. +#define SMIDA 0x38 /* direct address register */
  130609. +#define SMIDD 0x3c /* direct data registers */
  130610. +#define SMIFD 0x40 /* FIFO debug register */
  130611. +
  130612. +
  130613. +
  130614. +/* Control and Status register bits:
  130615. + * SMICS_RXF : RX fifo full: 1 when RX fifo is full
  130616. + * SMICS_TXE : TX fifo empty: 1 when empty.
  130617. + * SMICS_RXD : RX fifo contains data: 1 when there is data.
  130618. + * SMICS_TXD : TX fifo can accept data: 1 when true.
  130619. + * SMICS_RXR : RX fifo needs reading: 1 when fifo more than 3/4 full, or
  130620. + * when "DONE" and fifo not emptied.
  130621. + * SMICS_TXW : TX fifo needs writing: 1 when less than 1/4 full.
  130622. + * SMICS_AFERR : AXI FIFO error: 1 when fifo read when empty or written
  130623. + * when full. Write 1 to clear.
  130624. + * SMICS_EDREQ : 1 when external DREQ received.
  130625. + * SMICS_PXLDAT : Pixel data: write 1 to enable pixel transfer modes.
  130626. + * SMICS_SETERR : 1 if there was an error writing to setup regs (e.g.
  130627. + * tx was in progress). Write 1 to clear.
  130628. + * SMICS_PVMODE : Set to 1 to enable pixel valve mode.
  130629. + * SMICS_INTR : Set to 1 to enable interrupt on RX.
  130630. + * SMICS_INTT : Set to 1 to enable interrupt on TX.
  130631. + * SMICS_INTD : Set to 1 to enable interrupt on DONE condition.
  130632. + * SMICS_TEEN : Tear effect mode enabled: Programmed transfers will wait
  130633. + * for a TE trigger before writing.
  130634. + * SMICS_PAD1 : Padding settings for external transfers. For writes: the
  130635. + * number of bytes initially written to the TX fifo that
  130636. + * SMICS_PAD0 : should be ignored. For reads: the number of bytes that will
  130637. + * be read before the data, and should be dropped.
  130638. + * SMICS_WRITE : Transfer direction: 1 = write to external device, 0 = read
  130639. + * SMICS_CLEAR : Write 1 to clear the FIFOs.
  130640. + * SMICS_START : Write 1 to start the programmed transfer.
  130641. + * SMICS_ACTIVE : Reads as 1 when a programmed transfer is underway.
  130642. + * SMICS_DONE : Reads as 1 when transfer finished. For RX, not set until
  130643. + * FIFO emptied.
  130644. + * SMICS_ENABLE : Set to 1 to enable the SMI peripheral, 0 to disable.
  130645. + */
  130646. +
  130647. +#define SMICS_RXF (1 << 31)
  130648. +#define SMICS_TXE (1 << 30)
  130649. +#define SMICS_RXD (1 << 29)
  130650. +#define SMICS_TXD (1 << 28)
  130651. +#define SMICS_RXR (1 << 27)
  130652. +#define SMICS_TXW (1 << 26)
  130653. +#define SMICS_AFERR (1 << 25)
  130654. +#define SMICS_EDREQ (1 << 15)
  130655. +#define SMICS_PXLDAT (1 << 14)
  130656. +#define SMICS_SETERR (1 << 13)
  130657. +#define SMICS_PVMODE (1 << 12)
  130658. +#define SMICS_INTR (1 << 11)
  130659. +#define SMICS_INTT (1 << 10)
  130660. +#define SMICS_INTD (1 << 9)
  130661. +#define SMICS_TEEN (1 << 8)
  130662. +#define SMICS_PAD1 (1 << 7)
  130663. +#define SMICS_PAD0 (1 << 6)
  130664. +#define SMICS_WRITE (1 << 5)
  130665. +#define SMICS_CLEAR (1 << 4)
  130666. +#define SMICS_START (1 << 3)
  130667. +#define SMICS_ACTIVE (1 << 2)
  130668. +#define SMICS_DONE (1 << 1)
  130669. +#define SMICS_ENABLE (1 << 0)
  130670. +
  130671. +/* Address register bits: */
  130672. +
  130673. +#define SMIA_DEVICE_MASK ((1 << 9) | (1 << 8))
  130674. +#define SMIA_DEVICE_OFFS (8)
  130675. +#define SMIA_ADDR_MASK (0x3f) /* bits 5 -> 0 */
  130676. +#define SMIA_ADDR_OFFS (0)
  130677. +
  130678. +/* DMA control register bits:
  130679. + * SMIDC_DMAEN : DMA enable: set 1: DMA requests will be issued.
  130680. + * SMIDC_DMAP : DMA passthrough: when set to 0, top two data pins are used by
  130681. + * SMI as usual. When set to 1, the top two pins are used for
  130682. + * external DREQs: pin 16 read request, 17 write.
  130683. + * SMIDC_PANIC* : Threshold at which DMA will panic during read/write.
  130684. + * SMIDC_REQ* : Threshold at which DMA will generate a DREQ.
  130685. + */
  130686. +
  130687. +#define SMIDC_DMAEN (1 << 28)
  130688. +#define SMIDC_DMAP (1 << 24)
  130689. +#define SMIDC_PANICR_MASK (0x3f << 18)
  130690. +#define SMIDC_PANICR_OFFS (18)
  130691. +#define SMIDC_PANICW_MASK (0x3f << 12)
  130692. +#define SMIDC_PANICW_OFFS (12)
  130693. +#define SMIDC_REQR_MASK (0x3f << 6)
  130694. +#define SMIDC_REQR_OFFS (6)
  130695. +#define SMIDC_REQW_MASK (0x3f)
  130696. +#define SMIDC_REQW_OFFS (0)
  130697. +
  130698. +/* Device settings register bits: same for all 4 (or 3?) device register sets.
  130699. + * Device read settings:
  130700. + * SMIDSR_RWIDTH : Read transfer width. 00 = 8bit, 01 = 16bit,
  130701. + * 10 = 18bit, 11 = 9bit.
  130702. + * SMIDSR_RSETUP : Read setup time: number of core cycles between chip
  130703. + * select/address and read strobe. Min 1, max 64.
  130704. + * SMIDSR_MODE68 : 1 for System 68 mode (i.e. enable + direction pins,
  130705. + * rather than OE + WE pin)
  130706. + * SMIDSR_FSETUP : If set to 1, setup time only applies to first
  130707. + * transfer after address change.
  130708. + * SMIDSR_RHOLD : Number of core cycles between read strobe going
  130709. + * inactive and CS/address going inactive. Min 1, max 64
  130710. + * SMIDSR_RPACEALL : When set to 1, this device's RPACE value will always
  130711. + * be used for the next transaction, even if it is not
  130712. + * to this device.
  130713. + * SMIDSR_RPACE : Number of core cycles spent waiting between CS
  130714. + * deassert and start of next transfer. Min 1, max 128
  130715. + * SMIDSR_RDREQ : 1 = use external DMA request on SD16 to pace reads
  130716. + * from device. Must also set DMAP in SMICS.
  130717. + * SMIDSR_RSTROBE : Number of cycles to assert the read strobe.
  130718. + * min 1, max 128.
  130719. + */
  130720. +#define SMIDSR_RWIDTH_MASK ((1<<31)|(1<<30))
  130721. +#define SMIDSR_RWIDTH_OFFS (30)
  130722. +#define SMIDSR_RSETUP_MASK (0x3f << 24)
  130723. +#define SMIDSR_RSETUP_OFFS (24)
  130724. +#define SMIDSR_MODE68 (1 << 23)
  130725. +#define SMIDSR_FSETUP (1 << 22)
  130726. +#define SMIDSR_RHOLD_MASK (0x3f << 16)
  130727. +#define SMIDSR_RHOLD_OFFS (16)
  130728. +#define SMIDSR_RPACEALL (1 << 15)
  130729. +#define SMIDSR_RPACE_MASK (0x7f << 8)
  130730. +#define SMIDSR_RPACE_OFFS (8)
  130731. +#define SMIDSR_RDREQ (1 << 7)
  130732. +#define SMIDSR_RSTROBE_MASK (0x7f)
  130733. +#define SMIDSR_RSTROBE_OFFS (0)
  130734. +
  130735. +/* Device write settings:
  130736. + * SMIDSW_WWIDTH : Write transfer width. 00 = 8bit, 01 = 16bit,
  130737. + * 10= 18bit, 11 = 9bit.
  130738. + * SMIDSW_WSETUP : Number of cycles between CS assert and write strobe.
  130739. + * Min 1, max 64.
  130740. + * SMIDSW_WFORMAT : Pixel format of input. 0 = 16bit RGB 565,
  130741. + * 1 = 32bit RGBA 8888
  130742. + * SMIDSW_WSWAP : 1 = swap pixel data bits. (Use with SMICS_PXLDAT)
  130743. + * SMIDSW_WHOLD : Time between WE deassert and CS deassert. 1 to 64
  130744. + * SMIDSW_WPACEALL : 1: this device's WPACE will be used for the next
  130745. + * transfer, regardless of that transfer's device.
  130746. + * SMIDSW_WPACE : Cycles between CS deassert and next CS assert.
  130747. + * Min 1, max 128
  130748. + * SMIDSW_WDREQ : Use external DREQ on pin 17 to pace writes. DMAP must
  130749. + * be set in SMICS.
  130750. + * SMIDSW_WSTROBE : Number of cycles to assert the write strobe.
  130751. + * Min 1, max 128
  130752. + */
  130753. +#define SMIDSW_WWIDTH_MASK ((1<<31)|(1<<30))
  130754. +#define SMIDSW_WWIDTH_OFFS (30)
  130755. +#define SMIDSW_WSETUP_MASK (0x3f << 24)
  130756. +#define SMIDSW_WSETUP_OFFS (24)
  130757. +#define SMIDSW_WFORMAT (1 << 23)
  130758. +#define SMIDSW_WSWAP (1 << 22)
  130759. +#define SMIDSW_WHOLD_MASK (0x3f << 16)
  130760. +#define SMIDSW_WHOLD_OFFS (16)
  130761. +#define SMIDSW_WPACEALL (1 << 15)
  130762. +#define SMIDSW_WPACE_MASK (0x7f << 8)
  130763. +#define SMIDSW_WPACE_OFFS (8)
  130764. +#define SMIDSW_WDREQ (1 << 7)
  130765. +#define SMIDSW_WSTROBE_MASK (0x7f)
  130766. +#define SMIDSW_WSTROBE_OFFS (0)
  130767. +
  130768. +/* Direct transfer control + status register
  130769. + * SMIDCS_WRITE : Direction of transfer: 1 -> write, 0 -> read
  130770. + * SMIDCS_DONE : 1 when a transfer has finished. Write 1 to clear.
  130771. + * SMIDCS_START : Write 1 to start a transfer, if one is not already underway.
  130772. + * SMIDCE_ENABLE: Write 1 to enable SMI in direct mode.
  130773. + */
  130774. +
  130775. +#define SMIDCS_WRITE (1 << 3)
  130776. +#define SMIDCS_DONE (1 << 2)
  130777. +#define SMIDCS_START (1 << 1)
  130778. +#define SMIDCS_ENABLE (1 << 0)
  130779. +
  130780. +/* Direct transfer address register
  130781. + * SMIDA_DEVICE : Indicates which of the device settings banks should be used.
  130782. + * SMIDA_ADDR : The value to be asserted on the address pins.
  130783. + */
  130784. +
  130785. +#define SMIDA_DEVICE_MASK ((1<<9)|(1<<8))
  130786. +#define SMIDA_DEVICE_OFFS (8)
  130787. +#define SMIDA_ADDR_MASK (0x3f)
  130788. +#define SMIDA_ADDR_OFFS (0)
  130789. +
  130790. +/* FIFO debug register
  130791. + * SMIFD_FLVL : The high-tide mark of FIFO count during the most recent txfer
  130792. + * SMIFD_FCNT : The current FIFO count.
  130793. + */
  130794. +#define SMIFD_FLVL_MASK (0x3f << 8)
  130795. +#define SMIFD_FLVL_OFFS (8)
  130796. +#define SMIFD_FCNT_MASK (0x3f)
  130797. +#define SMIFD_FCNT_OFFS (0)
  130798. +
  130799. +#endif /* BCM2835_SMI_IMPLEMENTATION */
  130800. +
  130801. +#endif /* BCM2835_SMI_H */
  130802. diff -Nur linux-4.1.13.orig/include/linux/broadcom/vc_cma.h linux-rpi/include/linux/broadcom/vc_cma.h
  130803. --- linux-4.1.13.orig/include/linux/broadcom/vc_cma.h 1970-01-01 01:00:00.000000000 +0100
  130804. +++ linux-rpi/include/linux/broadcom/vc_cma.h 2015-11-29 09:42:40.679048199 +0100
  130805. @@ -0,0 +1,29 @@
  130806. +/*****************************************************************************
  130807. +* Copyright 2012 Broadcom Corporation. All rights reserved.
  130808. +*
  130809. +* Unless you and Broadcom execute a separate written software license
  130810. +* agreement governing use of this software, this software is licensed to you
  130811. +* under the terms of the GNU General Public License version 2, available at
  130812. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  130813. +*
  130814. +* Notwithstanding the above, under no circumstances may you combine this
  130815. +* software in any way with any other Broadcom software provided under a
  130816. +* license other than the GPL, without Broadcom's express prior written
  130817. +* consent.
  130818. +*****************************************************************************/
  130819. +
  130820. +#if !defined( VC_CMA_H )
  130821. +#define VC_CMA_H
  130822. +
  130823. +#include <linux/ioctl.h>
  130824. +
  130825. +#define VC_CMA_IOC_MAGIC 0xc5
  130826. +
  130827. +#define VC_CMA_IOC_RESERVE _IO(VC_CMA_IOC_MAGIC, 0)
  130828. +
  130829. +#ifdef __KERNEL__
  130830. +extern void __init vc_cma_early_init(void);
  130831. +extern void __init vc_cma_reserve(void);
  130832. +#endif
  130833. +
  130834. +#endif /* VC_CMA_H */
  130835. diff -Nur linux-4.1.13.orig/include/linux/broadcom/vc_mem.h linux-rpi/include/linux/broadcom/vc_mem.h
  130836. --- linux-4.1.13.orig/include/linux/broadcom/vc_mem.h 1970-01-01 01:00:00.000000000 +0100
  130837. +++ linux-rpi/include/linux/broadcom/vc_mem.h 2015-11-29 09:42:40.679048199 +0100
  130838. @@ -0,0 +1,35 @@
  130839. +/*****************************************************************************
  130840. +* Copyright 2010 - 2011 Broadcom Corporation. All rights reserved.
  130841. +*
  130842. +* Unless you and Broadcom execute a separate written software license
  130843. +* agreement governing use of this software, this software is licensed to you
  130844. +* under the terms of the GNU General Public License version 2, available at
  130845. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  130846. +*
  130847. +* Notwithstanding the above, under no circumstances may you combine this
  130848. +* software in any way with any other Broadcom software provided under a
  130849. +* license other than the GPL, without Broadcom's express prior written
  130850. +* consent.
  130851. +*****************************************************************************/
  130852. +
  130853. +#ifndef _VC_MEM_H
  130854. +#define _VC_MEM_H
  130855. +
  130856. +#include <linux/ioctl.h>
  130857. +
  130858. +#define VC_MEM_IOC_MAGIC 'v'
  130859. +
  130860. +#define VC_MEM_IOC_MEM_PHYS_ADDR _IOR( VC_MEM_IOC_MAGIC, 0, unsigned long )
  130861. +#define VC_MEM_IOC_MEM_SIZE _IOR( VC_MEM_IOC_MAGIC, 1, unsigned int )
  130862. +#define VC_MEM_IOC_MEM_BASE _IOR( VC_MEM_IOC_MAGIC, 2, unsigned int )
  130863. +#define VC_MEM_IOC_MEM_LOAD _IOR( VC_MEM_IOC_MAGIC, 3, unsigned int )
  130864. +
  130865. +#if defined( __KERNEL__ )
  130866. +#define VC_MEM_TO_ARM_ADDR_MASK 0x3FFFFFFF
  130867. +
  130868. +extern unsigned long mm_vc_mem_phys_addr;
  130869. +extern unsigned int mm_vc_mem_size;
  130870. +extern int vc_mem_get_current_size( void );
  130871. +#endif
  130872. +
  130873. +#endif /* _VC_MEM_H */
  130874. diff -Nur linux-4.1.13.orig/include/linux/leds.h linux-rpi/include/linux/leds.h
  130875. --- linux-4.1.13.orig/include/linux/leds.h 2015-11-09 23:34:10.000000000 +0100
  130876. +++ linux-rpi/include/linux/leds.h 2015-11-29 09:42:40.723045276 +0100
  130877. @@ -47,6 +47,9 @@
  130878. #define SET_BRIGHTNESS_ASYNC (1 << 21)
  130879. #define SET_BRIGHTNESS_SYNC (1 << 22)
  130880. #define LED_DEV_CAP_FLASH (1 << 23)
  130881. + /* Additions for Raspberry Pi PWR LED */
  130882. +#define SET_GPIO_INPUT (1 << 30)
  130883. +#define SET_GPIO_OUTPUT (1 << 31)
  130884. /* Set LED brightness level */
  130885. /* Must not sleep, use a workqueue if needed */
  130886. diff -Nur linux-4.1.13.orig/include/linux/mfd/rpisense/core.h linux-rpi/include/linux/mfd/rpisense/core.h
  130887. --- linux-4.1.13.orig/include/linux/mfd/rpisense/core.h 1970-01-01 01:00:00.000000000 +0100
  130888. +++ linux-rpi/include/linux/mfd/rpisense/core.h 2015-11-29 09:42:40.747043681 +0100
  130889. @@ -0,0 +1,47 @@
  130890. +/*
  130891. + * Raspberry Pi Sense HAT core driver
  130892. + * http://raspberrypi.org
  130893. + *
  130894. + * Copyright (C) 2015 Raspberry Pi
  130895. + *
  130896. + * Author: Serge Schneider
  130897. + *
  130898. + * This program is free software; you can redistribute it and/or modify it
  130899. + * under the terms of the GNU General Public License as published by the
  130900. + * Free Software Foundation; either version 2 of the License, or (at your
  130901. + * option) any later version.
  130902. + *
  130903. + */
  130904. +
  130905. +#ifndef __LINUX_MFD_RPISENSE_CORE_H_
  130906. +#define __LINUX_MFD_RPISENSE_CORE_H_
  130907. +
  130908. +#include <linux/mfd/rpisense/joystick.h>
  130909. +#include <linux/mfd/rpisense/framebuffer.h>
  130910. +
  130911. +/*
  130912. + * Register values.
  130913. + */
  130914. +#define RPISENSE_FB 0x00
  130915. +#define RPISENSE_WAI 0xF0
  130916. +#define RPISENSE_VER 0xF1
  130917. +#define RPISENSE_KEYS 0xF2
  130918. +#define RPISENSE_EE_WP 0xF3
  130919. +
  130920. +#define RPISENSE_ID 's'
  130921. +
  130922. +struct rpisense {
  130923. + struct device *dev;
  130924. + struct i2c_client *i2c_client;
  130925. +
  130926. + /* Client devices */
  130927. + struct rpisense_js joystick;
  130928. + struct rpisense_fb framebuffer;
  130929. +};
  130930. +
  130931. +struct rpisense *rpisense_get_dev(void);
  130932. +s32 rpisense_reg_read(struct rpisense *rpisense, int reg);
  130933. +int rpisense_reg_write(struct rpisense *rpisense, int reg, u16 val);
  130934. +int rpisense_block_write(struct rpisense *rpisense, const char *buf, int count);
  130935. +
  130936. +#endif
  130937. diff -Nur linux-4.1.13.orig/include/linux/mfd/rpisense/framebuffer.h linux-rpi/include/linux/mfd/rpisense/framebuffer.h
  130938. --- linux-4.1.13.orig/include/linux/mfd/rpisense/framebuffer.h 1970-01-01 01:00:00.000000000 +0100
  130939. +++ linux-rpi/include/linux/mfd/rpisense/framebuffer.h 2015-11-29 09:42:40.747043681 +0100
  130940. @@ -0,0 +1,32 @@
  130941. +/*
  130942. + * Raspberry Pi Sense HAT framebuffer driver
  130943. + * http://raspberrypi.org
  130944. + *
  130945. + * Copyright (C) 2015 Raspberry Pi
  130946. + *
  130947. + * Author: Serge Schneider
  130948. + *
  130949. + * This program is free software; you can redistribute it and/or modify it
  130950. + * under the terms of the GNU General Public License as published by the
  130951. + * Free Software Foundation; either version 2 of the License, or (at your
  130952. + * option) any later version.
  130953. + *
  130954. + */
  130955. +
  130956. +#ifndef __LINUX_RPISENSE_FB_H_
  130957. +#define __LINUX_RPISENSE_FB_H_
  130958. +
  130959. +#define SENSEFB_FBIO_IOC_MAGIC 0xF1
  130960. +
  130961. +#define SENSEFB_FBIOGET_GAMMA _IO(SENSEFB_FBIO_IOC_MAGIC, 0)
  130962. +#define SENSEFB_FBIOSET_GAMMA _IO(SENSEFB_FBIO_IOC_MAGIC, 1)
  130963. +#define SENSEFB_FBIORESET_GAMMA _IO(SENSEFB_FBIO_IOC_MAGIC, 2)
  130964. +
  130965. +struct rpisense;
  130966. +
  130967. +struct rpisense_fb {
  130968. + struct platform_device *pdev;
  130969. + struct fb_info *info;
  130970. +};
  130971. +
  130972. +#endif
  130973. diff -Nur linux-4.1.13.orig/include/linux/mfd/rpisense/joystick.h linux-rpi/include/linux/mfd/rpisense/joystick.h
  130974. --- linux-4.1.13.orig/include/linux/mfd/rpisense/joystick.h 1970-01-01 01:00:00.000000000 +0100
  130975. +++ linux-rpi/include/linux/mfd/rpisense/joystick.h 2015-11-29 09:42:40.747043681 +0100
  130976. @@ -0,0 +1,35 @@
  130977. +/*
  130978. + * Raspberry Pi Sense HAT joystick driver
  130979. + * http://raspberrypi.org
  130980. + *
  130981. + * Copyright (C) 2015 Raspberry Pi
  130982. + *
  130983. + * Author: Serge Schneider
  130984. + *
  130985. + * This program is free software; you can redistribute it and/or modify it
  130986. + * under the terms of the GNU General Public License as published by the
  130987. + * Free Software Foundation; either version 2 of the License, or (at your
  130988. + * option) any later version.
  130989. + *
  130990. + */
  130991. +
  130992. +#ifndef __LINUX_RPISENSE_JOYSTICK_H_
  130993. +#define __LINUX_RPISENSE_JOYSTICK_H_
  130994. +
  130995. +#include <linux/input.h>
  130996. +#include <linux/interrupt.h>
  130997. +#include <linux/gpio/consumer.h>
  130998. +#include <linux/platform_device.h>
  130999. +
  131000. +struct rpisense;
  131001. +
  131002. +struct rpisense_js {
  131003. + struct platform_device *pdev;
  131004. + struct input_dev *keys_dev;
  131005. + struct gpio_desc *keys_desc;
  131006. + struct work_struct keys_work_s;
  131007. + int keys_irq;
  131008. +};
  131009. +
  131010. +
  131011. +#endif
  131012. diff -Nur linux-4.1.13.orig/include/linux/mmc/host.h linux-rpi/include/linux/mmc/host.h
  131013. --- linux-4.1.13.orig/include/linux/mmc/host.h 2015-11-09 23:34:10.000000000 +0100
  131014. +++ linux-rpi/include/linux/mmc/host.h 2015-11-29 09:42:40.759042884 +0100
  131015. @@ -140,7 +140,9 @@
  131016. * I/O. Returns the number of supported blocks for the request.
  131017. */
  131018. int (*multi_io_quirk)(struct mmc_card *card,
  131019. - unsigned int direction, int blk_size);
  131020. + unsigned int direction,
  131021. + u32 blk_pos,
  131022. + int blk_size);
  131023. };
  131024. struct mmc_card;
  131025. @@ -285,6 +287,7 @@
  131026. MMC_CAP2_HS400_1_2V)
  131027. #define MMC_CAP2_HSX00_1_2V (MMC_CAP2_HS200_1_2V_SDR | MMC_CAP2_HS400_1_2V)
  131028. #define MMC_CAP2_SDIO_IRQ_NOTHREAD (1 << 17)
  131029. +#define MMC_CAP2_FORCE_MULTIBLOCK (1 << 31) /* Always use multiblock transfers */
  131030. mmc_pm_flag_t pm_caps; /* supported pm features */
  131031. diff -Nur linux-4.1.13.orig/include/linux/platform_data/bcm2708.h linux-rpi/include/linux/platform_data/bcm2708.h
  131032. --- linux-4.1.13.orig/include/linux/platform_data/bcm2708.h 1970-01-01 01:00:00.000000000 +0100
  131033. +++ linux-rpi/include/linux/platform_data/bcm2708.h 2015-11-29 09:42:40.779041555 +0100
  131034. @@ -0,0 +1,23 @@
  131035. +/*
  131036. + * include/linux/platform_data/bcm2708.h
  131037. + *
  131038. + * This program is free software; you can redistribute it and/or modify
  131039. + * it under the terms of the GNU General Public License version 2 as
  131040. + * published by the Free Software Foundation.
  131041. + *
  131042. + * (C) 2014 Julian Scheel <julian@jusst.de>
  131043. + *
  131044. + */
  131045. +#ifndef __BCM2708_H_
  131046. +#define __BCM2708_H_
  131047. +
  131048. +typedef enum {
  131049. + BCM2708_PULL_OFF,
  131050. + BCM2708_PULL_UP,
  131051. + BCM2708_PULL_DOWN
  131052. +} bcm2708_gpio_pull_t;
  131053. +
  131054. +extern int bcm2708_gpio_setpull(struct gpio_chip *gc, unsigned offset,
  131055. + bcm2708_gpio_pull_t value);
  131056. +
  131057. +#endif
  131058. diff -Nur linux-4.1.13.orig/include/linux/platform_data/dma-bcm2708.h linux-rpi/include/linux/platform_data/dma-bcm2708.h
  131059. --- linux-4.1.13.orig/include/linux/platform_data/dma-bcm2708.h 1970-01-01 01:00:00.000000000 +0100
  131060. +++ linux-rpi/include/linux/platform_data/dma-bcm2708.h 2015-11-29 09:42:40.779041555 +0100
  131061. @@ -0,0 +1,127 @@
  131062. +/*
  131063. + * Copyright (C) 2010 Broadcom
  131064. + *
  131065. + * This program is free software; you can redistribute it and/or modify
  131066. + * it under the terms of the GNU General Public License version 2 as
  131067. + * published by the Free Software Foundation.
  131068. + */
  131069. +
  131070. +#ifndef _PLAT_BCM2708_DMA_H
  131071. +#define _PLAT_BCM2708_DMA_H
  131072. +
  131073. +/* DMA CS Control and Status bits */
  131074. +#define BCM2708_DMA_ACTIVE BIT(0)
  131075. +#define BCM2708_DMA_INT BIT(2)
  131076. +#define BCM2708_DMA_ISPAUSED BIT(4) /* Pause requested or not active */
  131077. +#define BCM2708_DMA_ISHELD BIT(5) /* Is held by DREQ flow control */
  131078. +#define BCM2708_DMA_ERR BIT(8)
  131079. +#define BCM2708_DMA_ABORT BIT(30) /* stop current CB, go to next, WO */
  131080. +#define BCM2708_DMA_RESET BIT(31) /* WO, self clearing */
  131081. +
  131082. +/* DMA control block "info" field bits */
  131083. +#define BCM2708_DMA_INT_EN BIT(0)
  131084. +#define BCM2708_DMA_TDMODE BIT(1)
  131085. +#define BCM2708_DMA_WAIT_RESP BIT(3)
  131086. +#define BCM2708_DMA_D_INC BIT(4)
  131087. +#define BCM2708_DMA_D_WIDTH BIT(5)
  131088. +#define BCM2708_DMA_D_DREQ BIT(6)
  131089. +#define BCM2708_DMA_S_INC BIT(8)
  131090. +#define BCM2708_DMA_S_WIDTH BIT(9)
  131091. +#define BCM2708_DMA_S_DREQ BIT(10)
  131092. +
  131093. +#define BCM2708_DMA_BURST(x) (((x) & 0xf) << 12)
  131094. +#define BCM2708_DMA_PER_MAP(x) ((x) << 16)
  131095. +#define BCM2708_DMA_WAITS(x) (((x) & 0x1f) << 21)
  131096. +
  131097. +#define BCM2708_DMA_DREQ_EMMC 11
  131098. +#define BCM2708_DMA_DREQ_SDHOST 13
  131099. +
  131100. +#define BCM2708_DMA_CS 0x00 /* Control and Status */
  131101. +#define BCM2708_DMA_ADDR 0x04
  131102. +/* the current control block appears in the following registers - read only */
  131103. +#define BCM2708_DMA_INFO 0x08
  131104. +#define BCM2708_DMA_SOURCE_AD 0x0c
  131105. +#define BCM2708_DMA_DEST_AD 0x10
  131106. +#define BCM2708_DMA_NEXTCB 0x1C
  131107. +#define BCM2708_DMA_DEBUG 0x20
  131108. +
  131109. +#define BCM2708_DMA4_CS (BCM2708_DMA_CHAN(4) + BCM2708_DMA_CS)
  131110. +#define BCM2708_DMA4_ADDR (BCM2708_DMA_CHAN(4) + BCM2708_DMA_ADDR)
  131111. +
  131112. +#define BCM2708_DMA_TDMODE_LEN(w, h) ((h) << 16 | (w))
  131113. +
  131114. +/* When listing features we can ask for when allocating DMA channels give
  131115. + those with higher priority smaller ordinal numbers */
  131116. +#define BCM_DMA_FEATURE_FAST_ORD 0
  131117. +#define BCM_DMA_FEATURE_BULK_ORD 1
  131118. +#define BCM_DMA_FEATURE_NORMAL_ORD 2
  131119. +#define BCM_DMA_FEATURE_LITE_ORD 3
  131120. +#define BCM_DMA_FEATURE_FAST BIT(BCM_DMA_FEATURE_FAST_ORD)
  131121. +#define BCM_DMA_FEATURE_BULK BIT(BCM_DMA_FEATURE_BULK_ORD)
  131122. +#define BCM_DMA_FEATURE_NORMAL BIT(BCM_DMA_FEATURE_NORMAL_ORD)
  131123. +#define BCM_DMA_FEATURE_LITE BIT(BCM_DMA_FEATURE_LITE_ORD)
  131124. +#define BCM_DMA_FEATURE_COUNT 4
  131125. +
  131126. +struct bcm2708_dma_cb {
  131127. + unsigned long info;
  131128. + unsigned long src;
  131129. + unsigned long dst;
  131130. + unsigned long length;
  131131. + unsigned long stride;
  131132. + unsigned long next;
  131133. + unsigned long pad[2];
  131134. +};
  131135. +
  131136. +struct scatterlist;
  131137. +
  131138. +#ifdef CONFIG_DMA_BCM2708_LEGACY
  131139. +
  131140. +int bcm_sg_suitable_for_dma(struct scatterlist *sg_ptr, int sg_len);
  131141. +void bcm_dma_start(void __iomem *dma_chan_base, dma_addr_t control_block);
  131142. +void bcm_dma_wait_idle(void __iomem *dma_chan_base);
  131143. +bool bcm_dma_is_busy(void __iomem *dma_chan_base);
  131144. +int bcm_dma_abort(void __iomem *dma_chan_base);
  131145. +
  131146. +/* return channel no or -ve error */
  131147. +int bcm_dma_chan_alloc(unsigned preferred_feature_set,
  131148. + void __iomem **out_dma_base, int *out_dma_irq);
  131149. +int bcm_dma_chan_free(int channel);
  131150. +
  131151. +#else /* CONFIG_DMA_BCM2708_LEGACY */
  131152. +
  131153. +static inline int bcm_sg_suitable_for_dma(struct scatterlist *sg_ptr,
  131154. + int sg_len)
  131155. +{
  131156. + return 0;
  131157. +}
  131158. +
  131159. +static inline void bcm_dma_start(void __iomem *dma_chan_base,
  131160. + dma_addr_t control_block) { }
  131161. +
  131162. +static inline void bcm_dma_wait_idle(void __iomem *dma_chan_base) { }
  131163. +
  131164. +static inline bool bcm_dma_is_busy(void __iomem *dma_chan_base)
  131165. +{
  131166. + return false;
  131167. +}
  131168. +
  131169. +static inline int bcm_dma_abort(void __iomem *dma_chan_base)
  131170. +{
  131171. + return -EINVAL;
  131172. +}
  131173. +
  131174. +static inline int bcm_dma_chan_alloc(unsigned preferred_feature_set,
  131175. + void __iomem **out_dma_base,
  131176. + int *out_dma_irq)
  131177. +{
  131178. + return -EINVAL;
  131179. +}
  131180. +
  131181. +static inline int bcm_dma_chan_free(int channel)
  131182. +{
  131183. + return -EINVAL;
  131184. +}
  131185. +
  131186. +#endif /* CONFIG_DMA_BCM2708_LEGACY */
  131187. +
  131188. +#endif /* _PLAT_BCM2708_DMA_H */
  131189. diff -Nur linux-4.1.13.orig/include/linux/vmstat.h linux-rpi/include/linux/vmstat.h
  131190. --- linux-4.1.13.orig/include/linux/vmstat.h 2015-11-09 23:34:10.000000000 +0100
  131191. +++ linux-rpi/include/linux/vmstat.h 2015-11-29 09:42:40.827038366 +0100
  131192. @@ -241,7 +241,11 @@
  131193. static inline void __dec_zone_state(struct zone *zone, enum zone_stat_item item)
  131194. {
  131195. atomic_long_dec(&zone->vm_stat[item]);
  131196. + if (item == NR_FILE_DIRTY && unlikely(atomic_long_read(&zone->vm_stat[item]) < 0))
  131197. + atomic_long_set(&zone->vm_stat[item], 0);
  131198. atomic_long_dec(&vm_stat[item]);
  131199. + if (item == NR_FILE_DIRTY && unlikely(atomic_long_read(&vm_stat[item]) < 0))
  131200. + atomic_long_set(&vm_stat[item], 0);
  131201. }
  131202. static inline void __inc_zone_page_state(struct page *page,
  131203. diff -Nur linux-4.1.13.orig/include/linux/w1-gpio.h linux-rpi/include/linux/w1-gpio.h
  131204. --- linux-4.1.13.orig/include/linux/w1-gpio.h 2015-11-09 23:34:10.000000000 +0100
  131205. +++ linux-rpi/include/linux/w1-gpio.h 2015-11-29 09:42:40.827038366 +0100
  131206. @@ -18,6 +18,7 @@
  131207. struct w1_gpio_platform_data {
  131208. unsigned int pin;
  131209. unsigned int is_open_drain:1;
  131210. + unsigned int parasitic_power:1;
  131211. void (*enable_external_pullup)(int enable);
  131212. unsigned int ext_pullup_enable_pin;
  131213. unsigned int pullup_duration;
  131214. diff -Nur linux-4.1.13.orig/include/soc/bcm2835/raspberrypi-firmware.h linux-rpi/include/soc/bcm2835/raspberrypi-firmware.h
  131215. --- linux-4.1.13.orig/include/soc/bcm2835/raspberrypi-firmware.h 1970-01-01 01:00:00.000000000 +0100
  131216. +++ linux-rpi/include/soc/bcm2835/raspberrypi-firmware.h 2015-11-29 09:42:40.871035442 +0100
  131217. @@ -0,0 +1,124 @@
  131218. +/*
  131219. + * Copyright © 2015 Broadcom
  131220. + *
  131221. + * This program is free software; you can redistribute it and/or modify
  131222. + * it under the terms of the GNU General Public License version 2 as
  131223. + * published by the Free Software Foundation.
  131224. + */
  131225. +
  131226. +#include <linux/types.h>
  131227. +#include <linux/of_device.h>
  131228. +
  131229. +struct rpi_firmware;
  131230. +
  131231. +enum rpi_firmware_property_status {
  131232. + RPI_FIRMWARE_STATUS_REQUEST = 0,
  131233. + RPI_FIRMWARE_STATUS_SUCCESS = 0x80000000,
  131234. + RPI_FIRMWARE_STATUS_ERROR = 0x80000001,
  131235. +};
  131236. +
  131237. +/**
  131238. + * struct rpi_firmware_property_tag_header - Firmware property tag header
  131239. + * @tag: One of enum_mbox_property_tag.
  131240. + * @buf_size: The number of bytes in the value buffer following this
  131241. + * struct.
  131242. + * @req_resp_size: On submit, the length of the request (though it doesn't
  131243. + * appear to be currently used by the firmware). On return,
  131244. + * the length of the response (always 4 byte aligned), with
  131245. + * the low bit set.
  131246. + */
  131247. +struct rpi_firmware_property_tag_header {
  131248. + u32 tag;
  131249. + u32 buf_size;
  131250. + u32 req_resp_size;
  131251. +};
  131252. +
  131253. +enum rpi_firmware_property_tag {
  131254. + RPI_FIRMWARE_PROPERTY_END = 0,
  131255. + RPI_FIRMWARE_GET_FIRMWARE_REVISION = 0x00000001,
  131256. +
  131257. + RPI_FIRMWARE_SET_CURSOR_INFO = 0x00008010,
  131258. + RPI_FIRMWARE_SET_CURSOR_STATE = 0x00008011,
  131259. +
  131260. + RPI_FIRMWARE_GET_BOARD_MODEL = 0x00010001,
  131261. + RPI_FIRMWARE_GET_BOARD_REVISION = 0x00010002,
  131262. + RPI_FIRMWARE_GET_BOARD_MAC_ADDRESS = 0x00010003,
  131263. + RPI_FIRMWARE_GET_BOARD_SERIAL = 0x00010004,
  131264. + RPI_FIRMWARE_GET_ARM_MEMORY = 0x00010005,
  131265. + RPI_FIRMWARE_GET_VC_MEMORY = 0x00010006,
  131266. + RPI_FIRMWARE_GET_CLOCKS = 0x00010007,
  131267. + RPI_FIRMWARE_GET_POWER_STATE = 0x00020001,
  131268. + RPI_FIRMWARE_GET_TIMING = 0x00020002,
  131269. + RPI_FIRMWARE_SET_POWER_STATE = 0x00028001,
  131270. + RPI_FIRMWARE_GET_CLOCK_STATE = 0x00030001,
  131271. + RPI_FIRMWARE_GET_CLOCK_RATE = 0x00030002,
  131272. + RPI_FIRMWARE_GET_VOLTAGE = 0x00030003,
  131273. + RPI_FIRMWARE_GET_MAX_CLOCK_RATE = 0x00030004,
  131274. + RPI_FIRMWARE_GET_MAX_VOLTAGE = 0x00030005,
  131275. + RPI_FIRMWARE_GET_TEMPERATURE = 0x00030006,
  131276. + RPI_FIRMWARE_GET_MIN_CLOCK_RATE = 0x00030007,
  131277. + RPI_FIRMWARE_GET_MIN_VOLTAGE = 0x00030008,
  131278. + RPI_FIRMWARE_GET_TURBO = 0x00030009,
  131279. + RPI_FIRMWARE_GET_MAX_TEMPERATURE = 0x0003000a,
  131280. + RPI_FIRMWARE_GET_STC = 0x0003000b,
  131281. + RPI_FIRMWARE_ALLOCATE_MEMORY = 0x0003000c,
  131282. + RPI_FIRMWARE_LOCK_MEMORY = 0x0003000d,
  131283. + RPI_FIRMWARE_UNLOCK_MEMORY = 0x0003000e,
  131284. + RPI_FIRMWARE_RELEASE_MEMORY = 0x0003000f,
  131285. + RPI_FIRMWARE_EXECUTE_CODE = 0x00030010,
  131286. + RPI_FIRMWARE_EXECUTE_QPU = 0x00030011,
  131287. + RPI_FIRMWARE_SET_ENABLE_QPU = 0x00030012,
  131288. + RPI_FIRMWARE_GET_DISPMANX_RESOURCE_MEM_HANDLE = 0x00030014,
  131289. + RPI_FIRMWARE_GET_EDID_BLOCK = 0x00030020,
  131290. + RPI_FIRMWARE_GET_CUSTOMER_OTP = 0x00030021,
  131291. + RPI_FIRMWARE_SET_CLOCK_STATE = 0x00038001,
  131292. + RPI_FIRMWARE_SET_CLOCK_RATE = 0x00038002,
  131293. + RPI_FIRMWARE_SET_VOLTAGE = 0x00038003,
  131294. + RPI_FIRMWARE_SET_TURBO = 0x00038009,
  131295. + RPI_FIRMWARE_SET_CUSTOMER_OTP = 0x00038021,
  131296. +
  131297. + /* Dispmanx TAGS */
  131298. + RPI_FIRMWARE_FRAMEBUFFER_ALLOCATE = 0x00040001,
  131299. + RPI_FIRMWARE_FRAMEBUFFER_BLANK = 0x00040002,
  131300. + RPI_FIRMWARE_FRAMEBUFFER_GET_PHYSICAL_WIDTH_HEIGHT = 0x00040003,
  131301. + RPI_FIRMWARE_FRAMEBUFFER_GET_VIRTUAL_WIDTH_HEIGHT = 0x00040004,
  131302. + RPI_FIRMWARE_FRAMEBUFFER_GET_DEPTH = 0x00040005,
  131303. + RPI_FIRMWARE_FRAMEBUFFER_GET_PIXEL_ORDER = 0x00040006,
  131304. + RPI_FIRMWARE_FRAMEBUFFER_GET_ALPHA_MODE = 0x00040007,
  131305. + RPI_FIRMWARE_FRAMEBUFFER_GET_PITCH = 0x00040008,
  131306. + RPI_FIRMWARE_FRAMEBUFFER_GET_VIRTUAL_OFFSET = 0x00040009,
  131307. + RPI_FIRMWARE_FRAMEBUFFER_GET_OVERSCAN = 0x0004000a,
  131308. + RPI_FIRMWARE_FRAMEBUFFER_GET_PALETTE = 0x0004000b,
  131309. + RPI_FIRMWARE_FRAMEBUFFER_GET_TOUCHBUF = 0x0004000f,
  131310. + RPI_FIRMWARE_FRAMEBUFFER_RELEASE = 0x00048001,
  131311. + RPI_FIRMWARE_FRAMEBUFFER_TEST_PHYSICAL_WIDTH_HEIGHT = 0x00044003,
  131312. + RPI_FIRMWARE_FRAMEBUFFER_TEST_VIRTUAL_WIDTH_HEIGHT = 0x00044004,
  131313. + RPI_FIRMWARE_FRAMEBUFFER_TEST_DEPTH = 0x00044005,
  131314. + RPI_FIRMWARE_FRAMEBUFFER_TEST_PIXEL_ORDER = 0x00044006,
  131315. + RPI_FIRMWARE_FRAMEBUFFER_TEST_ALPHA_MODE = 0x00044007,
  131316. + RPI_FIRMWARE_FRAMEBUFFER_TEST_VIRTUAL_OFFSET = 0x00044009,
  131317. + RPI_FIRMWARE_FRAMEBUFFER_TEST_OVERSCAN = 0x0004400a,
  131318. + RPI_FIRMWARE_FRAMEBUFFER_TEST_PALETTE = 0x0004400b,
  131319. + RPI_FIRMWARE_FRAMEBUFFER_TEST_VSYNC = 0x0004400e,
  131320. + RPI_FIRMWARE_FRAMEBUFFER_SET_PHYSICAL_WIDTH_HEIGHT = 0x00048003,
  131321. + RPI_FIRMWARE_FRAMEBUFFER_SET_VIRTUAL_WIDTH_HEIGHT = 0x00048004,
  131322. + RPI_FIRMWARE_FRAMEBUFFER_SET_DEPTH = 0x00048005,
  131323. + RPI_FIRMWARE_FRAMEBUFFER_SET_PIXEL_ORDER = 0x00048006,
  131324. + RPI_FIRMWARE_FRAMEBUFFER_SET_ALPHA_MODE = 0x00048007,
  131325. + RPI_FIRMWARE_FRAMEBUFFER_SET_VIRTUAL_OFFSET = 0x00048009,
  131326. + RPI_FIRMWARE_FRAMEBUFFER_SET_OVERSCAN = 0x0004800a,
  131327. + RPI_FIRMWARE_FRAMEBUFFER_SET_PALETTE = 0x0004800b,
  131328. + RPI_FIRMWARE_FRAMEBUFFER_SET_VSYNC = 0x0004800e,
  131329. + RPI_FIRMWARE_FRAMEBUFFER_SET_BACKLIGHT = 0x0004800f,
  131330. +
  131331. + RPI_FIRMWARE_VCHIQ_INIT = 0x00048010,
  131332. +
  131333. + RPI_FIRMWARE_GET_COMMAND_LINE = 0x00050001,
  131334. + RPI_FIRMWARE_GET_DMA_CHANNELS = 0x00060001,
  131335. +};
  131336. +
  131337. +int rpi_firmware_property(struct rpi_firmware *fw,
  131338. + u32 tag, void *data, size_t len);
  131339. +int rpi_firmware_property_list(struct rpi_firmware *fw,
  131340. + void *data, size_t tag_size);
  131341. +struct rpi_firmware *rpi_firmware_get(struct device_node *firmware_node);
  131342. diff -Nur linux-4.1.13.orig/include/uapi/linux/fb.h linux-rpi/include/uapi/linux/fb.h
  131343. --- linux-4.1.13.orig/include/uapi/linux/fb.h 2015-11-09 23:34:10.000000000 +0100
  131344. +++ linux-rpi/include/uapi/linux/fb.h 2015-11-29 09:42:40.943030659 +0100
  131345. @@ -34,6 +34,11 @@
  131346. #define FBIOPUT_MODEINFO 0x4617
  131347. #define FBIOGET_DISPINFO 0x4618
  131348. #define FBIO_WAITFORVSYNC _IOW('F', 0x20, __u32)
  131349. +/*
  131350. + * HACK: use 'z' in order not to clash with any other ioctl numbers which might
  131351. + * be concurrently added to the mainline kernel
  131352. + */
  131353. +#define FBIOCOPYAREA _IOW('z', 0x21, struct fb_copyarea)
  131354. #define FB_TYPE_PACKED_PIXELS 0 /* Packed Pixels */
  131355. #define FB_TYPE_PLANES 1 /* Non interleaved planes */
  131356. diff -Nur linux-4.1.13.orig/kernel/cgroup.c linux-rpi/kernel/cgroup.c
  131357. --- linux-4.1.13.orig/kernel/cgroup.c 2015-11-09 23:34:10.000000000 +0100
  131358. +++ linux-rpi/kernel/cgroup.c 2015-11-29 09:42:41.015025875 +0100
  131359. @@ -5394,6 +5394,29 @@
  131360. }
  131361. __setup("cgroup_disable=", cgroup_disable);
  131362. +static int __init cgroup_enable(char *str)
  131363. +{
  131364. + struct cgroup_subsys *ss;
  131365. + char *token;
  131366. + int i;
  131367. +
  131368. + while ((token = strsep(&str, ",")) != NULL) {
  131369. + if (!*token)
  131370. + continue;
  131371. +
  131372. + for_each_subsys(ss, i) {
  131373. + if (!strcmp(token, ss->name)) {
  131374. + ss->disabled = 0;
  131375. + printk(KERN_INFO "Enabling %s control group"
  131376. + " subsystem\n", ss->name);
  131377. + break;
  131378. + }
  131379. + }
  131380. + }
  131381. + return 1;
  131382. +}
  131383. +__setup("cgroup_enable=", cgroup_enable);
  131384. +
  131385. static int __init cgroup_set_legacy_files_on_dfl(char *str)
  131386. {
  131387. printk("cgroup: using legacy files on the default hierarchy\n");
  131388. diff -Nur linux-4.1.13.orig/mm/memcontrol.c linux-rpi/mm/memcontrol.c
  131389. --- linux-4.1.13.orig/mm/memcontrol.c 2015-11-09 23:34:10.000000000 +0100
  131390. +++ linux-rpi/mm/memcontrol.c 2015-11-29 09:42:41.131018168 +0100
  131391. @@ -5389,6 +5389,7 @@
  131392. .dfl_cftypes = memory_files,
  131393. .legacy_cftypes = mem_cgroup_legacy_files,
  131394. .early_init = 0,
  131395. + .disabled = 1,
  131396. };
  131397. /**
  131398. diff -Nur linux-4.1.13.orig/scripts/dtc/checks.c linux-rpi/scripts/dtc/checks.c
  131399. --- linux-4.1.13.orig/scripts/dtc/checks.c 2015-11-09 23:34:10.000000000 +0100
  131400. +++ linux-rpi/scripts/dtc/checks.c 2015-11-29 09:42:41.403000096 +0100
  131401. @@ -53,7 +53,7 @@
  131402. void *data;
  131403. bool warn, error;
  131404. enum checkstatus status;
  131405. - int inprogress;
  131406. + bool inprogress;
  131407. int num_prereqs;
  131408. struct check **prereq;
  131409. };
  131410. @@ -113,6 +113,7 @@
  131411. vfprintf(stderr, fmt, ap);
  131412. fprintf(stderr, "\n");
  131413. }
  131414. + va_end(ap);
  131415. }
  131416. #define FAIL(c, ...) \
  131417. @@ -141,9 +142,9 @@
  131418. check_nodes_props(c, dt, child);
  131419. }
  131420. -static int run_check(struct check *c, struct node *dt)
  131421. +static bool run_check(struct check *c, struct node *dt)
  131422. {
  131423. - int error = 0;
  131424. + bool error = false;
  131425. int i;
  131426. assert(!c->inprogress);
  131427. @@ -151,11 +152,11 @@
  131428. if (c->status != UNCHECKED)
  131429. goto out;
  131430. - c->inprogress = 1;
  131431. + c->inprogress = true;
  131432. for (i = 0; i < c->num_prereqs; i++) {
  131433. struct check *prq = c->prereq[i];
  131434. - error |= run_check(prq, dt);
  131435. + error = error || run_check(prq, dt);
  131436. if (prq->status != PASSED) {
  131437. c->status = PREREQ;
  131438. check_msg(c, "Failed prerequisite '%s'",
  131439. @@ -177,9 +178,9 @@
  131440. TRACE(c, "\tCompleted, status %d", c->status);
  131441. out:
  131442. - c->inprogress = 0;
  131443. + c->inprogress = false;
  131444. if ((c->status != PASSED) && (c->error))
  131445. - error = 1;
  131446. + error = true;
  131447. return error;
  131448. }
  131449. @@ -457,22 +458,93 @@
  131450. struct node *node, struct property *prop)
  131451. {
  131452. struct marker *m = prop->val.markers;
  131453. + struct fixup *f, **fp;
  131454. + struct fixup_entry *fe, **fep;
  131455. struct node *refnode;
  131456. cell_t phandle;
  131457. + int has_phandle_refs;
  131458. +
  131459. + has_phandle_refs = 0;
  131460. + for_each_marker_of_type(m, REF_PHANDLE) {
  131461. + has_phandle_refs = 1;
  131462. + break;
  131463. + }
  131464. +
  131465. + if (!has_phandle_refs)
  131466. + return;
  131467. for_each_marker_of_type(m, REF_PHANDLE) {
  131468. assert(m->offset + sizeof(cell_t) <= prop->val.len);
  131469. refnode = get_node_by_ref(dt, m->ref);
  131470. - if (! refnode) {
  131471. + if (!refnode && !symbol_fixup_support) {
  131472. FAIL(c, "Reference to non-existent node or label \"%s\"\n",
  131473. - m->ref);
  131474. + m->ref);
  131475. continue;
  131476. }
  131477. - phandle = get_node_phandle(dt, refnode);
  131478. - *((cell_t *)(prop->val.val + m->offset)) = cpu_to_fdt32(phandle);
  131479. + if (!refnode) {
  131480. + /* allocate fixup entry */
  131481. + fe = xmalloc(sizeof(*fe));
  131482. +
  131483. + fe->node = node;
  131484. + fe->prop = prop;
  131485. + fe->offset = m->offset;
  131486. + fe->next = NULL;
  131487. +
  131488. + /* search for an already existing fixup */
  131489. + for_each_fixup(dt, f)
  131490. + if (strcmp(f->ref, m->ref) == 0)
  131491. + break;
  131492. +
  131493. + /* no fixup found, add new */
  131494. + if (f == NULL) {
  131495. + f = xmalloc(sizeof(*f));
  131496. + f->ref = m->ref;
  131497. + f->entries = NULL;
  131498. + f->next = NULL;
  131499. +
  131500. + /* add it to the tree */
  131501. + fp = &dt->fixups;
  131502. + while (*fp)
  131503. + fp = &(*fp)->next;
  131504. + *fp = f;
  131505. + }
  131506. +
  131507. + /* and now append fixup entry */
  131508. + fep = &f->entries;
  131509. + while (*fep)
  131510. + fep = &(*fep)->next;
  131511. + *fep = fe;
  131512. +
  131513. + /* mark the entry as unresolved */
  131514. + phandle = 0xdeadbeef;
  131515. + } else {
  131516. + phandle = get_node_phandle(dt, refnode);
  131517. +
  131518. + /* if it's a plugin, we need to record it */
  131519. + if (symbol_fixup_support && dt->is_plugin) {
  131520. +
  131521. + /* allocate a new local fixup entry */
  131522. + fe = xmalloc(sizeof(*fe));
  131523. +
  131524. + fe->node = node;
  131525. + fe->prop = prop;
  131526. + fe->offset = m->offset;
  131527. + fe->next = NULL;
  131528. +
  131529. + /* append it to the local fixups */
  131530. + fep = &dt->local_fixups;
  131531. + while (*fep)
  131532. + fep = &(*fep)->next;
  131533. + *fep = fe;
  131534. + }
  131535. + }
  131536. +
  131537. + *((cell_t *)(prop->val.val + m->offset)) =
  131538. + cpu_to_fdt32(phandle);
  131539. }
  131540. +
  131541. }
  131542. ERROR(phandle_references, NULL, NULL, fixup_phandle_references, NULL,
  131543. &duplicate_node_names, &explicit_phandles);
  131544. @@ -624,11 +696,11 @@
  131545. if (!reg && !ranges)
  131546. return;
  131547. - if ((node->parent->addr_cells == -1))
  131548. + if (node->parent->addr_cells == -1)
  131549. FAIL(c, "Relying on default #address-cells value for %s",
  131550. node->fullpath);
  131551. - if ((node->parent->size_cells == -1))
  131552. + if (node->parent->size_cells == -1)
  131553. FAIL(c, "Relying on default #size-cells value for %s",
  131554. node->fullpath);
  131555. }
  131556. @@ -651,6 +723,45 @@
  131557. }
  131558. TREE_WARNING(obsolete_chosen_interrupt_controller, NULL);
  131559. +static void check_auto_label_phandles(struct check *c, struct node *dt,
  131560. + struct node *node)
  131561. +{
  131562. + struct label *l;
  131563. + struct symbol *s, **sp;
  131564. + int has_label;
  131565. +
  131566. + if (!symbol_fixup_support)
  131567. + return;
  131568. +
  131569. + has_label = 0;
  131570. + for_each_label(node->labels, l) {
  131571. + has_label = 1;
  131572. + break;
  131573. + }
  131574. +
  131575. + if (!has_label)
  131576. + return;
  131577. +
  131578. + /* force allocation of a phandle for this node */
  131579. + (void)get_node_phandle(dt, node);
  131580. +
  131581. + /* add the symbol */
  131582. + for_each_label(node->labels, l) {
  131583. +
  131584. + s = xmalloc(sizeof(*s));
  131585. + s->label = l;
  131586. + s->node = node;
  131587. + s->next = NULL;
  131588. +
  131589. + /* add it to the symbols list */
  131590. + sp = &dt->symbols;
  131591. + while (*sp)
  131592. + sp = &((*sp)->next);
  131593. + *sp = s;
  131594. + }
  131595. +}
  131596. +NODE_WARNING(auto_label_phandles, NULL);
  131597. +
  131598. static struct check *check_table[] = {
  131599. &duplicate_node_names, &duplicate_property_names,
  131600. &node_name_chars, &node_name_format, &property_name_chars,
  131601. @@ -669,6 +780,8 @@
  131602. &avoid_default_addr_size,
  131603. &obsolete_chosen_interrupt_controller,
  131604. + &auto_label_phandles,
  131605. +
  131606. &always_fail,
  131607. };
  131608. @@ -706,15 +819,15 @@
  131609. c->error = c->error && !error;
  131610. }
  131611. -void parse_checks_option(bool warn, bool error, const char *optarg)
  131612. +void parse_checks_option(bool warn, bool error, const char *arg)
  131613. {
  131614. int i;
  131615. - const char *name = optarg;
  131616. + const char *name = arg;
  131617. bool enable = true;
  131618. - if ((strncmp(optarg, "no-", 3) == 0)
  131619. - || (strncmp(optarg, "no_", 3) == 0)) {
  131620. - name = optarg + 3;
  131621. + if ((strncmp(arg, "no-", 3) == 0)
  131622. + || (strncmp(arg, "no_", 3) == 0)) {
  131623. + name = arg + 3;
  131624. enable = false;
  131625. }
  131626. @@ -733,7 +846,7 @@
  131627. die("Unrecognized check name \"%s\"\n", name);
  131628. }
  131629. -void process_checks(int force, struct boot_info *bi)
  131630. +void process_checks(bool force, struct boot_info *bi)
  131631. {
  131632. struct node *dt = bi->dt;
  131633. int i;
  131634. diff -Nur linux-4.1.13.orig/scripts/dtc/data.c linux-rpi/scripts/dtc/data.c
  131635. --- linux-4.1.13.orig/scripts/dtc/data.c 2015-11-09 23:34:10.000000000 +0100
  131636. +++ linux-rpi/scripts/dtc/data.c 2015-11-29 09:42:41.403000096 +0100
  131637. @@ -74,7 +74,7 @@
  131638. struct data d;
  131639. char *q;
  131640. - d = data_grow_for(empty_data, strlen(s)+1);
  131641. + d = data_grow_for(empty_data, len + 1);
  131642. q = d.val;
  131643. while (i < len) {
  131644. @@ -250,20 +250,20 @@
  131645. return data_append_markers(d, m);
  131646. }
  131647. -int data_is_one_string(struct data d)
  131648. +bool data_is_one_string(struct data d)
  131649. {
  131650. int i;
  131651. int len = d.len;
  131652. if (len == 0)
  131653. - return 0;
  131654. + return false;
  131655. for (i = 0; i < len-1; i++)
  131656. if (d.val[i] == '\0')
  131657. - return 0;
  131658. + return false;
  131659. if (d.val[len-1] != '\0')
  131660. - return 0;
  131661. + return false;
  131662. - return 1;
  131663. + return true;
  131664. }
  131665. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc.c linux-rpi/scripts/dtc/dtc.c
  131666. --- linux-4.1.13.orig/scripts/dtc/dtc.c 2015-11-09 23:34:10.000000000 +0100
  131667. +++ linux-rpi/scripts/dtc/dtc.c 2015-11-29 09:42:41.406999830 +0100
  131668. @@ -29,6 +29,7 @@
  131669. int minsize; /* Minimum blob size */
  131670. int padsize; /* Additional padding to blob */
  131671. int phandle_format = PHANDLE_BOTH; /* Use linux,phandle or phandle properties */
  131672. +int symbol_fixup_support = 0;
  131673. static void fill_fullpaths(struct node *tree, const char *prefix)
  131674. {
  131675. @@ -48,8 +49,10 @@
  131676. }
  131677. /* Usage related data. */
  131678. +#define FDT_VERSION(version) _FDT_VERSION(version)
  131679. +#define _FDT_VERSION(version) #version
  131680. static const char usage_synopsis[] = "dtc [options] <input file>";
  131681. -static const char usage_short_opts[] = "qI:O:o:V:d:R:S:p:fb:i:H:sW:E:hv";
  131682. +static const char usage_short_opts[] = "qI:O:o:V:d:R:S:p:fb:i:H:sW:E:hv@";
  131683. static struct option const usage_long_opts[] = {
  131684. {"quiet", no_argument, NULL, 'q'},
  131685. {"in-format", a_argument, NULL, 'I'},
  131686. @@ -67,6 +70,7 @@
  131687. {"phandle", a_argument, NULL, 'H'},
  131688. {"warning", a_argument, NULL, 'W'},
  131689. {"error", a_argument, NULL, 'E'},
  131690. + {"symbols", a_argument, NULL, '@'},
  131691. {"help", no_argument, NULL, 'h'},
  131692. {"version", no_argument, NULL, 'v'},
  131693. {NULL, no_argument, NULL, 0x0},
  131694. @@ -82,9 +86,9 @@
  131695. "\t\tdts - device tree source text\n"
  131696. "\t\tdtb - device tree blob\n"
  131697. "\t\tasm - assembler source",
  131698. - "\n\tBlob version to produce, defaults to %d (for dtb and asm output)", //, DEFAULT_FDT_VERSION);
  131699. + "\n\tBlob version to produce, defaults to "FDT_VERSION(DEFAULT_FDT_VERSION)" (for dtb and asm output)",
  131700. "\n\tOutput dependency file",
  131701. - "\n\ttMake space for <number> reserve map entries (for dtb and asm output)",
  131702. + "\n\tMake space for <number> reserve map entries (for dtb and asm output)",
  131703. "\n\tMake the blob at least <bytes> long (extra space)",
  131704. "\n\tAdd padding to the blob of <bytes> long (extra space)",
  131705. "\n\tSet the physical boot cpu",
  131706. @@ -97,6 +101,7 @@
  131707. "\t\tboth - Both \"linux,phandle\" and \"phandle\" properties",
  131708. "\n\tEnable/disable warnings (prefix with \"no-\")",
  131709. "\n\tEnable/disable errors (prefix with \"no-\")",
  131710. + "\n\tSymbols and Fixups support",
  131711. "\n\tPrint this help and exit",
  131712. "\n\tPrint version and exit",
  131713. NULL,
  131714. @@ -109,7 +114,7 @@
  131715. const char *outform = "dts";
  131716. const char *outname = "-";
  131717. const char *depname = NULL;
  131718. - int force = 0, sort = 0;
  131719. + bool force = false, sort = false;
  131720. const char *arg;
  131721. int opt;
  131722. FILE *outf = NULL;
  131723. @@ -148,7 +153,7 @@
  131724. padsize = strtol(optarg, NULL, 0);
  131725. break;
  131726. case 'f':
  131727. - force = 1;
  131728. + force = true;
  131729. break;
  131730. case 'q':
  131731. quiet++;
  131732. @@ -174,7 +179,7 @@
  131733. break;
  131734. case 's':
  131735. - sort = 1;
  131736. + sort = true;
  131737. break;
  131738. case 'W':
  131739. @@ -184,7 +189,9 @@
  131740. case 'E':
  131741. parse_checks_option(false, true, optarg);
  131742. break;
  131743. -
  131744. + case '@':
  131745. + symbol_fixup_support = 1;
  131746. + break;
  131747. case 'h':
  131748. usage(NULL);
  131749. default:
  131750. @@ -237,7 +244,7 @@
  131751. if (streq(outname, "-")) {
  131752. outf = stdout;
  131753. } else {
  131754. - outf = fopen(outname, "w");
  131755. + outf = fopen(outname, "wb");
  131756. if (! outf)
  131757. die("Couldn't open output file %s: %s\n",
  131758. outname, strerror(errno));
  131759. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc.h linux-rpi/scripts/dtc/dtc.h
  131760. --- linux-4.1.13.orig/scripts/dtc/dtc.h 2015-11-09 23:34:10.000000000 +0100
  131761. +++ linux-rpi/scripts/dtc/dtc.h 2015-11-29 09:42:41.406999830 +0100
  131762. @@ -38,9 +38,9 @@
  131763. #include "util.h"
  131764. #ifdef DEBUG
  131765. -#define debug(fmt,args...) printf(fmt, ##args)
  131766. +#define debug(...) printf(__VA_ARGS__)
  131767. #else
  131768. -#define debug(fmt,args...)
  131769. +#define debug(...)
  131770. #endif
  131771. @@ -54,6 +54,7 @@
  131772. extern int minsize; /* Minimum blob size */
  131773. extern int padsize; /* Additional padding to blob */
  131774. extern int phandle_format; /* Use linux,phandle or phandle properties */
  131775. +extern int symbol_fixup_support;/* enable symbols & fixup support */
  131776. #define PHANDLE_LEGACY 0x1
  131777. #define PHANDLE_EPAPR 0x2
  131778. @@ -88,7 +89,7 @@
  131779. };
  131780. -#define empty_data ((struct data){ /* all .members = 0 or NULL */ })
  131781. +#define empty_data ((struct data){ 0 /* all .members = 0 or NULL */ })
  131782. #define for_each_marker(m) \
  131783. for (; (m); (m) = (m)->next)
  131784. @@ -118,7 +119,7 @@
  131785. struct data data_add_marker(struct data d, enum markertype type, char *ref);
  131786. -int data_is_one_string(struct data d);
  131787. +bool data_is_one_string(struct data d);
  131788. /* DT constraints */
  131789. @@ -127,13 +128,32 @@
  131790. /* Live trees */
  131791. struct label {
  131792. - int deleted;
  131793. + bool deleted;
  131794. char *label;
  131795. struct label *next;
  131796. };
  131797. +struct fixup_entry {
  131798. + int offset;
  131799. + struct node *node;
  131800. + struct property *prop;
  131801. + struct fixup_entry *next;
  131802. +};
  131803. +
  131804. +struct fixup {
  131805. + char *ref;
  131806. + struct fixup_entry *entries;
  131807. + struct fixup *next;
  131808. +};
  131809. +
  131810. +struct symbol {
  131811. + struct label *label;
  131812. + struct node *node;
  131813. + struct symbol *next;
  131814. +};
  131815. +
  131816. struct property {
  131817. - int deleted;
  131818. + bool deleted;
  131819. char *name;
  131820. struct data val;
  131821. @@ -143,7 +163,7 @@
  131822. };
  131823. struct node {
  131824. - int deleted;
  131825. + bool deleted;
  131826. char *name;
  131827. struct property *proplist;
  131828. struct node *children;
  131829. @@ -158,6 +178,12 @@
  131830. int addr_cells, size_cells;
  131831. struct label *labels;
  131832. +
  131833. + int is_root;
  131834. + int is_plugin;
  131835. + struct fixup *fixups;
  131836. + struct symbol *symbols;
  131837. + struct fixup_entry *local_fixups;
  131838. };
  131839. #define for_each_label_withdel(l0, l) \
  131840. @@ -181,6 +207,18 @@
  131841. for_each_child_withdel(n, c) \
  131842. if (!(c)->deleted)
  131843. +#define for_each_fixup(n, f) \
  131844. + for ((f) = (n)->fixups; (f); (f) = (f)->next)
  131845. +
  131846. +#define for_each_fixup_entry(f, fe) \
  131847. + for ((fe) = (f)->entries; (fe); (fe) = (fe)->next)
  131848. +
  131849. +#define for_each_symbol(n, s) \
  131850. + for ((s) = (n)->symbols; (s); (s) = (s)->next)
  131851. +
  131852. +#define for_each_local_fixup_entry(n, fe) \
  131853. + for ((fe) = (n)->local_fixups; (fe); (fe) = (fe)->next)
  131854. +
  131855. void add_label(struct label **labels, char *label);
  131856. void delete_labels(struct label **labels);
  131857. @@ -247,8 +285,8 @@
  131858. /* Checks */
  131859. -void parse_checks_option(bool warn, bool error, const char *optarg);
  131860. -void process_checks(int force, struct boot_info *bi);
  131861. +void parse_checks_option(bool warn, bool error, const char *arg);
  131862. +void process_checks(bool force, struct boot_info *bi);
  131863. /* Flattened trees */
  131864. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc-lexer.l linux-rpi/scripts/dtc/dtc-lexer.l
  131865. --- linux-4.1.13.orig/scripts/dtc/dtc-lexer.l 2015-11-09 23:34:10.000000000 +0100
  131866. +++ linux-rpi/scripts/dtc/dtc-lexer.l 2015-11-29 09:42:41.403000096 +0100
  131867. @@ -20,7 +20,6 @@
  131868. %option noyywrap nounput noinput never-interactive
  131869. -%x INCLUDE
  131870. %x BYTESTRING
  131871. %x PROPNODENAME
  131872. %s V1
  131873. @@ -40,6 +39,7 @@
  131874. #include "dtc-parser.tab.h"
  131875. YYLTYPE yylloc;
  131876. +extern bool treesource_error;
  131877. /* CAUTION: this will stop working if we ever use yyless() or yyunput() */
  131878. #define YY_USER_ACTION \
  131879. @@ -61,7 +61,8 @@
  131880. BEGIN(V1); \
  131881. static void push_input_file(const char *filename);
  131882. -static int pop_input_file(void);
  131883. +static bool pop_input_file(void);
  131884. +static void lexical_error(const char *fmt, ...);
  131885. %}
  131886. %%
  131887. @@ -75,11 +76,11 @@
  131888. char *line, *tmp, *fn;
  131889. /* skip text before line # */
  131890. line = yytext;
  131891. - while (!isdigit(*line))
  131892. + while (!isdigit((unsigned char)*line))
  131893. line++;
  131894. /* skip digits in line # */
  131895. tmp = line;
  131896. - while (!isspace(*tmp))
  131897. + while (!isspace((unsigned char)*tmp))
  131898. tmp++;
  131899. /* "NULL"-terminate line # */
  131900. *tmp = '\0';
  131901. @@ -112,6 +113,11 @@
  131902. return DT_V1;
  131903. }
  131904. +<*>"/plugin/" {
  131905. + DPRINT("Keyword: /plugin/\n");
  131906. + return DT_PLUGIN;
  131907. + }
  131908. +
  131909. <*>"/memreserve/" {
  131910. DPRINT("Keyword: /memreserve/\n");
  131911. BEGIN_DEFAULT();
  131912. @@ -146,15 +152,42 @@
  131913. }
  131914. <V1>([0-9]+|0[xX][0-9a-fA-F]+)(U|L|UL|LL|ULL)? {
  131915. - yylval.literal = xstrdup(yytext);
  131916. - DPRINT("Literal: '%s'\n", yylval.literal);
  131917. + char *e;
  131918. + DPRINT("Integer Literal: '%s'\n", yytext);
  131919. +
  131920. + errno = 0;
  131921. + yylval.integer = strtoull(yytext, &e, 0);
  131922. +
  131923. + assert(!(*e) || !e[strspn(e, "UL")]);
  131924. +
  131925. + if (errno == ERANGE)
  131926. + lexical_error("Integer literal '%s' out of range",
  131927. + yytext);
  131928. + else
  131929. + /* ERANGE is the only strtoull error triggerable
  131930. + * by strings matching the pattern */
  131931. + assert(errno == 0);
  131932. return DT_LITERAL;
  131933. }
  131934. <*>{CHAR_LITERAL} {
  131935. - yytext[yyleng-1] = '\0';
  131936. - yylval.literal = xstrdup(yytext+1);
  131937. - DPRINT("Character literal: %s\n", yylval.literal);
  131938. + struct data d;
  131939. + DPRINT("Character literal: %s\n", yytext);
  131940. +
  131941. + d = data_copy_escape_string(yytext+1, yyleng-2);
  131942. + if (d.len == 1) {
  131943. + lexical_error("Empty character literal");
  131944. + yylval.integer = 0;
  131945. + return DT_CHAR_LITERAL;
  131946. + }
  131947. +
  131948. + yylval.integer = (unsigned char)d.val[0];
  131949. +
  131950. + if (d.len > 2)
  131951. + lexical_error("Character literal has %d"
  131952. + " characters instead of 1",
  131953. + d.len - 1);
  131954. +
  131955. return DT_CHAR_LITERAL;
  131956. }
  131957. @@ -164,7 +197,7 @@
  131958. return DT_REF;
  131959. }
  131960. -<*>"&{/"{PATHCHAR}+\} { /* new-style path reference */
  131961. +<*>"&{/"{PATHCHAR}*\} { /* new-style path reference */
  131962. yytext[yyleng-1] = '\0';
  131963. DPRINT("Ref: %s\n", yytext+2);
  131964. yylval.labelref = xstrdup(yytext+2);
  131965. @@ -238,13 +271,24 @@
  131966. }
  131967. -static int pop_input_file(void)
  131968. +static bool pop_input_file(void)
  131969. {
  131970. if (srcfile_pop() == 0)
  131971. - return 0;
  131972. + return false;
  131973. yypop_buffer_state();
  131974. yyin = current_srcfile->f;
  131975. - return 1;
  131976. + return true;
  131977. +}
  131978. +
  131979. +static void lexical_error(const char *fmt, ...)
  131980. +{
  131981. + va_list ap;
  131982. +
  131983. + va_start(ap, fmt);
  131984. + srcpos_verror(&yylloc, "Lexical error", fmt, ap);
  131985. + va_end(ap);
  131986. +
  131987. + treesource_error = true;
  131988. }
  131989. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc-lexer.lex.c_shipped linux-rpi/scripts/dtc/dtc-lexer.lex.c_shipped
  131990. --- linux-4.1.13.orig/scripts/dtc/dtc-lexer.lex.c_shipped 2015-11-09 23:34:10.000000000 +0100
  131991. +++ linux-rpi/scripts/dtc/dtc-lexer.lex.c_shipped 2015-11-29 09:42:41.406999830 +0100
  131992. @@ -372,8 +372,8 @@
  131993. *yy_cp = '\0'; \
  131994. (yy_c_buf_p) = yy_cp;
  131995. -#define YY_NUM_RULES 30
  131996. -#define YY_END_OF_BUFFER 31
  131997. +#define YY_NUM_RULES 31
  131998. +#define YY_END_OF_BUFFER 32
  131999. /* This struct is not used in this scanner,
  132000. but its presence is necessary. */
  132001. struct yy_trans_info
  132002. @@ -381,25 +381,26 @@
  132003. flex_int32_t yy_verify;
  132004. flex_int32_t yy_nxt;
  132005. };
  132006. -static yyconst flex_int16_t yy_accept[161] =
  132007. +static yyconst flex_int16_t yy_accept[166] =
  132008. { 0,
  132009. + 0, 0, 0, 0, 0, 0, 0, 0, 32, 30,
  132010. + 19, 19, 30, 30, 30, 30, 30, 30, 30, 30,
  132011. + 30, 30, 30, 30, 30, 30, 16, 17, 17, 30,
  132012. + 17, 11, 11, 19, 27, 0, 3, 0, 28, 13,
  132013. + 0, 0, 12, 0, 0, 0, 0, 0, 0, 0,
  132014. + 0, 22, 24, 26, 25, 23, 0, 10, 29, 0,
  132015. + 0, 0, 15, 15, 17, 17, 17, 11, 11, 11,
  132016. + 0, 13, 0, 12, 0, 0, 0, 21, 0, 0,
  132017. + 0, 0, 0, 0, 0, 0, 0, 17, 11, 11,
  132018. + 11, 0, 14, 20, 0, 0, 0, 0, 0, 0,
  132019. +
  132020. + 0, 0, 0, 0, 17, 0, 0, 0, 0, 0,
  132021. + 0, 0, 0, 0, 0, 17, 7, 0, 0, 0,
  132022. + 0, 0, 0, 0, 2, 0, 0, 0, 0, 0,
  132023. + 0, 0, 0, 0, 4, 18, 0, 0, 5, 2,
  132024. 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  132025. - 31, 29, 18, 18, 29, 29, 29, 29, 29, 29,
  132026. - 29, 29, 29, 29, 29, 29, 29, 29, 15, 16,
  132027. - 16, 29, 16, 10, 10, 18, 26, 0, 3, 0,
  132028. - 27, 12, 0, 0, 11, 0, 0, 0, 0, 0,
  132029. - 0, 0, 21, 23, 25, 24, 22, 0, 9, 28,
  132030. - 0, 0, 0, 14, 14, 16, 16, 16, 10, 10,
  132031. - 10, 0, 12, 0, 11, 0, 0, 0, 20, 0,
  132032. - 0, 0, 0, 0, 0, 0, 0, 16, 10, 10,
  132033. - 10, 0, 19, 0, 0, 0, 0, 0, 0, 0,
  132034. -
  132035. - 0, 0, 16, 13, 0, 0, 0, 0, 0, 0,
  132036. - 0, 0, 0, 16, 6, 0, 0, 0, 0, 0,
  132037. - 0, 2, 0, 0, 0, 0, 0, 0, 0, 0,
  132038. - 4, 17, 0, 0, 2, 0, 0, 0, 0, 0,
  132039. - 0, 0, 0, 0, 0, 0, 0, 1, 0, 0,
  132040. - 0, 0, 5, 8, 0, 0, 0, 0, 7, 0
  132041. + 0, 0, 1, 0, 0, 0, 0, 6, 9, 0,
  132042. + 0, 0, 0, 8, 0
  132043. } ;
  132044. static yyconst flex_int32_t yy_ec[256] =
  132045. @@ -415,9 +416,9 @@
  132046. 22, 22, 22, 22, 24, 22, 22, 25, 22, 22,
  132047. 1, 26, 27, 1, 22, 1, 21, 28, 29, 30,
  132048. - 31, 21, 22, 22, 32, 22, 22, 33, 34, 35,
  132049. - 36, 37, 22, 38, 39, 40, 41, 42, 22, 25,
  132050. - 43, 22, 44, 45, 46, 1, 1, 1, 1, 1,
  132051. + 31, 21, 32, 22, 33, 22, 22, 34, 35, 36,
  132052. + 37, 38, 22, 39, 40, 41, 42, 43, 22, 25,
  132053. + 44, 22, 45, 46, 47, 1, 1, 1, 1, 1,
  132054. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132055. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132056. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132057. @@ -434,163 +435,165 @@
  132058. 1, 1, 1, 1, 1
  132059. } ;
  132060. -static yyconst flex_int32_t yy_meta[47] =
  132061. +static yyconst flex_int32_t yy_meta[48] =
  132062. { 0,
  132063. 1, 1, 1, 1, 1, 1, 2, 3, 1, 2,
  132064. 2, 2, 4, 5, 5, 5, 6, 1, 1, 1,
  132065. 7, 8, 8, 8, 8, 1, 1, 7, 7, 7,
  132066. 7, 8, 8, 8, 8, 8, 8, 8, 8, 8,
  132067. - 8, 8, 8, 3, 1, 1
  132068. + 8, 8, 8, 8, 3, 1, 4
  132069. } ;
  132070. -static yyconst flex_int16_t yy_base[175] =
  132071. +static yyconst flex_int16_t yy_base[180] =
  132072. { 0,
  132073. - 0, 385, 378, 40, 41, 383, 72, 382, 34, 44,
  132074. - 388, 393, 61, 117, 368, 116, 115, 115, 115, 48,
  132075. - 367, 107, 368, 339, 127, 120, 0, 147, 393, 0,
  132076. - 127, 0, 133, 156, 168, 153, 393, 125, 393, 380,
  132077. - 393, 0, 369, 127, 393, 160, 371, 377, 347, 21,
  132078. - 343, 346, 393, 393, 393, 393, 393, 359, 393, 393,
  132079. - 183, 343, 339, 393, 356, 0, 183, 340, 187, 348,
  132080. - 347, 0, 0, 0, 178, 359, 195, 365, 354, 326,
  132081. - 332, 325, 334, 328, 204, 326, 331, 324, 393, 335,
  132082. - 150, 311, 343, 342, 315, 322, 340, 179, 313, 207,
  132083. -
  132084. - 319, 316, 317, 393, 337, 333, 305, 302, 311, 301,
  132085. - 310, 190, 338, 337, 393, 307, 322, 301, 305, 277,
  132086. - 208, 311, 307, 278, 271, 270, 248, 246, 213, 130,
  132087. - 393, 393, 263, 235, 207, 221, 218, 229, 213, 213,
  132088. - 206, 234, 218, 210, 208, 193, 219, 393, 223, 204,
  132089. - 176, 157, 393, 393, 120, 106, 97, 119, 393, 393,
  132090. - 245, 251, 259, 263, 267, 273, 280, 284, 292, 300,
  132091. - 304, 310, 318, 326
  132092. + 0, 393, 35, 392, 66, 391, 38, 107, 397, 401,
  132093. + 55, 113, 377, 112, 111, 111, 114, 42, 376, 106,
  132094. + 377, 347, 126, 120, 0, 147, 401, 0, 124, 0,
  132095. + 137, 158, 170, 163, 401, 153, 401, 389, 401, 0,
  132096. + 378, 120, 401, 131, 380, 386, 355, 139, 351, 355,
  132097. + 351, 401, 401, 401, 401, 401, 367, 401, 401, 185,
  132098. + 350, 346, 401, 364, 0, 185, 347, 189, 356, 355,
  132099. + 0, 0, 330, 180, 366, 141, 372, 361, 332, 338,
  132100. + 331, 341, 334, 326, 205, 331, 337, 329, 401, 341,
  132101. + 167, 316, 401, 349, 348, 320, 328, 346, 180, 318,
  132102. +
  132103. + 324, 209, 324, 320, 322, 342, 338, 309, 306, 315,
  132104. + 305, 315, 312, 192, 342, 341, 401, 293, 306, 282,
  132105. + 268, 252, 255, 203, 285, 282, 272, 268, 252, 233,
  132106. + 232, 239, 208, 107, 401, 401, 238, 211, 401, 211,
  132107. + 212, 208, 228, 203, 215, 207, 233, 222, 212, 211,
  132108. + 203, 227, 401, 237, 225, 204, 185, 401, 401, 149,
  132109. + 128, 88, 42, 401, 401, 253, 259, 267, 271, 275,
  132110. + 281, 288, 292, 300, 308, 312, 318, 326, 334
  132111. } ;
  132112. -static yyconst flex_int16_t yy_def[175] =
  132113. +static yyconst flex_int16_t yy_def[180] =
  132114. { 0,
  132115. - 160, 1, 1, 1, 1, 5, 160, 7, 1, 1,
  132116. - 160, 160, 160, 160, 160, 161, 162, 163, 160, 160,
  132117. - 160, 160, 164, 160, 160, 160, 165, 164, 160, 166,
  132118. - 167, 166, 166, 160, 160, 160, 160, 161, 160, 161,
  132119. - 160, 168, 160, 163, 160, 163, 169, 170, 160, 160,
  132120. - 160, 160, 160, 160, 160, 160, 160, 164, 160, 160,
  132121. - 160, 160, 160, 160, 164, 166, 167, 166, 160, 160,
  132122. - 160, 171, 168, 172, 163, 169, 169, 170, 160, 160,
  132123. - 160, 160, 160, 160, 160, 160, 160, 166, 160, 160,
  132124. - 171, 172, 160, 160, 160, 160, 160, 160, 160, 160,
  132125. -
  132126. - 160, 160, 166, 160, 160, 160, 160, 160, 160, 160,
  132127. - 160, 173, 160, 166, 160, 160, 160, 160, 160, 160,
  132128. - 173, 160, 173, 160, 160, 160, 160, 160, 160, 160,
  132129. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132130. - 160, 160, 174, 160, 160, 160, 174, 160, 174, 160,
  132131. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 0,
  132132. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132133. - 160, 160, 160, 160
  132134. + 165, 1, 1, 3, 165, 5, 1, 1, 165, 165,
  132135. + 165, 165, 165, 166, 167, 168, 165, 165, 165, 165,
  132136. + 169, 165, 165, 165, 170, 169, 165, 171, 172, 171,
  132137. + 171, 165, 165, 165, 165, 166, 165, 166, 165, 173,
  132138. + 165, 168, 165, 168, 174, 175, 165, 165, 165, 165,
  132139. + 165, 165, 165, 165, 165, 165, 169, 165, 165, 165,
  132140. + 165, 165, 165, 169, 171, 172, 171, 165, 165, 165,
  132141. + 176, 173, 177, 168, 174, 174, 175, 165, 165, 165,
  132142. + 165, 165, 165, 165, 165, 165, 165, 171, 165, 165,
  132143. + 176, 177, 165, 165, 165, 165, 165, 165, 165, 165,
  132144. +
  132145. + 165, 165, 165, 165, 171, 165, 165, 165, 165, 165,
  132146. + 165, 165, 165, 178, 165, 171, 165, 165, 165, 165,
  132147. + 165, 165, 165, 178, 165, 178, 165, 165, 165, 165,
  132148. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132149. + 165, 165, 165, 165, 165, 165, 165, 179, 165, 165,
  132150. + 165, 179, 165, 179, 165, 165, 165, 165, 165, 165,
  132151. + 165, 165, 165, 165, 0, 165, 165, 165, 165, 165,
  132152. + 165, 165, 165, 165, 165, 165, 165, 165, 165
  132153. } ;
  132154. -static yyconst flex_int16_t yy_nxt[440] =
  132155. +static yyconst flex_int16_t yy_nxt[449] =
  132156. { 0,
  132157. - 12, 13, 14, 13, 15, 16, 12, 17, 18, 12,
  132158. - 12, 12, 19, 12, 12, 12, 12, 20, 21, 22,
  132159. - 23, 23, 23, 23, 23, 12, 12, 23, 23, 23,
  132160. - 23, 23, 23, 23, 23, 23, 23, 23, 23, 23,
  132161. - 23, 23, 23, 12, 24, 12, 25, 34, 35, 35,
  132162. - 25, 81, 26, 26, 27, 27, 27, 34, 35, 35,
  132163. - 82, 28, 36, 36, 36, 53, 54, 29, 28, 28,
  132164. - 28, 28, 12, 13, 14, 13, 15, 16, 30, 17,
  132165. - 18, 30, 30, 30, 26, 30, 30, 30, 12, 20,
  132166. - 21, 22, 31, 31, 31, 31, 31, 32, 12, 31,
  132167. -
  132168. - 31, 31, 31, 31, 31, 31, 31, 31, 31, 31,
  132169. - 31, 31, 31, 31, 31, 12, 24, 12, 36, 36,
  132170. - 36, 39, 41, 45, 47, 56, 57, 48, 61, 47,
  132171. - 39, 159, 48, 66, 61, 45, 66, 66, 66, 158,
  132172. - 46, 40, 49, 59, 50, 157, 51, 49, 52, 50,
  132173. - 40, 63, 46, 52, 36, 36, 36, 156, 43, 62,
  132174. - 65, 65, 65, 59, 136, 68, 137, 65, 75, 69,
  132175. - 69, 69, 70, 71, 65, 65, 65, 65, 70, 71,
  132176. - 72, 69, 69, 69, 61, 46, 45, 155, 154, 66,
  132177. - 70, 71, 66, 66, 66, 122, 85, 85, 85, 59,
  132178. -
  132179. - 69, 69, 69, 46, 77, 100, 109, 93, 100, 70,
  132180. - 71, 110, 112, 122, 129, 123, 153, 85, 85, 85,
  132181. - 135, 135, 135, 148, 148, 160, 135, 135, 135, 152,
  132182. - 142, 142, 142, 123, 143, 142, 142, 142, 151, 143,
  132183. - 150, 146, 145, 149, 149, 38, 38, 38, 38, 38,
  132184. - 38, 38, 38, 42, 144, 141, 140, 42, 42, 44,
  132185. - 44, 44, 44, 44, 44, 44, 44, 58, 58, 58,
  132186. - 58, 64, 139, 64, 66, 138, 134, 66, 133, 66,
  132187. - 66, 67, 132, 131, 67, 67, 67, 67, 73, 130,
  132188. - 73, 73, 76, 76, 76, 76, 76, 76, 76, 76,
  132189. -
  132190. - 78, 78, 78, 78, 78, 78, 78, 78, 91, 160,
  132191. - 91, 92, 129, 92, 92, 128, 92, 92, 121, 121,
  132192. - 121, 121, 121, 121, 121, 121, 147, 147, 147, 147,
  132193. - 147, 147, 147, 147, 127, 126, 125, 124, 61, 61,
  132194. - 120, 119, 118, 117, 116, 115, 47, 114, 110, 113,
  132195. - 111, 108, 107, 106, 48, 105, 104, 89, 103, 102,
  132196. - 101, 99, 98, 97, 96, 95, 94, 79, 77, 90,
  132197. - 89, 88, 59, 87, 86, 59, 84, 83, 80, 79,
  132198. - 77, 74, 160, 60, 59, 55, 37, 160, 33, 25,
  132199. - 26, 25, 11, 160, 160, 160, 160, 160, 160, 160,
  132200. -
  132201. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132202. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132203. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132204. - 160, 160, 160, 160, 160, 160, 160, 160, 160
  132205. + 10, 11, 12, 11, 13, 14, 10, 15, 16, 10,
  132206. + 10, 10, 17, 10, 10, 10, 10, 18, 19, 20,
  132207. + 21, 21, 21, 21, 21, 10, 10, 21, 21, 21,
  132208. + 21, 21, 21, 21, 21, 21, 21, 21, 21, 21,
  132209. + 21, 21, 21, 21, 10, 22, 10, 24, 25, 25,
  132210. + 25, 32, 33, 33, 164, 26, 34, 34, 34, 52,
  132211. + 53, 27, 26, 26, 26, 26, 10, 11, 12, 11,
  132212. + 13, 14, 28, 15, 16, 28, 28, 28, 24, 28,
  132213. + 28, 28, 10, 18, 19, 20, 29, 29, 29, 29,
  132214. + 29, 30, 10, 29, 29, 29, 29, 29, 29, 29,
  132215. +
  132216. + 29, 29, 29, 29, 29, 29, 29, 29, 29, 29,
  132217. + 10, 22, 10, 23, 34, 34, 34, 37, 39, 43,
  132218. + 32, 33, 33, 45, 55, 56, 46, 60, 43, 45,
  132219. + 65, 163, 46, 65, 65, 65, 44, 38, 60, 74,
  132220. + 58, 47, 141, 48, 142, 44, 49, 47, 50, 48,
  132221. + 76, 51, 62, 94, 50, 41, 44, 51, 37, 61,
  132222. + 64, 64, 64, 58, 34, 34, 34, 64, 162, 80,
  132223. + 67, 68, 68, 68, 64, 64, 64, 64, 38, 81,
  132224. + 69, 70, 71, 68, 68, 68, 60, 161, 43, 69,
  132225. + 70, 65, 69, 70, 65, 65, 65, 125, 85, 85,
  132226. +
  132227. + 85, 58, 68, 68, 68, 44, 102, 110, 125, 133,
  132228. + 102, 69, 70, 111, 114, 160, 159, 126, 85, 85,
  132229. + 85, 140, 140, 140, 140, 140, 140, 153, 126, 147,
  132230. + 147, 147, 153, 148, 147, 147, 147, 158, 148, 165,
  132231. + 157, 156, 155, 151, 150, 149, 146, 154, 145, 144,
  132232. + 143, 139, 154, 36, 36, 36, 36, 36, 36, 36,
  132233. + 36, 40, 138, 137, 136, 40, 40, 42, 42, 42,
  132234. + 42, 42, 42, 42, 42, 57, 57, 57, 57, 63,
  132235. + 135, 63, 65, 134, 165, 65, 133, 65, 65, 66,
  132236. + 132, 131, 66, 66, 66, 66, 72, 130, 72, 72,
  132237. +
  132238. + 75, 75, 75, 75, 75, 75, 75, 75, 77, 77,
  132239. + 77, 77, 77, 77, 77, 77, 91, 129, 91, 92,
  132240. + 128, 92, 92, 127, 92, 92, 124, 124, 124, 124,
  132241. + 124, 124, 124, 124, 152, 152, 152, 152, 152, 152,
  132242. + 152, 152, 60, 60, 123, 122, 121, 120, 119, 118,
  132243. + 117, 45, 116, 111, 115, 113, 112, 109, 108, 107,
  132244. + 46, 106, 93, 89, 105, 104, 103, 101, 100, 99,
  132245. + 98, 97, 96, 95, 78, 76, 93, 90, 89, 88,
  132246. + 58, 87, 86, 58, 84, 83, 82, 79, 78, 76,
  132247. + 73, 165, 59, 58, 54, 35, 165, 31, 23, 23,
  132248. +
  132249. + 9, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132250. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132251. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132252. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132253. + 165, 165, 165, 165, 165, 165, 165, 165
  132254. } ;
  132255. -static yyconst flex_int16_t yy_chk[440] =
  132256. +static yyconst flex_int16_t yy_chk[449] =
  132257. { 0,
  132258. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132259. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132260. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132261. 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
  132262. - 1, 1, 1, 1, 1, 1, 4, 9, 9, 9,
  132263. - 10, 50, 4, 5, 5, 5, 5, 10, 10, 10,
  132264. - 50, 5, 13, 13, 13, 20, 20, 5, 5, 5,
  132265. - 5, 5, 7, 7, 7, 7, 7, 7, 7, 7,
  132266. - 7, 7, 7, 7, 7, 7, 7, 7, 7, 7,
  132267. - 7, 7, 7, 7, 7, 7, 7, 7, 7, 7,
  132268. -
  132269. - 7, 7, 7, 7, 7, 7, 7, 7, 7, 7,
  132270. - 7, 7, 7, 7, 7, 7, 7, 7, 14, 14,
  132271. - 14, 16, 17, 18, 19, 22, 22, 19, 25, 26,
  132272. - 38, 158, 26, 31, 33, 44, 31, 31, 31, 157,
  132273. - 18, 16, 19, 31, 19, 156, 19, 26, 19, 26,
  132274. - 38, 26, 44, 26, 36, 36, 36, 155, 17, 25,
  132275. - 28, 28, 28, 28, 130, 33, 130, 28, 46, 34,
  132276. - 34, 34, 91, 91, 28, 28, 28, 28, 34, 34,
  132277. - 34, 35, 35, 35, 61, 46, 75, 152, 151, 67,
  132278. - 35, 35, 67, 67, 67, 112, 61, 61, 61, 67,
  132279. -
  132280. - 69, 69, 69, 75, 77, 85, 98, 77, 100, 69,
  132281. - 69, 98, 100, 121, 129, 112, 150, 85, 85, 85,
  132282. - 135, 135, 135, 143, 147, 149, 129, 129, 129, 146,
  132283. - 138, 138, 138, 121, 138, 142, 142, 142, 145, 142,
  132284. - 144, 141, 140, 143, 147, 161, 161, 161, 161, 161,
  132285. - 161, 161, 161, 162, 139, 137, 136, 162, 162, 163,
  132286. - 163, 163, 163, 163, 163, 163, 163, 164, 164, 164,
  132287. - 164, 165, 134, 165, 166, 133, 128, 166, 127, 166,
  132288. - 166, 167, 126, 125, 167, 167, 167, 167, 168, 124,
  132289. - 168, 168, 169, 169, 169, 169, 169, 169, 169, 169,
  132290. -
  132291. - 170, 170, 170, 170, 170, 170, 170, 170, 171, 123,
  132292. - 171, 172, 122, 172, 172, 120, 172, 172, 173, 173,
  132293. - 173, 173, 173, 173, 173, 173, 174, 174, 174, 174,
  132294. - 174, 174, 174, 174, 119, 118, 117, 116, 114, 113,
  132295. - 111, 110, 109, 108, 107, 106, 105, 103, 102, 101,
  132296. - 99, 97, 96, 95, 94, 93, 92, 90, 88, 87,
  132297. - 86, 84, 83, 82, 81, 80, 79, 78, 76, 71,
  132298. - 70, 68, 65, 63, 62, 58, 52, 51, 49, 48,
  132299. - 47, 43, 40, 24, 23, 21, 15, 11, 8, 6,
  132300. - 3, 2, 160, 160, 160, 160, 160, 160, 160, 160,
  132301. -
  132302. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132303. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132304. - 160, 160, 160, 160, 160, 160, 160, 160, 160, 160,
  132305. - 160, 160, 160, 160, 160, 160, 160, 160, 160
  132306. + 1, 1, 1, 1, 1, 1, 1, 3, 3, 3,
  132307. + 3, 7, 7, 7, 163, 3, 11, 11, 11, 18,
  132308. + 18, 3, 3, 3, 3, 3, 5, 5, 5, 5,
  132309. + 5, 5, 5, 5, 5, 5, 5, 5, 5, 5,
  132310. + 5, 5, 5, 5, 5, 5, 5, 5, 5, 5,
  132311. + 5, 5, 5, 5, 5, 5, 5, 5, 5, 5,
  132312. +
  132313. + 5, 5, 5, 5, 5, 5, 5, 5, 5, 5,
  132314. + 5, 5, 5, 8, 12, 12, 12, 14, 15, 16,
  132315. + 8, 8, 8, 17, 20, 20, 17, 23, 42, 24,
  132316. + 29, 162, 24, 29, 29, 29, 16, 14, 31, 44,
  132317. + 29, 17, 134, 17, 134, 42, 17, 24, 17, 24,
  132318. + 76, 17, 24, 76, 24, 15, 44, 24, 36, 23,
  132319. + 26, 26, 26, 26, 34, 34, 34, 26, 161, 48,
  132320. + 31, 32, 32, 32, 26, 26, 26, 26, 36, 48,
  132321. + 32, 32, 32, 33, 33, 33, 60, 160, 74, 91,
  132322. + 91, 66, 33, 33, 66, 66, 66, 114, 60, 60,
  132323. +
  132324. + 60, 66, 68, 68, 68, 74, 85, 99, 124, 133,
  132325. + 102, 68, 68, 99, 102, 157, 156, 114, 85, 85,
  132326. + 85, 133, 133, 133, 140, 140, 140, 148, 124, 143,
  132327. + 143, 143, 152, 143, 147, 147, 147, 155, 147, 154,
  132328. + 151, 150, 149, 146, 145, 144, 142, 148, 141, 138,
  132329. + 137, 132, 152, 166, 166, 166, 166, 166, 166, 166,
  132330. + 166, 167, 131, 130, 129, 167, 167, 168, 168, 168,
  132331. + 168, 168, 168, 168, 168, 169, 169, 169, 169, 170,
  132332. + 128, 170, 171, 127, 126, 171, 125, 171, 171, 172,
  132333. + 123, 122, 172, 172, 172, 172, 173, 121, 173, 173,
  132334. +
  132335. + 174, 174, 174, 174, 174, 174, 174, 174, 175, 175,
  132336. + 175, 175, 175, 175, 175, 175, 176, 120, 176, 177,
  132337. + 119, 177, 177, 118, 177, 177, 178, 178, 178, 178,
  132338. + 178, 178, 178, 178, 179, 179, 179, 179, 179, 179,
  132339. + 179, 179, 116, 115, 113, 112, 111, 110, 109, 108,
  132340. + 107, 106, 105, 104, 103, 101, 100, 98, 97, 96,
  132341. + 95, 94, 92, 90, 88, 87, 86, 84, 83, 82,
  132342. + 81, 80, 79, 78, 77, 75, 73, 70, 69, 67,
  132343. + 64, 62, 61, 57, 51, 50, 49, 47, 46, 45,
  132344. + 41, 38, 22, 21, 19, 13, 9, 6, 4, 2,
  132345. +
  132346. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132347. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132348. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132349. + 165, 165, 165, 165, 165, 165, 165, 165, 165, 165,
  132350. + 165, 165, 165, 165, 165, 165, 165, 165
  132351. } ;
  132352. static yy_state_type yy_last_accepting_state;
  132353. @@ -631,13 +634,13 @@
  132354. -
  132355. -#line 38 "dtc-lexer.l"
  132356. +#line 37 "dtc-lexer.l"
  132357. #include "dtc.h"
  132358. #include "srcpos.h"
  132359. #include "dtc-parser.tab.h"
  132360. YYLTYPE yylloc;
  132361. +extern bool treesource_error;
  132362. /* CAUTION: this will stop working if we ever use yyless() or yyunput() */
  132363. #define YY_USER_ACTION \
  132364. @@ -659,14 +662,14 @@
  132365. BEGIN(V1); \
  132366. static void push_input_file(const char *filename);
  132367. -static int pop_input_file(void);
  132368. -#line 664 "dtc-lexer.lex.c"
  132369. +static bool pop_input_file(void);
  132370. +static void lexical_error(const char *fmt, ...);
  132371. +#line 668 "dtc-lexer.lex.c"
  132372. #define INITIAL 0
  132373. -#define INCLUDE 1
  132374. -#define BYTESTRING 2
  132375. -#define PROPNODENAME 3
  132376. -#define V1 4
  132377. +#define BYTESTRING 1
  132378. +#define PROPNODENAME 2
  132379. +#define V1 3
  132380. #ifndef YY_NO_UNISTD_H
  132381. /* Special case for "unistd.h", since it is non-ANSI. We include it way
  132382. @@ -852,9 +855,9 @@
  132383. register char *yy_cp, *yy_bp;
  132384. register int yy_act;
  132385. -#line 67 "dtc-lexer.l"
  132386. +#line 68 "dtc-lexer.l"
  132387. -#line 858 "dtc-lexer.lex.c"
  132388. +#line 861 "dtc-lexer.lex.c"
  132389. if ( !(yy_init) )
  132390. {
  132391. @@ -908,13 +911,13 @@
  132392. while ( yy_chk[yy_base[yy_current_state] + yy_c] != yy_current_state )
  132393. {
  132394. yy_current_state = (int) yy_def[yy_current_state];
  132395. - if ( yy_current_state >= 161 )
  132396. + if ( yy_current_state >= 166 )
  132397. yy_c = yy_meta[(unsigned int) yy_c];
  132398. }
  132399. yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
  132400. ++yy_cp;
  132401. }
  132402. - while ( yy_current_state != 160 );
  132403. + while ( yy_current_state != 165 );
  132404. yy_cp = (yy_last_accepting_cpos);
  132405. yy_current_state = (yy_last_accepting_state);
  132406. @@ -937,7 +940,7 @@
  132407. case 1:
  132408. /* rule 1 can match eol */
  132409. YY_RULE_SETUP
  132410. -#line 68 "dtc-lexer.l"
  132411. +#line 69 "dtc-lexer.l"
  132412. {
  132413. char *name = strchr(yytext, '\"') + 1;
  132414. yytext[yyleng-1] = '\0';
  132415. @@ -947,16 +950,16 @@
  132416. case 2:
  132417. /* rule 2 can match eol */
  132418. YY_RULE_SETUP
  132419. -#line 74 "dtc-lexer.l"
  132420. +#line 75 "dtc-lexer.l"
  132421. {
  132422. char *line, *tmp, *fn;
  132423. /* skip text before line # */
  132424. line = yytext;
  132425. - while (!isdigit(*line))
  132426. + while (!isdigit((unsigned char)*line))
  132427. line++;
  132428. /* skip digits in line # */
  132429. tmp = line;
  132430. - while (!isspace(*tmp))
  132431. + while (!isspace((unsigned char)*tmp))
  132432. tmp++;
  132433. /* "NULL"-terminate line # */
  132434. *tmp = '\0';
  132435. @@ -970,11 +973,10 @@
  132436. }
  132437. YY_BREAK
  132438. case YY_STATE_EOF(INITIAL):
  132439. -case YY_STATE_EOF(INCLUDE):
  132440. case YY_STATE_EOF(BYTESTRING):
  132441. case YY_STATE_EOF(PROPNODENAME):
  132442. case YY_STATE_EOF(V1):
  132443. -#line 95 "dtc-lexer.l"
  132444. +#line 96 "dtc-lexer.l"
  132445. {
  132446. if (!pop_input_file()) {
  132447. yyterminate();
  132448. @@ -984,7 +986,7 @@
  132449. case 3:
  132450. /* rule 3 can match eol */
  132451. YY_RULE_SETUP
  132452. -#line 101 "dtc-lexer.l"
  132453. +#line 102 "dtc-lexer.l"
  132454. {
  132455. DPRINT("String: %s\n", yytext);
  132456. yylval.data = data_copy_escape_string(yytext+1,
  132457. @@ -994,7 +996,7 @@
  132458. YY_BREAK
  132459. case 4:
  132460. YY_RULE_SETUP
  132461. -#line 108 "dtc-lexer.l"
  132462. +#line 109 "dtc-lexer.l"
  132463. {
  132464. DPRINT("Keyword: /dts-v1/\n");
  132465. dts_version = 1;
  132466. @@ -1004,25 +1006,33 @@
  132467. YY_BREAK
  132468. case 5:
  132469. YY_RULE_SETUP
  132470. -#line 115 "dtc-lexer.l"
  132471. +#line 116 "dtc-lexer.l"
  132472. +{
  132473. + DPRINT("Keyword: /plugin/\n");
  132474. + return DT_PLUGIN;
  132475. + }
  132476. + YY_BREAK
  132477. +case 6:
  132478. +YY_RULE_SETUP
  132479. +#line 121 "dtc-lexer.l"
  132480. {
  132481. DPRINT("Keyword: /memreserve/\n");
  132482. BEGIN_DEFAULT();
  132483. return DT_MEMRESERVE;
  132484. }
  132485. YY_BREAK
  132486. -case 6:
  132487. +case 7:
  132488. YY_RULE_SETUP
  132489. -#line 121 "dtc-lexer.l"
  132490. +#line 127 "dtc-lexer.l"
  132491. {
  132492. DPRINT("Keyword: /bits/\n");
  132493. BEGIN_DEFAULT();
  132494. return DT_BITS;
  132495. }
  132496. YY_BREAK
  132497. -case 7:
  132498. +case 8:
  132499. YY_RULE_SETUP
  132500. -#line 127 "dtc-lexer.l"
  132501. +#line 133 "dtc-lexer.l"
  132502. {
  132503. DPRINT("Keyword: /delete-property/\n");
  132504. DPRINT("<PROPNODENAME>\n");
  132505. @@ -1030,9 +1040,9 @@
  132506. return DT_DEL_PROP;
  132507. }
  132508. YY_BREAK
  132509. -case 8:
  132510. +case 9:
  132511. YY_RULE_SETUP
  132512. -#line 134 "dtc-lexer.l"
  132513. +#line 140 "dtc-lexer.l"
  132514. {
  132515. DPRINT("Keyword: /delete-node/\n");
  132516. DPRINT("<PROPNODENAME>\n");
  132517. @@ -1040,9 +1050,9 @@
  132518. return DT_DEL_NODE;
  132519. }
  132520. YY_BREAK
  132521. -case 9:
  132522. +case 10:
  132523. YY_RULE_SETUP
  132524. -#line 141 "dtc-lexer.l"
  132525. +#line 147 "dtc-lexer.l"
  132526. {
  132527. DPRINT("Label: %s\n", yytext);
  132528. yylval.labelref = xstrdup(yytext);
  132529. @@ -1050,38 +1060,65 @@
  132530. return DT_LABEL;
  132531. }
  132532. YY_BREAK
  132533. -case 10:
  132534. +case 11:
  132535. YY_RULE_SETUP
  132536. -#line 148 "dtc-lexer.l"
  132537. +#line 154 "dtc-lexer.l"
  132538. {
  132539. - yylval.literal = xstrdup(yytext);
  132540. - DPRINT("Literal: '%s'\n", yylval.literal);
  132541. + char *e;
  132542. + DPRINT("Integer Literal: '%s'\n", yytext);
  132543. +
  132544. + errno = 0;
  132545. + yylval.integer = strtoull(yytext, &e, 0);
  132546. +
  132547. + assert(!(*e) || !e[strspn(e, "UL")]);
  132548. +
  132549. + if (errno == ERANGE)
  132550. + lexical_error("Integer literal '%s' out of range",
  132551. + yytext);
  132552. + else
  132553. + /* ERANGE is the only strtoull error triggerable
  132554. + * by strings matching the pattern */
  132555. + assert(errno == 0);
  132556. return DT_LITERAL;
  132557. }
  132558. YY_BREAK
  132559. -case 11:
  132560. -/* rule 11 can match eol */
  132561. +case 12:
  132562. +/* rule 12 can match eol */
  132563. YY_RULE_SETUP
  132564. -#line 154 "dtc-lexer.l"
  132565. +#line 173 "dtc-lexer.l"
  132566. {
  132567. - yytext[yyleng-1] = '\0';
  132568. - yylval.literal = xstrdup(yytext+1);
  132569. - DPRINT("Character literal: %s\n", yylval.literal);
  132570. + struct data d;
  132571. + DPRINT("Character literal: %s\n", yytext);
  132572. +
  132573. + d = data_copy_escape_string(yytext+1, yyleng-2);
  132574. + if (d.len == 1) {
  132575. + lexical_error("Empty character literal");
  132576. + yylval.integer = 0;
  132577. + return DT_CHAR_LITERAL;
  132578. + }
  132579. +
  132580. + yylval.integer = (unsigned char)d.val[0];
  132581. +
  132582. + if (d.len > 2)
  132583. + lexical_error("Character literal has %d"
  132584. + " characters instead of 1",
  132585. + d.len - 1);
  132586. +
  132587. return DT_CHAR_LITERAL;
  132588. }
  132589. YY_BREAK
  132590. -case 12:
  132591. +case 13:
  132592. YY_RULE_SETUP
  132593. -#line 161 "dtc-lexer.l"
  132594. +#line 194 "dtc-lexer.l"
  132595. { /* label reference */
  132596. DPRINT("Ref: %s\n", yytext+1);
  132597. yylval.labelref = xstrdup(yytext+1);
  132598. return DT_REF;
  132599. }
  132600. YY_BREAK
  132601. -case 13:
  132602. +case 14:
  132603. YY_RULE_SETUP
  132604. -#line 167 "dtc-lexer.l"
  132605. +#line 200 "dtc-lexer.l"
  132606. { /* new-style path reference */
  132607. yytext[yyleng-1] = '\0';
  132608. DPRINT("Ref: %s\n", yytext+2);
  132609. @@ -1089,27 +1126,27 @@
  132610. return DT_REF;
  132611. }
  132612. YY_BREAK
  132613. -case 14:
  132614. +case 15:
  132615. YY_RULE_SETUP
  132616. -#line 174 "dtc-lexer.l"
  132617. +#line 207 "dtc-lexer.l"
  132618. {
  132619. yylval.byte = strtol(yytext, NULL, 16);
  132620. DPRINT("Byte: %02x\n", (int)yylval.byte);
  132621. return DT_BYTE;
  132622. }
  132623. YY_BREAK
  132624. -case 15:
  132625. +case 16:
  132626. YY_RULE_SETUP
  132627. -#line 180 "dtc-lexer.l"
  132628. +#line 213 "dtc-lexer.l"
  132629. {
  132630. DPRINT("/BYTESTRING\n");
  132631. BEGIN_DEFAULT();
  132632. return ']';
  132633. }
  132634. YY_BREAK
  132635. -case 16:
  132636. +case 17:
  132637. YY_RULE_SETUP
  132638. -#line 186 "dtc-lexer.l"
  132639. +#line 219 "dtc-lexer.l"
  132640. {
  132641. DPRINT("PropNodeName: %s\n", yytext);
  132642. yylval.propnodename = xstrdup((yytext[0] == '\\') ?
  132643. @@ -1118,75 +1155,75 @@
  132644. return DT_PROPNODENAME;
  132645. }
  132646. YY_BREAK
  132647. -case 17:
  132648. +case 18:
  132649. YY_RULE_SETUP
  132650. -#line 194 "dtc-lexer.l"
  132651. +#line 227 "dtc-lexer.l"
  132652. {
  132653. DPRINT("Binary Include\n");
  132654. return DT_INCBIN;
  132655. }
  132656. YY_BREAK
  132657. -case 18:
  132658. -/* rule 18 can match eol */
  132659. -YY_RULE_SETUP
  132660. -#line 199 "dtc-lexer.l"
  132661. -/* eat whitespace */
  132662. - YY_BREAK
  132663. case 19:
  132664. /* rule 19 can match eol */
  132665. YY_RULE_SETUP
  132666. -#line 200 "dtc-lexer.l"
  132667. -/* eat C-style comments */
  132668. +#line 232 "dtc-lexer.l"
  132669. +/* eat whitespace */
  132670. YY_BREAK
  132671. case 20:
  132672. /* rule 20 can match eol */
  132673. YY_RULE_SETUP
  132674. -#line 201 "dtc-lexer.l"
  132675. -/* eat C++-style comments */
  132676. +#line 233 "dtc-lexer.l"
  132677. +/* eat C-style comments */
  132678. YY_BREAK
  132679. case 21:
  132680. +/* rule 21 can match eol */
  132681. YY_RULE_SETUP
  132682. -#line 203 "dtc-lexer.l"
  132683. -{ return DT_LSHIFT; };
  132684. +#line 234 "dtc-lexer.l"
  132685. +/* eat C++-style comments */
  132686. YY_BREAK
  132687. case 22:
  132688. YY_RULE_SETUP
  132689. -#line 204 "dtc-lexer.l"
  132690. -{ return DT_RSHIFT; };
  132691. +#line 236 "dtc-lexer.l"
  132692. +{ return DT_LSHIFT; };
  132693. YY_BREAK
  132694. case 23:
  132695. YY_RULE_SETUP
  132696. -#line 205 "dtc-lexer.l"
  132697. -{ return DT_LE; };
  132698. +#line 237 "dtc-lexer.l"
  132699. +{ return DT_RSHIFT; };
  132700. YY_BREAK
  132701. case 24:
  132702. YY_RULE_SETUP
  132703. -#line 206 "dtc-lexer.l"
  132704. -{ return DT_GE; };
  132705. +#line 238 "dtc-lexer.l"
  132706. +{ return DT_LE; };
  132707. YY_BREAK
  132708. case 25:
  132709. YY_RULE_SETUP
  132710. -#line 207 "dtc-lexer.l"
  132711. -{ return DT_EQ; };
  132712. +#line 239 "dtc-lexer.l"
  132713. +{ return DT_GE; };
  132714. YY_BREAK
  132715. case 26:
  132716. YY_RULE_SETUP
  132717. -#line 208 "dtc-lexer.l"
  132718. -{ return DT_NE; };
  132719. +#line 240 "dtc-lexer.l"
  132720. +{ return DT_EQ; };
  132721. YY_BREAK
  132722. case 27:
  132723. YY_RULE_SETUP
  132724. -#line 209 "dtc-lexer.l"
  132725. -{ return DT_AND; };
  132726. +#line 241 "dtc-lexer.l"
  132727. +{ return DT_NE; };
  132728. YY_BREAK
  132729. case 28:
  132730. YY_RULE_SETUP
  132731. -#line 210 "dtc-lexer.l"
  132732. -{ return DT_OR; };
  132733. +#line 242 "dtc-lexer.l"
  132734. +{ return DT_AND; };
  132735. YY_BREAK
  132736. case 29:
  132737. YY_RULE_SETUP
  132738. -#line 212 "dtc-lexer.l"
  132739. +#line 243 "dtc-lexer.l"
  132740. +{ return DT_OR; };
  132741. + YY_BREAK
  132742. +case 30:
  132743. +YY_RULE_SETUP
  132744. +#line 245 "dtc-lexer.l"
  132745. {
  132746. DPRINT("Char: %c (\\x%02x)\n", yytext[0],
  132747. (unsigned)yytext[0]);
  132748. @@ -1202,12 +1239,12 @@
  132749. return yytext[0];
  132750. }
  132751. YY_BREAK
  132752. -case 30:
  132753. +case 31:
  132754. YY_RULE_SETUP
  132755. -#line 227 "dtc-lexer.l"
  132756. +#line 260 "dtc-lexer.l"
  132757. ECHO;
  132758. YY_BREAK
  132759. -#line 1211 "dtc-lexer.lex.c"
  132760. +#line 1248 "dtc-lexer.lex.c"
  132761. case YY_END_OF_BUFFER:
  132762. {
  132763. @@ -1499,7 +1536,7 @@
  132764. while ( yy_chk[yy_base[yy_current_state] + yy_c] != yy_current_state )
  132765. {
  132766. yy_current_state = (int) yy_def[yy_current_state];
  132767. - if ( yy_current_state >= 161 )
  132768. + if ( yy_current_state >= 166 )
  132769. yy_c = yy_meta[(unsigned int) yy_c];
  132770. }
  132771. yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
  132772. @@ -1527,11 +1564,11 @@
  132773. while ( yy_chk[yy_base[yy_current_state] + yy_c] != yy_current_state )
  132774. {
  132775. yy_current_state = (int) yy_def[yy_current_state];
  132776. - if ( yy_current_state >= 161 )
  132777. + if ( yy_current_state >= 166 )
  132778. yy_c = yy_meta[(unsigned int) yy_c];
  132779. }
  132780. yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
  132781. - yy_is_jam = (yy_current_state == 160);
  132782. + yy_is_jam = (yy_current_state == 165);
  132783. return yy_is_jam ? 0 : yy_current_state;
  132784. }
  132785. @@ -2166,7 +2203,7 @@
  132786. #define YYTABLES_NAME "yytables"
  132787. -#line 227 "dtc-lexer.l"
  132788. +#line 260 "dtc-lexer.l"
  132789. @@ -2182,14 +2219,25 @@
  132790. }
  132791. -static int pop_input_file(void)
  132792. +static bool pop_input_file(void)
  132793. {
  132794. if (srcfile_pop() == 0)
  132795. - return 0;
  132796. + return false;
  132797. yypop_buffer_state();
  132798. yyin = current_srcfile->f;
  132799. - return 1;
  132800. + return true;
  132801. +}
  132802. +
  132803. +static void lexical_error(const char *fmt, ...)
  132804. +{
  132805. + va_list ap;
  132806. +
  132807. + va_start(ap, fmt);
  132808. + srcpos_verror(&yylloc, "Lexical error", fmt, ap);
  132809. + va_end(ap);
  132810. +
  132811. + treesource_error = true;
  132812. }
  132813. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc-parser.tab.c_shipped linux-rpi/scripts/dtc/dtc-parser.tab.c_shipped
  132814. --- linux-4.1.13.orig/scripts/dtc/dtc-parser.tab.c_shipped 2015-11-09 23:34:10.000000000 +0100
  132815. +++ linux-rpi/scripts/dtc/dtc-parser.tab.c_shipped 2015-11-29 09:42:41.406999830 +0100
  132816. @@ -1,19 +1,19 @@
  132817. -/* A Bison parser, made by GNU Bison 2.7.12-4996. */
  132818. +/* A Bison parser, made by GNU Bison 3.0.2. */
  132819. /* Bison implementation for Yacc-like parsers in C
  132820. -
  132821. - Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
  132822. -
  132823. +
  132824. + Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
  132825. +
  132826. This program is free software: you can redistribute it and/or modify
  132827. it under the terms of the GNU General Public License as published by
  132828. the Free Software Foundation, either version 3 of the License, or
  132829. (at your option) any later version.
  132830. -
  132831. +
  132832. This program is distributed in the hope that it will be useful,
  132833. but WITHOUT ANY WARRANTY; without even the implied warranty of
  132834. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  132835. GNU General Public License for more details.
  132836. -
  132837. +
  132838. You should have received a copy of the GNU General Public License
  132839. along with this program. If not, see <http://www.gnu.org/licenses/>. */
  132840. @@ -26,7 +26,7 @@
  132841. special exception, which will cause the skeleton and the resulting
  132842. Bison output files to be licensed under the GNU General Public
  132843. License without this special exception.
  132844. -
  132845. +
  132846. This special exception was added by the Free Software Foundation in
  132847. version 2.2 of Bison. */
  132848. @@ -44,7 +44,7 @@
  132849. #define YYBISON 1
  132850. /* Bison version. */
  132851. -#define YYBISON_VERSION "2.7.12-4996"
  132852. +#define YYBISON_VERSION "3.0.2"
  132853. /* Skeleton name. */
  132854. #define YYSKELETON_NAME "yacc.c"
  132855. @@ -62,34 +62,32 @@
  132856. /* Copy the first part of user declarations. */
  132857. -/* Line 371 of yacc.c */
  132858. -#line 21 "dtc-parser.y"
  132859. +#line 20 "dtc-parser.y" /* yacc.c:339 */
  132860. #include <stdio.h>
  132861. +#include <inttypes.h>
  132862. #include "dtc.h"
  132863. #include "srcpos.h"
  132864. -YYLTYPE yylloc;
  132865. -
  132866. extern int yylex(void);
  132867. -extern void print_error(char const *fmt, ...);
  132868. extern void yyerror(char const *s);
  132869. +#define ERROR(loc, ...) \
  132870. + do { \
  132871. + srcpos_error((loc), "Error", __VA_ARGS__); \
  132872. + treesource_error = true; \
  132873. + } while (0)
  132874. extern struct boot_info *the_boot_info;
  132875. -extern int treesource_error;
  132876. -
  132877. -static unsigned long long eval_literal(const char *s, int base, int bits);
  132878. -static unsigned char eval_char_literal(const char *s);
  132879. +extern bool treesource_error;
  132880. -/* Line 371 of yacc.c */
  132881. -#line 87 "dtc-parser.tab.c"
  132882. +#line 85 "dtc-parser.tab.c" /* yacc.c:339 */
  132883. -# ifndef YY_NULL
  132884. +# ifndef YY_NULLPTR
  132885. # if defined __cplusplus && 201103L <= __cplusplus
  132886. -# define YY_NULL nullptr
  132887. +# define YY_NULLPTR nullptr
  132888. # else
  132889. -# define YY_NULL 0
  132890. +# define YY_NULLPTR 0
  132891. # endif
  132892. # endif
  132893. @@ -105,7 +103,7 @@
  132894. by #include "dtc-parser.tab.h". */
  132895. #ifndef YY_YY_DTC_PARSER_TAB_H_INCLUDED
  132896. # define YY_YY_DTC_PARSER_TAB_H_INCLUDED
  132897. -/* Enabling traces. */
  132898. +/* Debug traces. */
  132899. #ifndef YYDEBUG
  132900. # define YYDEBUG 0
  132901. #endif
  132902. @@ -113,48 +111,45 @@
  132903. extern int yydebug;
  132904. #endif
  132905. -/* Tokens. */
  132906. +/* Token type. */
  132907. #ifndef YYTOKENTYPE
  132908. # define YYTOKENTYPE
  132909. - /* Put the tokens into the symbol table, so that GDB and other debuggers
  132910. - know about them. */
  132911. - enum yytokentype {
  132912. - DT_V1 = 258,
  132913. - DT_MEMRESERVE = 259,
  132914. - DT_LSHIFT = 260,
  132915. - DT_RSHIFT = 261,
  132916. - DT_LE = 262,
  132917. - DT_GE = 263,
  132918. - DT_EQ = 264,
  132919. - DT_NE = 265,
  132920. - DT_AND = 266,
  132921. - DT_OR = 267,
  132922. - DT_BITS = 268,
  132923. - DT_DEL_PROP = 269,
  132924. - DT_DEL_NODE = 270,
  132925. - DT_PROPNODENAME = 271,
  132926. - DT_LITERAL = 272,
  132927. - DT_CHAR_LITERAL = 273,
  132928. - DT_BASE = 274,
  132929. - DT_BYTE = 275,
  132930. - DT_STRING = 276,
  132931. - DT_LABEL = 277,
  132932. - DT_REF = 278,
  132933. - DT_INCBIN = 279
  132934. - };
  132935. + enum yytokentype
  132936. + {
  132937. + DT_V1 = 258,
  132938. + DT_PLUGIN = 259,
  132939. + DT_MEMRESERVE = 260,
  132940. + DT_LSHIFT = 261,
  132941. + DT_RSHIFT = 262,
  132942. + DT_LE = 263,
  132943. + DT_GE = 264,
  132944. + DT_EQ = 265,
  132945. + DT_NE = 266,
  132946. + DT_AND = 267,
  132947. + DT_OR = 268,
  132948. + DT_BITS = 269,
  132949. + DT_DEL_PROP = 270,
  132950. + DT_DEL_NODE = 271,
  132951. + DT_PROPNODENAME = 272,
  132952. + DT_LITERAL = 273,
  132953. + DT_CHAR_LITERAL = 274,
  132954. + DT_BYTE = 275,
  132955. + DT_STRING = 276,
  132956. + DT_LABEL = 277,
  132957. + DT_REF = 278,
  132958. + DT_INCBIN = 279
  132959. + };
  132960. #endif
  132961. -
  132962. +/* Value type. */
  132963. #if ! defined YYSTYPE && ! defined YYSTYPE_IS_DECLARED
  132964. -typedef union YYSTYPE
  132965. +typedef union YYSTYPE YYSTYPE;
  132966. +union YYSTYPE
  132967. {
  132968. -/* Line 387 of yacc.c */
  132969. -#line 40 "dtc-parser.y"
  132970. +#line 39 "dtc-parser.y" /* yacc.c:355 */
  132971. char *propnodename;
  132972. - char *literal;
  132973. char *labelref;
  132974. - unsigned int cbase;
  132975. uint8_t byte;
  132976. struct data data;
  132977. @@ -169,38 +164,38 @@
  132978. struct node *nodelist;
  132979. struct reserve_info *re;
  132980. uint64_t integer;
  132981. + int is_plugin;
  132982. -
  132983. -/* Line 387 of yacc.c */
  132984. -#line 176 "dtc-parser.tab.c"
  132985. -} YYSTYPE;
  132986. +#line 170 "dtc-parser.tab.c" /* yacc.c:355 */
  132987. +};
  132988. # define YYSTYPE_IS_TRIVIAL 1
  132989. -# define yystype YYSTYPE /* obsolescent; will be withdrawn */
  132990. # define YYSTYPE_IS_DECLARED 1
  132991. #endif
  132992. -extern YYSTYPE yylval;
  132993. -
  132994. -#ifdef YYPARSE_PARAM
  132995. -#if defined __STDC__ || defined __cplusplus
  132996. -int yyparse (void *YYPARSE_PARAM);
  132997. -#else
  132998. -int yyparse ();
  132999. +/* Location type. */
  133000. +#if ! defined YYLTYPE && ! defined YYLTYPE_IS_DECLARED
  133001. +typedef struct YYLTYPE YYLTYPE;
  133002. +struct YYLTYPE
  133003. +{
  133004. + int first_line;
  133005. + int first_column;
  133006. + int last_line;
  133007. + int last_column;
  133008. +};
  133009. +# define YYLTYPE_IS_DECLARED 1
  133010. +# define YYLTYPE_IS_TRIVIAL 1
  133011. #endif
  133012. -#else /* ! YYPARSE_PARAM */
  133013. -#if defined __STDC__ || defined __cplusplus
  133014. +
  133015. +
  133016. +extern YYSTYPE yylval;
  133017. +extern YYLTYPE yylloc;
  133018. int yyparse (void);
  133019. -#else
  133020. -int yyparse ();
  133021. -#endif
  133022. -#endif /* ! YYPARSE_PARAM */
  133023. #endif /* !YY_YY_DTC_PARSER_TAB_H_INCLUDED */
  133024. /* Copy the second part of user declarations. */
  133025. -/* Line 390 of yacc.c */
  133026. -#line 204 "dtc-parser.tab.c"
  133027. +#line 199 "dtc-parser.tab.c" /* yacc.c:358 */
  133028. #ifdef short
  133029. # undef short
  133030. @@ -214,11 +209,8 @@
  133031. #ifdef YYTYPE_INT8
  133032. typedef YYTYPE_INT8 yytype_int8;
  133033. -#elif (defined __STDC__ || defined __C99__FUNC__ \
  133034. - || defined __cplusplus || defined _MSC_VER)
  133035. -typedef signed char yytype_int8;
  133036. #else
  133037. -typedef short int yytype_int8;
  133038. +typedef signed char yytype_int8;
  133039. #endif
  133040. #ifdef YYTYPE_UINT16
  133041. @@ -238,8 +230,7 @@
  133042. # define YYSIZE_T __SIZE_TYPE__
  133043. # elif defined size_t
  133044. # define YYSIZE_T size_t
  133045. -# elif ! defined YYSIZE_T && (defined __STDC__ || defined __C99__FUNC__ \
  133046. - || defined __cplusplus || defined _MSC_VER)
  133047. +# elif ! defined YYSIZE_T
  133048. # include <stddef.h> /* INFRINGES ON USER NAME SPACE */
  133049. # define YYSIZE_T size_t
  133050. # else
  133051. @@ -261,11 +252,30 @@
  133052. # endif
  133053. #endif
  133054. -#ifndef __attribute__
  133055. -/* This feature is available in gcc versions 2.5 and later. */
  133056. -# if (! defined __GNUC__ || __GNUC__ < 2 \
  133057. - || (__GNUC__ == 2 && __GNUC_MINOR__ < 5))
  133058. -# define __attribute__(Spec) /* empty */
  133059. +#ifndef YY_ATTRIBUTE
  133060. +# if (defined __GNUC__ \
  133061. + && (2 < __GNUC__ || (__GNUC__ == 2 && 96 <= __GNUC_MINOR__))) \
  133062. + || defined __SUNPRO_C && 0x5110 <= __SUNPRO_C
  133063. +# define YY_ATTRIBUTE(Spec) __attribute__(Spec)
  133064. +# else
  133065. +# define YY_ATTRIBUTE(Spec) /* empty */
  133066. +# endif
  133067. +#endif
  133068. +
  133069. +#ifndef YY_ATTRIBUTE_PURE
  133070. +# define YY_ATTRIBUTE_PURE YY_ATTRIBUTE ((__pure__))
  133071. +#endif
  133072. +
  133073. +#ifndef YY_ATTRIBUTE_UNUSED
  133074. +# define YY_ATTRIBUTE_UNUSED YY_ATTRIBUTE ((__unused__))
  133075. +#endif
  133076. +
  133077. +#if !defined _Noreturn \
  133078. + && (!defined __STDC_VERSION__ || __STDC_VERSION__ < 201112)
  133079. +# if defined _MSC_VER && 1200 <= _MSC_VER
  133080. +# define _Noreturn __declspec (noreturn)
  133081. +# else
  133082. +# define _Noreturn YY_ATTRIBUTE ((__noreturn__))
  133083. # endif
  133084. #endif
  133085. @@ -276,24 +286,25 @@
  133086. # define YYUSE(E) /* empty */
  133087. #endif
  133088. -
  133089. -/* Identity function, used to suppress warnings about constant conditions. */
  133090. -#ifndef lint
  133091. -# define YYID(N) (N)
  133092. -#else
  133093. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133094. - || defined __cplusplus || defined _MSC_VER)
  133095. -static int
  133096. -YYID (int yyi)
  133097. +#if defined __GNUC__ && 407 <= __GNUC__ * 100 + __GNUC_MINOR__
  133098. +/* Suppress an incorrect diagnostic about yylval being uninitialized. */
  133099. +# define YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN \
  133100. + _Pragma ("GCC diagnostic push") \
  133101. + _Pragma ("GCC diagnostic ignored \"-Wuninitialized\"")\
  133102. + _Pragma ("GCC diagnostic ignored \"-Wmaybe-uninitialized\"")
  133103. +# define YY_IGNORE_MAYBE_UNINITIALIZED_END \
  133104. + _Pragma ("GCC diagnostic pop")
  133105. #else
  133106. -static int
  133107. -YYID (yyi)
  133108. - int yyi;
  133109. +# define YY_INITIAL_VALUE(Value) Value
  133110. #endif
  133111. -{
  133112. - return yyi;
  133113. -}
  133114. +#ifndef YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  133115. +# define YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  133116. +# define YY_IGNORE_MAYBE_UNINITIALIZED_END
  133117. #endif
  133118. +#ifndef YY_INITIAL_VALUE
  133119. +# define YY_INITIAL_VALUE(Value) /* Nothing. */
  133120. +#endif
  133121. +
  133122. #if ! defined yyoverflow || YYERROR_VERBOSE
  133123. @@ -312,8 +323,7 @@
  133124. # define alloca _alloca
  133125. # else
  133126. # define YYSTACK_ALLOC alloca
  133127. -# if ! defined _ALLOCA_H && ! defined EXIT_SUCCESS && (defined __STDC__ || defined __C99__FUNC__ \
  133128. - || defined __cplusplus || defined _MSC_VER)
  133129. +# if ! defined _ALLOCA_H && ! defined EXIT_SUCCESS
  133130. # include <stdlib.h> /* INFRINGES ON USER NAME SPACE */
  133131. /* Use EXIT_SUCCESS as a witness for stdlib.h. */
  133132. # ifndef EXIT_SUCCESS
  133133. @@ -325,8 +335,8 @@
  133134. # endif
  133135. # ifdef YYSTACK_ALLOC
  133136. - /* Pacify GCC's `empty if-body' warning. */
  133137. -# define YYSTACK_FREE(Ptr) do { /* empty */; } while (YYID (0))
  133138. + /* Pacify GCC's 'empty if-body' warning. */
  133139. +# define YYSTACK_FREE(Ptr) do { /* empty */; } while (0)
  133140. # ifndef YYSTACK_ALLOC_MAXIMUM
  133141. /* The OS might guarantee only one guard page at the bottom of the stack,
  133142. and a page size can be as small as 4096 bytes. So we cannot safely
  133143. @@ -342,7 +352,7 @@
  133144. # endif
  133145. # if (defined __cplusplus && ! defined EXIT_SUCCESS \
  133146. && ! ((defined YYMALLOC || defined malloc) \
  133147. - && (defined YYFREE || defined free)))
  133148. + && (defined YYFREE || defined free)))
  133149. # include <stdlib.h> /* INFRINGES ON USER NAME SPACE */
  133150. # ifndef EXIT_SUCCESS
  133151. # define EXIT_SUCCESS 0
  133152. @@ -350,15 +360,13 @@
  133153. # endif
  133154. # ifndef YYMALLOC
  133155. # define YYMALLOC malloc
  133156. -# if ! defined malloc && ! defined EXIT_SUCCESS && (defined __STDC__ || defined __C99__FUNC__ \
  133157. - || defined __cplusplus || defined _MSC_VER)
  133158. +# if ! defined malloc && ! defined EXIT_SUCCESS
  133159. void *malloc (YYSIZE_T); /* INFRINGES ON USER NAME SPACE */
  133160. # endif
  133161. # endif
  133162. # ifndef YYFREE
  133163. # define YYFREE free
  133164. -# if ! defined free && ! defined EXIT_SUCCESS && (defined __STDC__ || defined __C99__FUNC__ \
  133165. - || defined __cplusplus || defined _MSC_VER)
  133166. +# if ! defined free && ! defined EXIT_SUCCESS
  133167. void free (void *); /* INFRINGES ON USER NAME SPACE */
  133168. # endif
  133169. # endif
  133170. @@ -368,13 +376,15 @@
  133171. #if (! defined yyoverflow \
  133172. && (! defined __cplusplus \
  133173. - || (defined YYSTYPE_IS_TRIVIAL && YYSTYPE_IS_TRIVIAL)))
  133174. + || (defined YYLTYPE_IS_TRIVIAL && YYLTYPE_IS_TRIVIAL \
  133175. + && defined YYSTYPE_IS_TRIVIAL && YYSTYPE_IS_TRIVIAL)))
  133176. /* A type that is properly aligned for any stack member. */
  133177. union yyalloc
  133178. {
  133179. yytype_int16 yyss_alloc;
  133180. YYSTYPE yyvs_alloc;
  133181. + YYLTYPE yyls_alloc;
  133182. };
  133183. /* The size of the maximum gap between one aligned stack and the next. */
  133184. @@ -383,8 +393,8 @@
  133185. /* The size of an array large to enough to hold all stacks, each with
  133186. N elements. */
  133187. # define YYSTACK_BYTES(N) \
  133188. - ((N) * (sizeof (yytype_int16) + sizeof (YYSTYPE)) \
  133189. - + YYSTACK_GAP_MAXIMUM)
  133190. + ((N) * (sizeof (yytype_int16) + sizeof (YYSTYPE) + sizeof (YYLTYPE)) \
  133191. + + 2 * YYSTACK_GAP_MAXIMUM)
  133192. # define YYCOPY_NEEDED 1
  133193. @@ -393,16 +403,16 @@
  133194. elements in the stack, and YYPTR gives the new location of the
  133195. stack. Advance YYPTR to a properly aligned location for the next
  133196. stack. */
  133197. -# define YYSTACK_RELOCATE(Stack_alloc, Stack) \
  133198. - do \
  133199. - { \
  133200. - YYSIZE_T yynewbytes; \
  133201. - YYCOPY (&yyptr->Stack_alloc, Stack, yysize); \
  133202. - Stack = &yyptr->Stack_alloc; \
  133203. - yynewbytes = yystacksize * sizeof (*Stack) + YYSTACK_GAP_MAXIMUM; \
  133204. - yyptr += yynewbytes / sizeof (*yyptr); \
  133205. - } \
  133206. - while (YYID (0))
  133207. +# define YYSTACK_RELOCATE(Stack_alloc, Stack) \
  133208. + do \
  133209. + { \
  133210. + YYSIZE_T yynewbytes; \
  133211. + YYCOPY (&yyptr->Stack_alloc, Stack, yysize); \
  133212. + Stack = &yyptr->Stack_alloc; \
  133213. + yynewbytes = yystacksize * sizeof (*Stack) + YYSTACK_GAP_MAXIMUM; \
  133214. + yyptr += yynewbytes / sizeof (*yyptr); \
  133215. + } \
  133216. + while (0)
  133217. #endif
  133218. @@ -421,7 +431,7 @@
  133219. for (yyi = 0; yyi < (Count); yyi++) \
  133220. (Dst)[yyi] = (Src)[yyi]; \
  133221. } \
  133222. - while (YYID (0))
  133223. + while (0)
  133224. # endif
  133225. # endif
  133226. #endif /* !YYCOPY_NEEDED */
  133227. @@ -429,25 +439,27 @@
  133228. /* YYFINAL -- State number of the termination state. */
  133229. #define YYFINAL 4
  133230. /* YYLAST -- Last index in YYTABLE. */
  133231. -#define YYLAST 133
  133232. +#define YYLAST 135
  133233. /* YYNTOKENS -- Number of terminals. */
  133234. #define YYNTOKENS 48
  133235. /* YYNNTS -- Number of nonterminals. */
  133236. -#define YYNNTS 28
  133237. +#define YYNNTS 29
  133238. /* YYNRULES -- Number of rules. */
  133239. -#define YYNRULES 79
  133240. -/* YYNRULES -- Number of states. */
  133241. -#define YYNSTATES 141
  133242. +#define YYNRULES 81
  133243. +/* YYNSTATES -- Number of states. */
  133244. +#define YYNSTATES 144
  133245. -/* YYTRANSLATE(YYLEX) -- Bison symbol number corresponding to YYLEX. */
  133246. +/* YYTRANSLATE[YYX] -- Symbol number corresponding to YYX as returned
  133247. + by yylex, with out-of-bounds checking. */
  133248. #define YYUNDEFTOK 2
  133249. #define YYMAXUTOK 279
  133250. -#define YYTRANSLATE(YYX) \
  133251. +#define YYTRANSLATE(YYX) \
  133252. ((unsigned int) (YYX) <= YYMAXUTOK ? yytranslate[YYX] : YYUNDEFTOK)
  133253. -/* YYTRANSLATE[YYLEX] -- Bison symbol number corresponding to YYLEX. */
  133254. +/* YYTRANSLATE[TOKEN-NUM] -- Symbol number corresponding to TOKEN-NUM
  133255. + as returned by yylex, without out-of-bounds checking. */
  133256. static const yytype_uint8 yytranslate[] =
  133257. {
  133258. 0, 2, 2, 2, 2, 2, 2, 2, 2, 2,
  133259. @@ -481,63 +493,18 @@
  133260. };
  133261. #if YYDEBUG
  133262. -/* YYPRHS[YYN] -- Index of the first RHS symbol of rule number YYN in
  133263. - YYRHS. */
  133264. -static const yytype_uint16 yyprhs[] =
  133265. -{
  133266. - 0, 0, 3, 8, 9, 12, 17, 20, 23, 27,
  133267. - 31, 36, 42, 43, 46, 51, 54, 58, 61, 64,
  133268. - 68, 73, 76, 86, 92, 95, 96, 99, 102, 106,
  133269. - 108, 111, 114, 117, 119, 121, 125, 127, 129, 135,
  133270. - 137, 141, 143, 147, 149, 153, 155, 159, 161, 165,
  133271. - 167, 171, 175, 177, 181, 185, 189, 193, 197, 201,
  133272. - 203, 207, 211, 213, 217, 221, 225, 227, 229, 232,
  133273. - 235, 238, 239, 242, 245, 246, 249, 252, 255, 259
  133274. -};
  133275. -
  133276. -/* YYRHS -- A `-1'-separated list of the rules' RHS. */
  133277. -static const yytype_int8 yyrhs[] =
  133278. -{
  133279. - 49, 0, -1, 3, 25, 50, 52, -1, -1, 51,
  133280. - 50, -1, 4, 59, 59, 25, -1, 22, 51, -1,
  133281. - 26, 53, -1, 52, 26, 53, -1, 52, 23, 53,
  133282. - -1, 52, 15, 23, 25, -1, 27, 54, 74, 28,
  133283. - 25, -1, -1, 54, 55, -1, 16, 29, 56, 25,
  133284. - -1, 16, 25, -1, 14, 16, 25, -1, 22, 55,
  133285. - -1, 57, 21, -1, 57, 58, 30, -1, 57, 31,
  133286. - 73, 32, -1, 57, 23, -1, 57, 24, 33, 21,
  133287. - 34, 59, 34, 59, 35, -1, 57, 24, 33, 21,
  133288. - 35, -1, 56, 22, -1, -1, 56, 34, -1, 57,
  133289. - 22, -1, 13, 17, 36, -1, 36, -1, 58, 59,
  133290. - -1, 58, 23, -1, 58, 22, -1, 17, -1, 18,
  133291. - -1, 33, 60, 35, -1, 61, -1, 62, -1, 62,
  133292. - 37, 60, 38, 61, -1, 63, -1, 62, 12, 63,
  133293. - -1, 64, -1, 63, 11, 64, -1, 65, -1, 64,
  133294. - 39, 65, -1, 66, -1, 65, 40, 66, -1, 67,
  133295. - -1, 66, 41, 67, -1, 68, -1, 67, 9, 68,
  133296. - -1, 67, 10, 68, -1, 69, -1, 68, 36, 69,
  133297. - -1, 68, 30, 69, -1, 68, 7, 69, -1, 68,
  133298. - 8, 69, -1, 69, 5, 70, -1, 69, 6, 70,
  133299. - -1, 70, -1, 70, 42, 71, -1, 70, 43, 71,
  133300. - -1, 71, -1, 71, 44, 72, -1, 71, 26, 72,
  133301. - -1, 71, 45, 72, -1, 72, -1, 59, -1, 43,
  133302. - 72, -1, 46, 72, -1, 47, 72, -1, -1, 73,
  133303. - 20, -1, 73, 22, -1, -1, 75, 74, -1, 75,
  133304. - 55, -1, 16, 53, -1, 15, 16, 25, -1, 22,
  133305. - 75, -1
  133306. -};
  133307. -
  133308. -/* YYRLINE[YYN] -- source line where rule number YYN was defined. */
  133309. + /* YYRLINE[YYN] -- Source line where rule number YYN was defined. */
  133310. static const yytype_uint16 yyrline[] =
  133311. {
  133312. - 0, 109, 109, 118, 121, 128, 132, 140, 144, 148,
  133313. - 158, 172, 180, 183, 190, 194, 198, 202, 210, 214,
  133314. - 218, 222, 226, 243, 253, 261, 264, 268, 275, 290,
  133315. - 295, 315, 329, 336, 340, 344, 351, 355, 356, 360,
  133316. - 361, 365, 366, 370, 371, 375, 376, 380, 381, 385,
  133317. - 386, 387, 391, 392, 393, 394, 395, 399, 400, 401,
  133318. - 405, 406, 407, 411, 412, 413, 414, 418, 419, 420,
  133319. - 421, 426, 429, 433, 441, 444, 448, 456, 460, 464
  133320. + 0, 108, 108, 119, 122, 130, 133, 140, 144, 152,
  133321. + 156, 160, 170, 185, 193, 196, 203, 207, 211, 215,
  133322. + 223, 227, 231, 235, 239, 255, 265, 273, 276, 280,
  133323. + 287, 303, 308, 327, 341, 348, 349, 350, 357, 361,
  133324. + 362, 366, 367, 371, 372, 376, 377, 381, 382, 386,
  133325. + 387, 391, 392, 393, 397, 398, 399, 400, 401, 405,
  133326. + 406, 407, 411, 412, 413, 417, 418, 419, 420, 424,
  133327. + 425, 426, 427, 432, 435, 439, 447, 450, 454, 462,
  133328. + 466, 470
  133329. };
  133330. #endif
  133331. @@ -546,25 +513,25 @@
  133332. First, the terminals, then, starting at YYNTOKENS, nonterminals. */
  133333. static const char *const yytname[] =
  133334. {
  133335. - "$end", "error", "$undefined", "DT_V1", "DT_MEMRESERVE", "DT_LSHIFT",
  133336. - "DT_RSHIFT", "DT_LE", "DT_GE", "DT_EQ", "DT_NE", "DT_AND", "DT_OR",
  133337. - "DT_BITS", "DT_DEL_PROP", "DT_DEL_NODE", "DT_PROPNODENAME", "DT_LITERAL",
  133338. - "DT_CHAR_LITERAL", "DT_BASE", "DT_BYTE", "DT_STRING", "DT_LABEL",
  133339. + "$end", "error", "$undefined", "DT_V1", "DT_PLUGIN", "DT_MEMRESERVE",
  133340. + "DT_LSHIFT", "DT_RSHIFT", "DT_LE", "DT_GE", "DT_EQ", "DT_NE", "DT_AND",
  133341. + "DT_OR", "DT_BITS", "DT_DEL_PROP", "DT_DEL_NODE", "DT_PROPNODENAME",
  133342. + "DT_LITERAL", "DT_CHAR_LITERAL", "DT_BYTE", "DT_STRING", "DT_LABEL",
  133343. "DT_REF", "DT_INCBIN", "';'", "'/'", "'{'", "'}'", "'='", "'>'", "'['",
  133344. "']'", "'('", "','", "')'", "'<'", "'?'", "':'", "'|'", "'^'", "'&'",
  133345. "'+'", "'-'", "'*'", "'%'", "'~'", "'!'", "$accept", "sourcefile",
  133346. - "memreserves", "memreserve", "devicetree", "nodedef", "proplist",
  133347. - "propdef", "propdata", "propdataprefix", "arrayprefix", "integer_prim",
  133348. - "integer_expr", "integer_trinary", "integer_or", "integer_and",
  133349. - "integer_bitor", "integer_bitxor", "integer_bitand", "integer_eq",
  133350. - "integer_rela", "integer_shift", "integer_add", "integer_mul",
  133351. - "integer_unary", "bytestring", "subnodes", "subnode", YY_NULL
  133352. + "plugindecl", "memreserves", "memreserve", "devicetree", "nodedef",
  133353. + "proplist", "propdef", "propdata", "propdataprefix", "arrayprefix",
  133354. + "integer_prim", "integer_expr", "integer_trinary", "integer_or",
  133355. + "integer_and", "integer_bitor", "integer_bitxor", "integer_bitand",
  133356. + "integer_eq", "integer_rela", "integer_shift", "integer_add",
  133357. + "integer_mul", "integer_unary", "bytestring", "subnodes", "subnode", YY_NULLPTR
  133358. };
  133359. #endif
  133360. # ifdef YYPRINT
  133361. -/* YYTOKNUM[YYLEX-NUM] -- Internal token number corresponding to
  133362. - token YYLEX-NUM. */
  133363. +/* YYTOKNUM[NUM] -- (External) token number corresponding to the
  133364. + (internal) symbol number NUM (which must be that of a token). */
  133365. static const yytype_uint16 yytoknum[] =
  133366. {
  133367. 0, 256, 257, 258, 259, 260, 261, 262, 263, 264,
  133368. @@ -575,183 +542,173 @@
  133369. };
  133370. # endif
  133371. -/* YYR1[YYN] -- Symbol number of symbol that rule YYN derives. */
  133372. -static const yytype_uint8 yyr1[] =
  133373. -{
  133374. - 0, 48, 49, 50, 50, 51, 51, 52, 52, 52,
  133375. - 52, 53, 54, 54, 55, 55, 55, 55, 56, 56,
  133376. - 56, 56, 56, 56, 56, 57, 57, 57, 58, 58,
  133377. - 58, 58, 58, 59, 59, 59, 60, 61, 61, 62,
  133378. - 62, 63, 63, 64, 64, 65, 65, 66, 66, 67,
  133379. - 67, 67, 68, 68, 68, 68, 68, 69, 69, 69,
  133380. - 70, 70, 70, 71, 71, 71, 71, 72, 72, 72,
  133381. - 72, 73, 73, 73, 74, 74, 74, 75, 75, 75
  133382. -};
  133383. +#define YYPACT_NINF -41
  133384. -/* YYR2[YYN] -- Number of symbols composing right hand side of rule YYN. */
  133385. -static const yytype_uint8 yyr2[] =
  133386. +#define yypact_value_is_default(Yystate) \
  133387. + (!!((Yystate) == (-41)))
  133388. +
  133389. +#define YYTABLE_NINF -1
  133390. +
  133391. +#define yytable_value_is_error(Yytable_value) \
  133392. + 0
  133393. +
  133394. + /* YYPACT[STATE-NUM] -- Index in YYTABLE of the portion describing
  133395. + STATE-NUM. */
  133396. +static const yytype_int8 yypact[] =
  133397. {
  133398. - 0, 2, 4, 0, 2, 4, 2, 2, 3, 3,
  133399. - 4, 5, 0, 2, 4, 2, 3, 2, 2, 3,
  133400. - 4, 2, 9, 5, 2, 0, 2, 2, 3, 1,
  133401. - 2, 2, 2, 1, 1, 3, 1, 1, 5, 1,
  133402. - 3, 1, 3, 1, 3, 1, 3, 1, 3, 1,
  133403. - 3, 3, 1, 3, 3, 3, 3, 3, 3, 1,
  133404. - 3, 3, 1, 3, 3, 3, 1, 1, 2, 2,
  133405. - 2, 0, 2, 2, 0, 2, 2, 2, 3, 2
  133406. + 37, 10, 24, 78, -41, 20, 9, -41, 8, 9,
  133407. + 59, 9, -41, -41, -10, 8, -41, 60, 39, -41,
  133408. + -10, -10, -10, -41, 51, -41, -7, 76, 50, 52,
  133409. + 53, 49, 2, 65, 32, -1, -41, 66, -41, -41,
  133410. + 67, 60, 60, -41, -41, -41, -41, -10, -10, -10,
  133411. + -10, -10, -10, -10, -10, -10, -10, -10, -10, -10,
  133412. + -10, -10, -10, -10, -10, -10, -41, 41, 68, -41,
  133413. + -41, 76, 57, 50, 52, 53, 49, 2, 2, 65,
  133414. + 65, 65, 65, 32, 32, -1, -1, -41, -41, -41,
  133415. + 79, 80, -12, 41, -41, 70, 41, -41, -10, 74,
  133416. + 75, -41, -41, -41, -41, -41, 77, -41, -41, -41,
  133417. + -41, -41, 17, -2, -41, -41, -41, -41, 83, -41,
  133418. + -41, -41, 71, -41, -41, 31, 69, 82, -4, -41,
  133419. + -41, -41, -41, -41, 42, -41, -41, -41, 8, -41,
  133420. + 72, 8, 73, -41
  133421. };
  133422. -/* YYDEFACT[STATE-NAME] -- Default reduction number in state STATE-NUM.
  133423. - Performed when YYTABLE doesn't specify something else to do. Zero
  133424. - means the default is an error. */
  133425. + /* YYDEFACT[STATE-NUM] -- Default reduction number in state STATE-NUM.
  133426. + Performed when YYTABLE does not specify something else to do. Zero
  133427. + means the default is an error. */
  133428. static const yytype_uint8 yydefact[] =
  133429. {
  133430. - 0, 0, 0, 3, 1, 0, 0, 0, 3, 33,
  133431. - 34, 0, 0, 6, 0, 2, 4, 0, 0, 0,
  133432. - 67, 0, 36, 37, 39, 41, 43, 45, 47, 49,
  133433. - 52, 59, 62, 66, 0, 12, 7, 0, 0, 0,
  133434. - 68, 69, 70, 35, 0, 0, 0, 0, 0, 0,
  133435. + 0, 0, 0, 3, 1, 0, 5, 4, 0, 0,
  133436. + 0, 5, 35, 36, 0, 0, 8, 0, 2, 6,
  133437. + 0, 0, 0, 69, 0, 38, 39, 41, 43, 45,
  133438. + 47, 49, 51, 54, 61, 64, 68, 0, 14, 9,
  133439. + 0, 0, 0, 70, 71, 72, 37, 0, 0, 0,
  133440. 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
  133441. - 0, 0, 0, 5, 74, 0, 9, 8, 40, 0,
  133442. - 42, 44, 46, 48, 50, 51, 55, 56, 54, 53,
  133443. - 57, 58, 60, 61, 64, 63, 65, 0, 0, 0,
  133444. - 0, 13, 0, 74, 10, 0, 0, 0, 15, 25,
  133445. - 77, 17, 79, 0, 76, 75, 38, 16, 78, 0,
  133446. - 0, 11, 24, 14, 26, 0, 18, 27, 21, 0,
  133447. - 71, 29, 0, 0, 0, 0, 32, 31, 19, 30,
  133448. - 28, 0, 72, 73, 20, 0, 23, 0, 0, 0,
  133449. - 22
  133450. + 0, 0, 0, 0, 0, 0, 7, 76, 0, 11,
  133451. + 10, 42, 0, 44, 46, 48, 50, 52, 53, 57,
  133452. + 58, 56, 55, 59, 60, 62, 63, 66, 65, 67,
  133453. + 0, 0, 0, 0, 15, 0, 76, 12, 0, 0,
  133454. + 0, 17, 27, 79, 19, 81, 0, 78, 77, 40,
  133455. + 18, 80, 0, 0, 13, 26, 16, 28, 0, 20,
  133456. + 29, 23, 0, 73, 31, 0, 0, 0, 0, 34,
  133457. + 33, 21, 32, 30, 0, 74, 75, 22, 0, 25,
  133458. + 0, 0, 0, 24
  133459. };
  133460. -/* YYDEFGOTO[NTERM-NUM]. */
  133461. -static const yytype_int8 yydefgoto[] =
  133462. + /* YYPGOTO[NTERM-NUM]. */
  133463. +static const yytype_int8 yypgoto[] =
  133464. {
  133465. - -1, 2, 7, 8, 15, 36, 64, 91, 109, 110,
  133466. - 122, 20, 21, 22, 23, 24, 25, 26, 27, 28,
  133467. - 29, 30, 31, 32, 33, 125, 92, 93
  133468. + -41, -41, -41, 96, 100, -41, -40, -41, -23, -41,
  133469. + -41, -41, -8, 62, 13, -41, 81, 63, 64, 84,
  133470. + 61, 25, 11, 21, 22, -17, -41, 19, 23
  133471. };
  133472. -/* YYPACT[STATE-NUM] -- Index in YYTABLE of the portion describing
  133473. - STATE-NUM. */
  133474. -#define YYPACT_NINF -78
  133475. -static const yytype_int8 yypact[] =
  133476. + /* YYDEFGOTO[NTERM-NUM]. */
  133477. +static const yytype_int16 yydefgoto[] =
  133478. {
  133479. - 22, 11, 51, 10, -78, 23, 10, 2, 10, -78,
  133480. - -78, -9, 23, -78, 30, 38, -78, -9, -9, -9,
  133481. - -78, 35, -78, -6, 52, 29, 48, 49, 33, 3,
  133482. - 71, 36, 0, -78, 64, -78, -78, 68, 30, 30,
  133483. - -78, -78, -78, -78, -9, -9, -9, -9, -9, -9,
  133484. - -9, -9, -9, -9, -9, -9, -9, -9, -9, -9,
  133485. - -9, -9, -9, -78, 44, 67, -78, -78, 52, 55,
  133486. - 29, 48, 49, 33, 3, 3, 71, 71, 71, 71,
  133487. - 36, 36, 0, 0, -78, -78, -78, 78, 79, 42,
  133488. - 44, -78, 69, 44, -78, -9, 73, 74, -78, -78,
  133489. - -78, -78, -78, 75, -78, -78, -78, -78, -78, -7,
  133490. - -1, -78, -78, -78, -78, 84, -78, -78, -78, 63,
  133491. - -78, -78, 32, 66, 82, -3, -78, -78, -78, -78,
  133492. - -78, 46, -78, -78, -78, 23, -78, 70, 23, 72,
  133493. - -78
  133494. + -1, 2, 6, 10, 11, 18, 39, 67, 94, 112,
  133495. + 113, 125, 23, 24, 25, 26, 27, 28, 29, 30,
  133496. + 31, 32, 33, 34, 35, 36, 128, 95, 96
  133497. };
  133498. -/* YYPGOTO[NTERM-NUM]. */
  133499. -static const yytype_int8 yypgoto[] =
  133500. + /* YYTABLE[YYPACT[STATE-NUM]] -- What to do in state STATE-NUM. If
  133501. + positive, shift that token. If negative, reduce the rule whose
  133502. + number is the opposite. If YYTABLE_NINF, syntax error. */
  133503. +static const yytype_uint8 yytable[] =
  133504. {
  133505. - -78, -78, 97, 100, -78, -37, -78, -77, -78, -78,
  133506. - -78, -5, 65, 13, -78, 76, 77, 62, 80, 83,
  133507. - 34, 20, 26, 28, -14, -78, 18, 24
  133508. + 15, 69, 70, 43, 44, 45, 47, 37, 12, 13,
  133509. + 55, 56, 118, 101, 8, 38, 135, 102, 136, 119,
  133510. + 120, 121, 122, 14, 4, 63, 12, 13, 137, 123,
  133511. + 48, 9, 57, 20, 124, 3, 21, 22, 58, 115,
  133512. + 1, 14, 116, 64, 65, 7, 87, 88, 89, 12,
  133513. + 13, 117, 103, 129, 130, 40, 90, 91, 92, 53,
  133514. + 54, 131, 41, 93, 14, 42, 79, 80, 81, 82,
  133515. + 104, 59, 60, 107, 61, 62, 138, 139, 77, 78,
  133516. + 83, 84, 5, 85, 86, 17, 46, 38, 49, 50,
  133517. + 68, 66, 51, 97, 52, 98, 99, 100, 106, 110,
  133518. + 111, 126, 114, 134, 127, 133, 141, 19, 143, 16,
  133519. + 72, 109, 73, 76, 74, 108, 105, 132, 0, 0,
  133520. + 0, 0, 0, 0, 0, 0, 0, 0, 71, 0,
  133521. + 140, 0, 0, 142, 0, 75
  133522. };
  133523. -/* YYTABLE[YYPACT[STATE-NUM]]. What to do in state STATE-NUM. If
  133524. - positive, shift that token. If negative, reduce the rule which
  133525. - number is the opposite. If YYTABLE_NINF, syntax error. */
  133526. -#define YYTABLE_NINF -1
  133527. -static const yytype_uint8 yytable[] =
  133528. +static const yytype_int16 yycheck[] =
  133529. {
  133530. - 12, 66, 67, 40, 41, 42, 44, 34, 9, 10,
  133531. - 52, 53, 115, 101, 5, 112, 104, 132, 113, 133,
  133532. - 116, 117, 118, 119, 11, 1, 60, 114, 14, 134,
  133533. - 120, 45, 6, 54, 17, 121, 3, 18, 19, 55,
  133534. - 9, 10, 50, 51, 61, 62, 84, 85, 86, 9,
  133535. - 10, 4, 100, 37, 126, 127, 11, 35, 87, 88,
  133536. - 89, 38, 128, 46, 39, 11, 90, 98, 47, 35,
  133537. - 43, 99, 76, 77, 78, 79, 56, 57, 58, 59,
  133538. - 135, 136, 80, 81, 74, 75, 82, 83, 48, 63,
  133539. - 49, 65, 94, 95, 96, 97, 124, 103, 107, 108,
  133540. - 111, 123, 130, 131, 138, 16, 13, 140, 106, 71,
  133541. - 69, 105, 0, 0, 102, 0, 0, 129, 0, 0,
  133542. - 68, 0, 0, 70, 0, 0, 0, 0, 72, 0,
  133543. - 137, 0, 73, 139
  133544. + 8, 41, 42, 20, 21, 22, 13, 15, 18, 19,
  133545. + 8, 9, 14, 25, 5, 27, 20, 29, 22, 21,
  133546. + 22, 23, 24, 33, 0, 26, 18, 19, 32, 31,
  133547. + 37, 22, 30, 43, 36, 25, 46, 47, 36, 22,
  133548. + 3, 33, 25, 44, 45, 25, 63, 64, 65, 18,
  133549. + 19, 34, 92, 22, 23, 16, 15, 16, 17, 10,
  133550. + 11, 30, 23, 22, 33, 26, 55, 56, 57, 58,
  133551. + 93, 6, 7, 96, 42, 43, 34, 35, 53, 54,
  133552. + 59, 60, 4, 61, 62, 26, 35, 27, 12, 39,
  133553. + 23, 25, 40, 25, 41, 38, 17, 17, 28, 25,
  133554. + 25, 18, 25, 21, 33, 36, 34, 11, 35, 9,
  133555. + 48, 98, 49, 52, 50, 96, 93, 125, -1, -1,
  133556. + -1, -1, -1, -1, -1, -1, -1, -1, 47, -1,
  133557. + 138, -1, -1, 141, -1, 51
  133558. };
  133559. -#define yypact_value_is_default(Yystate) \
  133560. - (!!((Yystate) == (-78)))
  133561. -
  133562. -#define yytable_value_is_error(Yytable_value) \
  133563. - YYID (0)
  133564. + /* YYSTOS[STATE-NUM] -- The (internal number of the) accessing
  133565. + symbol of state STATE-NUM. */
  133566. +static const yytype_uint8 yystos[] =
  133567. +{
  133568. + 0, 3, 49, 25, 0, 4, 50, 25, 5, 22,
  133569. + 51, 52, 18, 19, 33, 60, 52, 26, 53, 51,
  133570. + 43, 46, 47, 60, 61, 62, 63, 64, 65, 66,
  133571. + 67, 68, 69, 70, 71, 72, 73, 60, 27, 54,
  133572. + 16, 23, 26, 73, 73, 73, 35, 13, 37, 12,
  133573. + 39, 40, 41, 10, 11, 8, 9, 30, 36, 6,
  133574. + 7, 42, 43, 26, 44, 45, 25, 55, 23, 54,
  133575. + 54, 64, 61, 65, 66, 67, 68, 69, 69, 70,
  133576. + 70, 70, 70, 71, 71, 72, 72, 73, 73, 73,
  133577. + 15, 16, 17, 22, 56, 75, 76, 25, 38, 17,
  133578. + 17, 25, 29, 54, 56, 76, 28, 56, 75, 62,
  133579. + 25, 25, 57, 58, 25, 22, 25, 34, 14, 21,
  133580. + 22, 23, 24, 31, 36, 59, 18, 33, 74, 22,
  133581. + 23, 30, 60, 36, 21, 20, 22, 32, 34, 35,
  133582. + 60, 34, 60, 35
  133583. +};
  133584. -static const yytype_int16 yycheck[] =
  133585. + /* YYR1[YYN] -- Symbol number of symbol that rule YYN derives. */
  133586. +static const yytype_uint8 yyr1[] =
  133587. {
  133588. - 5, 38, 39, 17, 18, 19, 12, 12, 17, 18,
  133589. - 7, 8, 13, 90, 4, 22, 93, 20, 25, 22,
  133590. - 21, 22, 23, 24, 33, 3, 26, 34, 26, 32,
  133591. - 31, 37, 22, 30, 43, 36, 25, 46, 47, 36,
  133592. - 17, 18, 9, 10, 44, 45, 60, 61, 62, 17,
  133593. - 18, 0, 89, 15, 22, 23, 33, 27, 14, 15,
  133594. - 16, 23, 30, 11, 26, 33, 22, 25, 39, 27,
  133595. - 35, 29, 52, 53, 54, 55, 5, 6, 42, 43,
  133596. - 34, 35, 56, 57, 50, 51, 58, 59, 40, 25,
  133597. - 41, 23, 25, 38, 16, 16, 33, 28, 25, 25,
  133598. - 25, 17, 36, 21, 34, 8, 6, 35, 95, 47,
  133599. - 45, 93, -1, -1, 90, -1, -1, 122, -1, -1,
  133600. - 44, -1, -1, 46, -1, -1, -1, -1, 48, -1,
  133601. - 135, -1, 49, 138
  133602. + 0, 48, 49, 50, 50, 51, 51, 52, 52, 53,
  133603. + 53, 53, 53, 54, 55, 55, 56, 56, 56, 56,
  133604. + 57, 57, 57, 57, 57, 57, 57, 58, 58, 58,
  133605. + 59, 59, 59, 59, 59, 60, 60, 60, 61, 62,
  133606. + 62, 63, 63, 64, 64, 65, 65, 66, 66, 67,
  133607. + 67, 68, 68, 68, 69, 69, 69, 69, 69, 70,
  133608. + 70, 70, 71, 71, 71, 72, 72, 72, 72, 73,
  133609. + 73, 73, 73, 74, 74, 74, 75, 75, 75, 76,
  133610. + 76, 76
  133611. };
  133612. -/* YYSTOS[STATE-NUM] -- The (internal number of the) accessing
  133613. - symbol of state STATE-NUM. */
  133614. -static const yytype_uint8 yystos[] =
  133615. + /* YYR2[YYN] -- Number of symbols on the right hand side of rule YYN. */
  133616. +static const yytype_uint8 yyr2[] =
  133617. {
  133618. - 0, 3, 49, 25, 0, 4, 22, 50, 51, 17,
  133619. - 18, 33, 59, 51, 26, 52, 50, 43, 46, 47,
  133620. - 59, 60, 61, 62, 63, 64, 65, 66, 67, 68,
  133621. - 69, 70, 71, 72, 59, 27, 53, 15, 23, 26,
  133622. - 72, 72, 72, 35, 12, 37, 11, 39, 40, 41,
  133623. - 9, 10, 7, 8, 30, 36, 5, 6, 42, 43,
  133624. - 26, 44, 45, 25, 54, 23, 53, 53, 63, 60,
  133625. - 64, 65, 66, 67, 68, 68, 69, 69, 69, 69,
  133626. - 70, 70, 71, 71, 72, 72, 72, 14, 15, 16,
  133627. - 22, 55, 74, 75, 25, 38, 16, 16, 25, 29,
  133628. - 53, 55, 75, 28, 55, 74, 61, 25, 25, 56,
  133629. - 57, 25, 22, 25, 34, 13, 21, 22, 23, 24,
  133630. - 31, 36, 58, 17, 33, 73, 22, 23, 30, 59,
  133631. - 36, 21, 20, 22, 32, 34, 35, 59, 34, 59,
  133632. - 35
  133633. + 0, 2, 5, 0, 2, 0, 2, 4, 2, 2,
  133634. + 3, 3, 4, 5, 0, 2, 4, 2, 3, 2,
  133635. + 2, 3, 4, 2, 9, 5, 2, 0, 2, 2,
  133636. + 3, 1, 2, 2, 2, 1, 1, 3, 1, 1,
  133637. + 5, 1, 3, 1, 3, 1, 3, 1, 3, 1,
  133638. + 3, 1, 3, 3, 1, 3, 3, 3, 3, 3,
  133639. + 3, 1, 3, 3, 1, 3, 3, 3, 1, 1,
  133640. + 2, 2, 2, 0, 2, 2, 0, 2, 2, 2,
  133641. + 3, 2
  133642. };
  133643. -#define yyerrok (yyerrstatus = 0)
  133644. -#define yyclearin (yychar = YYEMPTY)
  133645. -#define YYEMPTY (-2)
  133646. -#define YYEOF 0
  133647. -
  133648. -#define YYACCEPT goto yyacceptlab
  133649. -#define YYABORT goto yyabortlab
  133650. -#define YYERROR goto yyerrorlab
  133651. -
  133652. -
  133653. -/* Like YYERROR except do call yyerror. This remains here temporarily
  133654. - to ease the transition to the new meaning of YYERROR, for GCC.
  133655. - Once GCC version 2 has supplanted version 1, this can go. However,
  133656. - YYFAIL appears to be in use. Nevertheless, it is formally deprecated
  133657. - in Bison 2.4.2's NEWS entry, where a plan to phase it out is
  133658. - discussed. */
  133659. -
  133660. -#define YYFAIL goto yyerrlab
  133661. -#if defined YYFAIL
  133662. - /* This is here to suppress warnings from the GCC cpp's
  133663. - -Wunused-macros. Normally we don't worry about that warning, but
  133664. - some users do, and we want to make it easy for users to remove
  133665. - YYFAIL uses, which will produce warnings from Bison 2.5. */
  133666. -#endif
  133667. +
  133668. +#define yyerrok (yyerrstatus = 0)
  133669. +#define yyclearin (yychar = YYEMPTY)
  133670. +#define YYEMPTY (-2)
  133671. +#define YYEOF 0
  133672. +
  133673. +#define YYACCEPT goto yyacceptlab
  133674. +#define YYABORT goto yyabortlab
  133675. +#define YYERROR goto yyerrorlab
  133676. +
  133677. #define YYRECOVERING() (!!yyerrstatus)
  133678. @@ -768,27 +725,41 @@
  133679. else \
  133680. { \
  133681. yyerror (YY_("syntax error: cannot back up")); \
  133682. - YYERROR; \
  133683. - } \
  133684. -while (YYID (0))
  133685. + YYERROR; \
  133686. + } \
  133687. +while (0)
  133688. /* Error token number */
  133689. -#define YYTERROR 1
  133690. -#define YYERRCODE 256
  133691. +#define YYTERROR 1
  133692. +#define YYERRCODE 256
  133693. -/* This macro is provided for backward compatibility. */
  133694. -#ifndef YY_LOCATION_PRINT
  133695. -# define YY_LOCATION_PRINT(File, Loc) ((void) 0)
  133696. +/* YYLLOC_DEFAULT -- Set CURRENT to span from RHS[1] to RHS[N].
  133697. + If N is 0, then set CURRENT to the empty location which ends
  133698. + the previous symbol: RHS[0] (always defined). */
  133699. +
  133700. +#ifndef YYLLOC_DEFAULT
  133701. +# define YYLLOC_DEFAULT(Current, Rhs, N) \
  133702. + do \
  133703. + if (N) \
  133704. + { \
  133705. + (Current).first_line = YYRHSLOC (Rhs, 1).first_line; \
  133706. + (Current).first_column = YYRHSLOC (Rhs, 1).first_column; \
  133707. + (Current).last_line = YYRHSLOC (Rhs, N).last_line; \
  133708. + (Current).last_column = YYRHSLOC (Rhs, N).last_column; \
  133709. + } \
  133710. + else \
  133711. + { \
  133712. + (Current).first_line = (Current).last_line = \
  133713. + YYRHSLOC (Rhs, 0).last_line; \
  133714. + (Current).first_column = (Current).last_column = \
  133715. + YYRHSLOC (Rhs, 0).last_column; \
  133716. + } \
  133717. + while (0)
  133718. #endif
  133719. +#define YYRHSLOC(Rhs, K) ((Rhs)[K])
  133720. -/* YYLEX -- calling `yylex' with the right arguments. */
  133721. -#ifdef YYLEX_PARAM
  133722. -# define YYLEX yylex (YYLEX_PARAM)
  133723. -#else
  133724. -# define YYLEX yylex ()
  133725. -#endif
  133726. /* Enable debugging if requested. */
  133727. #if YYDEBUG
  133728. @@ -798,50 +769,84 @@
  133729. # define YYFPRINTF fprintf
  133730. # endif
  133731. -# define YYDPRINTF(Args) \
  133732. -do { \
  133733. - if (yydebug) \
  133734. - YYFPRINTF Args; \
  133735. -} while (YYID (0))
  133736. -
  133737. -# define YY_SYMBOL_PRINT(Title, Type, Value, Location) \
  133738. -do { \
  133739. - if (yydebug) \
  133740. - { \
  133741. - YYFPRINTF (stderr, "%s ", Title); \
  133742. - yy_symbol_print (stderr, \
  133743. - Type, Value); \
  133744. - YYFPRINTF (stderr, "\n"); \
  133745. - } \
  133746. -} while (YYID (0))
  133747. +# define YYDPRINTF(Args) \
  133748. +do { \
  133749. + if (yydebug) \
  133750. + YYFPRINTF Args; \
  133751. +} while (0)
  133752. -/*--------------------------------.
  133753. -| Print this symbol on YYOUTPUT. |
  133754. -`--------------------------------*/
  133755. +/* YY_LOCATION_PRINT -- Print the location on the stream.
  133756. + This macro was not mandated originally: define only if we know
  133757. + we won't break user code: when these are the locations we know. */
  133758. -/*ARGSUSED*/
  133759. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133760. - || defined __cplusplus || defined _MSC_VER)
  133761. -static void
  133762. -yy_symbol_value_print (FILE *yyoutput, int yytype, YYSTYPE const * const yyvaluep)
  133763. -#else
  133764. -static void
  133765. -yy_symbol_value_print (yyoutput, yytype, yyvaluep)
  133766. - FILE *yyoutput;
  133767. - int yytype;
  133768. - YYSTYPE const * const yyvaluep;
  133769. +#ifndef YY_LOCATION_PRINT
  133770. +# if defined YYLTYPE_IS_TRIVIAL && YYLTYPE_IS_TRIVIAL
  133771. +
  133772. +/* Print *YYLOCP on YYO. Private, do not rely on its existence. */
  133773. +
  133774. +YY_ATTRIBUTE_UNUSED
  133775. +static unsigned
  133776. +yy_location_print_ (FILE *yyo, YYLTYPE const * const yylocp)
  133777. +{
  133778. + unsigned res = 0;
  133779. + int end_col = 0 != yylocp->last_column ? yylocp->last_column - 1 : 0;
  133780. + if (0 <= yylocp->first_line)
  133781. + {
  133782. + res += YYFPRINTF (yyo, "%d", yylocp->first_line);
  133783. + if (0 <= yylocp->first_column)
  133784. + res += YYFPRINTF (yyo, ".%d", yylocp->first_column);
  133785. + }
  133786. + if (0 <= yylocp->last_line)
  133787. + {
  133788. + if (yylocp->first_line < yylocp->last_line)
  133789. + {
  133790. + res += YYFPRINTF (yyo, "-%d", yylocp->last_line);
  133791. + if (0 <= end_col)
  133792. + res += YYFPRINTF (yyo, ".%d", end_col);
  133793. + }
  133794. + else if (0 <= end_col && yylocp->first_column < end_col)
  133795. + res += YYFPRINTF (yyo, "-%d", end_col);
  133796. + }
  133797. + return res;
  133798. + }
  133799. +
  133800. +# define YY_LOCATION_PRINT(File, Loc) \
  133801. + yy_location_print_ (File, &(Loc))
  133802. +
  133803. +# else
  133804. +# define YY_LOCATION_PRINT(File, Loc) ((void) 0)
  133805. +# endif
  133806. #endif
  133807. +
  133808. +
  133809. +# define YY_SYMBOL_PRINT(Title, Type, Value, Location) \
  133810. +do { \
  133811. + if (yydebug) \
  133812. + { \
  133813. + YYFPRINTF (stderr, "%s ", Title); \
  133814. + yy_symbol_print (stderr, \
  133815. + Type, Value, Location); \
  133816. + YYFPRINTF (stderr, "\n"); \
  133817. + } \
  133818. +} while (0)
  133819. +
  133820. +
  133821. +/*----------------------------------------.
  133822. +| Print this symbol's value on YYOUTPUT. |
  133823. +`----------------------------------------*/
  133824. +
  133825. +static void
  133826. +yy_symbol_value_print (FILE *yyoutput, int yytype, YYSTYPE const * const yyvaluep, YYLTYPE const * const yylocationp)
  133827. {
  133828. FILE *yyo = yyoutput;
  133829. YYUSE (yyo);
  133830. + YYUSE (yylocationp);
  133831. if (!yyvaluep)
  133832. return;
  133833. # ifdef YYPRINT
  133834. if (yytype < YYNTOKENS)
  133835. YYPRINT (yyoutput, yytoknum[yytype], *yyvaluep);
  133836. -# else
  133837. - YYUSE (yyoutput);
  133838. # endif
  133839. YYUSE (yytype);
  133840. }
  133841. @@ -851,24 +856,15 @@
  133842. | Print this symbol on YYOUTPUT. |
  133843. `--------------------------------*/
  133844. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133845. - || defined __cplusplus || defined _MSC_VER)
  133846. -static void
  133847. -yy_symbol_print (FILE *yyoutput, int yytype, YYSTYPE const * const yyvaluep)
  133848. -#else
  133849. static void
  133850. -yy_symbol_print (yyoutput, yytype, yyvaluep)
  133851. - FILE *yyoutput;
  133852. - int yytype;
  133853. - YYSTYPE const * const yyvaluep;
  133854. -#endif
  133855. +yy_symbol_print (FILE *yyoutput, int yytype, YYSTYPE const * const yyvaluep, YYLTYPE const * const yylocationp)
  133856. {
  133857. - if (yytype < YYNTOKENS)
  133858. - YYFPRINTF (yyoutput, "token %s (", yytname[yytype]);
  133859. - else
  133860. - YYFPRINTF (yyoutput, "nterm %s (", yytname[yytype]);
  133861. + YYFPRINTF (yyoutput, "%s %s (",
  133862. + yytype < YYNTOKENS ? "token" : "nterm", yytname[yytype]);
  133863. - yy_symbol_value_print (yyoutput, yytype, yyvaluep);
  133864. + YY_LOCATION_PRINT (yyoutput, *yylocationp);
  133865. + YYFPRINTF (yyoutput, ": ");
  133866. + yy_symbol_value_print (yyoutput, yytype, yyvaluep, yylocationp);
  133867. YYFPRINTF (yyoutput, ")");
  133868. }
  133869. @@ -877,16 +873,8 @@
  133870. | TOP (included). |
  133871. `------------------------------------------------------------------*/
  133872. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133873. - || defined __cplusplus || defined _MSC_VER)
  133874. static void
  133875. yy_stack_print (yytype_int16 *yybottom, yytype_int16 *yytop)
  133876. -#else
  133877. -static void
  133878. -yy_stack_print (yybottom, yytop)
  133879. - yytype_int16 *yybottom;
  133880. - yytype_int16 *yytop;
  133881. -#endif
  133882. {
  133883. YYFPRINTF (stderr, "Stack now");
  133884. for (; yybottom <= yytop; yybottom++)
  133885. @@ -897,49 +885,42 @@
  133886. YYFPRINTF (stderr, "\n");
  133887. }
  133888. -# define YY_STACK_PRINT(Bottom, Top) \
  133889. -do { \
  133890. - if (yydebug) \
  133891. - yy_stack_print ((Bottom), (Top)); \
  133892. -} while (YYID (0))
  133893. +# define YY_STACK_PRINT(Bottom, Top) \
  133894. +do { \
  133895. + if (yydebug) \
  133896. + yy_stack_print ((Bottom), (Top)); \
  133897. +} while (0)
  133898. /*------------------------------------------------.
  133899. | Report that the YYRULE is going to be reduced. |
  133900. `------------------------------------------------*/
  133901. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133902. - || defined __cplusplus || defined _MSC_VER)
  133903. -static void
  133904. -yy_reduce_print (YYSTYPE *yyvsp, int yyrule)
  133905. -#else
  133906. static void
  133907. -yy_reduce_print (yyvsp, yyrule)
  133908. - YYSTYPE *yyvsp;
  133909. - int yyrule;
  133910. -#endif
  133911. +yy_reduce_print (yytype_int16 *yyssp, YYSTYPE *yyvsp, YYLTYPE *yylsp, int yyrule)
  133912. {
  133913. + unsigned long int yylno = yyrline[yyrule];
  133914. int yynrhs = yyr2[yyrule];
  133915. int yyi;
  133916. - unsigned long int yylno = yyrline[yyrule];
  133917. YYFPRINTF (stderr, "Reducing stack by rule %d (line %lu):\n",
  133918. - yyrule - 1, yylno);
  133919. + yyrule - 1, yylno);
  133920. /* The symbols being reduced. */
  133921. for (yyi = 0; yyi < yynrhs; yyi++)
  133922. {
  133923. YYFPRINTF (stderr, " $%d = ", yyi + 1);
  133924. - yy_symbol_print (stderr, yyrhs[yyprhs[yyrule] + yyi],
  133925. - &(yyvsp[(yyi + 1) - (yynrhs)])
  133926. - );
  133927. + yy_symbol_print (stderr,
  133928. + yystos[yyssp[yyi + 1 - yynrhs]],
  133929. + &(yyvsp[(yyi + 1) - (yynrhs)])
  133930. + , &(yylsp[(yyi + 1) - (yynrhs)]) );
  133931. YYFPRINTF (stderr, "\n");
  133932. }
  133933. }
  133934. -# define YY_REDUCE_PRINT(Rule) \
  133935. -do { \
  133936. - if (yydebug) \
  133937. - yy_reduce_print (yyvsp, Rule); \
  133938. -} while (YYID (0))
  133939. +# define YY_REDUCE_PRINT(Rule) \
  133940. +do { \
  133941. + if (yydebug) \
  133942. + yy_reduce_print (yyssp, yyvsp, yylsp, Rule); \
  133943. +} while (0)
  133944. /* Nonzero means print parse trace. It is left uninitialized so that
  133945. multiple parsers can coexist. */
  133946. @@ -953,7 +934,7 @@
  133947. /* YYINITDEPTH -- initial size of the parser's stacks. */
  133948. -#ifndef YYINITDEPTH
  133949. +#ifndef YYINITDEPTH
  133950. # define YYINITDEPTH 200
  133951. #endif
  133952. @@ -976,15 +957,8 @@
  133953. # define yystrlen strlen
  133954. # else
  133955. /* Return the length of YYSTR. */
  133956. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133957. - || defined __cplusplus || defined _MSC_VER)
  133958. static YYSIZE_T
  133959. yystrlen (const char *yystr)
  133960. -#else
  133961. -static YYSIZE_T
  133962. -yystrlen (yystr)
  133963. - const char *yystr;
  133964. -#endif
  133965. {
  133966. YYSIZE_T yylen;
  133967. for (yylen = 0; yystr[yylen]; yylen++)
  133968. @@ -1000,16 +974,8 @@
  133969. # else
  133970. /* Copy YYSRC to YYDEST, returning the address of the terminating '\0' in
  133971. YYDEST. */
  133972. -#if (defined __STDC__ || defined __C99__FUNC__ \
  133973. - || defined __cplusplus || defined _MSC_VER)
  133974. static char *
  133975. yystpcpy (char *yydest, const char *yysrc)
  133976. -#else
  133977. -static char *
  133978. -yystpcpy (yydest, yysrc)
  133979. - char *yydest;
  133980. - const char *yysrc;
  133981. -#endif
  133982. {
  133983. char *yyd = yydest;
  133984. const char *yys = yysrc;
  133985. @@ -1039,27 +1005,27 @@
  133986. char const *yyp = yystr;
  133987. for (;;)
  133988. - switch (*++yyp)
  133989. - {
  133990. - case '\'':
  133991. - case ',':
  133992. - goto do_not_strip_quotes;
  133993. -
  133994. - case '\\':
  133995. - if (*++yyp != '\\')
  133996. - goto do_not_strip_quotes;
  133997. - /* Fall through. */
  133998. - default:
  133999. - if (yyres)
  134000. - yyres[yyn] = *yyp;
  134001. - yyn++;
  134002. - break;
  134003. -
  134004. - case '"':
  134005. - if (yyres)
  134006. - yyres[yyn] = '\0';
  134007. - return yyn;
  134008. - }
  134009. + switch (*++yyp)
  134010. + {
  134011. + case '\'':
  134012. + case ',':
  134013. + goto do_not_strip_quotes;
  134014. +
  134015. + case '\\':
  134016. + if (*++yyp != '\\')
  134017. + goto do_not_strip_quotes;
  134018. + /* Fall through. */
  134019. + default:
  134020. + if (yyres)
  134021. + yyres[yyn] = *yyp;
  134022. + yyn++;
  134023. + break;
  134024. +
  134025. + case '"':
  134026. + if (yyres)
  134027. + yyres[yyn] = '\0';
  134028. + return yyn;
  134029. + }
  134030. do_not_strip_quotes: ;
  134031. }
  134032. @@ -1082,11 +1048,11 @@
  134033. yysyntax_error (YYSIZE_T *yymsg_alloc, char **yymsg,
  134034. yytype_int16 *yyssp, int yytoken)
  134035. {
  134036. - YYSIZE_T yysize0 = yytnamerr (YY_NULL, yytname[yytoken]);
  134037. + YYSIZE_T yysize0 = yytnamerr (YY_NULLPTR, yytname[yytoken]);
  134038. YYSIZE_T yysize = yysize0;
  134039. enum { YYERROR_VERBOSE_ARGS_MAXIMUM = 5 };
  134040. /* Internationalized format string. */
  134041. - const char *yyformat = YY_NULL;
  134042. + const char *yyformat = YY_NULLPTR;
  134043. /* Arguments of yyformat. */
  134044. char const *yyarg[YYERROR_VERBOSE_ARGS_MAXIMUM];
  134045. /* Number of reported tokens (one for the "unexpected", one per
  134046. @@ -1094,10 +1060,6 @@
  134047. int yycount = 0;
  134048. /* There are many possibilities here to consider:
  134049. - - Assume YYFAIL is not used. It's too flawed to consider. See
  134050. - <http://lists.gnu.org/archive/html/bison-patches/2009-12/msg00024.html>
  134051. - for details. YYERROR is fine as it does not invoke this
  134052. - function.
  134053. - If this state is a consistent state with a default action, then
  134054. the only way this function was invoked is if the default action
  134055. is an error action. In that case, don't check for expected
  134056. @@ -1147,7 +1109,7 @@
  134057. }
  134058. yyarg[yycount++] = yytname[yyx];
  134059. {
  134060. - YYSIZE_T yysize1 = yysize + yytnamerr (YY_NULL, yytname[yyx]);
  134061. + YYSIZE_T yysize1 = yysize + yytnamerr (YY_NULLPTR, yytname[yyx]);
  134062. if (! (yysize <= yysize1
  134063. && yysize1 <= YYSTACK_ALLOC_MAXIMUM))
  134064. return 2;
  134065. @@ -1214,26 +1176,18 @@
  134066. | Release the memory associated to this symbol. |
  134067. `-----------------------------------------------*/
  134068. -/*ARGSUSED*/
  134069. -#if (defined __STDC__ || defined __C99__FUNC__ \
  134070. - || defined __cplusplus || defined _MSC_VER)
  134071. -static void
  134072. -yydestruct (const char *yymsg, int yytype, YYSTYPE *yyvaluep)
  134073. -#else
  134074. static void
  134075. -yydestruct (yymsg, yytype, yyvaluep)
  134076. - const char *yymsg;
  134077. - int yytype;
  134078. - YYSTYPE *yyvaluep;
  134079. -#endif
  134080. +yydestruct (const char *yymsg, int yytype, YYSTYPE *yyvaluep, YYLTYPE *yylocationp)
  134081. {
  134082. YYUSE (yyvaluep);
  134083. -
  134084. + YYUSE (yylocationp);
  134085. if (!yymsg)
  134086. yymsg = "Deleting";
  134087. YY_SYMBOL_PRINT (yymsg, yytype, yyvaluep, yylocationp);
  134088. + YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  134089. YYUSE (yytype);
  134090. + YY_IGNORE_MAYBE_UNINITIALIZED_END
  134091. }
  134092. @@ -1242,18 +1196,14 @@
  134093. /* The lookahead symbol. */
  134094. int yychar;
  134095. -
  134096. -#ifndef YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  134097. -# define YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  134098. -# define YY_IGNORE_MAYBE_UNINITIALIZED_END
  134099. -#endif
  134100. -#ifndef YY_INITIAL_VALUE
  134101. -# define YY_INITIAL_VALUE(Value) /* Nothing. */
  134102. -#endif
  134103. -
  134104. /* The semantic value of the lookahead symbol. */
  134105. -YYSTYPE yylval YY_INITIAL_VALUE(yyval_default);
  134106. -
  134107. +YYSTYPE yylval;
  134108. +/* Location data for the lookahead symbol. */
  134109. +YYLTYPE yylloc
  134110. +# if defined YYLTYPE_IS_TRIVIAL && YYLTYPE_IS_TRIVIAL
  134111. + = { 1, 1, 1, 1 }
  134112. +# endif
  134113. +;
  134114. /* Number of syntax errors so far. */
  134115. int yynerrs;
  134116. @@ -1262,35 +1212,17 @@
  134117. | yyparse. |
  134118. `----------*/
  134119. -#ifdef YYPARSE_PARAM
  134120. -#if (defined __STDC__ || defined __C99__FUNC__ \
  134121. - || defined __cplusplus || defined _MSC_VER)
  134122. -int
  134123. -yyparse (void *YYPARSE_PARAM)
  134124. -#else
  134125. -int
  134126. -yyparse (YYPARSE_PARAM)
  134127. - void *YYPARSE_PARAM;
  134128. -#endif
  134129. -#else /* ! YYPARSE_PARAM */
  134130. -#if (defined __STDC__ || defined __C99__FUNC__ \
  134131. - || defined __cplusplus || defined _MSC_VER)
  134132. int
  134133. yyparse (void)
  134134. -#else
  134135. -int
  134136. -yyparse ()
  134137. -
  134138. -#endif
  134139. -#endif
  134140. {
  134141. int yystate;
  134142. /* Number of tokens to shift before error messages enabled. */
  134143. int yyerrstatus;
  134144. /* The stacks and their tools:
  134145. - `yyss': related to states.
  134146. - `yyvs': related to semantic values.
  134147. + 'yyss': related to states.
  134148. + 'yyvs': related to semantic values.
  134149. + 'yyls': related to locations.
  134150. Refer to the stacks through separate pointers, to allow yyoverflow
  134151. to reallocate them elsewhere. */
  134152. @@ -1305,6 +1237,14 @@
  134153. YYSTYPE *yyvs;
  134154. YYSTYPE *yyvsp;
  134155. + /* The location stack. */
  134156. + YYLTYPE yylsa[YYINITDEPTH];
  134157. + YYLTYPE *yyls;
  134158. + YYLTYPE *yylsp;
  134159. +
  134160. + /* The locations where the error started and ended. */
  134161. + YYLTYPE yyerror_range[3];
  134162. +
  134163. YYSIZE_T yystacksize;
  134164. int yyn;
  134165. @@ -1314,6 +1254,7 @@
  134166. /* The variables used to return semantic value and location from the
  134167. action routines. */
  134168. YYSTYPE yyval;
  134169. + YYLTYPE yyloc;
  134170. #if YYERROR_VERBOSE
  134171. /* Buffer for error messages, and its allocated size. */
  134172. @@ -1322,7 +1263,7 @@
  134173. YYSIZE_T yymsg_alloc = sizeof yymsgbuf;
  134174. #endif
  134175. -#define YYPOPSTACK(N) (yyvsp -= (N), yyssp -= (N))
  134176. +#define YYPOPSTACK(N) (yyvsp -= (N), yyssp -= (N), yylsp -= (N))
  134177. /* The number of symbols on the RHS of the reduced rule.
  134178. Keep to zero when no symbol should be popped. */
  134179. @@ -1330,6 +1271,7 @@
  134180. yyssp = yyss = yyssa;
  134181. yyvsp = yyvs = yyvsa;
  134182. + yylsp = yyls = yylsa;
  134183. yystacksize = YYINITDEPTH;
  134184. YYDPRINTF ((stderr, "Starting parse\n"));
  134185. @@ -1338,6 +1280,7 @@
  134186. yyerrstatus = 0;
  134187. yynerrs = 0;
  134188. yychar = YYEMPTY; /* Cause a token to be read. */
  134189. + yylsp[0] = yylloc;
  134190. goto yysetstate;
  134191. /*------------------------------------------------------------.
  134192. @@ -1358,23 +1301,26 @@
  134193. #ifdef yyoverflow
  134194. {
  134195. - /* Give user a chance to reallocate the stack. Use copies of
  134196. - these so that the &'s don't force the real ones into
  134197. - memory. */
  134198. - YYSTYPE *yyvs1 = yyvs;
  134199. - yytype_int16 *yyss1 = yyss;
  134200. -
  134201. - /* Each stack pointer address is followed by the size of the
  134202. - data in use in that stack, in bytes. This used to be a
  134203. - conditional around just the two extra args, but that might
  134204. - be undefined if yyoverflow is a macro. */
  134205. - yyoverflow (YY_("memory exhausted"),
  134206. - &yyss1, yysize * sizeof (*yyssp),
  134207. - &yyvs1, yysize * sizeof (*yyvsp),
  134208. - &yystacksize);
  134209. -
  134210. - yyss = yyss1;
  134211. - yyvs = yyvs1;
  134212. + /* Give user a chance to reallocate the stack. Use copies of
  134213. + these so that the &'s don't force the real ones into
  134214. + memory. */
  134215. + YYSTYPE *yyvs1 = yyvs;
  134216. + yytype_int16 *yyss1 = yyss;
  134217. + YYLTYPE *yyls1 = yyls;
  134218. +
  134219. + /* Each stack pointer address is followed by the size of the
  134220. + data in use in that stack, in bytes. This used to be a
  134221. + conditional around just the two extra args, but that might
  134222. + be undefined if yyoverflow is a macro. */
  134223. + yyoverflow (YY_("memory exhausted"),
  134224. + &yyss1, yysize * sizeof (*yyssp),
  134225. + &yyvs1, yysize * sizeof (*yyvsp),
  134226. + &yyls1, yysize * sizeof (*yylsp),
  134227. + &yystacksize);
  134228. +
  134229. + yyls = yyls1;
  134230. + yyss = yyss1;
  134231. + yyvs = yyvs1;
  134232. }
  134233. #else /* no yyoverflow */
  134234. # ifndef YYSTACK_RELOCATE
  134235. @@ -1382,34 +1328,36 @@
  134236. # else
  134237. /* Extend the stack our own way. */
  134238. if (YYMAXDEPTH <= yystacksize)
  134239. - goto yyexhaustedlab;
  134240. + goto yyexhaustedlab;
  134241. yystacksize *= 2;
  134242. if (YYMAXDEPTH < yystacksize)
  134243. - yystacksize = YYMAXDEPTH;
  134244. + yystacksize = YYMAXDEPTH;
  134245. {
  134246. - yytype_int16 *yyss1 = yyss;
  134247. - union yyalloc *yyptr =
  134248. - (union yyalloc *) YYSTACK_ALLOC (YYSTACK_BYTES (yystacksize));
  134249. - if (! yyptr)
  134250. - goto yyexhaustedlab;
  134251. - YYSTACK_RELOCATE (yyss_alloc, yyss);
  134252. - YYSTACK_RELOCATE (yyvs_alloc, yyvs);
  134253. + yytype_int16 *yyss1 = yyss;
  134254. + union yyalloc *yyptr =
  134255. + (union yyalloc *) YYSTACK_ALLOC (YYSTACK_BYTES (yystacksize));
  134256. + if (! yyptr)
  134257. + goto yyexhaustedlab;
  134258. + YYSTACK_RELOCATE (yyss_alloc, yyss);
  134259. + YYSTACK_RELOCATE (yyvs_alloc, yyvs);
  134260. + YYSTACK_RELOCATE (yyls_alloc, yyls);
  134261. # undef YYSTACK_RELOCATE
  134262. - if (yyss1 != yyssa)
  134263. - YYSTACK_FREE (yyss1);
  134264. + if (yyss1 != yyssa)
  134265. + YYSTACK_FREE (yyss1);
  134266. }
  134267. # endif
  134268. #endif /* no yyoverflow */
  134269. yyssp = yyss + yysize - 1;
  134270. yyvsp = yyvs + yysize - 1;
  134271. + yylsp = yyls + yysize - 1;
  134272. YYDPRINTF ((stderr, "Stack size increased to %lu\n",
  134273. - (unsigned long int) yystacksize));
  134274. + (unsigned long int) yystacksize));
  134275. if (yyss + yystacksize - 1 <= yyssp)
  134276. - YYABORT;
  134277. + YYABORT;
  134278. }
  134279. YYDPRINTF ((stderr, "Entering state %d\n", yystate));
  134280. @@ -1438,7 +1386,7 @@
  134281. if (yychar == YYEMPTY)
  134282. {
  134283. YYDPRINTF ((stderr, "Reading a token: "));
  134284. - yychar = YYLEX;
  134285. + yychar = yylex ();
  134286. }
  134287. if (yychar <= YYEOF)
  134288. @@ -1481,7 +1429,7 @@
  134289. YY_IGNORE_MAYBE_UNINITIALIZED_BEGIN
  134290. *++yyvsp = yylval;
  134291. YY_IGNORE_MAYBE_UNINITIALIZED_END
  134292. -
  134293. + *++yylsp = yylloc;
  134294. goto yynewstate;
  134295. @@ -1503,7 +1451,7 @@
  134296. yylen = yyr2[yyn];
  134297. /* If YYLEN is nonzero, implement the default value of the action:
  134298. - `$$ = $1'.
  134299. + '$$ = $1'.
  134300. Otherwise, the following line sets YYVAL to garbage.
  134301. This behavior is undocumented and Bison
  134302. @@ -1512,287 +1460,306 @@
  134303. GCC warning that YYVAL may be used uninitialized. */
  134304. yyval = yyvsp[1-yylen];
  134305. -
  134306. + /* Default location. */
  134307. + YYLLOC_DEFAULT (yyloc, (yylsp - yylen), yylen);
  134308. YY_REDUCE_PRINT (yyn);
  134309. switch (yyn)
  134310. {
  134311. case 2:
  134312. -/* Line 1787 of yacc.c */
  134313. -#line 110 "dtc-parser.y"
  134314. +#line 109 "dtc-parser.y" /* yacc.c:1646 */
  134315. {
  134316. - the_boot_info = build_boot_info((yyvsp[(3) - (4)].re), (yyvsp[(4) - (4)].node),
  134317. - guess_boot_cpuid((yyvsp[(4) - (4)].node)));
  134318. + (yyvsp[0].node)->is_plugin = (yyvsp[-2].is_plugin);
  134319. + (yyvsp[0].node)->is_root = 1;
  134320. + the_boot_info = build_boot_info((yyvsp[-1].re), (yyvsp[0].node),
  134321. + guess_boot_cpuid((yyvsp[0].node)));
  134322. }
  134323. +#line 1477 "dtc-parser.tab.c" /* yacc.c:1646 */
  134324. break;
  134325. case 3:
  134326. -/* Line 1787 of yacc.c */
  134327. -#line 118 "dtc-parser.y"
  134328. +#line 119 "dtc-parser.y" /* yacc.c:1646 */
  134329. {
  134330. - (yyval.re) = NULL;
  134331. + (yyval.is_plugin) = 0;
  134332. }
  134333. +#line 1485 "dtc-parser.tab.c" /* yacc.c:1646 */
  134334. break;
  134335. case 4:
  134336. -/* Line 1787 of yacc.c */
  134337. -#line 122 "dtc-parser.y"
  134338. +#line 123 "dtc-parser.y" /* yacc.c:1646 */
  134339. {
  134340. - (yyval.re) = chain_reserve_entry((yyvsp[(1) - (2)].re), (yyvsp[(2) - (2)].re));
  134341. + (yyval.is_plugin) = 1;
  134342. }
  134343. +#line 1493 "dtc-parser.tab.c" /* yacc.c:1646 */
  134344. break;
  134345. case 5:
  134346. -/* Line 1787 of yacc.c */
  134347. -#line 129 "dtc-parser.y"
  134348. +#line 130 "dtc-parser.y" /* yacc.c:1646 */
  134349. {
  134350. - (yyval.re) = build_reserve_entry((yyvsp[(2) - (4)].integer), (yyvsp[(3) - (4)].integer));
  134351. + (yyval.re) = NULL;
  134352. }
  134353. +#line 1501 "dtc-parser.tab.c" /* yacc.c:1646 */
  134354. break;
  134355. case 6:
  134356. -/* Line 1787 of yacc.c */
  134357. -#line 133 "dtc-parser.y"
  134358. +#line 134 "dtc-parser.y" /* yacc.c:1646 */
  134359. {
  134360. - add_label(&(yyvsp[(2) - (2)].re)->labels, (yyvsp[(1) - (2)].labelref));
  134361. - (yyval.re) = (yyvsp[(2) - (2)].re);
  134362. + (yyval.re) = chain_reserve_entry((yyvsp[-1].re), (yyvsp[0].re));
  134363. }
  134364. +#line 1509 "dtc-parser.tab.c" /* yacc.c:1646 */
  134365. break;
  134366. case 7:
  134367. -/* Line 1787 of yacc.c */
  134368. -#line 141 "dtc-parser.y"
  134369. +#line 141 "dtc-parser.y" /* yacc.c:1646 */
  134370. {
  134371. - (yyval.node) = name_node((yyvsp[(2) - (2)].node), "");
  134372. + (yyval.re) = build_reserve_entry((yyvsp[-2].integer), (yyvsp[-1].integer));
  134373. }
  134374. +#line 1517 "dtc-parser.tab.c" /* yacc.c:1646 */
  134375. break;
  134376. case 8:
  134377. -/* Line 1787 of yacc.c */
  134378. -#line 145 "dtc-parser.y"
  134379. +#line 145 "dtc-parser.y" /* yacc.c:1646 */
  134380. {
  134381. - (yyval.node) = merge_nodes((yyvsp[(1) - (3)].node), (yyvsp[(3) - (3)].node));
  134382. + add_label(&(yyvsp[0].re)->labels, (yyvsp[-1].labelref));
  134383. + (yyval.re) = (yyvsp[0].re);
  134384. }
  134385. +#line 1526 "dtc-parser.tab.c" /* yacc.c:1646 */
  134386. break;
  134387. case 9:
  134388. -/* Line 1787 of yacc.c */
  134389. -#line 149 "dtc-parser.y"
  134390. +#line 153 "dtc-parser.y" /* yacc.c:1646 */
  134391. {
  134392. - struct node *target = get_node_by_ref((yyvsp[(1) - (3)].node), (yyvsp[(2) - (3)].labelref));
  134393. -
  134394. - if (target)
  134395. - merge_nodes(target, (yyvsp[(3) - (3)].node));
  134396. - else
  134397. - print_error("label or path, '%s', not found", (yyvsp[(2) - (3)].labelref));
  134398. - (yyval.node) = (yyvsp[(1) - (3)].node);
  134399. + (yyval.node) = name_node((yyvsp[0].node), "");
  134400. }
  134401. +#line 1534 "dtc-parser.tab.c" /* yacc.c:1646 */
  134402. break;
  134403. case 10:
  134404. -/* Line 1787 of yacc.c */
  134405. -#line 159 "dtc-parser.y"
  134406. +#line 157 "dtc-parser.y" /* yacc.c:1646 */
  134407. {
  134408. - struct node *target = get_node_by_ref((yyvsp[(1) - (4)].node), (yyvsp[(3) - (4)].labelref));
  134409. -
  134410. - if (!target)
  134411. - print_error("label or path, '%s', not found", (yyvsp[(3) - (4)].labelref));
  134412. - else
  134413. - delete_node(target);
  134414. -
  134415. - (yyval.node) = (yyvsp[(1) - (4)].node);
  134416. + (yyval.node) = merge_nodes((yyvsp[-2].node), (yyvsp[0].node));
  134417. }
  134418. +#line 1542 "dtc-parser.tab.c" /* yacc.c:1646 */
  134419. break;
  134420. case 11:
  134421. -/* Line 1787 of yacc.c */
  134422. -#line 173 "dtc-parser.y"
  134423. +#line 161 "dtc-parser.y" /* yacc.c:1646 */
  134424. {
  134425. - (yyval.node) = build_node((yyvsp[(2) - (5)].proplist), (yyvsp[(3) - (5)].nodelist));
  134426. + struct node *target = get_node_by_ref((yyvsp[-2].node), (yyvsp[-1].labelref));
  134427. +
  134428. + if (target)
  134429. + merge_nodes(target, (yyvsp[0].node));
  134430. + else
  134431. + ERROR(&(yylsp[-1]), "Label or path %s not found", (yyvsp[-1].labelref));
  134432. + (yyval.node) = (yyvsp[-2].node);
  134433. }
  134434. +#line 1556 "dtc-parser.tab.c" /* yacc.c:1646 */
  134435. break;
  134436. case 12:
  134437. -/* Line 1787 of yacc.c */
  134438. -#line 180 "dtc-parser.y"
  134439. +#line 171 "dtc-parser.y" /* yacc.c:1646 */
  134440. {
  134441. - (yyval.proplist) = NULL;
  134442. + struct node *target = get_node_by_ref((yyvsp[-3].node), (yyvsp[-1].labelref));
  134443. +
  134444. + if (target)
  134445. + delete_node(target);
  134446. + else
  134447. + ERROR(&(yylsp[-1]), "Label or path %s not found", (yyvsp[-1].labelref));
  134448. +
  134449. +
  134450. + (yyval.node) = (yyvsp[-3].node);
  134451. }
  134452. +#line 1572 "dtc-parser.tab.c" /* yacc.c:1646 */
  134453. break;
  134454. case 13:
  134455. -/* Line 1787 of yacc.c */
  134456. -#line 184 "dtc-parser.y"
  134457. +#line 186 "dtc-parser.y" /* yacc.c:1646 */
  134458. {
  134459. - (yyval.proplist) = chain_property((yyvsp[(2) - (2)].prop), (yyvsp[(1) - (2)].proplist));
  134460. + (yyval.node) = build_node((yyvsp[-3].proplist), (yyvsp[-2].nodelist));
  134461. }
  134462. +#line 1580 "dtc-parser.tab.c" /* yacc.c:1646 */
  134463. break;
  134464. case 14:
  134465. -/* Line 1787 of yacc.c */
  134466. -#line 191 "dtc-parser.y"
  134467. +#line 193 "dtc-parser.y" /* yacc.c:1646 */
  134468. {
  134469. - (yyval.prop) = build_property((yyvsp[(1) - (4)].propnodename), (yyvsp[(3) - (4)].data));
  134470. + (yyval.proplist) = NULL;
  134471. }
  134472. +#line 1588 "dtc-parser.tab.c" /* yacc.c:1646 */
  134473. break;
  134474. case 15:
  134475. -/* Line 1787 of yacc.c */
  134476. -#line 195 "dtc-parser.y"
  134477. +#line 197 "dtc-parser.y" /* yacc.c:1646 */
  134478. {
  134479. - (yyval.prop) = build_property((yyvsp[(1) - (2)].propnodename), empty_data);
  134480. + (yyval.proplist) = chain_property((yyvsp[0].prop), (yyvsp[-1].proplist));
  134481. }
  134482. +#line 1596 "dtc-parser.tab.c" /* yacc.c:1646 */
  134483. break;
  134484. case 16:
  134485. -/* Line 1787 of yacc.c */
  134486. -#line 199 "dtc-parser.y"
  134487. +#line 204 "dtc-parser.y" /* yacc.c:1646 */
  134488. {
  134489. - (yyval.prop) = build_property_delete((yyvsp[(2) - (3)].propnodename));
  134490. + (yyval.prop) = build_property((yyvsp[-3].propnodename), (yyvsp[-1].data));
  134491. }
  134492. +#line 1604 "dtc-parser.tab.c" /* yacc.c:1646 */
  134493. break;
  134494. case 17:
  134495. -/* Line 1787 of yacc.c */
  134496. -#line 203 "dtc-parser.y"
  134497. +#line 208 "dtc-parser.y" /* yacc.c:1646 */
  134498. {
  134499. - add_label(&(yyvsp[(2) - (2)].prop)->labels, (yyvsp[(1) - (2)].labelref));
  134500. - (yyval.prop) = (yyvsp[(2) - (2)].prop);
  134501. + (yyval.prop) = build_property((yyvsp[-1].propnodename), empty_data);
  134502. }
  134503. +#line 1612 "dtc-parser.tab.c" /* yacc.c:1646 */
  134504. break;
  134505. case 18:
  134506. -/* Line 1787 of yacc.c */
  134507. -#line 211 "dtc-parser.y"
  134508. +#line 212 "dtc-parser.y" /* yacc.c:1646 */
  134509. {
  134510. - (yyval.data) = data_merge((yyvsp[(1) - (2)].data), (yyvsp[(2) - (2)].data));
  134511. + (yyval.prop) = build_property_delete((yyvsp[-1].propnodename));
  134512. }
  134513. +#line 1620 "dtc-parser.tab.c" /* yacc.c:1646 */
  134514. break;
  134515. case 19:
  134516. -/* Line 1787 of yacc.c */
  134517. -#line 215 "dtc-parser.y"
  134518. +#line 216 "dtc-parser.y" /* yacc.c:1646 */
  134519. {
  134520. - (yyval.data) = data_merge((yyvsp[(1) - (3)].data), (yyvsp[(2) - (3)].array).data);
  134521. + add_label(&(yyvsp[0].prop)->labels, (yyvsp[-1].labelref));
  134522. + (yyval.prop) = (yyvsp[0].prop);
  134523. }
  134524. +#line 1629 "dtc-parser.tab.c" /* yacc.c:1646 */
  134525. break;
  134526. case 20:
  134527. -/* Line 1787 of yacc.c */
  134528. -#line 219 "dtc-parser.y"
  134529. +#line 224 "dtc-parser.y" /* yacc.c:1646 */
  134530. {
  134531. - (yyval.data) = data_merge((yyvsp[(1) - (4)].data), (yyvsp[(3) - (4)].data));
  134532. + (yyval.data) = data_merge((yyvsp[-1].data), (yyvsp[0].data));
  134533. }
  134534. +#line 1637 "dtc-parser.tab.c" /* yacc.c:1646 */
  134535. break;
  134536. case 21:
  134537. -/* Line 1787 of yacc.c */
  134538. -#line 223 "dtc-parser.y"
  134539. +#line 228 "dtc-parser.y" /* yacc.c:1646 */
  134540. {
  134541. - (yyval.data) = data_add_marker((yyvsp[(1) - (2)].data), REF_PATH, (yyvsp[(2) - (2)].labelref));
  134542. + (yyval.data) = data_merge((yyvsp[-2].data), (yyvsp[-1].array).data);
  134543. }
  134544. +#line 1645 "dtc-parser.tab.c" /* yacc.c:1646 */
  134545. break;
  134546. case 22:
  134547. -/* Line 1787 of yacc.c */
  134548. -#line 227 "dtc-parser.y"
  134549. +#line 232 "dtc-parser.y" /* yacc.c:1646 */
  134550. {
  134551. - FILE *f = srcfile_relative_open((yyvsp[(4) - (9)].data).val, NULL);
  134552. + (yyval.data) = data_merge((yyvsp[-3].data), (yyvsp[-1].data));
  134553. + }
  134554. +#line 1653 "dtc-parser.tab.c" /* yacc.c:1646 */
  134555. + break;
  134556. +
  134557. + case 23:
  134558. +#line 236 "dtc-parser.y" /* yacc.c:1646 */
  134559. + {
  134560. + (yyval.data) = data_add_marker((yyvsp[-1].data), REF_PATH, (yyvsp[0].labelref));
  134561. + }
  134562. +#line 1661 "dtc-parser.tab.c" /* yacc.c:1646 */
  134563. + break;
  134564. +
  134565. + case 24:
  134566. +#line 240 "dtc-parser.y" /* yacc.c:1646 */
  134567. + {
  134568. + FILE *f = srcfile_relative_open((yyvsp[-5].data).val, NULL);
  134569. struct data d;
  134570. - if ((yyvsp[(6) - (9)].integer) != 0)
  134571. - if (fseek(f, (yyvsp[(6) - (9)].integer), SEEK_SET) != 0)
  134572. - print_error("Couldn't seek to offset %llu in \"%s\": %s",
  134573. - (unsigned long long)(yyvsp[(6) - (9)].integer),
  134574. - (yyvsp[(4) - (9)].data).val,
  134575. - strerror(errno));
  134576. + if ((yyvsp[-3].integer) != 0)
  134577. + if (fseek(f, (yyvsp[-3].integer), SEEK_SET) != 0)
  134578. + die("Couldn't seek to offset %llu in \"%s\": %s",
  134579. + (unsigned long long)(yyvsp[-3].integer), (yyvsp[-5].data).val,
  134580. + strerror(errno));
  134581. - d = data_copy_file(f, (yyvsp[(8) - (9)].integer));
  134582. + d = data_copy_file(f, (yyvsp[-1].integer));
  134583. - (yyval.data) = data_merge((yyvsp[(1) - (9)].data), d);
  134584. + (yyval.data) = data_merge((yyvsp[-8].data), d);
  134585. fclose(f);
  134586. }
  134587. +#line 1681 "dtc-parser.tab.c" /* yacc.c:1646 */
  134588. break;
  134589. - case 23:
  134590. -/* Line 1787 of yacc.c */
  134591. -#line 244 "dtc-parser.y"
  134592. + case 25:
  134593. +#line 256 "dtc-parser.y" /* yacc.c:1646 */
  134594. {
  134595. - FILE *f = srcfile_relative_open((yyvsp[(4) - (5)].data).val, NULL);
  134596. + FILE *f = srcfile_relative_open((yyvsp[-1].data).val, NULL);
  134597. struct data d = empty_data;
  134598. d = data_copy_file(f, -1);
  134599. - (yyval.data) = data_merge((yyvsp[(1) - (5)].data), d);
  134600. + (yyval.data) = data_merge((yyvsp[-4].data), d);
  134601. fclose(f);
  134602. }
  134603. +#line 1695 "dtc-parser.tab.c" /* yacc.c:1646 */
  134604. break;
  134605. - case 24:
  134606. -/* Line 1787 of yacc.c */
  134607. -#line 254 "dtc-parser.y"
  134608. + case 26:
  134609. +#line 266 "dtc-parser.y" /* yacc.c:1646 */
  134610. {
  134611. - (yyval.data) = data_add_marker((yyvsp[(1) - (2)].data), LABEL, (yyvsp[(2) - (2)].labelref));
  134612. + (yyval.data) = data_add_marker((yyvsp[-1].data), LABEL, (yyvsp[0].labelref));
  134613. }
  134614. +#line 1703 "dtc-parser.tab.c" /* yacc.c:1646 */
  134615. break;
  134616. - case 25:
  134617. -/* Line 1787 of yacc.c */
  134618. -#line 261 "dtc-parser.y"
  134619. + case 27:
  134620. +#line 273 "dtc-parser.y" /* yacc.c:1646 */
  134621. {
  134622. (yyval.data) = empty_data;
  134623. }
  134624. +#line 1711 "dtc-parser.tab.c" /* yacc.c:1646 */
  134625. break;
  134626. - case 26:
  134627. -/* Line 1787 of yacc.c */
  134628. -#line 265 "dtc-parser.y"
  134629. + case 28:
  134630. +#line 277 "dtc-parser.y" /* yacc.c:1646 */
  134631. {
  134632. - (yyval.data) = (yyvsp[(1) - (2)].data);
  134633. + (yyval.data) = (yyvsp[-1].data);
  134634. }
  134635. +#line 1719 "dtc-parser.tab.c" /* yacc.c:1646 */
  134636. break;
  134637. - case 27:
  134638. -/* Line 1787 of yacc.c */
  134639. -#line 269 "dtc-parser.y"
  134640. + case 29:
  134641. +#line 281 "dtc-parser.y" /* yacc.c:1646 */
  134642. {
  134643. - (yyval.data) = data_add_marker((yyvsp[(1) - (2)].data), LABEL, (yyvsp[(2) - (2)].labelref));
  134644. + (yyval.data) = data_add_marker((yyvsp[-1].data), LABEL, (yyvsp[0].labelref));
  134645. }
  134646. +#line 1727 "dtc-parser.tab.c" /* yacc.c:1646 */
  134647. break;
  134648. - case 28:
  134649. -/* Line 1787 of yacc.c */
  134650. -#line 276 "dtc-parser.y"
  134651. + case 30:
  134652. +#line 288 "dtc-parser.y" /* yacc.c:1646 */
  134653. {
  134654. - (yyval.array).data = empty_data;
  134655. - (yyval.array).bits = eval_literal((yyvsp[(2) - (3)].literal), 0, 7);
  134656. + unsigned long long bits;
  134657. - if (((yyval.array).bits != 8) &&
  134658. - ((yyval.array).bits != 16) &&
  134659. - ((yyval.array).bits != 32) &&
  134660. - ((yyval.array).bits != 64))
  134661. - {
  134662. - print_error("Only 8, 16, 32 and 64-bit elements"
  134663. - " are currently supported");
  134664. - (yyval.array).bits = 32;
  134665. + bits = (yyvsp[-1].integer);
  134666. +
  134667. + if ((bits != 8) && (bits != 16) &&
  134668. + (bits != 32) && (bits != 64)) {
  134669. + ERROR(&(yylsp[-1]), "Array elements must be"
  134670. + " 8, 16, 32 or 64-bits");
  134671. + bits = 32;
  134672. }
  134673. +
  134674. + (yyval.array).data = empty_data;
  134675. + (yyval.array).bits = bits;
  134676. }
  134677. +#line 1747 "dtc-parser.tab.c" /* yacc.c:1646 */
  134678. break;
  134679. - case 29:
  134680. -/* Line 1787 of yacc.c */
  134681. -#line 291 "dtc-parser.y"
  134682. + case 31:
  134683. +#line 304 "dtc-parser.y" /* yacc.c:1646 */
  134684. {
  134685. (yyval.array).data = empty_data;
  134686. (yyval.array).bits = 32;
  134687. }
  134688. +#line 1756 "dtc-parser.tab.c" /* yacc.c:1646 */
  134689. break;
  134690. - case 30:
  134691. -/* Line 1787 of yacc.c */
  134692. -#line 296 "dtc-parser.y"
  134693. + case 32:
  134694. +#line 309 "dtc-parser.y" /* yacc.c:1646 */
  134695. {
  134696. - if ((yyvsp[(1) - (2)].array).bits < 64) {
  134697. - uint64_t mask = (1ULL << (yyvsp[(1) - (2)].array).bits) - 1;
  134698. + if ((yyvsp[-1].array).bits < 64) {
  134699. + uint64_t mask = (1ULL << (yyvsp[-1].array).bits) - 1;
  134700. /*
  134701. * Bits above mask must either be all zero
  134702. * (positive within range of mask) or all one
  134703. @@ -1801,275 +1768,258 @@
  134704. * within the mask to one (i.e. | in the
  134705. * mask), all bits are one.
  134706. */
  134707. - if (((yyvsp[(2) - (2)].integer) > mask) && (((yyvsp[(2) - (2)].integer) | mask) != -1ULL))
  134708. - print_error(
  134709. - "integer value out of range "
  134710. - "%016lx (%d bits)", (yyvsp[(1) - (2)].array).bits);
  134711. + if (((yyvsp[0].integer) > mask) && (((yyvsp[0].integer) | mask) != -1ULL))
  134712. + ERROR(&(yylsp[0]), "Value out of range for"
  134713. + " %d-bit array element", (yyvsp[-1].array).bits);
  134714. }
  134715. - (yyval.array).data = data_append_integer((yyvsp[(1) - (2)].array).data, (yyvsp[(2) - (2)].integer), (yyvsp[(1) - (2)].array).bits);
  134716. + (yyval.array).data = data_append_integer((yyvsp[-1].array).data, (yyvsp[0].integer), (yyvsp[-1].array).bits);
  134717. }
  134718. +#line 1779 "dtc-parser.tab.c" /* yacc.c:1646 */
  134719. break;
  134720. - case 31:
  134721. -/* Line 1787 of yacc.c */
  134722. -#line 316 "dtc-parser.y"
  134723. + case 33:
  134724. +#line 328 "dtc-parser.y" /* yacc.c:1646 */
  134725. {
  134726. - uint64_t val = ~0ULL >> (64 - (yyvsp[(1) - (2)].array).bits);
  134727. + uint64_t val = ~0ULL >> (64 - (yyvsp[-1].array).bits);
  134728. - if ((yyvsp[(1) - (2)].array).bits == 32)
  134729. - (yyvsp[(1) - (2)].array).data = data_add_marker((yyvsp[(1) - (2)].array).data,
  134730. + if ((yyvsp[-1].array).bits == 32)
  134731. + (yyvsp[-1].array).data = data_add_marker((yyvsp[-1].array).data,
  134732. REF_PHANDLE,
  134733. - (yyvsp[(2) - (2)].labelref));
  134734. + (yyvsp[0].labelref));
  134735. else
  134736. - print_error("References are only allowed in "
  134737. + ERROR(&(yylsp[0]), "References are only allowed in "
  134738. "arrays with 32-bit elements.");
  134739. - (yyval.array).data = data_append_integer((yyvsp[(1) - (2)].array).data, val, (yyvsp[(1) - (2)].array).bits);
  134740. - }
  134741. - break;
  134742. -
  134743. - case 32:
  134744. -/* Line 1787 of yacc.c */
  134745. -#line 330 "dtc-parser.y"
  134746. - {
  134747. - (yyval.array).data = data_add_marker((yyvsp[(1) - (2)].array).data, LABEL, (yyvsp[(2) - (2)].labelref));
  134748. - }
  134749. - break;
  134750. -
  134751. - case 33:
  134752. -/* Line 1787 of yacc.c */
  134753. -#line 337 "dtc-parser.y"
  134754. - {
  134755. - (yyval.integer) = eval_literal((yyvsp[(1) - (1)].literal), 0, 64);
  134756. + (yyval.array).data = data_append_integer((yyvsp[-1].array).data, val, (yyvsp[-1].array).bits);
  134757. }
  134758. +#line 1797 "dtc-parser.tab.c" /* yacc.c:1646 */
  134759. break;
  134760. case 34:
  134761. -/* Line 1787 of yacc.c */
  134762. -#line 341 "dtc-parser.y"
  134763. +#line 342 "dtc-parser.y" /* yacc.c:1646 */
  134764. {
  134765. - (yyval.integer) = eval_char_literal((yyvsp[(1) - (1)].literal));
  134766. + (yyval.array).data = data_add_marker((yyvsp[-1].array).data, LABEL, (yyvsp[0].labelref));
  134767. }
  134768. +#line 1805 "dtc-parser.tab.c" /* yacc.c:1646 */
  134769. break;
  134770. - case 35:
  134771. -/* Line 1787 of yacc.c */
  134772. -#line 345 "dtc-parser.y"
  134773. + case 37:
  134774. +#line 351 "dtc-parser.y" /* yacc.c:1646 */
  134775. {
  134776. - (yyval.integer) = (yyvsp[(2) - (3)].integer);
  134777. + (yyval.integer) = (yyvsp[-1].integer);
  134778. }
  134779. - break;
  134780. -
  134781. - case 38:
  134782. -/* Line 1787 of yacc.c */
  134783. -#line 356 "dtc-parser.y"
  134784. - { (yyval.integer) = (yyvsp[(1) - (5)].integer) ? (yyvsp[(3) - (5)].integer) : (yyvsp[(5) - (5)].integer); }
  134785. +#line 1813 "dtc-parser.tab.c" /* yacc.c:1646 */
  134786. break;
  134787. case 40:
  134788. -/* Line 1787 of yacc.c */
  134789. -#line 361 "dtc-parser.y"
  134790. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) || (yyvsp[(3) - (3)].integer); }
  134791. +#line 362 "dtc-parser.y" /* yacc.c:1646 */
  134792. + { (yyval.integer) = (yyvsp[-4].integer) ? (yyvsp[-2].integer) : (yyvsp[0].integer); }
  134793. +#line 1819 "dtc-parser.tab.c" /* yacc.c:1646 */
  134794. break;
  134795. case 42:
  134796. -/* Line 1787 of yacc.c */
  134797. -#line 366 "dtc-parser.y"
  134798. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) && (yyvsp[(3) - (3)].integer); }
  134799. +#line 367 "dtc-parser.y" /* yacc.c:1646 */
  134800. + { (yyval.integer) = (yyvsp[-2].integer) || (yyvsp[0].integer); }
  134801. +#line 1825 "dtc-parser.tab.c" /* yacc.c:1646 */
  134802. break;
  134803. case 44:
  134804. -/* Line 1787 of yacc.c */
  134805. -#line 371 "dtc-parser.y"
  134806. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) | (yyvsp[(3) - (3)].integer); }
  134807. +#line 372 "dtc-parser.y" /* yacc.c:1646 */
  134808. + { (yyval.integer) = (yyvsp[-2].integer) && (yyvsp[0].integer); }
  134809. +#line 1831 "dtc-parser.tab.c" /* yacc.c:1646 */
  134810. break;
  134811. case 46:
  134812. -/* Line 1787 of yacc.c */
  134813. -#line 376 "dtc-parser.y"
  134814. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) ^ (yyvsp[(3) - (3)].integer); }
  134815. +#line 377 "dtc-parser.y" /* yacc.c:1646 */
  134816. + { (yyval.integer) = (yyvsp[-2].integer) | (yyvsp[0].integer); }
  134817. +#line 1837 "dtc-parser.tab.c" /* yacc.c:1646 */
  134818. break;
  134819. case 48:
  134820. -/* Line 1787 of yacc.c */
  134821. -#line 381 "dtc-parser.y"
  134822. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) & (yyvsp[(3) - (3)].integer); }
  134823. +#line 382 "dtc-parser.y" /* yacc.c:1646 */
  134824. + { (yyval.integer) = (yyvsp[-2].integer) ^ (yyvsp[0].integer); }
  134825. +#line 1843 "dtc-parser.tab.c" /* yacc.c:1646 */
  134826. break;
  134827. case 50:
  134828. -/* Line 1787 of yacc.c */
  134829. -#line 386 "dtc-parser.y"
  134830. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) == (yyvsp[(3) - (3)].integer); }
  134831. +#line 387 "dtc-parser.y" /* yacc.c:1646 */
  134832. + { (yyval.integer) = (yyvsp[-2].integer) & (yyvsp[0].integer); }
  134833. +#line 1849 "dtc-parser.tab.c" /* yacc.c:1646 */
  134834. break;
  134835. - case 51:
  134836. -/* Line 1787 of yacc.c */
  134837. -#line 387 "dtc-parser.y"
  134838. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) != (yyvsp[(3) - (3)].integer); }
  134839. + case 52:
  134840. +#line 392 "dtc-parser.y" /* yacc.c:1646 */
  134841. + { (yyval.integer) = (yyvsp[-2].integer) == (yyvsp[0].integer); }
  134842. +#line 1855 "dtc-parser.tab.c" /* yacc.c:1646 */
  134843. break;
  134844. case 53:
  134845. -/* Line 1787 of yacc.c */
  134846. -#line 392 "dtc-parser.y"
  134847. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) < (yyvsp[(3) - (3)].integer); }
  134848. - break;
  134849. -
  134850. - case 54:
  134851. -/* Line 1787 of yacc.c */
  134852. -#line 393 "dtc-parser.y"
  134853. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) > (yyvsp[(3) - (3)].integer); }
  134854. +#line 393 "dtc-parser.y" /* yacc.c:1646 */
  134855. + { (yyval.integer) = (yyvsp[-2].integer) != (yyvsp[0].integer); }
  134856. +#line 1861 "dtc-parser.tab.c" /* yacc.c:1646 */
  134857. break;
  134858. case 55:
  134859. -/* Line 1787 of yacc.c */
  134860. -#line 394 "dtc-parser.y"
  134861. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) <= (yyvsp[(3) - (3)].integer); }
  134862. +#line 398 "dtc-parser.y" /* yacc.c:1646 */
  134863. + { (yyval.integer) = (yyvsp[-2].integer) < (yyvsp[0].integer); }
  134864. +#line 1867 "dtc-parser.tab.c" /* yacc.c:1646 */
  134865. break;
  134866. case 56:
  134867. -/* Line 1787 of yacc.c */
  134868. -#line 395 "dtc-parser.y"
  134869. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) >= (yyvsp[(3) - (3)].integer); }
  134870. +#line 399 "dtc-parser.y" /* yacc.c:1646 */
  134871. + { (yyval.integer) = (yyvsp[-2].integer) > (yyvsp[0].integer); }
  134872. +#line 1873 "dtc-parser.tab.c" /* yacc.c:1646 */
  134873. break;
  134874. case 57:
  134875. -/* Line 1787 of yacc.c */
  134876. -#line 399 "dtc-parser.y"
  134877. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) << (yyvsp[(3) - (3)].integer); }
  134878. +#line 400 "dtc-parser.y" /* yacc.c:1646 */
  134879. + { (yyval.integer) = (yyvsp[-2].integer) <= (yyvsp[0].integer); }
  134880. +#line 1879 "dtc-parser.tab.c" /* yacc.c:1646 */
  134881. break;
  134882. case 58:
  134883. -/* Line 1787 of yacc.c */
  134884. -#line 400 "dtc-parser.y"
  134885. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) >> (yyvsp[(3) - (3)].integer); }
  134886. +#line 401 "dtc-parser.y" /* yacc.c:1646 */
  134887. + { (yyval.integer) = (yyvsp[-2].integer) >= (yyvsp[0].integer); }
  134888. +#line 1885 "dtc-parser.tab.c" /* yacc.c:1646 */
  134889. break;
  134890. - case 60:
  134891. -/* Line 1787 of yacc.c */
  134892. -#line 405 "dtc-parser.y"
  134893. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) + (yyvsp[(3) - (3)].integer); }
  134894. + case 59:
  134895. +#line 405 "dtc-parser.y" /* yacc.c:1646 */
  134896. + { (yyval.integer) = (yyvsp[-2].integer) << (yyvsp[0].integer); }
  134897. +#line 1891 "dtc-parser.tab.c" /* yacc.c:1646 */
  134898. break;
  134899. - case 61:
  134900. -/* Line 1787 of yacc.c */
  134901. -#line 406 "dtc-parser.y"
  134902. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) - (yyvsp[(3) - (3)].integer); }
  134903. + case 60:
  134904. +#line 406 "dtc-parser.y" /* yacc.c:1646 */
  134905. + { (yyval.integer) = (yyvsp[-2].integer) >> (yyvsp[0].integer); }
  134906. +#line 1897 "dtc-parser.tab.c" /* yacc.c:1646 */
  134907. break;
  134908. - case 63:
  134909. -/* Line 1787 of yacc.c */
  134910. -#line 411 "dtc-parser.y"
  134911. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) * (yyvsp[(3) - (3)].integer); }
  134912. + case 62:
  134913. +#line 411 "dtc-parser.y" /* yacc.c:1646 */
  134914. + { (yyval.integer) = (yyvsp[-2].integer) + (yyvsp[0].integer); }
  134915. +#line 1903 "dtc-parser.tab.c" /* yacc.c:1646 */
  134916. break;
  134917. - case 64:
  134918. -/* Line 1787 of yacc.c */
  134919. -#line 412 "dtc-parser.y"
  134920. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) / (yyvsp[(3) - (3)].integer); }
  134921. + case 63:
  134922. +#line 412 "dtc-parser.y" /* yacc.c:1646 */
  134923. + { (yyval.integer) = (yyvsp[-2].integer) - (yyvsp[0].integer); }
  134924. +#line 1909 "dtc-parser.tab.c" /* yacc.c:1646 */
  134925. break;
  134926. case 65:
  134927. -/* Line 1787 of yacc.c */
  134928. -#line 413 "dtc-parser.y"
  134929. - { (yyval.integer) = (yyvsp[(1) - (3)].integer) % (yyvsp[(3) - (3)].integer); }
  134930. +#line 417 "dtc-parser.y" /* yacc.c:1646 */
  134931. + { (yyval.integer) = (yyvsp[-2].integer) * (yyvsp[0].integer); }
  134932. +#line 1915 "dtc-parser.tab.c" /* yacc.c:1646 */
  134933. break;
  134934. - case 68:
  134935. -/* Line 1787 of yacc.c */
  134936. -#line 419 "dtc-parser.y"
  134937. - { (yyval.integer) = -(yyvsp[(2) - (2)].integer); }
  134938. + case 66:
  134939. +#line 418 "dtc-parser.y" /* yacc.c:1646 */
  134940. + { (yyval.integer) = (yyvsp[-2].integer) / (yyvsp[0].integer); }
  134941. +#line 1921 "dtc-parser.tab.c" /* yacc.c:1646 */
  134942. break;
  134943. - case 69:
  134944. -/* Line 1787 of yacc.c */
  134945. -#line 420 "dtc-parser.y"
  134946. - { (yyval.integer) = ~(yyvsp[(2) - (2)].integer); }
  134947. + case 67:
  134948. +#line 419 "dtc-parser.y" /* yacc.c:1646 */
  134949. + { (yyval.integer) = (yyvsp[-2].integer) % (yyvsp[0].integer); }
  134950. +#line 1927 "dtc-parser.tab.c" /* yacc.c:1646 */
  134951. break;
  134952. case 70:
  134953. -/* Line 1787 of yacc.c */
  134954. -#line 421 "dtc-parser.y"
  134955. - { (yyval.integer) = !(yyvsp[(2) - (2)].integer); }
  134956. +#line 425 "dtc-parser.y" /* yacc.c:1646 */
  134957. + { (yyval.integer) = -(yyvsp[0].integer); }
  134958. +#line 1933 "dtc-parser.tab.c" /* yacc.c:1646 */
  134959. break;
  134960. case 71:
  134961. -/* Line 1787 of yacc.c */
  134962. -#line 426 "dtc-parser.y"
  134963. - {
  134964. - (yyval.data) = empty_data;
  134965. - }
  134966. +#line 426 "dtc-parser.y" /* yacc.c:1646 */
  134967. + { (yyval.integer) = ~(yyvsp[0].integer); }
  134968. +#line 1939 "dtc-parser.tab.c" /* yacc.c:1646 */
  134969. break;
  134970. case 72:
  134971. -/* Line 1787 of yacc.c */
  134972. -#line 430 "dtc-parser.y"
  134973. - {
  134974. - (yyval.data) = data_append_byte((yyvsp[(1) - (2)].data), (yyvsp[(2) - (2)].byte));
  134975. - }
  134976. +#line 427 "dtc-parser.y" /* yacc.c:1646 */
  134977. + { (yyval.integer) = !(yyvsp[0].integer); }
  134978. +#line 1945 "dtc-parser.tab.c" /* yacc.c:1646 */
  134979. break;
  134980. case 73:
  134981. -/* Line 1787 of yacc.c */
  134982. -#line 434 "dtc-parser.y"
  134983. +#line 432 "dtc-parser.y" /* yacc.c:1646 */
  134984. {
  134985. - (yyval.data) = data_add_marker((yyvsp[(1) - (2)].data), LABEL, (yyvsp[(2) - (2)].labelref));
  134986. + (yyval.data) = empty_data;
  134987. }
  134988. +#line 1953 "dtc-parser.tab.c" /* yacc.c:1646 */
  134989. break;
  134990. case 74:
  134991. -/* Line 1787 of yacc.c */
  134992. -#line 441 "dtc-parser.y"
  134993. +#line 436 "dtc-parser.y" /* yacc.c:1646 */
  134994. {
  134995. - (yyval.nodelist) = NULL;
  134996. + (yyval.data) = data_append_byte((yyvsp[-1].data), (yyvsp[0].byte));
  134997. }
  134998. +#line 1961 "dtc-parser.tab.c" /* yacc.c:1646 */
  134999. break;
  135000. case 75:
  135001. -/* Line 1787 of yacc.c */
  135002. -#line 445 "dtc-parser.y"
  135003. +#line 440 "dtc-parser.y" /* yacc.c:1646 */
  135004. {
  135005. - (yyval.nodelist) = chain_node((yyvsp[(1) - (2)].node), (yyvsp[(2) - (2)].nodelist));
  135006. + (yyval.data) = data_add_marker((yyvsp[-1].data), LABEL, (yyvsp[0].labelref));
  135007. }
  135008. +#line 1969 "dtc-parser.tab.c" /* yacc.c:1646 */
  135009. break;
  135010. case 76:
  135011. -/* Line 1787 of yacc.c */
  135012. -#line 449 "dtc-parser.y"
  135013. +#line 447 "dtc-parser.y" /* yacc.c:1646 */
  135014. {
  135015. - print_error("syntax error: properties must precede subnodes");
  135016. - YYERROR;
  135017. + (yyval.nodelist) = NULL;
  135018. }
  135019. +#line 1977 "dtc-parser.tab.c" /* yacc.c:1646 */
  135020. break;
  135021. case 77:
  135022. -/* Line 1787 of yacc.c */
  135023. -#line 457 "dtc-parser.y"
  135024. +#line 451 "dtc-parser.y" /* yacc.c:1646 */
  135025. {
  135026. - (yyval.node) = name_node((yyvsp[(2) - (2)].node), (yyvsp[(1) - (2)].propnodename));
  135027. + (yyval.nodelist) = chain_node((yyvsp[-1].node), (yyvsp[0].nodelist));
  135028. }
  135029. +#line 1985 "dtc-parser.tab.c" /* yacc.c:1646 */
  135030. break;
  135031. case 78:
  135032. -/* Line 1787 of yacc.c */
  135033. -#line 461 "dtc-parser.y"
  135034. +#line 455 "dtc-parser.y" /* yacc.c:1646 */
  135035. {
  135036. - (yyval.node) = name_node(build_node_delete(), (yyvsp[(2) - (3)].propnodename));
  135037. + ERROR(&(yylsp[0]), "Properties must precede subnodes");
  135038. + YYERROR;
  135039. }
  135040. +#line 1994 "dtc-parser.tab.c" /* yacc.c:1646 */
  135041. break;
  135042. case 79:
  135043. -/* Line 1787 of yacc.c */
  135044. -#line 465 "dtc-parser.y"
  135045. +#line 463 "dtc-parser.y" /* yacc.c:1646 */
  135046. {
  135047. - add_label(&(yyvsp[(2) - (2)].node)->labels, (yyvsp[(1) - (2)].labelref));
  135048. - (yyval.node) = (yyvsp[(2) - (2)].node);
  135049. + (yyval.node) = name_node((yyvsp[0].node), (yyvsp[-1].propnodename));
  135050. }
  135051. +#line 2002 "dtc-parser.tab.c" /* yacc.c:1646 */
  135052. break;
  135053. + case 80:
  135054. +#line 467 "dtc-parser.y" /* yacc.c:1646 */
  135055. + {
  135056. + (yyval.node) = name_node(build_node_delete(), (yyvsp[-1].propnodename));
  135057. + }
  135058. +#line 2010 "dtc-parser.tab.c" /* yacc.c:1646 */
  135059. + break;
  135060. +
  135061. + case 81:
  135062. +#line 471 "dtc-parser.y" /* yacc.c:1646 */
  135063. + {
  135064. + add_label(&(yyvsp[0].node)->labels, (yyvsp[-1].labelref));
  135065. + (yyval.node) = (yyvsp[0].node);
  135066. + }
  135067. +#line 2019 "dtc-parser.tab.c" /* yacc.c:1646 */
  135068. + break;
  135069. -/* Line 1787 of yacc.c */
  135070. -#line 2073 "dtc-parser.tab.c"
  135071. +
  135072. +#line 2023 "dtc-parser.tab.c" /* yacc.c:1646 */
  135073. default: break;
  135074. }
  135075. /* User semantic actions sometimes alter yychar, and that requires
  135076. @@ -2090,8 +2040,9 @@
  135077. YY_STACK_PRINT (yyss, yyssp);
  135078. *++yyvsp = yyval;
  135079. + *++yylsp = yyloc;
  135080. - /* Now `shift' the result of the reduction. Determine what state
  135081. + /* Now 'shift' the result of the reduction. Determine what state
  135082. that goes to, based on the state we popped back to and the rule
  135083. number reduced by. */
  135084. @@ -2106,9 +2057,9 @@
  135085. goto yynewstate;
  135086. -/*------------------------------------.
  135087. -| yyerrlab -- here on detecting error |
  135088. -`------------------------------------*/
  135089. +/*--------------------------------------.
  135090. +| yyerrlab -- here on detecting error. |
  135091. +`--------------------------------------*/
  135092. yyerrlab:
  135093. /* Make sure we have latest lookahead translation. See comments at
  135094. user semantic actions for why this is necessary. */
  135095. @@ -2154,25 +2105,25 @@
  135096. #endif
  135097. }
  135098. -
  135099. + yyerror_range[1] = yylloc;
  135100. if (yyerrstatus == 3)
  135101. {
  135102. /* If just tried and failed to reuse lookahead token after an
  135103. - error, discard it. */
  135104. + error, discard it. */
  135105. if (yychar <= YYEOF)
  135106. - {
  135107. - /* Return failure if at end of input. */
  135108. - if (yychar == YYEOF)
  135109. - YYABORT;
  135110. - }
  135111. + {
  135112. + /* Return failure if at end of input. */
  135113. + if (yychar == YYEOF)
  135114. + YYABORT;
  135115. + }
  135116. else
  135117. - {
  135118. - yydestruct ("Error: discarding",
  135119. - yytoken, &yylval);
  135120. - yychar = YYEMPTY;
  135121. - }
  135122. + {
  135123. + yydestruct ("Error: discarding",
  135124. + yytoken, &yylval, &yylloc);
  135125. + yychar = YYEMPTY;
  135126. + }
  135127. }
  135128. /* Else will try to reuse lookahead token after shifting the error
  135129. @@ -2191,7 +2142,8 @@
  135130. if (/*CONSTCOND*/ 0)
  135131. goto yyerrorlab;
  135132. - /* Do not reclaim the symbols of the rule which action triggered
  135133. + yyerror_range[1] = yylsp[1-yylen];
  135134. + /* Do not reclaim the symbols of the rule whose action triggered
  135135. this YYERROR. */
  135136. YYPOPSTACK (yylen);
  135137. yylen = 0;
  135138. @@ -2204,29 +2156,29 @@
  135139. | yyerrlab1 -- common code for both syntax error and YYERROR. |
  135140. `-------------------------------------------------------------*/
  135141. yyerrlab1:
  135142. - yyerrstatus = 3; /* Each real token shifted decrements this. */
  135143. + yyerrstatus = 3; /* Each real token shifted decrements this. */
  135144. for (;;)
  135145. {
  135146. yyn = yypact[yystate];
  135147. if (!yypact_value_is_default (yyn))
  135148. - {
  135149. - yyn += YYTERROR;
  135150. - if (0 <= yyn && yyn <= YYLAST && yycheck[yyn] == YYTERROR)
  135151. - {
  135152. - yyn = yytable[yyn];
  135153. - if (0 < yyn)
  135154. - break;
  135155. - }
  135156. - }
  135157. + {
  135158. + yyn += YYTERROR;
  135159. + if (0 <= yyn && yyn <= YYLAST && yycheck[yyn] == YYTERROR)
  135160. + {
  135161. + yyn = yytable[yyn];
  135162. + if (0 < yyn)
  135163. + break;
  135164. + }
  135165. + }
  135166. /* Pop the current state because it cannot handle the error token. */
  135167. if (yyssp == yyss)
  135168. - YYABORT;
  135169. -
  135170. + YYABORT;
  135171. + yyerror_range[1] = *yylsp;
  135172. yydestruct ("Error: popping",
  135173. - yystos[yystate], yyvsp);
  135174. + yystos[yystate], yyvsp, yylsp);
  135175. YYPOPSTACK (1);
  135176. yystate = *yyssp;
  135177. YY_STACK_PRINT (yyss, yyssp);
  135178. @@ -2236,6 +2188,11 @@
  135179. *++yyvsp = yylval;
  135180. YY_IGNORE_MAYBE_UNINITIALIZED_END
  135181. + yyerror_range[2] = yylloc;
  135182. + /* Using YYLLOC is tempting, but would change the location of
  135183. + the lookahead. YYLOC is available though. */
  135184. + YYLLOC_DEFAULT (yyloc, yyerror_range, 2);
  135185. + *++yylsp = yyloc;
  135186. /* Shift the error token. */
  135187. YY_SYMBOL_PRINT ("Shifting", yystos[yyn], yyvsp, yylsp);
  135188. @@ -2275,16 +2232,16 @@
  135189. user semantic actions for why this is necessary. */
  135190. yytoken = YYTRANSLATE (yychar);
  135191. yydestruct ("Cleanup: discarding lookahead",
  135192. - yytoken, &yylval);
  135193. + yytoken, &yylval, &yylloc);
  135194. }
  135195. - /* Do not reclaim the symbols of the rule which action triggered
  135196. + /* Do not reclaim the symbols of the rule whose action triggered
  135197. this YYABORT or YYACCEPT. */
  135198. YYPOPSTACK (yylen);
  135199. YY_STACK_PRINT (yyss, yyssp);
  135200. while (yyssp != yyss)
  135201. {
  135202. yydestruct ("Cleanup: popping",
  135203. - yystos[*yyssp], yyvsp);
  135204. + yystos[*yyssp], yyvsp, yylsp);
  135205. YYPOPSTACK (1);
  135206. }
  135207. #ifndef yyoverflow
  135208. @@ -2295,72 +2252,12 @@
  135209. if (yymsg != yymsgbuf)
  135210. YYSTACK_FREE (yymsg);
  135211. #endif
  135212. - /* Make sure YYID is used. */
  135213. - return YYID (yyresult);
  135214. + return yyresult;
  135215. }
  135216. +#line 477 "dtc-parser.y" /* yacc.c:1906 */
  135217. -/* Line 2050 of yacc.c */
  135218. -#line 471 "dtc-parser.y"
  135219. -
  135220. -
  135221. -void print_error(char const *fmt, ...)
  135222. +void yyerror(char const *s)
  135223. {
  135224. - va_list va;
  135225. -
  135226. - va_start(va, fmt);
  135227. - srcpos_verror(&yylloc, fmt, va);
  135228. - va_end(va);
  135229. -
  135230. - treesource_error = 1;
  135231. -}
  135232. -
  135233. -void yyerror(char const *s) {
  135234. - print_error("%s", s);
  135235. -}
  135236. -
  135237. -static unsigned long long eval_literal(const char *s, int base, int bits)
  135238. -{
  135239. - unsigned long long val;
  135240. - char *e;
  135241. -
  135242. - errno = 0;
  135243. - val = strtoull(s, &e, base);
  135244. - if (*e) {
  135245. - size_t uls = strspn(e, "UL");
  135246. - if (e[uls])
  135247. - print_error("bad characters in literal");
  135248. - }
  135249. - if ((errno == ERANGE)
  135250. - || ((bits < 64) && (val >= (1ULL << bits))))
  135251. - print_error("literal out of range");
  135252. - else if (errno != 0)
  135253. - print_error("bad literal");
  135254. - return val;
  135255. -}
  135256. -
  135257. -static unsigned char eval_char_literal(const char *s)
  135258. -{
  135259. - int i = 1;
  135260. - char c = s[0];
  135261. -
  135262. - if (c == '\0')
  135263. - {
  135264. - print_error("empty character literal");
  135265. - return 0;
  135266. - }
  135267. -
  135268. - /*
  135269. - * If the first character in the character literal is a \ then process
  135270. - * the remaining characters as an escape encoding. If the first
  135271. - * character is neither an escape or a terminator it should be the only
  135272. - * character in the literal and will be returned.
  135273. - */
  135274. - if (c == '\\')
  135275. - c = get_escape_char(s, &i);
  135276. -
  135277. - if (s[i] != '\0')
  135278. - print_error("malformed character literal");
  135279. -
  135280. - return c;
  135281. + ERROR(&yylloc, "%s", s);
  135282. }
  135283. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc-parser.tab.h_shipped linux-rpi/scripts/dtc/dtc-parser.tab.h_shipped
  135284. --- linux-4.1.13.orig/scripts/dtc/dtc-parser.tab.h_shipped 2015-11-09 23:34:10.000000000 +0100
  135285. +++ linux-rpi/scripts/dtc/dtc-parser.tab.h_shipped 2015-11-29 09:42:41.406999830 +0100
  135286. @@ -1,19 +1,19 @@
  135287. -/* A Bison parser, made by GNU Bison 2.7.12-4996. */
  135288. +/* A Bison parser, made by GNU Bison 3.0.2. */
  135289. /* Bison interface for Yacc-like parsers in C
  135290. -
  135291. - Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
  135292. -
  135293. +
  135294. + Copyright (C) 1984, 1989-1990, 2000-2013 Free Software Foundation, Inc.
  135295. +
  135296. This program is free software: you can redistribute it and/or modify
  135297. it under the terms of the GNU General Public License as published by
  135298. the Free Software Foundation, either version 3 of the License, or
  135299. (at your option) any later version.
  135300. -
  135301. +
  135302. This program is distributed in the hope that it will be useful,
  135303. but WITHOUT ANY WARRANTY; without even the implied warranty of
  135304. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  135305. GNU General Public License for more details.
  135306. -
  135307. +
  135308. You should have received a copy of the GNU General Public License
  135309. along with this program. If not, see <http://www.gnu.org/licenses/>. */
  135310. @@ -26,13 +26,13 @@
  135311. special exception, which will cause the skeleton and the resulting
  135312. Bison output files to be licensed under the GNU General Public
  135313. License without this special exception.
  135314. -
  135315. +
  135316. This special exception was added by the Free Software Foundation in
  135317. version 2.2 of Bison. */
  135318. #ifndef YY_YY_DTC_PARSER_TAB_H_INCLUDED
  135319. # define YY_YY_DTC_PARSER_TAB_H_INCLUDED
  135320. -/* Enabling traces. */
  135321. +/* Debug traces. */
  135322. #ifndef YYDEBUG
  135323. # define YYDEBUG 0
  135324. #endif
  135325. @@ -40,48 +40,45 @@
  135326. extern int yydebug;
  135327. #endif
  135328. -/* Tokens. */
  135329. +/* Token type. */
  135330. #ifndef YYTOKENTYPE
  135331. # define YYTOKENTYPE
  135332. - /* Put the tokens into the symbol table, so that GDB and other debuggers
  135333. - know about them. */
  135334. - enum yytokentype {
  135335. - DT_V1 = 258,
  135336. - DT_MEMRESERVE = 259,
  135337. - DT_LSHIFT = 260,
  135338. - DT_RSHIFT = 261,
  135339. - DT_LE = 262,
  135340. - DT_GE = 263,
  135341. - DT_EQ = 264,
  135342. - DT_NE = 265,
  135343. - DT_AND = 266,
  135344. - DT_OR = 267,
  135345. - DT_BITS = 268,
  135346. - DT_DEL_PROP = 269,
  135347. - DT_DEL_NODE = 270,
  135348. - DT_PROPNODENAME = 271,
  135349. - DT_LITERAL = 272,
  135350. - DT_CHAR_LITERAL = 273,
  135351. - DT_BASE = 274,
  135352. - DT_BYTE = 275,
  135353. - DT_STRING = 276,
  135354. - DT_LABEL = 277,
  135355. - DT_REF = 278,
  135356. - DT_INCBIN = 279
  135357. - };
  135358. + enum yytokentype
  135359. + {
  135360. + DT_V1 = 258,
  135361. + DT_PLUGIN = 259,
  135362. + DT_MEMRESERVE = 260,
  135363. + DT_LSHIFT = 261,
  135364. + DT_RSHIFT = 262,
  135365. + DT_LE = 263,
  135366. + DT_GE = 264,
  135367. + DT_EQ = 265,
  135368. + DT_NE = 266,
  135369. + DT_AND = 267,
  135370. + DT_OR = 268,
  135371. + DT_BITS = 269,
  135372. + DT_DEL_PROP = 270,
  135373. + DT_DEL_NODE = 271,
  135374. + DT_PROPNODENAME = 272,
  135375. + DT_LITERAL = 273,
  135376. + DT_CHAR_LITERAL = 274,
  135377. + DT_BYTE = 275,
  135378. + DT_STRING = 276,
  135379. + DT_LABEL = 277,
  135380. + DT_REF = 278,
  135381. + DT_INCBIN = 279
  135382. + };
  135383. #endif
  135384. -
  135385. +/* Value type. */
  135386. #if ! defined YYSTYPE && ! defined YYSTYPE_IS_DECLARED
  135387. -typedef union YYSTYPE
  135388. +typedef union YYSTYPE YYSTYPE;
  135389. +union YYSTYPE
  135390. {
  135391. -/* Line 2053 of yacc.c */
  135392. -#line 40 "dtc-parser.y"
  135393. +#line 39 "dtc-parser.y" /* yacc.c:1909 */
  135394. char *propnodename;
  135395. - char *literal;
  135396. char *labelref;
  135397. - unsigned int cbase;
  135398. uint8_t byte;
  135399. struct data data;
  135400. @@ -96,30 +93,31 @@
  135401. struct node *nodelist;
  135402. struct reserve_info *re;
  135403. uint64_t integer;
  135404. + int is_plugin;
  135405. -
  135406. -/* Line 2053 of yacc.c */
  135407. -#line 103 "dtc-parser.tab.h"
  135408. -} YYSTYPE;
  135409. +#line 99 "dtc-parser.tab.h" /* yacc.c:1909 */
  135410. +};
  135411. # define YYSTYPE_IS_TRIVIAL 1
  135412. -# define yystype YYSTYPE /* obsolescent; will be withdrawn */
  135413. # define YYSTYPE_IS_DECLARED 1
  135414. #endif
  135415. -extern YYSTYPE yylval;
  135416. -
  135417. -#ifdef YYPARSE_PARAM
  135418. -#if defined __STDC__ || defined __cplusplus
  135419. -int yyparse (void *YYPARSE_PARAM);
  135420. -#else
  135421. -int yyparse ();
  135422. +/* Location type. */
  135423. +#if ! defined YYLTYPE && ! defined YYLTYPE_IS_DECLARED
  135424. +typedef struct YYLTYPE YYLTYPE;
  135425. +struct YYLTYPE
  135426. +{
  135427. + int first_line;
  135428. + int first_column;
  135429. + int last_line;
  135430. + int last_column;
  135431. +};
  135432. +# define YYLTYPE_IS_DECLARED 1
  135433. +# define YYLTYPE_IS_TRIVIAL 1
  135434. #endif
  135435. -#else /* ! YYPARSE_PARAM */
  135436. -#if defined __STDC__ || defined __cplusplus
  135437. +
  135438. +
  135439. +extern YYSTYPE yylval;
  135440. +extern YYLTYPE yylloc;
  135441. int yyparse (void);
  135442. -#else
  135443. -int yyparse ();
  135444. -#endif
  135445. -#endif /* ! YYPARSE_PARAM */
  135446. #endif /* !YY_YY_DTC_PARSER_TAB_H_INCLUDED */
  135447. diff -Nur linux-4.1.13.orig/scripts/dtc/dtc-parser.y linux-rpi/scripts/dtc/dtc-parser.y
  135448. --- linux-4.1.13.orig/scripts/dtc/dtc-parser.y 2015-11-09 23:34:10.000000000 +0100
  135449. +++ linux-rpi/scripts/dtc/dtc-parser.y 2015-11-29 09:42:41.406999830 +0100
  135450. @@ -17,31 +17,28 @@
  135451. * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307
  135452. * USA
  135453. */
  135454. -
  135455. %{
  135456. #include <stdio.h>
  135457. +#include <inttypes.h>
  135458. #include "dtc.h"
  135459. #include "srcpos.h"
  135460. -YYLTYPE yylloc;
  135461. -
  135462. extern int yylex(void);
  135463. -extern void print_error(char const *fmt, ...);
  135464. extern void yyerror(char const *s);
  135465. +#define ERROR(loc, ...) \
  135466. + do { \
  135467. + srcpos_error((loc), "Error", __VA_ARGS__); \
  135468. + treesource_error = true; \
  135469. + } while (0)
  135470. extern struct boot_info *the_boot_info;
  135471. -extern int treesource_error;
  135472. -
  135473. -static unsigned long long eval_literal(const char *s, int base, int bits);
  135474. -static unsigned char eval_char_literal(const char *s);
  135475. +extern bool treesource_error;
  135476. %}
  135477. %union {
  135478. char *propnodename;
  135479. - char *literal;
  135480. char *labelref;
  135481. - unsigned int cbase;
  135482. uint8_t byte;
  135483. struct data data;
  135484. @@ -56,18 +53,19 @@
  135485. struct node *nodelist;
  135486. struct reserve_info *re;
  135487. uint64_t integer;
  135488. + int is_plugin;
  135489. }
  135490. %token DT_V1
  135491. +%token DT_PLUGIN
  135492. %token DT_MEMRESERVE
  135493. %token DT_LSHIFT DT_RSHIFT DT_LE DT_GE DT_EQ DT_NE DT_AND DT_OR
  135494. %token DT_BITS
  135495. %token DT_DEL_PROP
  135496. %token DT_DEL_NODE
  135497. %token <propnodename> DT_PROPNODENAME
  135498. -%token <literal> DT_LITERAL
  135499. -%token <literal> DT_CHAR_LITERAL
  135500. -%token <cbase> DT_BASE
  135501. +%token <integer> DT_LITERAL
  135502. +%token <integer> DT_CHAR_LITERAL
  135503. %token <byte> DT_BYTE
  135504. %token <data> DT_STRING
  135505. %token <labelref> DT_LABEL
  135506. @@ -76,6 +74,7 @@
  135507. %type <data> propdata
  135508. %type <data> propdataprefix
  135509. +%type <is_plugin> plugindecl
  135510. %type <re> memreserve
  135511. %type <re> memreserves
  135512. %type <array> arrayprefix
  135513. @@ -106,10 +105,23 @@
  135514. %%
  135515. sourcefile:
  135516. - DT_V1 ';' memreserves devicetree
  135517. + DT_V1 ';' plugindecl memreserves devicetree
  135518. + {
  135519. + $5->is_plugin = $3;
  135520. + $5->is_root = 1;
  135521. + the_boot_info = build_boot_info($4, $5,
  135522. + guess_boot_cpuid($5));
  135523. + }
  135524. + ;
  135525. +
  135526. +plugindecl:
  135527. + /* empty */
  135528. + {
  135529. + $$ = 0;
  135530. + }
  135531. + | DT_PLUGIN ';'
  135532. {
  135533. - the_boot_info = build_boot_info($3, $4,
  135534. - guess_boot_cpuid($4));
  135535. + $$ = 1;
  135536. }
  135537. ;
  135538. @@ -152,17 +164,18 @@
  135539. if (target)
  135540. merge_nodes(target, $3);
  135541. else
  135542. - print_error("label or path, '%s', not found", $2);
  135543. + ERROR(&@2, "Label or path %s not found", $2);
  135544. $$ = $1;
  135545. }
  135546. | devicetree DT_DEL_NODE DT_REF ';'
  135547. {
  135548. struct node *target = get_node_by_ref($1, $3);
  135549. - if (!target)
  135550. - print_error("label or path, '%s', not found", $3);
  135551. - else
  135552. + if (target)
  135553. delete_node(target);
  135554. + else
  135555. + ERROR(&@3, "Label or path %s not found", $3);
  135556. +
  135557. $$ = $1;
  135558. }
  135559. @@ -230,10 +243,9 @@
  135560. if ($6 != 0)
  135561. if (fseek(f, $6, SEEK_SET) != 0)
  135562. - print_error("Couldn't seek to offset %llu in \"%s\": %s",
  135563. - (unsigned long long)$6,
  135564. - $4.val,
  135565. - strerror(errno));
  135566. + die("Couldn't seek to offset %llu in \"%s\": %s",
  135567. + (unsigned long long)$6, $4.val,
  135568. + strerror(errno));
  135569. d = data_copy_file(f, $8);
  135570. @@ -274,18 +286,19 @@
  135571. arrayprefix:
  135572. DT_BITS DT_LITERAL '<'
  135573. {
  135574. - $$.data = empty_data;
  135575. - $$.bits = eval_literal($2, 0, 7);
  135576. + unsigned long long bits;
  135577. - if (($$.bits != 8) &&
  135578. - ($$.bits != 16) &&
  135579. - ($$.bits != 32) &&
  135580. - ($$.bits != 64))
  135581. - {
  135582. - print_error("Only 8, 16, 32 and 64-bit elements"
  135583. - " are currently supported");
  135584. - $$.bits = 32;
  135585. + bits = $2;
  135586. +
  135587. + if ((bits != 8) && (bits != 16) &&
  135588. + (bits != 32) && (bits != 64)) {
  135589. + ERROR(&@2, "Array elements must be"
  135590. + " 8, 16, 32 or 64-bits");
  135591. + bits = 32;
  135592. }
  135593. +
  135594. + $$.data = empty_data;
  135595. + $$.bits = bits;
  135596. }
  135597. | '<'
  135598. {
  135599. @@ -305,9 +318,8 @@
  135600. * mask), all bits are one.
  135601. */
  135602. if (($2 > mask) && (($2 | mask) != -1ULL))
  135603. - print_error(
  135604. - "integer value out of range "
  135605. - "%016lx (%d bits)", $1.bits);
  135606. + ERROR(&@2, "Value out of range for"
  135607. + " %d-bit array element", $1.bits);
  135608. }
  135609. $$.data = data_append_integer($1.data, $2, $1.bits);
  135610. @@ -321,7 +333,7 @@
  135611. REF_PHANDLE,
  135612. $2);
  135613. else
  135614. - print_error("References are only allowed in "
  135615. + ERROR(&@2, "References are only allowed in "
  135616. "arrays with 32-bit elements.");
  135617. $$.data = data_append_integer($1.data, val, $1.bits);
  135618. @@ -334,13 +346,7 @@
  135619. integer_prim:
  135620. DT_LITERAL
  135621. - {
  135622. - $$ = eval_literal($1, 0, 64);
  135623. - }
  135624. | DT_CHAR_LITERAL
  135625. - {
  135626. - $$ = eval_char_literal($1);
  135627. - }
  135628. | '(' integer_expr ')'
  135629. {
  135630. $$ = $2;
  135631. @@ -447,7 +453,7 @@
  135632. }
  135633. | subnode propdef
  135634. {
  135635. - print_error("syntax error: properties must precede subnodes");
  135636. + ERROR(&@2, "Properties must precede subnodes");
  135637. YYERROR;
  135638. }
  135639. ;
  135640. @@ -470,63 +476,7 @@
  135641. %%
  135642. -void print_error(char const *fmt, ...)
  135643. +void yyerror(char const *s)
  135644. {
  135645. - va_list va;
  135646. -
  135647. - va_start(va, fmt);
  135648. - srcpos_verror(&yylloc, fmt, va);
  135649. - va_end(va);
  135650. -
  135651. - treesource_error = 1;
  135652. -}
  135653. -
  135654. -void yyerror(char const *s) {
  135655. - print_error("%s", s);
  135656. -}
  135657. -
  135658. -static unsigned long long eval_literal(const char *s, int base, int bits)
  135659. -{
  135660. - unsigned long long val;
  135661. - char *e;
  135662. -
  135663. - errno = 0;
  135664. - val = strtoull(s, &e, base);
  135665. - if (*e) {
  135666. - size_t uls = strspn(e, "UL");
  135667. - if (e[uls])
  135668. - print_error("bad characters in literal");
  135669. - }
  135670. - if ((errno == ERANGE)
  135671. - || ((bits < 64) && (val >= (1ULL << bits))))
  135672. - print_error("literal out of range");
  135673. - else if (errno != 0)
  135674. - print_error("bad literal");
  135675. - return val;
  135676. -}
  135677. -
  135678. -static unsigned char eval_char_literal(const char *s)
  135679. -{
  135680. - int i = 1;
  135681. - char c = s[0];
  135682. -
  135683. - if (c == '\0')
  135684. - {
  135685. - print_error("empty character literal");
  135686. - return 0;
  135687. - }
  135688. -
  135689. - /*
  135690. - * If the first character in the character literal is a \ then process
  135691. - * the remaining characters as an escape encoding. If the first
  135692. - * character is neither an escape or a terminator it should be the only
  135693. - * character in the literal and will be returned.
  135694. - */
  135695. - if (c == '\\')
  135696. - c = get_escape_char(s, &i);
  135697. -
  135698. - if (s[i] != '\0')
  135699. - print_error("malformed character literal");
  135700. -
  135701. - return c;
  135702. + ERROR(&yylloc, "%s", s);
  135703. }
  135704. diff -Nur linux-4.1.13.orig/scripts/dtc/flattree.c linux-rpi/scripts/dtc/flattree.c
  135705. --- linux-4.1.13.orig/scripts/dtc/flattree.c 2015-11-09 23:34:10.000000000 +0100
  135706. +++ linux-rpi/scripts/dtc/flattree.c 2015-11-29 09:42:41.406999830 +0100
  135707. @@ -261,7 +261,13 @@
  135708. {
  135709. struct property *prop;
  135710. struct node *child;
  135711. - int seen_name_prop = 0;
  135712. + bool seen_name_prop = false;
  135713. + struct symbol *sym;
  135714. + struct fixup *f;
  135715. + struct fixup_entry *fe;
  135716. + char *name, *s;
  135717. + const char *fullpath;
  135718. + int namesz, nameoff, vallen;
  135719. if (tree->deleted)
  135720. return;
  135721. @@ -276,10 +282,8 @@
  135722. emit->align(etarget, sizeof(cell_t));
  135723. for_each_property(tree, prop) {
  135724. - int nameoff;
  135725. -
  135726. if (streq(prop->name, "name"))
  135727. - seen_name_prop = 1;
  135728. + seen_name_prop = true;
  135729. nameoff = stringtable_insert(strbuf, prop->name);
  135730. @@ -310,6 +314,139 @@
  135731. flatten_tree(child, emit, etarget, strbuf, vi);
  135732. }
  135733. + if (!symbol_fixup_support)
  135734. + goto no_symbols;
  135735. +
  135736. + /* add the symbol nodes (if any) */
  135737. + if (tree->symbols) {
  135738. +
  135739. + emit->beginnode(etarget, NULL);
  135740. + emit->string(etarget, "__symbols__", 0);
  135741. + emit->align(etarget, sizeof(cell_t));
  135742. +
  135743. + for_each_symbol(tree, sym) {
  135744. +
  135745. + vallen = strlen(sym->node->fullpath);
  135746. +
  135747. + nameoff = stringtable_insert(strbuf, sym->label->label);
  135748. +
  135749. + emit->property(etarget, NULL);
  135750. + emit->cell(etarget, vallen + 1);
  135751. + emit->cell(etarget, nameoff);
  135752. +
  135753. + if ((vi->flags & FTF_VARALIGN) && vallen >= 8)
  135754. + emit->align(etarget, 8);
  135755. +
  135756. + emit->string(etarget, sym->node->fullpath,
  135757. + strlen(sym->node->fullpath));
  135758. + emit->align(etarget, sizeof(cell_t));
  135759. + }
  135760. +
  135761. + emit->endnode(etarget, NULL);
  135762. + }
  135763. +
  135764. + /* add the fixup nodes */
  135765. + if (tree->fixups) {
  135766. +
  135767. + /* emit the external fixups */
  135768. + emit->beginnode(etarget, NULL);
  135769. + emit->string(etarget, "__fixups__", 0);
  135770. + emit->align(etarget, sizeof(cell_t));
  135771. +
  135772. + for_each_fixup(tree, f) {
  135773. +
  135774. + namesz = 0;
  135775. + for_each_fixup_entry(f, fe) {
  135776. + fullpath = fe->node->fullpath;
  135777. + if (fullpath[0] == '\0')
  135778. + fullpath = "/";
  135779. + namesz += strlen(fullpath) + 1;
  135780. + namesz += strlen(fe->prop->name) + 1;
  135781. + namesz += 32; /* space for :<number> + '\0' */
  135782. + }
  135783. +
  135784. + name = xmalloc(namesz);
  135785. +
  135786. + s = name;
  135787. + for_each_fixup_entry(f, fe) {
  135788. + fullpath = fe->node->fullpath;
  135789. + if (fullpath[0] == '\0')
  135790. + fullpath = "/";
  135791. + snprintf(s, name + namesz - s, "%s:%s:%d",
  135792. + fullpath,
  135793. + fe->prop->name, fe->offset);
  135794. + s += strlen(s) + 1;
  135795. + }
  135796. +
  135797. + nameoff = stringtable_insert(strbuf, f->ref);
  135798. + vallen = s - name - 1;
  135799. +
  135800. + emit->property(etarget, NULL);
  135801. + emit->cell(etarget, vallen + 1);
  135802. + emit->cell(etarget, nameoff);
  135803. +
  135804. + if ((vi->flags & FTF_VARALIGN) && vallen >= 8)
  135805. + emit->align(etarget, 8);
  135806. +
  135807. + emit->string(etarget, name, vallen);
  135808. + emit->align(etarget, sizeof(cell_t));
  135809. +
  135810. + free(name);
  135811. + }
  135812. +
  135813. + emit->endnode(etarget, tree->labels);
  135814. + }
  135815. +
  135816. + /* add the local fixup property */
  135817. + if (tree->local_fixups) {
  135818. +
  135819. + /* emit the external fixups */
  135820. + emit->beginnode(etarget, NULL);
  135821. + emit->string(etarget, "__local_fixups__", 0);
  135822. + emit->align(etarget, sizeof(cell_t));
  135823. +
  135824. + namesz = 0;
  135825. + for_each_local_fixup_entry(tree, fe) {
  135826. + fullpath = fe->node->fullpath;
  135827. + if (fullpath[0] == '\0')
  135828. + fullpath = "/";
  135829. + namesz += strlen(fullpath) + 1;
  135830. + namesz += strlen(fe->prop->name) + 1;
  135831. + namesz += 32; /* space for :<number> + '\0' */
  135832. + }
  135833. +
  135834. + name = xmalloc(namesz);
  135835. +
  135836. + s = name;
  135837. + for_each_local_fixup_entry(tree, fe) {
  135838. + fullpath = fe->node->fullpath;
  135839. + if (fullpath[0] == '\0')
  135840. + fullpath = "/";
  135841. + snprintf(s, name + namesz - s, "%s:%s:%d",
  135842. + fullpath, fe->prop->name,
  135843. + fe->offset);
  135844. + s += strlen(s) + 1;
  135845. + }
  135846. +
  135847. + nameoff = stringtable_insert(strbuf, "fixup");
  135848. + vallen = s - name - 1;
  135849. +
  135850. + emit->property(etarget, NULL);
  135851. + emit->cell(etarget, vallen + 1);
  135852. + emit->cell(etarget, nameoff);
  135853. +
  135854. + if ((vi->flags & FTF_VARALIGN) && vallen >= 8)
  135855. + emit->align(etarget, 8);
  135856. +
  135857. + emit->string(etarget, name, vallen);
  135858. + emit->align(etarget, sizeof(cell_t));
  135859. +
  135860. + free(name);
  135861. +
  135862. + emit->endnode(etarget, tree->labels);
  135863. + }
  135864. +
  135865. +no_symbols:
  135866. emit->endnode(etarget, tree->labels);
  135867. }
  135868. diff -Nur linux-4.1.13.orig/scripts/dtc/fstree.c linux-rpi/scripts/dtc/fstree.c
  135869. --- linux-4.1.13.orig/scripts/dtc/fstree.c 2015-11-09 23:34:10.000000000 +0100
  135870. +++ linux-rpi/scripts/dtc/fstree.c 2015-11-29 09:42:41.406999830 +0100
  135871. @@ -37,26 +37,26 @@
  135872. tree = build_node(NULL, NULL);
  135873. while ((de = readdir(d)) != NULL) {
  135874. - char *tmpnam;
  135875. + char *tmpname;
  135876. if (streq(de->d_name, ".")
  135877. || streq(de->d_name, ".."))
  135878. continue;
  135879. - tmpnam = join_path(dirname, de->d_name);
  135880. + tmpname = join_path(dirname, de->d_name);
  135881. - if (lstat(tmpnam, &st) < 0)
  135882. - die("stat(%s): %s\n", tmpnam, strerror(errno));
  135883. + if (lstat(tmpname, &st) < 0)
  135884. + die("stat(%s): %s\n", tmpname, strerror(errno));
  135885. if (S_ISREG(st.st_mode)) {
  135886. struct property *prop;
  135887. FILE *pfile;
  135888. - pfile = fopen(tmpnam, "r");
  135889. + pfile = fopen(tmpname, "rb");
  135890. if (! pfile) {
  135891. fprintf(stderr,
  135892. "WARNING: Cannot open %s: %s\n",
  135893. - tmpnam, strerror(errno));
  135894. + tmpname, strerror(errno));
  135895. } else {
  135896. prop = build_property(xstrdup(de->d_name),
  135897. data_copy_file(pfile,
  135898. @@ -67,12 +67,12 @@
  135899. } else if (S_ISDIR(st.st_mode)) {
  135900. struct node *newchild;
  135901. - newchild = read_fstree(tmpnam);
  135902. + newchild = read_fstree(tmpname);
  135903. newchild = name_node(newchild, xstrdup(de->d_name));
  135904. add_child(tree, newchild);
  135905. }
  135906. - free(tmpnam);
  135907. + free(tmpname);
  135908. }
  135909. closedir(d);
  135910. diff -Nur linux-4.1.13.orig/scripts/dtc/livetree.c linux-rpi/scripts/dtc/livetree.c
  135911. --- linux-4.1.13.orig/scripts/dtc/livetree.c 2015-11-09 23:34:10.000000000 +0100
  135912. +++ linux-rpi/scripts/dtc/livetree.c 2015-11-29 09:42:41.410999565 +0100
  135913. @@ -511,7 +511,9 @@
  135914. struct node *get_node_by_ref(struct node *tree, const char *ref)
  135915. {
  135916. - if (ref[0] == '/')
  135917. + if (streq(ref, "/"))
  135918. + return tree;
  135919. + else if (ref[0] == '/')
  135920. return get_node_by_path(tree, ref);
  135921. else
  135922. return get_node_by_label(tree, ref);
  135923. diff -Nur linux-4.1.13.orig/scripts/dtc/srcpos.c linux-rpi/scripts/dtc/srcpos.c
  135924. --- linux-4.1.13.orig/scripts/dtc/srcpos.c 2015-11-09 23:34:10.000000000 +0100
  135925. +++ linux-rpi/scripts/dtc/srcpos.c 2015-11-29 09:42:41.410999565 +0100
  135926. @@ -34,7 +34,7 @@
  135927. static struct search_path *search_path_head, **search_path_tail;
  135928. -static char *dirname(const char *path)
  135929. +static char *get_dirname(const char *path)
  135930. {
  135931. const char *slash = strrchr(path, '/');
  135932. @@ -77,7 +77,7 @@
  135933. else
  135934. fullname = join_path(dirname, fname);
  135935. - *fp = fopen(fullname, "r");
  135936. + *fp = fopen(fullname, "rb");
  135937. if (!*fp) {
  135938. free(fullname);
  135939. fullname = NULL;
  135940. @@ -150,7 +150,7 @@
  135941. srcfile = xmalloc(sizeof(*srcfile));
  135942. srcfile->f = srcfile_relative_open(fname, &srcfile->name);
  135943. - srcfile->dir = dirname(srcfile->name);
  135944. + srcfile->dir = get_dirname(srcfile->name);
  135945. srcfile->prev = current_srcfile;
  135946. srcfile->lineno = 1;
  135947. @@ -159,7 +159,7 @@
  135948. current_srcfile = srcfile;
  135949. }
  135950. -int srcfile_pop(void)
  135951. +bool srcfile_pop(void)
  135952. {
  135953. struct srcfile_state *srcfile = current_srcfile;
  135954. @@ -177,7 +177,7 @@
  135955. * fix this we could either allocate all the files from a
  135956. * table, or use a pool allocator. */
  135957. - return current_srcfile ? 1 : 0;
  135958. + return current_srcfile ? true : false;
  135959. }
  135960. void srcfile_add_search_path(const char *dirname)
  135961. @@ -290,42 +290,27 @@
  135962. return pos_str;
  135963. }
  135964. -void
  135965. -srcpos_verror(struct srcpos *pos, char const *fmt, va_list va)
  135966. +void srcpos_verror(struct srcpos *pos, const char *prefix,
  135967. + const char *fmt, va_list va)
  135968. {
  135969. - const char *srcstr;
  135970. -
  135971. - srcstr = srcpos_string(pos);
  135972. + char *srcstr;
  135973. - fprintf(stderr, "Error: %s ", srcstr);
  135974. - vfprintf(stderr, fmt, va);
  135975. - fprintf(stderr, "\n");
  135976. -}
  135977. + srcstr = srcpos_string(pos);
  135978. -void
  135979. -srcpos_error(struct srcpos *pos, char const *fmt, ...)
  135980. -{
  135981. - va_list va;
  135982. + fprintf(stderr, "%s: %s ", prefix, srcstr);
  135983. + vfprintf(stderr, fmt, va);
  135984. + fprintf(stderr, "\n");
  135985. - va_start(va, fmt);
  135986. - srcpos_verror(pos, fmt, va);
  135987. - va_end(va);
  135988. + free(srcstr);
  135989. }
  135990. -
  135991. -void
  135992. -srcpos_warn(struct srcpos *pos, char const *fmt, ...)
  135993. +void srcpos_error(struct srcpos *pos, const char *prefix,
  135994. + const char *fmt, ...)
  135995. {
  135996. - const char *srcstr;
  135997. va_list va;
  135998. - va_start(va, fmt);
  135999. -
  136000. - srcstr = srcpos_string(pos);
  136001. -
  136002. - fprintf(stderr, "Warning: %s ", srcstr);
  136003. - vfprintf(stderr, fmt, va);
  136004. - fprintf(stderr, "\n");
  136005. + va_start(va, fmt);
  136006. + srcpos_verror(pos, prefix, fmt, va);
  136007. va_end(va);
  136008. }
  136009. diff -Nur linux-4.1.13.orig/scripts/dtc/srcpos.h linux-rpi/scripts/dtc/srcpos.h
  136010. --- linux-4.1.13.orig/scripts/dtc/srcpos.h 2015-11-09 23:34:10.000000000 +0100
  136011. +++ linux-rpi/scripts/dtc/srcpos.h 2015-11-29 09:42:41.410999565 +0100
  136012. @@ -21,6 +21,7 @@
  136013. #define _SRCPOS_H_
  136014. #include <stdio.h>
  136015. +#include <stdbool.h>
  136016. struct srcfile_state {
  136017. FILE *f;
  136018. @@ -55,7 +56,7 @@
  136019. FILE *srcfile_relative_open(const char *fname, char **fullnamep);
  136020. void srcfile_push(const char *fname);
  136021. -int srcfile_pop(void);
  136022. +bool srcfile_pop(void);
  136023. /**
  136024. * Add a new directory to the search path for input files
  136025. @@ -106,12 +107,12 @@
  136026. extern char *srcpos_string(struct srcpos *pos);
  136027. extern void srcpos_dump(struct srcpos *pos);
  136028. -extern void srcpos_verror(struct srcpos *pos, char const *, va_list va)
  136029. - __attribute__((format(printf, 2, 0)));
  136030. -extern void srcpos_error(struct srcpos *pos, char const *, ...)
  136031. - __attribute__((format(printf, 2, 3)));
  136032. -extern void srcpos_warn(struct srcpos *pos, char const *, ...)
  136033. - __attribute__((format(printf, 2, 3)));
  136034. +extern void srcpos_verror(struct srcpos *pos, const char *prefix,
  136035. + const char *fmt, va_list va)
  136036. + __attribute__((format(printf, 3, 0)));
  136037. +extern void srcpos_error(struct srcpos *pos, const char *prefix,
  136038. + const char *fmt, ...)
  136039. + __attribute__((format(printf, 3, 4)));
  136040. extern void srcpos_set_line(char *f, int l);
  136041. diff -Nur linux-4.1.13.orig/scripts/dtc/treesource.c linux-rpi/scripts/dtc/treesource.c
  136042. --- linux-4.1.13.orig/scripts/dtc/treesource.c 2015-11-09 23:34:10.000000000 +0100
  136043. +++ linux-rpi/scripts/dtc/treesource.c 2015-11-29 09:42:41.410999565 +0100
  136044. @@ -26,12 +26,12 @@
  136045. extern YYLTYPE yylloc;
  136046. struct boot_info *the_boot_info;
  136047. -int treesource_error;
  136048. +bool treesource_error;
  136049. struct boot_info *dt_from_source(const char *fname)
  136050. {
  136051. the_boot_info = NULL;
  136052. - treesource_error = 0;
  136053. + treesource_error = false;
  136054. srcfile_push(fname);
  136055. yyin = current_srcfile->f;
  136056. @@ -54,9 +54,9 @@
  136057. fputc('\t', f);
  136058. }
  136059. -static int isstring(char c)
  136060. +static bool isstring(char c)
  136061. {
  136062. - return (isprint(c)
  136063. + return (isprint((unsigned char)c)
  136064. || (c == '\0')
  136065. || strchr("\a\b\t\n\v\f\r", c));
  136066. }
  136067. @@ -109,7 +109,7 @@
  136068. break;
  136069. case '\0':
  136070. fprintf(f, "\", ");
  136071. - while (m && (m->offset < i)) {
  136072. + while (m && (m->offset <= (i + 1))) {
  136073. if (m->type == LABEL) {
  136074. assert(m->offset == (i+1));
  136075. fprintf(f, "%s: ", m->ref);
  136076. @@ -119,7 +119,7 @@
  136077. fprintf(f, "\"");
  136078. break;
  136079. default:
  136080. - if (isprint(c))
  136081. + if (isprint((unsigned char)c))
  136082. fprintf(f, "%c", c);
  136083. else
  136084. fprintf(f, "\\x%02hhx", c);
  136085. @@ -178,7 +178,7 @@
  136086. m = m->next;
  136087. }
  136088. - fprintf(f, "%02hhx", *bp++);
  136089. + fprintf(f, "%02hhx", (unsigned char)(*bp++));
  136090. if ((const void *)bp >= propend)
  136091. break;
  136092. fprintf(f, " ");
  136093. diff -Nur linux-4.1.13.orig/scripts/dtc/util.c linux-rpi/scripts/dtc/util.c
  136094. --- linux-4.1.13.orig/scripts/dtc/util.c 2015-11-09 23:34:10.000000000 +0100
  136095. +++ linux-rpi/scripts/dtc/util.c 2015-11-29 09:42:41.410999565 +0100
  136096. @@ -39,11 +39,11 @@
  136097. char *xstrdup(const char *s)
  136098. {
  136099. int len = strlen(s) + 1;
  136100. - char *dup = xmalloc(len);
  136101. + char *d = xmalloc(len);
  136102. - memcpy(dup, s, len);
  136103. + memcpy(d, s, len);
  136104. - return dup;
  136105. + return d;
  136106. }
  136107. char *join_path(const char *path, const char *name)
  136108. @@ -70,7 +70,7 @@
  136109. return str;
  136110. }
  136111. -int util_is_printable_string(const void *data, int len)
  136112. +bool util_is_printable_string(const void *data, int len)
  136113. {
  136114. const char *s = data;
  136115. const char *ss, *se;
  136116. @@ -87,7 +87,7 @@
  136117. while (s < se) {
  136118. ss = s;
  136119. - while (s < se && *s && isprint(*s))
  136120. + while (s < se && *s && isprint((unsigned char)*s))
  136121. s++;
  136122. /* not zero, or not done yet */
  136123. @@ -219,10 +219,6 @@
  136124. if (offset == bufsize) {
  136125. bufsize *= 2;
  136126. buf = xrealloc(buf, bufsize);
  136127. - if (!buf) {
  136128. - ret = ENOMEM;
  136129. - break;
  136130. - }
  136131. }
  136132. ret = read(fd, &buf[offset], bufsize - offset);
  136133. @@ -375,9 +371,9 @@
  136134. const uint32_t *cell = (const uint32_t *)data;
  136135. printf(" = <");
  136136. - for (i = 0; i < len; i += 4)
  136137. + for (i = 0, len /= 4; i < len; i++)
  136138. printf("0x%08x%s", fdt32_to_cpu(cell[i]),
  136139. - i < (len - 4) ? " " : "");
  136140. + i < (len - 1) ? " " : "");
  136141. printf(">");
  136142. } else {
  136143. printf(" = [");
  136144. diff -Nur linux-4.1.13.orig/scripts/dtc/util.h linux-rpi/scripts/dtc/util.h
  136145. --- linux-4.1.13.orig/scripts/dtc/util.h 2015-11-09 23:34:10.000000000 +0100
  136146. +++ linux-rpi/scripts/dtc/util.h 2015-11-29 09:42:41.410999565 +0100
  136147. @@ -2,6 +2,7 @@
  136148. #define _UTIL_H
  136149. #include <stdarg.h>
  136150. +#include <stdbool.h>
  136151. #include <getopt.h>
  136152. /*
  136153. @@ -33,6 +34,7 @@
  136154. va_start(ap, str);
  136155. fprintf(stderr, "FATAL ERROR: ");
  136156. vfprintf(stderr, str, ap);
  136157. + va_end(ap);
  136158. exit(1);
  136159. }
  136160. @@ -68,7 +70,7 @@
  136161. * @param len The string length including terminator
  136162. * @return 1 if a valid printable string, 0 if not
  136163. */
  136164. -int util_is_printable_string(const void *data, int len);
  136165. +bool util_is_printable_string(const void *data, int len);
  136166. /*
  136167. * Parse an escaped character starting at index i in string s. The resulting
  136168. diff -Nur linux-4.1.13.orig/scripts/dtc/version_gen.h linux-rpi/scripts/dtc/version_gen.h
  136169. --- linux-4.1.13.orig/scripts/dtc/version_gen.h 2015-11-09 23:34:10.000000000 +0100
  136170. +++ linux-rpi/scripts/dtc/version_gen.h 2015-11-29 09:42:41.410999565 +0100
  136171. @@ -1 +1 @@
  136172. -#define DTC_VERSION "DTC 1.4.0-dirty"
  136173. +#define DTC_VERSION "DTC 1.4.1-g36c70742"
  136174. diff -Nur linux-4.1.13.orig/scripts/knlinfo linux-rpi/scripts/knlinfo
  136175. --- linux-4.1.13.orig/scripts/knlinfo 1970-01-01 01:00:00.000000000 +0100
  136176. +++ linux-rpi/scripts/knlinfo 2015-11-29 09:42:41.418999033 +0100
  136177. @@ -0,0 +1,168 @@
  136178. +#!/usr/bin/env perl
  136179. +# ----------------------------------------------------------------------
  136180. +# knlinfo by Phil Elwell for Raspberry Pi
  136181. +#
  136182. +# (c) 2014,2015 Raspberry Pi (Trading) Limited <info@raspberrypi.org>
  136183. +#
  136184. +# Licensed under the terms of the GNU General Public License.
  136185. +# ----------------------------------------------------------------------
  136186. +
  136187. +use strict;
  136188. +use integer;
  136189. +
  136190. +use Fcntl ":seek";
  136191. +
  136192. +my $trailer_magic = 'RPTL';
  136193. +
  136194. +my %atom_formats =
  136195. +(
  136196. + 'DTOK' => \&format_bool,
  136197. + 'KVer' => \&format_string,
  136198. + '283x' => \&format_bool,
  136199. +);
  136200. +
  136201. +if (@ARGV != 1)
  136202. +{
  136203. + print ("Usage: knlinfo <kernel image>\n");
  136204. + exit(1);
  136205. +}
  136206. +
  136207. +my $kernel_file = $ARGV[0];
  136208. +
  136209. +
  136210. +my ($atoms, $pos) = read_trailer($kernel_file);
  136211. +
  136212. +exit(1) if (!$atoms);
  136213. +
  136214. +printf("Kernel trailer found at %d/0x%x:\n", $pos, $pos);
  136215. +
  136216. +foreach my $atom (@$atoms)
  136217. +{
  136218. + printf(" %s: %s\n", $atom->[0], format_atom($atom));
  136219. +}
  136220. +
  136221. +exit(0);
  136222. +
  136223. +sub read_trailer
  136224. +{
  136225. + my ($kernel_file) = @_;
  136226. + my $fh;
  136227. +
  136228. + if (!open($fh, '<', $kernel_file))
  136229. + {
  136230. + print ("* Failed to open '$kernel_file'\n");
  136231. + return undef;
  136232. + }
  136233. +
  136234. + if (!seek($fh, -12, SEEK_END))
  136235. + {
  136236. + print ("* seek error in '$kernel_file'\n");
  136237. + return undef;
  136238. + }
  136239. +
  136240. + my $last_bytes;
  136241. + sysread($fh, $last_bytes, 12);
  136242. +
  136243. + my ($trailer_len, $data_len, $magic) = unpack('VVa4', $last_bytes);
  136244. +
  136245. + if (($magic ne $trailer_magic) || ($data_len != 4))
  136246. + {
  136247. + print ("* no trailer\n");
  136248. + return undef;
  136249. + }
  136250. + if (!seek($fh, -12, SEEK_END))
  136251. + {
  136252. + print ("* seek error in '$kernel_file'\n");
  136253. + return undef;
  136254. + }
  136255. +
  136256. + $trailer_len -= 12;
  136257. +
  136258. + while ($trailer_len > 0)
  136259. + {
  136260. + if ($trailer_len < 8)
  136261. + {
  136262. + print ("* truncated atom header in trailer\n");
  136263. + return undef;
  136264. + }
  136265. + if (!seek($fh, -8, SEEK_CUR))
  136266. + {
  136267. + print ("* seek error in '$kernel_file'\n");
  136268. + return undef;
  136269. + }
  136270. + $trailer_len -= 8;
  136271. +
  136272. + my $atom_hdr;
  136273. + sysread($fh, $atom_hdr, 8);
  136274. + my ($atom_len, $atom_type) = unpack('Va4', $atom_hdr);
  136275. +
  136276. + if ($trailer_len < $atom_len)
  136277. + {
  136278. + print ("* truncated atom data in trailer\n");
  136279. + return undef;
  136280. + }
  136281. +
  136282. + my $rounded_len = (($atom_len + 3) & ~3);
  136283. + if (!seek($fh, -(8 + $rounded_len), SEEK_CUR))
  136284. + {
  136285. + print ("* seek error in '$kernel_file'\n");
  136286. + return undef;
  136287. + }
  136288. + $trailer_len -= $rounded_len;
  136289. +
  136290. + my $atom_data;
  136291. + sysread($fh, $atom_data, $atom_len);
  136292. +
  136293. + if (!seek($fh, -$atom_len, SEEK_CUR))
  136294. + {
  136295. + print ("* seek error in '$kernel_file'\n");
  136296. + return undef;
  136297. + }
  136298. +
  136299. + push @$atoms, [ $atom_type, $atom_data ];
  136300. + }
  136301. +
  136302. + if (($$atoms[-1][0] eq "\x00\x00\x00\x00") &&
  136303. + ($$atoms[-1][1] eq ""))
  136304. + {
  136305. + pop @$atoms;
  136306. + }
  136307. + else
  136308. + {
  136309. + print ("* end marker missing from trailer\n");
  136310. + }
  136311. +
  136312. + return ($atoms, tell($fh));
  136313. +}
  136314. +
  136315. +sub format_atom
  136316. +{
  136317. + my ($atom) = @_;
  136318. +
  136319. + my $format_func = $atom_formats{$atom->[0]} || \&format_hex;
  136320. + return $format_func->($atom->[1]);
  136321. +}
  136322. +
  136323. +sub format_bool
  136324. +{
  136325. + my ($data) = @_;
  136326. + return unpack('V', $data) ? 'true' : 'false';
  136327. +}
  136328. +
  136329. +sub format_int
  136330. +{
  136331. + my ($data) = @_;
  136332. + return unpack('V', $data);
  136333. +}
  136334. +
  136335. +sub format_string
  136336. +{
  136337. + my ($data) = @_;
  136338. + return '"'.$data.'"';
  136339. +}
  136340. +
  136341. +sub format_hex
  136342. +{
  136343. + my ($data) = @_;
  136344. + return unpack('H*', $data);
  136345. +}
  136346. diff -Nur linux-4.1.13.orig/scripts/mkknlimg linux-rpi/scripts/mkknlimg
  136347. --- linux-4.1.13.orig/scripts/mkknlimg 1970-01-01 01:00:00.000000000 +0100
  136348. +++ linux-rpi/scripts/mkknlimg 2015-11-29 09:42:41.422998767 +0100
  136349. @@ -0,0 +1,244 @@
  136350. +#!/usr/bin/env perl
  136351. +# ----------------------------------------------------------------------
  136352. +# mkknlimg by Phil Elwell for Raspberry Pi
  136353. +# based on extract-ikconfig by Dick Streefland
  136354. +#
  136355. +# (c) 2009,2010 Dick Streefland <dick@streefland.net>
  136356. +# (c) 2014,2015 Raspberry Pi (Trading) Limited <info@raspberrypi.org>
  136357. +#
  136358. +# Licensed under the terms of the GNU General Public License.
  136359. +# ----------------------------------------------------------------------
  136360. +
  136361. +use strict;
  136362. +use warnings;
  136363. +use integer;
  136364. +
  136365. +my $trailer_magic = 'RPTL';
  136366. +
  136367. +my $tmpfile1 = "/tmp/mkknlimg_$$.1";
  136368. +my $tmpfile2 = "/tmp/mkknlimg_$$.2";
  136369. +
  136370. +my $dtok = 0;
  136371. +my $is_283x = 0;
  136372. +
  136373. +while (@ARGV && ($ARGV[0] =~ /^-/))
  136374. +{
  136375. + my $arg = shift(@ARGV);
  136376. + if ($arg eq '--dtok')
  136377. + {
  136378. + $dtok = 1;
  136379. + }
  136380. + elsif ($arg eq '--283x')
  136381. + {
  136382. + $is_283x = 1;
  136383. + }
  136384. + else
  136385. + {
  136386. + print ("* Unknown option '$arg'\n");
  136387. + usage();
  136388. + }
  136389. +}
  136390. +
  136391. +usage() if (@ARGV != 2);
  136392. +
  136393. +my $kernel_file = $ARGV[0];
  136394. +my $out_file = $ARGV[1];
  136395. +
  136396. +if (! -r $kernel_file)
  136397. +{
  136398. + print ("* File '$kernel_file' not found\n");
  136399. + usage();
  136400. +}
  136401. +
  136402. +my @wanted_strings =
  136403. +(
  136404. + 'bcm2708_fb',
  136405. + 'brcm,bcm2835-mmc',
  136406. + 'brcm,bcm2835-sdhost',
  136407. + 'brcm,bcm2708-pinctrl',
  136408. + 'brcm,bcm2835-gpio',
  136409. + 'brcm,bcm2835',
  136410. + 'brcm,bcm2836'
  136411. +);
  136412. +
  136413. +my $res = try_extract($kernel_file, $tmpfile1);
  136414. +$res = try_decompress('\037\213\010', 'xy', 'gunzip', 0,
  136415. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136416. +$res = try_decompress('\3757zXZ\000', 'abcde', 'unxz --single-stream', -1,
  136417. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136418. +$res = try_decompress('BZh', 'xy', 'bunzip2', 0,
  136419. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136420. +$res = try_decompress('\135\0\0\0', 'xxx', 'unlzma', 0,
  136421. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136422. +$res = try_decompress('\211\114\132', 'xy', 'lzop -d', 0,
  136423. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136424. +$res = try_decompress('\002\041\114\030', 'xy', 'lz4 -d', 1,
  136425. + $kernel_file, $tmpfile1, $tmpfile2) if (!$res);
  136426. +
  136427. +my $append_trailer;
  136428. +my $trailer;
  136429. +my $kver = '?';
  136430. +
  136431. +$append_trailer = $dtok;
  136432. +
  136433. +if ($res)
  136434. +{
  136435. + $kver = $res->{''} || '?';
  136436. + print("Version: $kver\n");
  136437. +
  136438. + $append_trailer = $dtok;
  136439. + if (!$dtok)
  136440. + {
  136441. + if (config_bool($res, 'bcm2708_fb') ||
  136442. + config_bool($res, 'brcm,bcm2835-mmc') ||
  136443. + config_bool($res, 'brcm,bcm2835-sdhost'))
  136444. + {
  136445. + $dtok ||= config_bool($res, 'brcm,bcm2708-pinctrl');
  136446. + $dtok ||= config_bool($res, 'brcm,bcm2835-gpio');
  136447. + $is_283x ||= config_bool($res, 'brcm,bcm2835');
  136448. + $is_283x ||= config_bool($res, 'brcm,bcm2836');
  136449. + $dtok ||= $is_283x;
  136450. + $append_trailer = 1;
  136451. + }
  136452. + else
  136453. + {
  136454. + print ("* This doesn't look like a Raspberry Pi kernel. In pass-through mode.\n");
  136455. + }
  136456. + }
  136457. +}
  136458. +elsif (!$dtok)
  136459. +{
  136460. + print ("* Is this a valid kernel? In pass-through mode.\n");
  136461. +}
  136462. +
  136463. +if ($append_trailer)
  136464. +{
  136465. + printf("DT: %s\n", $dtok ? "y" : "n");
  136466. + printf("283x: %s\n", $is_283x ? "y" : "n");
  136467. +
  136468. + my @atoms;
  136469. +
  136470. + push @atoms, [ $trailer_magic, pack('V', 0) ];
  136471. + push @atoms, [ 'KVer', $kver ];
  136472. + push @atoms, [ 'DTOK', pack('V', $dtok) ];
  136473. + push @atoms, [ '283x', pack('V', $is_283x) ];
  136474. +
  136475. + $trailer = pack_trailer(\@atoms);
  136476. + $atoms[0]->[1] = pack('V', length($trailer));
  136477. +
  136478. + $trailer = pack_trailer(\@atoms);
  136479. +}
  136480. +
  136481. +my $ofh;
  136482. +my $total_len = 0;
  136483. +
  136484. +if ($out_file eq $kernel_file)
  136485. +{
  136486. + die "* Failed to open '$out_file' for append\n"
  136487. + if (!open($ofh, '>>', $out_file));
  136488. + $total_len = tell($ofh);
  136489. +}
  136490. +else
  136491. +{
  136492. + die "* Failed to open '$kernel_file'\n"
  136493. + if (!open(my $ifh, '<', $kernel_file));
  136494. + die "* Failed to create '$out_file'\n"
  136495. + if (!open($ofh, '>', $out_file));
  136496. +
  136497. + my $copybuf;
  136498. + while (1)
  136499. + {
  136500. + my $bytes = sysread($ifh, $copybuf, 64*1024);
  136501. + last if (!$bytes);
  136502. + syswrite($ofh, $copybuf, $bytes);
  136503. + $total_len += $bytes;
  136504. + }
  136505. + close($ifh);
  136506. +}
  136507. +
  136508. +if ($trailer)
  136509. +{
  136510. + # Pad to word-alignment
  136511. + syswrite($ofh, "\x000\x000\x000", (-$total_len & 0x3));
  136512. + syswrite($ofh, $trailer);
  136513. +}
  136514. +
  136515. +close($ofh);
  136516. +
  136517. +exit($trailer ? 0 : 1);
  136518. +
  136519. +END {
  136520. + unlink($tmpfile1) if ($tmpfile1);
  136521. + unlink($tmpfile2) if ($tmpfile2);
  136522. +}
  136523. +
  136524. +
  136525. +sub usage
  136526. +{
  136527. + print ("Usage: mkknlimg [--dtok] [--283x] <vmlinux|zImage|bzImage> <outfile>\n");
  136528. + exit(1);
  136529. +}
  136530. +
  136531. +sub try_extract
  136532. +{
  136533. + my ($knl, $tmp) = @_;
  136534. +
  136535. + my $ver = `strings "$knl" | grep -a -E "^Linux version [1-9]"`;
  136536. +
  136537. + return undef if (!$ver);
  136538. +
  136539. + chomp($ver);
  136540. +
  136541. + my $res = { ''=>$ver };
  136542. + my $string_pattern = '^('.join('|', @wanted_strings).')$';
  136543. +
  136544. + my @matches = `strings \"$knl\" | grep -E \"$string_pattern\"`;
  136545. + foreach my $match (@matches)
  136546. + {
  136547. + chomp($match);
  136548. + $res->{$match} = 1;
  136549. + }
  136550. +
  136551. + return $res;
  136552. +}
  136553. +
  136554. +
  136555. +sub try_decompress
  136556. +{
  136557. + my ($magic, $subst, $zcat, $idx, $knl, $tmp1, $tmp2) = @_;
  136558. +
  136559. + my $pos = `tr "$magic\n$subst" "\n$subst=" < "$knl" | grep -abo "^$subst"`;
  136560. + if ($pos)
  136561. + {
  136562. + chomp($pos);
  136563. + $pos = (split(/[\r\n]+/, $pos))[$idx];
  136564. + return undef if (!defined($pos));
  136565. + $pos =~ s/:.*[\r\n]*$//s;
  136566. + my $cmd = "tail -c+$pos \"$knl\" | $zcat > $tmp2 2> /dev/null";
  136567. + my $err = (system($cmd) >> 8);
  136568. + return undef if (($err != 0) && ($err != 2));
  136569. +
  136570. + return try_extract($tmp2, $tmp1);
  136571. + }
  136572. +
  136573. + return undef;
  136574. +}
  136575. +
  136576. +sub pack_trailer
  136577. +{
  136578. + my ($atoms) = @_;
  136579. + my $trailer = pack('VV', 0, 0);
  136580. + for (my $i = $#$atoms; $i>=0; $i--)
  136581. + {
  136582. + my $atom = $atoms->[$i];
  136583. + $trailer .= pack('a*x!4Va4', $atom->[1], length($atom->[1]), $atom->[0]);
  136584. + }
  136585. + return $trailer;
  136586. +}
  136587. +
  136588. +sub config_bool
  136589. +{
  136590. + my ($configs, $wanted) = @_;
  136591. + my $val = $configs->{$wanted} || 'n';
  136592. + return (($val eq 'y') || ($val eq '1'));
  136593. +}
  136594. diff -Nur linux-4.1.13.orig/sound/arm/bcm2835.c linux-rpi/sound/arm/bcm2835.c
  136595. --- linux-4.1.13.orig/sound/arm/bcm2835.c 1970-01-01 01:00:00.000000000 +0100
  136596. +++ linux-rpi/sound/arm/bcm2835.c 2015-11-29 09:42:41.446997173 +0100
  136597. @@ -0,0 +1,511 @@
  136598. +/*****************************************************************************
  136599. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  136600. +*
  136601. +* Unless you and Broadcom execute a separate written software license
  136602. +* agreement governing use of this software, this software is licensed to you
  136603. +* under the terms of the GNU General Public License version 2, available at
  136604. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  136605. +*
  136606. +* Notwithstanding the above, under no circumstances may you combine this
  136607. +* software in any way with any other Broadcom software provided under a
  136608. +* license other than the GPL, without Broadcom's express prior written
  136609. +* consent.
  136610. +*****************************************************************************/
  136611. +
  136612. +#include <linux/platform_device.h>
  136613. +
  136614. +#include <linux/init.h>
  136615. +#include <linux/slab.h>
  136616. +#include <linux/module.h>
  136617. +#include <linux/of.h>
  136618. +
  136619. +#include "bcm2835.h"
  136620. +
  136621. +/* module parameters (see "Module Parameters") */
  136622. +/* SNDRV_CARDS: maximum number of cards supported by this module */
  136623. +static int index[MAX_SUBSTREAMS] = {[0 ... (MAX_SUBSTREAMS - 1)] = -1 };
  136624. +static char *id[MAX_SUBSTREAMS] = {[0 ... (MAX_SUBSTREAMS - 1)] = NULL };
  136625. +static int enable[MAX_SUBSTREAMS] = {[0 ... (MAX_SUBSTREAMS - 1)] = 1 };
  136626. +
  136627. +/* HACKY global pointers needed for successive probes to work : ssp
  136628. + * But compared against the changes we will have to do in VC audio_ipc code
  136629. + * to export 8 audio_ipc devices as a single IPC device and then monitor all
  136630. + * four devices in a thread, this gets things done quickly and should be easier
  136631. + * to debug if we run into issues
  136632. + */
  136633. +
  136634. +static struct snd_card *g_card = NULL;
  136635. +static bcm2835_chip_t *g_chip = NULL;
  136636. +
  136637. +static int snd_bcm2835_free(bcm2835_chip_t * chip)
  136638. +{
  136639. + kfree(chip);
  136640. + return 0;
  136641. +}
  136642. +
  136643. +/* component-destructor
  136644. + * (see "Management of Cards and Components")
  136645. + */
  136646. +static int snd_bcm2835_dev_free(struct snd_device *device)
  136647. +{
  136648. + return snd_bcm2835_free(device->device_data);
  136649. +}
  136650. +
  136651. +/* chip-specific constructor
  136652. + * (see "Management of Cards and Components")
  136653. + */
  136654. +static int snd_bcm2835_create(struct snd_card *card,
  136655. + struct platform_device *pdev,
  136656. + bcm2835_chip_t ** rchip)
  136657. +{
  136658. + bcm2835_chip_t *chip;
  136659. + int err;
  136660. + static struct snd_device_ops ops = {
  136661. + .dev_free = snd_bcm2835_dev_free,
  136662. + };
  136663. +
  136664. + *rchip = NULL;
  136665. +
  136666. + chip = kzalloc(sizeof(*chip), GFP_KERNEL);
  136667. + if (chip == NULL)
  136668. + return -ENOMEM;
  136669. +
  136670. + chip->card = card;
  136671. +
  136672. + err = snd_device_new(card, SNDRV_DEV_LOWLEVEL, chip, &ops);
  136673. + if (err < 0) {
  136674. + snd_bcm2835_free(chip);
  136675. + return err;
  136676. + }
  136677. +
  136678. + *rchip = chip;
  136679. + return 0;
  136680. +}
  136681. +
  136682. +static int snd_bcm2835_alsa_probe_dt(struct platform_device *pdev)
  136683. +{
  136684. + struct device *dev = &pdev->dev;
  136685. + bcm2835_chip_t *chip;
  136686. + struct snd_card *card;
  136687. + u32 numchans;
  136688. + int err, i;
  136689. +
  136690. + err = of_property_read_u32(dev->of_node, "brcm,pwm-channels",
  136691. + &numchans);
  136692. + if (err) {
  136693. + dev_err(dev, "Failed to get DT property 'brcm,pwm-channels'");
  136694. + return err;
  136695. + }
  136696. +
  136697. + if (numchans == 0 || numchans > MAX_SUBSTREAMS) {
  136698. + numchans = MAX_SUBSTREAMS;
  136699. + dev_warn(dev, "Illegal 'brcm,pwm-channels' value, will use %u\n",
  136700. + numchans);
  136701. + }
  136702. +
  136703. + err = snd_card_new(NULL, -1, NULL, THIS_MODULE, 0, &card);
  136704. + if (err) {
  136705. + dev_err(dev, "Failed to create soundcard structure\n");
  136706. + return err;
  136707. + }
  136708. +
  136709. + snd_card_set_dev(card, dev);
  136710. + strcpy(card->driver, "bcm2835");
  136711. + strcpy(card->shortname, "bcm2835 ALSA");
  136712. + sprintf(card->longname, "%s", card->shortname);
  136713. +
  136714. + err = snd_bcm2835_create(card, pdev, &chip);
  136715. + if (err < 0) {
  136716. + dev_err(dev, "Failed to create bcm2835 chip\n");
  136717. + goto err_free;
  136718. + }
  136719. +
  136720. + err = snd_bcm2835_new_pcm(chip);
  136721. + if (err < 0) {
  136722. + dev_err(dev, "Failed to create new bcm2835 pcm device\n");
  136723. + goto err_free;
  136724. + }
  136725. +
  136726. + err = snd_bcm2835_new_spdif_pcm(chip);
  136727. + if (err < 0) {
  136728. + dev_err(dev, "Failed to create new bcm2835 spdif pcm device\n");
  136729. + goto err_free;
  136730. + }
  136731. +
  136732. + err = snd_bcm2835_new_ctl(chip);
  136733. + if (err < 0) {
  136734. + dev_err(dev, "Failed to create new bcm2835 ctl\n");
  136735. + goto err_free;
  136736. + }
  136737. +
  136738. + for (i = 0; i < numchans; i++) {
  136739. + chip->avail_substreams |= (1 << i);
  136740. + chip->pdev[i] = pdev;
  136741. + }
  136742. +
  136743. + err = snd_card_register(card);
  136744. + if (err) {
  136745. + dev_err(dev, "Failed to register bcm2835 ALSA card \n");
  136746. + goto err_free;
  136747. + }
  136748. +
  136749. + g_card = card;
  136750. + g_chip = chip;
  136751. + platform_set_drvdata(pdev, card);
  136752. + audio_info("bcm2835 ALSA card created with %u channels\n", numchans);
  136753. +
  136754. + return 0;
  136755. +
  136756. +err_free:
  136757. + snd_card_free(card);
  136758. +
  136759. + return err;
  136760. +}
  136761. +
  136762. +static int snd_bcm2835_alsa_probe(struct platform_device *pdev)
  136763. +{
  136764. + static int dev;
  136765. + bcm2835_chip_t *chip;
  136766. + struct snd_card *card;
  136767. + int err;
  136768. +
  136769. + if (pdev->dev.of_node)
  136770. + return snd_bcm2835_alsa_probe_dt(pdev);
  136771. +
  136772. + if (dev >= MAX_SUBSTREAMS)
  136773. + return -ENODEV;
  136774. +
  136775. + if (!enable[dev]) {
  136776. + dev++;
  136777. + return -ENOENT;
  136778. + }
  136779. +
  136780. + if (dev > 0)
  136781. + goto add_register_map;
  136782. +
  136783. + err = snd_card_new(NULL, index[dev], id[dev], THIS_MODULE, 0, &g_card);
  136784. + if (err < 0)
  136785. + goto out;
  136786. +
  136787. + snd_card_set_dev(g_card, &pdev->dev);
  136788. + strcpy(g_card->driver, "bcm2835");
  136789. + strcpy(g_card->shortname, "bcm2835 ALSA");
  136790. + sprintf(g_card->longname, "%s", g_card->shortname);
  136791. +
  136792. + err = snd_bcm2835_create(g_card, pdev, &chip);
  136793. + if (err < 0) {
  136794. + dev_err(&pdev->dev, "Failed to create bcm2835 chip\n");
  136795. + goto out_bcm2835_create;
  136796. + }
  136797. +
  136798. + g_chip = chip;
  136799. + err = snd_bcm2835_new_pcm(chip);
  136800. + if (err < 0) {
  136801. + dev_err(&pdev->dev, "Failed to create new BCM2835 pcm device\n");
  136802. + goto out_bcm2835_new_pcm;
  136803. + }
  136804. +
  136805. + err = snd_bcm2835_new_spdif_pcm(chip);
  136806. + if (err < 0) {
  136807. + dev_err(&pdev->dev, "Failed to create new BCM2835 spdif pcm device\n");
  136808. + goto out_bcm2835_new_spdif;
  136809. + }
  136810. +
  136811. + err = snd_bcm2835_new_ctl(chip);
  136812. + if (err < 0) {
  136813. + dev_err(&pdev->dev, "Failed to create new BCM2835 ctl\n");
  136814. + goto out_bcm2835_new_ctl;
  136815. + }
  136816. +
  136817. +add_register_map:
  136818. + card = g_card;
  136819. + chip = g_chip;
  136820. +
  136821. + BUG_ON(!(card && chip));
  136822. +
  136823. + chip->avail_substreams |= (1 << dev);
  136824. + chip->pdev[dev] = pdev;
  136825. +
  136826. + if (dev == 0) {
  136827. + err = snd_card_register(card);
  136828. + if (err < 0) {
  136829. + dev_err(&pdev->dev,
  136830. + "Failed to register bcm2835 ALSA card \n");
  136831. + goto out_card_register;
  136832. + }
  136833. + platform_set_drvdata(pdev, card);
  136834. + audio_info("bcm2835 ALSA card created!\n");
  136835. + } else {
  136836. + audio_info("bcm2835 ALSA chip created!\n");
  136837. + platform_set_drvdata(pdev, (void *)dev);
  136838. + }
  136839. +
  136840. + dev++;
  136841. +
  136842. + return 0;
  136843. +
  136844. +out_card_register:
  136845. +out_bcm2835_new_ctl:
  136846. +out_bcm2835_new_spdif:
  136847. +out_bcm2835_new_pcm:
  136848. +out_bcm2835_create:
  136849. + BUG_ON(!g_card);
  136850. + if (snd_card_free(g_card))
  136851. + dev_err(&pdev->dev, "Failed to free Registered alsa card\n");
  136852. + g_card = NULL;
  136853. +out:
  136854. + dev = SNDRV_CARDS; /* stop more avail_substreams from being probed */
  136855. + dev_err(&pdev->dev, "BCM2835 ALSA Probe failed !!\n");
  136856. + return err;
  136857. +}
  136858. +
  136859. +static int snd_bcm2835_alsa_remove(struct platform_device *pdev)
  136860. +{
  136861. + uint32_t idx;
  136862. + void *drv_data;
  136863. +
  136864. + drv_data = platform_get_drvdata(pdev);
  136865. +
  136866. + if (drv_data == (void *)g_card) {
  136867. + /* This is the card device */
  136868. + snd_card_free((struct snd_card *)drv_data);
  136869. + g_card = NULL;
  136870. + g_chip = NULL;
  136871. + } else {
  136872. + idx = (uint32_t) drv_data;
  136873. + if (g_card != NULL) {
  136874. + BUG_ON(!g_chip);
  136875. + /* We pass chip device numbers in audio ipc devices
  136876. + * other than the one we registered our card with
  136877. + */
  136878. + idx = (uint32_t) drv_data;
  136879. + BUG_ON(!idx || idx > MAX_SUBSTREAMS);
  136880. + g_chip->avail_substreams &= ~(1 << idx);
  136881. + /* There should be atleast one substream registered
  136882. + * after we are done here, as it wil be removed when
  136883. + * the *remove* is called for the card device
  136884. + */
  136885. + BUG_ON(!g_chip->avail_substreams);
  136886. + }
  136887. + }
  136888. +
  136889. + platform_set_drvdata(pdev, NULL);
  136890. +
  136891. + return 0;
  136892. +}
  136893. +
  136894. +#ifdef CONFIG_PM
  136895. +static int snd_bcm2835_alsa_suspend(struct platform_device *pdev,
  136896. + pm_message_t state)
  136897. +{
  136898. + return 0;
  136899. +}
  136900. +
  136901. +static int snd_bcm2835_alsa_resume(struct platform_device *pdev)
  136902. +{
  136903. + return 0;
  136904. +}
  136905. +
  136906. +#endif
  136907. +
  136908. +static const struct of_device_id snd_bcm2835_of_match_table[] = {
  136909. + { .compatible = "brcm,bcm2835-audio", },
  136910. + {},
  136911. +};
  136912. +MODULE_DEVICE_TABLE(of, snd_bcm2835_of_match_table);
  136913. +
  136914. +static struct platform_driver bcm2835_alsa0_driver = {
  136915. + .probe = snd_bcm2835_alsa_probe,
  136916. + .remove = snd_bcm2835_alsa_remove,
  136917. +#ifdef CONFIG_PM
  136918. + .suspend = snd_bcm2835_alsa_suspend,
  136919. + .resume = snd_bcm2835_alsa_resume,
  136920. +#endif
  136921. + .driver = {
  136922. + .name = "bcm2835_AUD0",
  136923. + .owner = THIS_MODULE,
  136924. + .of_match_table = snd_bcm2835_of_match_table,
  136925. + },
  136926. +};
  136927. +
  136928. +static struct platform_driver bcm2835_alsa1_driver = {
  136929. + .probe = snd_bcm2835_alsa_probe,
  136930. + .remove = snd_bcm2835_alsa_remove,
  136931. +#ifdef CONFIG_PM
  136932. + .suspend = snd_bcm2835_alsa_suspend,
  136933. + .resume = snd_bcm2835_alsa_resume,
  136934. +#endif
  136935. + .driver = {
  136936. + .name = "bcm2835_AUD1",
  136937. + .owner = THIS_MODULE,
  136938. + },
  136939. +};
  136940. +
  136941. +static struct platform_driver bcm2835_alsa2_driver = {
  136942. + .probe = snd_bcm2835_alsa_probe,
  136943. + .remove = snd_bcm2835_alsa_remove,
  136944. +#ifdef CONFIG_PM
  136945. + .suspend = snd_bcm2835_alsa_suspend,
  136946. + .resume = snd_bcm2835_alsa_resume,
  136947. +#endif
  136948. + .driver = {
  136949. + .name = "bcm2835_AUD2",
  136950. + .owner = THIS_MODULE,
  136951. + },
  136952. +};
  136953. +
  136954. +static struct platform_driver bcm2835_alsa3_driver = {
  136955. + .probe = snd_bcm2835_alsa_probe,
  136956. + .remove = snd_bcm2835_alsa_remove,
  136957. +#ifdef CONFIG_PM
  136958. + .suspend = snd_bcm2835_alsa_suspend,
  136959. + .resume = snd_bcm2835_alsa_resume,
  136960. +#endif
  136961. + .driver = {
  136962. + .name = "bcm2835_AUD3",
  136963. + .owner = THIS_MODULE,
  136964. + },
  136965. +};
  136966. +
  136967. +static struct platform_driver bcm2835_alsa4_driver = {
  136968. + .probe = snd_bcm2835_alsa_probe,
  136969. + .remove = snd_bcm2835_alsa_remove,
  136970. +#ifdef CONFIG_PM
  136971. + .suspend = snd_bcm2835_alsa_suspend,
  136972. + .resume = snd_bcm2835_alsa_resume,
  136973. +#endif
  136974. + .driver = {
  136975. + .name = "bcm2835_AUD4",
  136976. + .owner = THIS_MODULE,
  136977. + },
  136978. +};
  136979. +
  136980. +static struct platform_driver bcm2835_alsa5_driver = {
  136981. + .probe = snd_bcm2835_alsa_probe,
  136982. + .remove = snd_bcm2835_alsa_remove,
  136983. +#ifdef CONFIG_PM
  136984. + .suspend = snd_bcm2835_alsa_suspend,
  136985. + .resume = snd_bcm2835_alsa_resume,
  136986. +#endif
  136987. + .driver = {
  136988. + .name = "bcm2835_AUD5",
  136989. + .owner = THIS_MODULE,
  136990. + },
  136991. +};
  136992. +
  136993. +static struct platform_driver bcm2835_alsa6_driver = {
  136994. + .probe = snd_bcm2835_alsa_probe,
  136995. + .remove = snd_bcm2835_alsa_remove,
  136996. +#ifdef CONFIG_PM
  136997. + .suspend = snd_bcm2835_alsa_suspend,
  136998. + .resume = snd_bcm2835_alsa_resume,
  136999. +#endif
  137000. + .driver = {
  137001. + .name = "bcm2835_AUD6",
  137002. + .owner = THIS_MODULE,
  137003. + },
  137004. +};
  137005. +
  137006. +static struct platform_driver bcm2835_alsa7_driver = {
  137007. + .probe = snd_bcm2835_alsa_probe,
  137008. + .remove = snd_bcm2835_alsa_remove,
  137009. +#ifdef CONFIG_PM
  137010. + .suspend = snd_bcm2835_alsa_suspend,
  137011. + .resume = snd_bcm2835_alsa_resume,
  137012. +#endif
  137013. + .driver = {
  137014. + .name = "bcm2835_AUD7",
  137015. + .owner = THIS_MODULE,
  137016. + },
  137017. +};
  137018. +
  137019. +static int bcm2835_alsa_device_init(void)
  137020. +{
  137021. + int err;
  137022. + err = platform_driver_register(&bcm2835_alsa0_driver);
  137023. + if (err) {
  137024. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137025. + goto out;
  137026. + }
  137027. +
  137028. + err = platform_driver_register(&bcm2835_alsa1_driver);
  137029. + if (err) {
  137030. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137031. + goto unregister_0;
  137032. + }
  137033. +
  137034. + err = platform_driver_register(&bcm2835_alsa2_driver);
  137035. + if (err) {
  137036. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137037. + goto unregister_1;
  137038. + }
  137039. +
  137040. + err = platform_driver_register(&bcm2835_alsa3_driver);
  137041. + if (err) {
  137042. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137043. + goto unregister_2;
  137044. + }
  137045. +
  137046. + err = platform_driver_register(&bcm2835_alsa4_driver);
  137047. + if (err) {
  137048. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137049. + goto unregister_3;
  137050. + }
  137051. +
  137052. + err = platform_driver_register(&bcm2835_alsa5_driver);
  137053. + if (err) {
  137054. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137055. + goto unregister_4;
  137056. + }
  137057. +
  137058. + err = platform_driver_register(&bcm2835_alsa6_driver);
  137059. + if (err) {
  137060. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137061. + goto unregister_5;
  137062. + }
  137063. +
  137064. + err = platform_driver_register(&bcm2835_alsa7_driver);
  137065. + if (err) {
  137066. + pr_err("Error registering bcm2835_alsa0_driver %d .\n", err);
  137067. + goto unregister_6;
  137068. + }
  137069. +
  137070. + return 0;
  137071. +
  137072. +unregister_6:
  137073. + platform_driver_unregister(&bcm2835_alsa6_driver);
  137074. +unregister_5:
  137075. + platform_driver_unregister(&bcm2835_alsa5_driver);
  137076. +unregister_4:
  137077. + platform_driver_unregister(&bcm2835_alsa4_driver);
  137078. +unregister_3:
  137079. + platform_driver_unregister(&bcm2835_alsa3_driver);
  137080. +unregister_2:
  137081. + platform_driver_unregister(&bcm2835_alsa2_driver);
  137082. +unregister_1:
  137083. + platform_driver_unregister(&bcm2835_alsa1_driver);
  137084. +unregister_0:
  137085. + platform_driver_unregister(&bcm2835_alsa0_driver);
  137086. +out:
  137087. + return err;
  137088. +}
  137089. +
  137090. +static void bcm2835_alsa_device_exit(void)
  137091. +{
  137092. + platform_driver_unregister(&bcm2835_alsa0_driver);
  137093. + platform_driver_unregister(&bcm2835_alsa1_driver);
  137094. + platform_driver_unregister(&bcm2835_alsa2_driver);
  137095. + platform_driver_unregister(&bcm2835_alsa3_driver);
  137096. + platform_driver_unregister(&bcm2835_alsa4_driver);
  137097. + platform_driver_unregister(&bcm2835_alsa5_driver);
  137098. + platform_driver_unregister(&bcm2835_alsa6_driver);
  137099. + platform_driver_unregister(&bcm2835_alsa7_driver);
  137100. +}
  137101. +
  137102. +late_initcall(bcm2835_alsa_device_init);
  137103. +module_exit(bcm2835_alsa_device_exit);
  137104. +
  137105. +MODULE_AUTHOR("Dom Cobley");
  137106. +MODULE_DESCRIPTION("Alsa driver for BCM2835 chip");
  137107. +MODULE_LICENSE("GPL");
  137108. +MODULE_ALIAS("platform:bcm2835_alsa");
  137109. diff -Nur linux-4.1.13.orig/sound/arm/bcm2835-ctl.c linux-rpi/sound/arm/bcm2835-ctl.c
  137110. --- linux-4.1.13.orig/sound/arm/bcm2835-ctl.c 1970-01-01 01:00:00.000000000 +0100
  137111. +++ linux-rpi/sound/arm/bcm2835-ctl.c 2015-11-29 09:42:41.446997173 +0100
  137112. @@ -0,0 +1,323 @@
  137113. +/*****************************************************************************
  137114. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  137115. +*
  137116. +* Unless you and Broadcom execute a separate written software license
  137117. +* agreement governing use of this software, this software is licensed to you
  137118. +* under the terms of the GNU General Public License version 2, available at
  137119. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  137120. +*
  137121. +* Notwithstanding the above, under no circumstances may you combine this
  137122. +* software in any way with any other Broadcom software provided under a
  137123. +* license other than the GPL, without Broadcom's express prior written
  137124. +* consent.
  137125. +*****************************************************************************/
  137126. +
  137127. +#include <linux/platform_device.h>
  137128. +#include <linux/init.h>
  137129. +#include <linux/io.h>
  137130. +#include <linux/jiffies.h>
  137131. +#include <linux/slab.h>
  137132. +#include <linux/time.h>
  137133. +#include <linux/wait.h>
  137134. +#include <linux/delay.h>
  137135. +#include <linux/moduleparam.h>
  137136. +#include <linux/sched.h>
  137137. +
  137138. +#include <sound/core.h>
  137139. +#include <sound/control.h>
  137140. +#include <sound/pcm.h>
  137141. +#include <sound/pcm_params.h>
  137142. +#include <sound/rawmidi.h>
  137143. +#include <sound/initval.h>
  137144. +#include <sound/tlv.h>
  137145. +#include <sound/asoundef.h>
  137146. +
  137147. +#include "bcm2835.h"
  137148. +
  137149. +/* volume maximum and minimum in terms of 0.01dB */
  137150. +#define CTRL_VOL_MAX 400
  137151. +#define CTRL_VOL_MIN -10239 /* originally -10240 */
  137152. +
  137153. +
  137154. +static int snd_bcm2835_ctl_info(struct snd_kcontrol *kcontrol,
  137155. + struct snd_ctl_elem_info *uinfo)
  137156. +{
  137157. + audio_info(" ... IN\n");
  137158. + if (kcontrol->private_value == PCM_PLAYBACK_VOLUME) {
  137159. + uinfo->type = SNDRV_CTL_ELEM_TYPE_INTEGER;
  137160. + uinfo->count = 1;
  137161. + uinfo->value.integer.min = CTRL_VOL_MIN;
  137162. + uinfo->value.integer.max = CTRL_VOL_MAX; /* 2303 */
  137163. + } else if (kcontrol->private_value == PCM_PLAYBACK_MUTE) {
  137164. + uinfo->type = SNDRV_CTL_ELEM_TYPE_BOOLEAN;
  137165. + uinfo->count = 1;
  137166. + uinfo->value.integer.min = 0;
  137167. + uinfo->value.integer.max = 1;
  137168. + } else if (kcontrol->private_value == PCM_PLAYBACK_DEVICE) {
  137169. + uinfo->type = SNDRV_CTL_ELEM_TYPE_INTEGER;
  137170. + uinfo->count = 1;
  137171. + uinfo->value.integer.min = 0;
  137172. + uinfo->value.integer.max = AUDIO_DEST_MAX-1;
  137173. + }
  137174. + audio_info(" ... OUT\n");
  137175. + return 0;
  137176. +}
  137177. +
  137178. +/* toggles mute on or off depending on the value of nmute, and returns
  137179. + * 1 if the mute value was changed, otherwise 0
  137180. + */
  137181. +static int toggle_mute(struct bcm2835_chip *chip, int nmute)
  137182. +{
  137183. + /* if settings are ok, just return 0 */
  137184. + if(chip->mute == nmute)
  137185. + return 0;
  137186. +
  137187. + /* if the sound is muted then we need to unmute */
  137188. + if(chip->mute == CTRL_VOL_MUTE)
  137189. + {
  137190. + chip->volume = chip->old_volume; /* copy the old volume back */
  137191. + audio_info("Unmuting, old_volume = %d, volume = %d ...\n", chip->old_volume, chip->volume);
  137192. + }
  137193. + else /* otherwise we mute */
  137194. + {
  137195. + chip->old_volume = chip->volume;
  137196. + chip->volume = 26214; /* set volume to minimum level AKA mute */
  137197. + audio_info("Muting, old_volume = %d, volume = %d ...\n", chip->old_volume, chip->volume);
  137198. + }
  137199. +
  137200. + chip->mute = nmute;
  137201. + return 1;
  137202. +}
  137203. +
  137204. +static int snd_bcm2835_ctl_get(struct snd_kcontrol *kcontrol,
  137205. + struct snd_ctl_elem_value *ucontrol)
  137206. +{
  137207. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137208. +
  137209. + BUG_ON(!chip && !(chip->avail_substreams & AVAIL_SUBSTREAMS_MASK));
  137210. +
  137211. + if (kcontrol->private_value == PCM_PLAYBACK_VOLUME)
  137212. + ucontrol->value.integer.value[0] = chip2alsa(chip->volume);
  137213. + else if (kcontrol->private_value == PCM_PLAYBACK_MUTE)
  137214. + ucontrol->value.integer.value[0] = chip->mute;
  137215. + else if (kcontrol->private_value == PCM_PLAYBACK_DEVICE)
  137216. + ucontrol->value.integer.value[0] = chip->dest;
  137217. +
  137218. + return 0;
  137219. +}
  137220. +
  137221. +static int snd_bcm2835_ctl_put(struct snd_kcontrol *kcontrol,
  137222. + struct snd_ctl_elem_value *ucontrol)
  137223. +{
  137224. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137225. + int changed = 0;
  137226. +
  137227. + if (kcontrol->private_value == PCM_PLAYBACK_VOLUME) {
  137228. + audio_info("Volume change attempted.. volume = %d new_volume = %d\n", chip->volume, (int)ucontrol->value.integer.value[0]);
  137229. + if (chip->mute == CTRL_VOL_MUTE) {
  137230. + /* changed = toggle_mute(chip, CTRL_VOL_UNMUTE); */
  137231. + return 1; /* should return 0 to signify no change but the mixer takes this as the opposite sign (no idea why) */
  137232. + }
  137233. + if (changed
  137234. + || (ucontrol->value.integer.value[0] != chip2alsa(chip->volume))) {
  137235. +
  137236. + chip->volume = alsa2chip(ucontrol->value.integer.value[0]);
  137237. + changed = 1;
  137238. + }
  137239. +
  137240. + } else if (kcontrol->private_value == PCM_PLAYBACK_MUTE) {
  137241. + /* Now implemented */
  137242. + audio_info(" Mute attempted\n");
  137243. + changed = toggle_mute(chip, ucontrol->value.integer.value[0]);
  137244. +
  137245. + } else if (kcontrol->private_value == PCM_PLAYBACK_DEVICE) {
  137246. + if (ucontrol->value.integer.value[0] != chip->dest) {
  137247. + chip->dest = ucontrol->value.integer.value[0];
  137248. + changed = 1;
  137249. + }
  137250. + }
  137251. +
  137252. + if (changed) {
  137253. + if (bcm2835_audio_set_ctls(chip))
  137254. + printk(KERN_ERR "Failed to set ALSA controls..\n");
  137255. + }
  137256. +
  137257. + return changed;
  137258. +}
  137259. +
  137260. +static DECLARE_TLV_DB_SCALE(snd_bcm2835_db_scale, CTRL_VOL_MIN, 1, 1);
  137261. +
  137262. +static struct snd_kcontrol_new snd_bcm2835_ctl[] = {
  137263. + {
  137264. + .iface = SNDRV_CTL_ELEM_IFACE_MIXER,
  137265. + .name = "PCM Playback Volume",
  137266. + .index = 0,
  137267. + .access = SNDRV_CTL_ELEM_ACCESS_READWRITE | SNDRV_CTL_ELEM_ACCESS_TLV_READ,
  137268. + .private_value = PCM_PLAYBACK_VOLUME,
  137269. + .info = snd_bcm2835_ctl_info,
  137270. + .get = snd_bcm2835_ctl_get,
  137271. + .put = snd_bcm2835_ctl_put,
  137272. + .count = 1,
  137273. + .tlv = {.p = snd_bcm2835_db_scale}
  137274. + },
  137275. + {
  137276. + .iface = SNDRV_CTL_ELEM_IFACE_MIXER,
  137277. + .name = "PCM Playback Switch",
  137278. + .index = 0,
  137279. + .access = SNDRV_CTL_ELEM_ACCESS_READWRITE,
  137280. + .private_value = PCM_PLAYBACK_MUTE,
  137281. + .info = snd_bcm2835_ctl_info,
  137282. + .get = snd_bcm2835_ctl_get,
  137283. + .put = snd_bcm2835_ctl_put,
  137284. + .count = 1,
  137285. + },
  137286. + {
  137287. + .iface = SNDRV_CTL_ELEM_IFACE_MIXER,
  137288. + .name = "PCM Playback Route",
  137289. + .index = 0,
  137290. + .access = SNDRV_CTL_ELEM_ACCESS_READWRITE,
  137291. + .private_value = PCM_PLAYBACK_DEVICE,
  137292. + .info = snd_bcm2835_ctl_info,
  137293. + .get = snd_bcm2835_ctl_get,
  137294. + .put = snd_bcm2835_ctl_put,
  137295. + .count = 1,
  137296. + },
  137297. +};
  137298. +
  137299. +static int snd_bcm2835_spdif_default_info(struct snd_kcontrol *kcontrol,
  137300. + struct snd_ctl_elem_info *uinfo)
  137301. +{
  137302. + uinfo->type = SNDRV_CTL_ELEM_TYPE_IEC958;
  137303. + uinfo->count = 1;
  137304. + return 0;
  137305. +}
  137306. +
  137307. +static int snd_bcm2835_spdif_default_get(struct snd_kcontrol *kcontrol,
  137308. + struct snd_ctl_elem_value *ucontrol)
  137309. +{
  137310. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137311. + int i;
  137312. +
  137313. + for (i = 0; i < 4; i++)
  137314. + ucontrol->value.iec958.status[i] =
  137315. + (chip->spdif_status >> (i * 8)) && 0xff;
  137316. +
  137317. + return 0;
  137318. +}
  137319. +
  137320. +static int snd_bcm2835_spdif_default_put(struct snd_kcontrol *kcontrol,
  137321. + struct snd_ctl_elem_value *ucontrol)
  137322. +{
  137323. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137324. + unsigned int val = 0;
  137325. + int i, change;
  137326. +
  137327. + for (i = 0; i < 4; i++)
  137328. + val |= (unsigned int)ucontrol->value.iec958.status[i] << (i * 8);
  137329. +
  137330. + change = val != chip->spdif_status;
  137331. + chip->spdif_status = val;
  137332. +
  137333. + return change;
  137334. +}
  137335. +
  137336. +static int snd_bcm2835_spdif_mask_info(struct snd_kcontrol *kcontrol,
  137337. + struct snd_ctl_elem_info *uinfo)
  137338. +{
  137339. + uinfo->type = SNDRV_CTL_ELEM_TYPE_IEC958;
  137340. + uinfo->count = 1;
  137341. + return 0;
  137342. +}
  137343. +
  137344. +static int snd_bcm2835_spdif_mask_get(struct snd_kcontrol *kcontrol,
  137345. + struct snd_ctl_elem_value *ucontrol)
  137346. +{
  137347. + /* bcm2835 supports only consumer mode and sets all other format flags
  137348. + * automatically. So the only thing left is signalling non-audio
  137349. + * content */
  137350. + ucontrol->value.iec958.status[0] = IEC958_AES0_NONAUDIO;
  137351. + return 0;
  137352. +}
  137353. +
  137354. +static int snd_bcm2835_spdif_stream_info(struct snd_kcontrol *kcontrol,
  137355. + struct snd_ctl_elem_info *uinfo)
  137356. +{
  137357. + uinfo->type = SNDRV_CTL_ELEM_TYPE_IEC958;
  137358. + uinfo->count = 1;
  137359. + return 0;
  137360. +}
  137361. +
  137362. +static int snd_bcm2835_spdif_stream_get(struct snd_kcontrol *kcontrol,
  137363. + struct snd_ctl_elem_value *ucontrol)
  137364. +{
  137365. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137366. + int i;
  137367. +
  137368. + for (i = 0; i < 4; i++)
  137369. + ucontrol->value.iec958.status[i] =
  137370. + (chip->spdif_status >> (i * 8)) & 0xff;
  137371. + return 0;
  137372. +}
  137373. +
  137374. +static int snd_bcm2835_spdif_stream_put(struct snd_kcontrol *kcontrol,
  137375. + struct snd_ctl_elem_value *ucontrol)
  137376. +{
  137377. + struct bcm2835_chip *chip = snd_kcontrol_chip(kcontrol);
  137378. + unsigned int val = 0;
  137379. + int i, change;
  137380. +
  137381. + for (i = 0; i < 4; i++)
  137382. + val |= (unsigned int)ucontrol->value.iec958.status[i] << (i * 8);
  137383. + change = val != chip->spdif_status;
  137384. + chip->spdif_status = val;
  137385. +
  137386. + return change;
  137387. +}
  137388. +
  137389. +static struct snd_kcontrol_new snd_bcm2835_spdif[] = {
  137390. + {
  137391. + .iface = SNDRV_CTL_ELEM_IFACE_PCM,
  137392. + .name = SNDRV_CTL_NAME_IEC958("", PLAYBACK, DEFAULT),
  137393. + .info = snd_bcm2835_spdif_default_info,
  137394. + .get = snd_bcm2835_spdif_default_get,
  137395. + .put = snd_bcm2835_spdif_default_put
  137396. + },
  137397. + {
  137398. + .access = SNDRV_CTL_ELEM_ACCESS_READ,
  137399. + .iface = SNDRV_CTL_ELEM_IFACE_PCM,
  137400. + .name = SNDRV_CTL_NAME_IEC958("", PLAYBACK, CON_MASK),
  137401. + .info = snd_bcm2835_spdif_mask_info,
  137402. + .get = snd_bcm2835_spdif_mask_get,
  137403. + },
  137404. + {
  137405. + .access = SNDRV_CTL_ELEM_ACCESS_READWRITE |
  137406. + SNDRV_CTL_ELEM_ACCESS_INACTIVE,
  137407. + .iface = SNDRV_CTL_ELEM_IFACE_PCM,
  137408. + .name = SNDRV_CTL_NAME_IEC958("", PLAYBACK, PCM_STREAM),
  137409. + .info = snd_bcm2835_spdif_stream_info,
  137410. + .get = snd_bcm2835_spdif_stream_get,
  137411. + .put = snd_bcm2835_spdif_stream_put,
  137412. + },
  137413. +};
  137414. +
  137415. +int snd_bcm2835_new_ctl(bcm2835_chip_t * chip)
  137416. +{
  137417. + int err;
  137418. + unsigned int idx;
  137419. +
  137420. + strcpy(chip->card->mixername, "Broadcom Mixer");
  137421. + for (idx = 0; idx < ARRAY_SIZE(snd_bcm2835_ctl); idx++) {
  137422. + err =
  137423. + snd_ctl_add(chip->card,
  137424. + snd_ctl_new1(&snd_bcm2835_ctl[idx], chip));
  137425. + if (err < 0)
  137426. + return err;
  137427. + }
  137428. + for (idx = 0; idx < ARRAY_SIZE(snd_bcm2835_spdif); idx++) {
  137429. + err = snd_ctl_add(chip->card,
  137430. + snd_ctl_new1(&snd_bcm2835_spdif[idx], chip));
  137431. + if (err < 0)
  137432. + return err;
  137433. + }
  137434. + return 0;
  137435. +}
  137436. diff -Nur linux-4.1.13.orig/sound/arm/bcm2835.h linux-rpi/sound/arm/bcm2835.h
  137437. --- linux-4.1.13.orig/sound/arm/bcm2835.h 1970-01-01 01:00:00.000000000 +0100
  137438. +++ linux-rpi/sound/arm/bcm2835.h 2015-11-29 09:42:41.446997173 +0100
  137439. @@ -0,0 +1,167 @@
  137440. +/*****************************************************************************
  137441. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  137442. +*
  137443. +* Unless you and Broadcom execute a separate written software license
  137444. +* agreement governing use of this software, this software is licensed to you
  137445. +* under the terms of the GNU General Public License version 2, available at
  137446. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  137447. +*
  137448. +* Notwithstanding the above, under no circumstances may you combine this
  137449. +* software in any way with any other Broadcom software provided under a
  137450. +* license other than the GPL, without Broadcom's express prior written
  137451. +* consent.
  137452. +*****************************************************************************/
  137453. +
  137454. +#ifndef __SOUND_ARM_BCM2835_H
  137455. +#define __SOUND_ARM_BCM2835_H
  137456. +
  137457. +#include <linux/device.h>
  137458. +#include <linux/list.h>
  137459. +#include <linux/interrupt.h>
  137460. +#include <linux/wait.h>
  137461. +#include <sound/core.h>
  137462. +#include <sound/initval.h>
  137463. +#include <sound/pcm.h>
  137464. +#include <sound/pcm_params.h>
  137465. +#include <sound/pcm-indirect.h>
  137466. +#include <linux/workqueue.h>
  137467. +
  137468. +/*
  137469. +#define AUDIO_DEBUG_ENABLE
  137470. +#define AUDIO_VERBOSE_DEBUG_ENABLE
  137471. +*/
  137472. +
  137473. +/* Debug macros */
  137474. +
  137475. +#ifdef AUDIO_DEBUG_ENABLE
  137476. +#ifdef AUDIO_VERBOSE_DEBUG_ENABLE
  137477. +
  137478. +#define audio_debug(fmt, arg...) \
  137479. + printk(KERN_INFO"%s:%d " fmt, __func__, __LINE__, ##arg)
  137480. +
  137481. +#define audio_info(fmt, arg...) \
  137482. + printk(KERN_INFO"%s:%d " fmt, __func__, __LINE__, ##arg)
  137483. +
  137484. +#else
  137485. +
  137486. +#define audio_debug(fmt, arg...)
  137487. +
  137488. +#define audio_info(fmt, arg...)
  137489. +
  137490. +#endif /* AUDIO_VERBOSE_DEBUG_ENABLE */
  137491. +
  137492. +#else
  137493. +
  137494. +#define audio_debug(fmt, arg...)
  137495. +
  137496. +#define audio_info(fmt, arg...)
  137497. +
  137498. +#endif /* AUDIO_DEBUG_ENABLE */
  137499. +
  137500. +#define audio_error(fmt, arg...) \
  137501. + printk(KERN_ERR"%s:%d " fmt, __func__, __LINE__, ##arg)
  137502. +
  137503. +#define audio_warning(fmt, arg...) \
  137504. + printk(KERN_WARNING"%s:%d " fmt, __func__, __LINE__, ##arg)
  137505. +
  137506. +#define audio_alert(fmt, arg...) \
  137507. + printk(KERN_ALERT"%s:%d " fmt, __func__, __LINE__, ##arg)
  137508. +
  137509. +#define MAX_SUBSTREAMS (8)
  137510. +#define AVAIL_SUBSTREAMS_MASK (0xff)
  137511. +enum {
  137512. + CTRL_VOL_MUTE,
  137513. + CTRL_VOL_UNMUTE
  137514. +};
  137515. +
  137516. +/* macros for alsa2chip and chip2alsa, instead of functions */
  137517. +
  137518. +#define alsa2chip(vol) (uint)(-((vol << 8) / 100)) /* convert alsa to chip volume (defined as macro rather than function call) */
  137519. +#define chip2alsa(vol) -((vol * 100) >> 8) /* convert chip to alsa volume */
  137520. +
  137521. +/* Some constants for values .. */
  137522. +typedef enum {
  137523. + AUDIO_DEST_AUTO = 0,
  137524. + AUDIO_DEST_HEADPHONES = 1,
  137525. + AUDIO_DEST_HDMI = 2,
  137526. + AUDIO_DEST_MAX,
  137527. +} SND_BCM2835_ROUTE_T;
  137528. +
  137529. +typedef enum {
  137530. + PCM_PLAYBACK_VOLUME,
  137531. + PCM_PLAYBACK_MUTE,
  137532. + PCM_PLAYBACK_DEVICE,
  137533. +} SND_BCM2835_CTRL_T;
  137534. +
  137535. +/* definition of the chip-specific record */
  137536. +typedef struct bcm2835_chip {
  137537. + struct snd_card *card;
  137538. + struct snd_pcm *pcm;
  137539. + struct snd_pcm *pcm_spdif;
  137540. + /* Bitmat for valid reg_base and irq numbers */
  137541. + uint32_t avail_substreams;
  137542. + struct platform_device *pdev[MAX_SUBSTREAMS];
  137543. + struct bcm2835_alsa_stream *alsa_stream[MAX_SUBSTREAMS];
  137544. +
  137545. + int volume;
  137546. + int old_volume; /* stores the volume value whist muted */
  137547. + int dest;
  137548. + int mute;
  137549. +
  137550. + unsigned int opened;
  137551. + unsigned int spdif_status;
  137552. + struct mutex audio_mutex;
  137553. +} bcm2835_chip_t;
  137554. +
  137555. +typedef struct bcm2835_alsa_stream {
  137556. + bcm2835_chip_t *chip;
  137557. + struct snd_pcm_substream *substream;
  137558. + struct snd_pcm_indirect pcm_indirect;
  137559. +
  137560. + struct semaphore buffers_update_sem;
  137561. + struct semaphore control_sem;
  137562. + spinlock_t lock;
  137563. + volatile uint32_t control;
  137564. + volatile uint32_t status;
  137565. +
  137566. + int open;
  137567. + int running;
  137568. + int draining;
  137569. +
  137570. + int channels;
  137571. + int params_rate;
  137572. + int pcm_format_width;
  137573. +
  137574. + unsigned int pos;
  137575. + unsigned int buffer_size;
  137576. + unsigned int period_size;
  137577. +
  137578. + uint32_t enable_fifo_irq;
  137579. + irq_handler_t fifo_irq_handler;
  137580. +
  137581. + atomic_t retrieved;
  137582. + struct opaque_AUDIO_INSTANCE_T *instance;
  137583. + struct workqueue_struct *my_wq;
  137584. + int idx;
  137585. +} bcm2835_alsa_stream_t;
  137586. +
  137587. +int snd_bcm2835_new_ctl(bcm2835_chip_t * chip);
  137588. +int snd_bcm2835_new_pcm(bcm2835_chip_t * chip);
  137589. +int snd_bcm2835_new_spdif_pcm(bcm2835_chip_t * chip);
  137590. +
  137591. +int bcm2835_audio_open(bcm2835_alsa_stream_t * alsa_stream);
  137592. +int bcm2835_audio_close(bcm2835_alsa_stream_t * alsa_stream);
  137593. +int bcm2835_audio_set_params(bcm2835_alsa_stream_t * alsa_stream,
  137594. + uint32_t channels, uint32_t samplerate,
  137595. + uint32_t bps);
  137596. +int bcm2835_audio_setup(bcm2835_alsa_stream_t * alsa_stream);
  137597. +int bcm2835_audio_start(bcm2835_alsa_stream_t * alsa_stream);
  137598. +int bcm2835_audio_stop(bcm2835_alsa_stream_t * alsa_stream);
  137599. +int bcm2835_audio_set_ctls(bcm2835_chip_t * chip);
  137600. +int bcm2835_audio_write(bcm2835_alsa_stream_t * alsa_stream, uint32_t count,
  137601. + void *src);
  137602. +uint32_t bcm2835_audio_retrieve_buffers(bcm2835_alsa_stream_t * alsa_stream);
  137603. +void bcm2835_audio_flush_buffers(bcm2835_alsa_stream_t * alsa_stream);
  137604. +void bcm2835_audio_flush_playback_buffers(bcm2835_alsa_stream_t * alsa_stream);
  137605. +
  137606. +#endif /* __SOUND_ARM_BCM2835_H */
  137607. diff -Nur linux-4.1.13.orig/sound/arm/bcm2835-pcm.c linux-rpi/sound/arm/bcm2835-pcm.c
  137608. --- linux-4.1.13.orig/sound/arm/bcm2835-pcm.c 1970-01-01 01:00:00.000000000 +0100
  137609. +++ linux-rpi/sound/arm/bcm2835-pcm.c 2015-11-29 09:42:41.446997173 +0100
  137610. @@ -0,0 +1,557 @@
  137611. +/*****************************************************************************
  137612. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  137613. +*
  137614. +* Unless you and Broadcom execute a separate written software license
  137615. +* agreement governing use of this software, this software is licensed to you
  137616. +* under the terms of the GNU General Public License version 2, available at
  137617. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  137618. +*
  137619. +* Notwithstanding the above, under no circumstances may you combine this
  137620. +* software in any way with any other Broadcom software provided under a
  137621. +* license other than the GPL, without Broadcom's express prior written
  137622. +* consent.
  137623. +*****************************************************************************/
  137624. +
  137625. +#include <linux/interrupt.h>
  137626. +#include <linux/slab.h>
  137627. +
  137628. +#include <sound/asoundef.h>
  137629. +
  137630. +#include "bcm2835.h"
  137631. +
  137632. +/* hardware definition */
  137633. +static struct snd_pcm_hardware snd_bcm2835_playback_hw = {
  137634. + .info = (SNDRV_PCM_INFO_INTERLEAVED | SNDRV_PCM_INFO_BLOCK_TRANSFER |
  137635. + SNDRV_PCM_INFO_MMAP | SNDRV_PCM_INFO_MMAP_VALID),
  137636. + .formats = SNDRV_PCM_FMTBIT_U8 | SNDRV_PCM_FMTBIT_S16_LE,
  137637. + .rates = SNDRV_PCM_RATE_CONTINUOUS | SNDRV_PCM_RATE_8000_48000,
  137638. + .rate_min = 8000,
  137639. + .rate_max = 48000,
  137640. + .channels_min = 1,
  137641. + .channels_max = 2,
  137642. + .buffer_bytes_max = 128 * 1024,
  137643. + .period_bytes_min = 1 * 1024,
  137644. + .period_bytes_max = 128 * 1024,
  137645. + .periods_min = 1,
  137646. + .periods_max = 128,
  137647. +};
  137648. +
  137649. +static struct snd_pcm_hardware snd_bcm2835_playback_spdif_hw = {
  137650. + .info = (SNDRV_PCM_INFO_INTERLEAVED | SNDRV_PCM_INFO_BLOCK_TRANSFER |
  137651. + SNDRV_PCM_INFO_MMAP | SNDRV_PCM_INFO_MMAP_VALID),
  137652. + .formats = SNDRV_PCM_FMTBIT_S16_LE,
  137653. + .rates = SNDRV_PCM_RATE_CONTINUOUS | SNDRV_PCM_RATE_44100 |
  137654. + SNDRV_PCM_RATE_48000,
  137655. + .rate_min = 44100,
  137656. + .rate_max = 48000,
  137657. + .channels_min = 2,
  137658. + .channels_max = 2,
  137659. + .buffer_bytes_max = 128 * 1024,
  137660. + .period_bytes_min = 1 * 1024,
  137661. + .period_bytes_max = 128 * 1024,
  137662. + .periods_min = 1,
  137663. + .periods_max = 128,
  137664. +};
  137665. +
  137666. +static void snd_bcm2835_playback_free(struct snd_pcm_runtime *runtime)
  137667. +{
  137668. + audio_info("Freeing up alsa stream here ..\n");
  137669. + if (runtime->private_data)
  137670. + kfree(runtime->private_data);
  137671. + runtime->private_data = NULL;
  137672. +}
  137673. +
  137674. +static irqreturn_t bcm2835_playback_fifo_irq(int irq, void *dev_id)
  137675. +{
  137676. + bcm2835_alsa_stream_t *alsa_stream = (bcm2835_alsa_stream_t *) dev_id;
  137677. + uint32_t consumed = 0;
  137678. + int new_period = 0;
  137679. +
  137680. + audio_info(" .. IN\n");
  137681. +
  137682. + audio_info("alsa_stream=%p substream=%p\n", alsa_stream,
  137683. + alsa_stream ? alsa_stream->substream : 0);
  137684. +
  137685. + if (alsa_stream->open)
  137686. + consumed = bcm2835_audio_retrieve_buffers(alsa_stream);
  137687. +
  137688. + /* We get called only if playback was triggered, So, the number of buffers we retrieve in
  137689. + * each iteration are the buffers that have been played out already
  137690. + */
  137691. +
  137692. + if (alsa_stream->period_size) {
  137693. + if ((alsa_stream->pos / alsa_stream->period_size) !=
  137694. + ((alsa_stream->pos + consumed) / alsa_stream->period_size))
  137695. + new_period = 1;
  137696. + }
  137697. + audio_debug("updating pos cur: %d + %d max:%d period_bytes:%d, hw_ptr: %d new_period:%d\n",
  137698. + alsa_stream->pos,
  137699. + consumed,
  137700. + alsa_stream->buffer_size,
  137701. + (int)(alsa_stream->period_size*alsa_stream->substream->runtime->periods),
  137702. + frames_to_bytes(alsa_stream->substream->runtime, alsa_stream->substream->runtime->status->hw_ptr),
  137703. + new_period);
  137704. + if (alsa_stream->buffer_size) {
  137705. + alsa_stream->pos += consumed &~ (1<<30);
  137706. + alsa_stream->pos %= alsa_stream->buffer_size;
  137707. + }
  137708. +
  137709. + if (alsa_stream->substream) {
  137710. + if (new_period)
  137711. + snd_pcm_period_elapsed(alsa_stream->substream);
  137712. + } else {
  137713. + audio_warning(" unexpected NULL substream\n");
  137714. + }
  137715. + audio_info(" .. OUT\n");
  137716. +
  137717. + return IRQ_HANDLED;
  137718. +}
  137719. +
  137720. +/* open callback */
  137721. +static int snd_bcm2835_playback_open_generic(
  137722. + struct snd_pcm_substream *substream, int spdif)
  137723. +{
  137724. + bcm2835_chip_t *chip = snd_pcm_substream_chip(substream);
  137725. + struct snd_pcm_runtime *runtime = substream->runtime;
  137726. + bcm2835_alsa_stream_t *alsa_stream;
  137727. + int idx;
  137728. + int err;
  137729. +
  137730. + audio_info(" .. IN (%d)\n", substream->number);
  137731. +
  137732. + if(mutex_lock_interruptible(&chip->audio_mutex))
  137733. + {
  137734. + audio_error("Interrupted whilst waiting for lock\n");
  137735. + return -EINTR;
  137736. + }
  137737. + audio_info("Alsa open (%d)\n", substream->number);
  137738. + idx = substream->number;
  137739. +
  137740. + if (spdif && chip->opened != 0) {
  137741. + err = -EBUSY;
  137742. + goto out;
  137743. + }
  137744. + else if (!spdif && (chip->opened & (1 << idx))) {
  137745. + err = -EBUSY;
  137746. + goto out;
  137747. + }
  137748. + if (idx > MAX_SUBSTREAMS) {
  137749. + audio_error
  137750. + ("substream(%d) device doesn't exist max(%d) substreams allowed\n",
  137751. + idx, MAX_SUBSTREAMS);
  137752. + err = -ENODEV;
  137753. + goto out;
  137754. + }
  137755. +
  137756. + /* Check if we are ready */
  137757. + if (!(chip->avail_substreams & (1 << idx))) {
  137758. + /* We are not ready yet */
  137759. + audio_error("substream(%d) device is not ready yet\n", idx);
  137760. + err = -EAGAIN;
  137761. + goto out;
  137762. + }
  137763. +
  137764. + alsa_stream = kzalloc(sizeof(bcm2835_alsa_stream_t), GFP_KERNEL);
  137765. + if (alsa_stream == NULL) {
  137766. + err = -ENOMEM;
  137767. + goto out;
  137768. + }
  137769. +
  137770. + /* Initialise alsa_stream */
  137771. + alsa_stream->chip = chip;
  137772. + alsa_stream->substream = substream;
  137773. + alsa_stream->idx = idx;
  137774. +
  137775. + sema_init(&alsa_stream->buffers_update_sem, 0);
  137776. + sema_init(&alsa_stream->control_sem, 0);
  137777. + spin_lock_init(&alsa_stream->lock);
  137778. +
  137779. + /* Enabled in start trigger, called on each "fifo irq" after that */
  137780. + alsa_stream->enable_fifo_irq = 0;
  137781. + alsa_stream->fifo_irq_handler = bcm2835_playback_fifo_irq;
  137782. +
  137783. + err = bcm2835_audio_open(alsa_stream);
  137784. + if (err != 0) {
  137785. + kfree(alsa_stream);
  137786. + goto out;
  137787. + }
  137788. + runtime->private_data = alsa_stream;
  137789. + runtime->private_free = snd_bcm2835_playback_free;
  137790. + if (spdif) {
  137791. + runtime->hw = snd_bcm2835_playback_spdif_hw;
  137792. + } else {
  137793. + /* clear spdif status, as we are not in spdif mode */
  137794. + chip->spdif_status = 0;
  137795. + runtime->hw = snd_bcm2835_playback_hw;
  137796. + }
  137797. + /* minimum 16 bytes alignment (for vchiq bulk transfers) */
  137798. + snd_pcm_hw_constraint_step(runtime, 0, SNDRV_PCM_HW_PARAM_PERIOD_BYTES,
  137799. + 16);
  137800. +
  137801. + chip->alsa_stream[idx] = alsa_stream;
  137802. +
  137803. + chip->opened |= (1 << idx);
  137804. + alsa_stream->open = 1;
  137805. + alsa_stream->draining = 1;
  137806. +
  137807. +out:
  137808. + mutex_unlock(&chip->audio_mutex);
  137809. +
  137810. + audio_info(" .. OUT =%d\n", err);
  137811. +
  137812. + return err;
  137813. +}
  137814. +
  137815. +static int snd_bcm2835_playback_open(struct snd_pcm_substream *substream)
  137816. +{
  137817. + return snd_bcm2835_playback_open_generic(substream, 0);
  137818. +}
  137819. +
  137820. +static int snd_bcm2835_playback_spdif_open(struct snd_pcm_substream *substream)
  137821. +{
  137822. + return snd_bcm2835_playback_open_generic(substream, 1);
  137823. +}
  137824. +
  137825. +/* close callback */
  137826. +static int snd_bcm2835_playback_close(struct snd_pcm_substream *substream)
  137827. +{
  137828. + /* the hardware-specific codes will be here */
  137829. +
  137830. + bcm2835_chip_t *chip;
  137831. + struct snd_pcm_runtime *runtime;
  137832. + bcm2835_alsa_stream_t *alsa_stream;
  137833. +
  137834. + audio_info(" .. IN\n");
  137835. +
  137836. + chip = snd_pcm_substream_chip(substream);
  137837. + if(mutex_lock_interruptible(&chip->audio_mutex))
  137838. + {
  137839. + audio_error("Interrupted whilst waiting for lock\n");
  137840. + return -EINTR;
  137841. + }
  137842. + runtime = substream->runtime;
  137843. + alsa_stream = runtime->private_data;
  137844. +
  137845. + audio_info("Alsa close\n");
  137846. +
  137847. + /*
  137848. + * Call stop if it's still running. This happens when app
  137849. + * is force killed and we don't get a stop trigger.
  137850. + */
  137851. + if (alsa_stream->running) {
  137852. + int err;
  137853. + err = bcm2835_audio_stop(alsa_stream);
  137854. + alsa_stream->running = 0;
  137855. + if (err != 0)
  137856. + audio_error(" Failed to STOP alsa device\n");
  137857. + }
  137858. +
  137859. + alsa_stream->period_size = 0;
  137860. + alsa_stream->buffer_size = 0;
  137861. +
  137862. + if (alsa_stream->open) {
  137863. + alsa_stream->open = 0;
  137864. + bcm2835_audio_close(alsa_stream);
  137865. + }
  137866. + if (alsa_stream->chip)
  137867. + alsa_stream->chip->alsa_stream[alsa_stream->idx] = NULL;
  137868. + /*
  137869. + * Do not free up alsa_stream here, it will be freed up by
  137870. + * runtime->private_free callback we registered in *_open above
  137871. + */
  137872. +
  137873. + chip->opened &= ~(1 << substream->number);
  137874. +
  137875. + mutex_unlock(&chip->audio_mutex);
  137876. + audio_info(" .. OUT\n");
  137877. +
  137878. + return 0;
  137879. +}
  137880. +
  137881. +/* hw_params callback */
  137882. +static int snd_bcm2835_pcm_hw_params(struct snd_pcm_substream *substream,
  137883. + struct snd_pcm_hw_params *params)
  137884. +{
  137885. + struct snd_pcm_runtime *runtime = substream->runtime;
  137886. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  137887. + int err;
  137888. +
  137889. + audio_info(" .. IN\n");
  137890. +
  137891. + err = snd_pcm_lib_malloc_pages(substream, params_buffer_bytes(params));
  137892. + if (err < 0) {
  137893. + audio_error
  137894. + (" pcm_lib_malloc failed to allocated pages for buffers\n");
  137895. + return err;
  137896. + }
  137897. +
  137898. + alsa_stream->channels = params_channels(params);
  137899. + alsa_stream->params_rate = params_rate(params);
  137900. + alsa_stream->pcm_format_width = snd_pcm_format_width(params_format (params));
  137901. + audio_info(" .. OUT\n");
  137902. +
  137903. + return err;
  137904. +}
  137905. +
  137906. +/* hw_free callback */
  137907. +static int snd_bcm2835_pcm_hw_free(struct snd_pcm_substream *substream)
  137908. +{
  137909. + audio_info(" .. IN\n");
  137910. + return snd_pcm_lib_free_pages(substream);
  137911. +}
  137912. +
  137913. +/* prepare callback */
  137914. +static int snd_bcm2835_pcm_prepare(struct snd_pcm_substream *substream)
  137915. +{
  137916. + bcm2835_chip_t *chip = snd_pcm_substream_chip(substream);
  137917. + struct snd_pcm_runtime *runtime = substream->runtime;
  137918. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  137919. + int channels;
  137920. + int err;
  137921. +
  137922. + audio_info(" .. IN\n");
  137923. +
  137924. + /* notify the vchiq that it should enter spdif passthrough mode by
  137925. + * setting channels=0 (see
  137926. + * https://github.com/raspberrypi/linux/issues/528) */
  137927. + if (chip->spdif_status & IEC958_AES0_NONAUDIO)
  137928. + channels = 0;
  137929. + else
  137930. + channels = alsa_stream->channels;
  137931. +
  137932. + err = bcm2835_audio_set_params(alsa_stream, channels,
  137933. + alsa_stream->params_rate,
  137934. + alsa_stream->pcm_format_width);
  137935. + if (err < 0) {
  137936. + audio_error(" error setting hw params\n");
  137937. + }
  137938. +
  137939. + bcm2835_audio_setup(alsa_stream);
  137940. +
  137941. + /* in preparation of the stream, set the controls (volume level) of the stream */
  137942. + bcm2835_audio_set_ctls(alsa_stream->chip);
  137943. +
  137944. +
  137945. + memset(&alsa_stream->pcm_indirect, 0, sizeof(alsa_stream->pcm_indirect));
  137946. +
  137947. + alsa_stream->pcm_indirect.hw_buffer_size =
  137948. + alsa_stream->pcm_indirect.sw_buffer_size =
  137949. + snd_pcm_lib_buffer_bytes(substream);
  137950. +
  137951. + alsa_stream->buffer_size = snd_pcm_lib_buffer_bytes(substream);
  137952. + alsa_stream->period_size = snd_pcm_lib_period_bytes(substream);
  137953. + alsa_stream->pos = 0;
  137954. +
  137955. + audio_debug("buffer_size=%d, period_size=%d pos=%d frame_bits=%d\n",
  137956. + alsa_stream->buffer_size, alsa_stream->period_size,
  137957. + alsa_stream->pos, runtime->frame_bits);
  137958. +
  137959. + audio_info(" .. OUT\n");
  137960. + return 0;
  137961. +}
  137962. +
  137963. +static void snd_bcm2835_pcm_transfer(struct snd_pcm_substream *substream,
  137964. + struct snd_pcm_indirect *rec, size_t bytes)
  137965. +{
  137966. + struct snd_pcm_runtime *runtime = substream->runtime;
  137967. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  137968. + void *src = (void *)(substream->runtime->dma_area + rec->sw_data);
  137969. + int err;
  137970. +
  137971. + err = bcm2835_audio_write(alsa_stream, bytes, src);
  137972. + if (err)
  137973. + audio_error(" Failed to transfer to alsa device (%d)\n", err);
  137974. +
  137975. +}
  137976. +
  137977. +static int snd_bcm2835_pcm_ack(struct snd_pcm_substream *substream)
  137978. +{
  137979. + struct snd_pcm_runtime *runtime = substream->runtime;
  137980. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  137981. + struct snd_pcm_indirect *pcm_indirect = &alsa_stream->pcm_indirect;
  137982. +
  137983. + pcm_indirect->hw_queue_size = runtime->hw.buffer_bytes_max;
  137984. + snd_pcm_indirect_playback_transfer(substream, pcm_indirect,
  137985. + snd_bcm2835_pcm_transfer);
  137986. + return 0;
  137987. +}
  137988. +
  137989. +/* trigger callback */
  137990. +static int snd_bcm2835_pcm_trigger(struct snd_pcm_substream *substream, int cmd)
  137991. +{
  137992. + struct snd_pcm_runtime *runtime = substream->runtime;
  137993. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  137994. + int err = 0;
  137995. +
  137996. + audio_info(" .. IN\n");
  137997. +
  137998. + switch (cmd) {
  137999. + case SNDRV_PCM_TRIGGER_START:
  138000. + audio_debug("bcm2835_AUDIO_TRIGGER_START running=%d\n",
  138001. + alsa_stream->running);
  138002. + if (!alsa_stream->running) {
  138003. + err = bcm2835_audio_start(alsa_stream);
  138004. + if (err == 0) {
  138005. + alsa_stream->pcm_indirect.hw_io =
  138006. + alsa_stream->pcm_indirect.hw_data =
  138007. + bytes_to_frames(runtime,
  138008. + alsa_stream->pos);
  138009. + substream->ops->ack(substream);
  138010. + alsa_stream->running = 1;
  138011. + alsa_stream->draining = 1;
  138012. + } else {
  138013. + audio_error(" Failed to START alsa device (%d)\n", err);
  138014. + }
  138015. + }
  138016. + break;
  138017. + case SNDRV_PCM_TRIGGER_STOP:
  138018. + audio_debug
  138019. + ("bcm2835_AUDIO_TRIGGER_STOP running=%d draining=%d\n",
  138020. + alsa_stream->running, runtime->status->state == SNDRV_PCM_STATE_DRAINING);
  138021. + if (runtime->status->state == SNDRV_PCM_STATE_DRAINING) {
  138022. + audio_info("DRAINING\n");
  138023. + alsa_stream->draining = 1;
  138024. + } else {
  138025. + audio_info("DROPPING\n");
  138026. + alsa_stream->draining = 0;
  138027. + }
  138028. + if (alsa_stream->running) {
  138029. + err = bcm2835_audio_stop(alsa_stream);
  138030. + if (err != 0)
  138031. + audio_error(" Failed to STOP alsa device (%d)\n", err);
  138032. + alsa_stream->running = 0;
  138033. + }
  138034. + break;
  138035. + default:
  138036. + err = -EINVAL;
  138037. + }
  138038. +
  138039. + audio_info(" .. OUT\n");
  138040. + return err;
  138041. +}
  138042. +
  138043. +/* pointer callback */
  138044. +static snd_pcm_uframes_t
  138045. +snd_bcm2835_pcm_pointer(struct snd_pcm_substream *substream)
  138046. +{
  138047. + struct snd_pcm_runtime *runtime = substream->runtime;
  138048. + bcm2835_alsa_stream_t *alsa_stream = runtime->private_data;
  138049. +
  138050. + audio_info(" .. IN\n");
  138051. +
  138052. + audio_debug("pcm_pointer... (%d) hwptr=%d appl=%d pos=%d\n", 0,
  138053. + frames_to_bytes(runtime, runtime->status->hw_ptr),
  138054. + frames_to_bytes(runtime, runtime->control->appl_ptr),
  138055. + alsa_stream->pos);
  138056. +
  138057. + audio_info(" .. OUT\n");
  138058. + return snd_pcm_indirect_playback_pointer(substream,
  138059. + &alsa_stream->pcm_indirect,
  138060. + alsa_stream->pos);
  138061. +}
  138062. +
  138063. +static int snd_bcm2835_pcm_lib_ioctl(struct snd_pcm_substream *substream,
  138064. + unsigned int cmd, void *arg)
  138065. +{
  138066. + int ret = snd_pcm_lib_ioctl(substream, cmd, arg);
  138067. + audio_info(" .. substream=%p, cmd=%d, arg=%p (%x) ret=%d\n", substream,
  138068. + cmd, arg, arg ? *(unsigned *)arg : 0, ret);
  138069. + return ret;
  138070. +}
  138071. +
  138072. +/* operators */
  138073. +static struct snd_pcm_ops snd_bcm2835_playback_ops = {
  138074. + .open = snd_bcm2835_playback_open,
  138075. + .close = snd_bcm2835_playback_close,
  138076. + .ioctl = snd_bcm2835_pcm_lib_ioctl,
  138077. + .hw_params = snd_bcm2835_pcm_hw_params,
  138078. + .hw_free = snd_bcm2835_pcm_hw_free,
  138079. + .prepare = snd_bcm2835_pcm_prepare,
  138080. + .trigger = snd_bcm2835_pcm_trigger,
  138081. + .pointer = snd_bcm2835_pcm_pointer,
  138082. + .ack = snd_bcm2835_pcm_ack,
  138083. +};
  138084. +
  138085. +static struct snd_pcm_ops snd_bcm2835_playback_spdif_ops = {
  138086. + .open = snd_bcm2835_playback_spdif_open,
  138087. + .close = snd_bcm2835_playback_close,
  138088. + .ioctl = snd_bcm2835_pcm_lib_ioctl,
  138089. + .hw_params = snd_bcm2835_pcm_hw_params,
  138090. + .hw_free = snd_bcm2835_pcm_hw_free,
  138091. + .prepare = snd_bcm2835_pcm_prepare,
  138092. + .trigger = snd_bcm2835_pcm_trigger,
  138093. + .pointer = snd_bcm2835_pcm_pointer,
  138094. + .ack = snd_bcm2835_pcm_ack,
  138095. +};
  138096. +
  138097. +/* create a pcm device */
  138098. +int snd_bcm2835_new_pcm(bcm2835_chip_t * chip)
  138099. +{
  138100. + struct snd_pcm *pcm;
  138101. + int err;
  138102. +
  138103. + audio_info(" .. IN\n");
  138104. + mutex_init(&chip->audio_mutex);
  138105. + if(mutex_lock_interruptible(&chip->audio_mutex))
  138106. + {
  138107. + audio_error("Interrupted whilst waiting for lock\n");
  138108. + return -EINTR;
  138109. + }
  138110. + err =
  138111. + snd_pcm_new(chip->card, "bcm2835 ALSA", 0, MAX_SUBSTREAMS, 0, &pcm);
  138112. + if (err < 0)
  138113. + goto out;
  138114. + pcm->private_data = chip;
  138115. + strcpy(pcm->name, "bcm2835 ALSA");
  138116. + chip->pcm = pcm;
  138117. + chip->dest = AUDIO_DEST_AUTO;
  138118. + chip->volume = alsa2chip(0);
  138119. + chip->mute = CTRL_VOL_UNMUTE; /*disable mute on startup */
  138120. + /* set operators */
  138121. + snd_pcm_set_ops(pcm, SNDRV_PCM_STREAM_PLAYBACK,
  138122. + &snd_bcm2835_playback_ops);
  138123. +
  138124. + /* pre-allocation of buffers */
  138125. + /* NOTE: this may fail */
  138126. + snd_pcm_lib_preallocate_pages_for_all(pcm, SNDRV_DMA_TYPE_CONTINUOUS,
  138127. + snd_dma_continuous_data
  138128. + (GFP_KERNEL), 64 * 1024,
  138129. + 64 * 1024);
  138130. +
  138131. +out:
  138132. + mutex_unlock(&chip->audio_mutex);
  138133. + audio_info(" .. OUT\n");
  138134. +
  138135. + return 0;
  138136. +}
  138137. +
  138138. +int snd_bcm2835_new_spdif_pcm(bcm2835_chip_t * chip)
  138139. +{
  138140. + struct snd_pcm *pcm;
  138141. + int err;
  138142. +
  138143. + audio_info(" .. IN\n");
  138144. + if(mutex_lock_interruptible(&chip->audio_mutex))
  138145. + {
  138146. + audio_error("Interrupted whilst waiting for lock\n");
  138147. + return -EINTR;
  138148. + }
  138149. + err = snd_pcm_new(chip->card, "bcm2835 ALSA", 1, 1, 0, &pcm);
  138150. + if (err < 0)
  138151. + goto out;
  138152. +
  138153. + pcm->private_data = chip;
  138154. + strcpy(pcm->name, "bcm2835 IEC958/HDMI");
  138155. + chip->pcm_spdif = pcm;
  138156. + snd_pcm_set_ops(pcm, SNDRV_PCM_STREAM_PLAYBACK,
  138157. + &snd_bcm2835_playback_spdif_ops);
  138158. +
  138159. + snd_pcm_lib_preallocate_pages_for_all(pcm, SNDRV_DMA_TYPE_CONTINUOUS,
  138160. + snd_dma_continuous_data (GFP_KERNEL),
  138161. + 64 * 1024, 64 * 1024);
  138162. +out:
  138163. + mutex_unlock(&chip->audio_mutex);
  138164. + audio_info(" .. OUT\n");
  138165. +
  138166. + return 0;
  138167. +}
  138168. diff -Nur linux-4.1.13.orig/sound/arm/bcm2835-vchiq.c linux-rpi/sound/arm/bcm2835-vchiq.c
  138169. --- linux-4.1.13.orig/sound/arm/bcm2835-vchiq.c 1970-01-01 01:00:00.000000000 +0100
  138170. +++ linux-rpi/sound/arm/bcm2835-vchiq.c 2015-11-29 09:42:41.446997173 +0100
  138171. @@ -0,0 +1,902 @@
  138172. +/*****************************************************************************
  138173. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  138174. +*
  138175. +* Unless you and Broadcom execute a separate written software license
  138176. +* agreement governing use of this software, this software is licensed to you
  138177. +* under the terms of the GNU General Public License version 2, available at
  138178. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  138179. +*
  138180. +* Notwithstanding the above, under no circumstances may you combine this
  138181. +* software in any way with any other Broadcom software provided under a
  138182. +* license other than the GPL, without Broadcom's express prior written
  138183. +* consent.
  138184. +*****************************************************************************/
  138185. +
  138186. +#include <linux/device.h>
  138187. +#include <sound/core.h>
  138188. +#include <sound/initval.h>
  138189. +#include <sound/pcm.h>
  138190. +#include <linux/io.h>
  138191. +#include <linux/interrupt.h>
  138192. +#include <linux/fs.h>
  138193. +#include <linux/file.h>
  138194. +#include <linux/mm.h>
  138195. +#include <linux/syscalls.h>
  138196. +#include <asm/uaccess.h>
  138197. +#include <linux/slab.h>
  138198. +#include <linux/delay.h>
  138199. +#include <linux/atomic.h>
  138200. +#include <linux/module.h>
  138201. +#include <linux/completion.h>
  138202. +
  138203. +#include "bcm2835.h"
  138204. +
  138205. +/* ---- Include Files -------------------------------------------------------- */
  138206. +
  138207. +#include "interface/vchi/vchi.h"
  138208. +#include "vc_vchi_audioserv_defs.h"
  138209. +
  138210. +/* ---- Private Constants and Types ------------------------------------------ */
  138211. +
  138212. +#define BCM2835_AUDIO_STOP 0
  138213. +#define BCM2835_AUDIO_START 1
  138214. +#define BCM2835_AUDIO_WRITE 2
  138215. +
  138216. +/* Logging macros (for remapping to other logging mechanisms, i.e., printf) */
  138217. +#ifdef AUDIO_DEBUG_ENABLE
  138218. + #define LOG_ERR( fmt, arg... ) pr_err( "%s:%d " fmt, __func__, __LINE__, ##arg)
  138219. + #define LOG_WARN( fmt, arg... ) pr_info( "%s:%d " fmt, __func__, __LINE__, ##arg)
  138220. + #define LOG_INFO( fmt, arg... ) pr_info( "%s:%d " fmt, __func__, __LINE__, ##arg)
  138221. + #define LOG_DBG( fmt, arg... ) pr_info( "%s:%d " fmt, __func__, __LINE__, ##arg)
  138222. +#else
  138223. + #define LOG_ERR( fmt, arg... ) pr_err( "%s:%d " fmt, __func__, __LINE__, ##arg)
  138224. + #define LOG_WARN( fmt, arg... )
  138225. + #define LOG_INFO( fmt, arg... )
  138226. + #define LOG_DBG( fmt, arg... )
  138227. +#endif
  138228. +
  138229. +typedef struct opaque_AUDIO_INSTANCE_T {
  138230. + uint32_t num_connections;
  138231. + VCHI_SERVICE_HANDLE_T vchi_handle[VCHI_MAX_NUM_CONNECTIONS];
  138232. + struct completion msg_avail_comp;
  138233. + struct mutex vchi_mutex;
  138234. + bcm2835_alsa_stream_t *alsa_stream;
  138235. + int32_t result;
  138236. + short peer_version;
  138237. +} AUDIO_INSTANCE_T;
  138238. +
  138239. +bool force_bulk = false;
  138240. +
  138241. +/* ---- Private Variables ---------------------------------------------------- */
  138242. +
  138243. +/* ---- Private Function Prototypes ------------------------------------------ */
  138244. +
  138245. +/* ---- Private Functions ---------------------------------------------------- */
  138246. +
  138247. +static int bcm2835_audio_stop_worker(bcm2835_alsa_stream_t * alsa_stream);
  138248. +static int bcm2835_audio_start_worker(bcm2835_alsa_stream_t * alsa_stream);
  138249. +static int bcm2835_audio_write_worker(bcm2835_alsa_stream_t *alsa_stream,
  138250. + uint32_t count, void *src);
  138251. +
  138252. +typedef struct {
  138253. + struct work_struct my_work;
  138254. + bcm2835_alsa_stream_t *alsa_stream;
  138255. + int cmd;
  138256. + void *src;
  138257. + uint32_t count;
  138258. +} my_work_t;
  138259. +
  138260. +static void my_wq_function(struct work_struct *work)
  138261. +{
  138262. + my_work_t *w = (my_work_t *) work;
  138263. + int ret = -9;
  138264. + LOG_DBG(" .. IN %p:%d\n", w->alsa_stream, w->cmd);
  138265. + switch (w->cmd) {
  138266. + case BCM2835_AUDIO_START:
  138267. + ret = bcm2835_audio_start_worker(w->alsa_stream);
  138268. + break;
  138269. + case BCM2835_AUDIO_STOP:
  138270. + ret = bcm2835_audio_stop_worker(w->alsa_stream);
  138271. + break;
  138272. + case BCM2835_AUDIO_WRITE:
  138273. + ret = bcm2835_audio_write_worker(w->alsa_stream, w->count,
  138274. + w->src);
  138275. + break;
  138276. + default:
  138277. + LOG_ERR(" Unexpected work: %p:%d\n", w->alsa_stream, w->cmd);
  138278. + break;
  138279. + }
  138280. + kfree((void *)work);
  138281. + LOG_DBG(" .. OUT %d\n", ret);
  138282. +}
  138283. +
  138284. +int bcm2835_audio_start(bcm2835_alsa_stream_t * alsa_stream)
  138285. +{
  138286. + int ret = -1;
  138287. + LOG_DBG(" .. IN\n");
  138288. + if (alsa_stream->my_wq) {
  138289. + my_work_t *work = kmalloc(sizeof(my_work_t), GFP_ATOMIC);
  138290. + /*--- Queue some work (item 1) ---*/
  138291. + if (work) {
  138292. + INIT_WORK((struct work_struct *)work, my_wq_function);
  138293. + work->alsa_stream = alsa_stream;
  138294. + work->cmd = BCM2835_AUDIO_START;
  138295. + if (queue_work
  138296. + (alsa_stream->my_wq, (struct work_struct *)work))
  138297. + ret = 0;
  138298. + } else
  138299. + LOG_ERR(" .. Error: NULL work kmalloc\n");
  138300. + }
  138301. + LOG_DBG(" .. OUT %d\n", ret);
  138302. + return ret;
  138303. +}
  138304. +
  138305. +int bcm2835_audio_stop(bcm2835_alsa_stream_t * alsa_stream)
  138306. +{
  138307. + int ret = -1;
  138308. + LOG_DBG(" .. IN\n");
  138309. + if (alsa_stream->my_wq) {
  138310. + my_work_t *work = kmalloc(sizeof(my_work_t), GFP_ATOMIC);
  138311. + /*--- Queue some work (item 1) ---*/
  138312. + if (work) {
  138313. + INIT_WORK((struct work_struct *)work, my_wq_function);
  138314. + work->alsa_stream = alsa_stream;
  138315. + work->cmd = BCM2835_AUDIO_STOP;
  138316. + if (queue_work
  138317. + (alsa_stream->my_wq, (struct work_struct *)work))
  138318. + ret = 0;
  138319. + } else
  138320. + LOG_ERR(" .. Error: NULL work kmalloc\n");
  138321. + }
  138322. + LOG_DBG(" .. OUT %d\n", ret);
  138323. + return ret;
  138324. +}
  138325. +
  138326. +int bcm2835_audio_write(bcm2835_alsa_stream_t *alsa_stream,
  138327. + uint32_t count, void *src)
  138328. +{
  138329. + int ret = -1;
  138330. + LOG_DBG(" .. IN\n");
  138331. + if (alsa_stream->my_wq) {
  138332. + my_work_t *work = kmalloc(sizeof(my_work_t), GFP_ATOMIC);
  138333. + /*--- Queue some work (item 1) ---*/
  138334. + if (work) {
  138335. + INIT_WORK((struct work_struct *)work, my_wq_function);
  138336. + work->alsa_stream = alsa_stream;
  138337. + work->cmd = BCM2835_AUDIO_WRITE;
  138338. + work->src = src;
  138339. + work->count = count;
  138340. + if (queue_work
  138341. + (alsa_stream->my_wq, (struct work_struct *)work))
  138342. + ret = 0;
  138343. + } else
  138344. + LOG_ERR(" .. Error: NULL work kmalloc\n");
  138345. + }
  138346. + LOG_DBG(" .. OUT %d\n", ret);
  138347. + return ret;
  138348. +}
  138349. +
  138350. +void my_workqueue_init(bcm2835_alsa_stream_t * alsa_stream)
  138351. +{
  138352. + alsa_stream->my_wq = alloc_workqueue("my_queue", WQ_HIGHPRI, 1);
  138353. + return;
  138354. +}
  138355. +
  138356. +void my_workqueue_quit(bcm2835_alsa_stream_t * alsa_stream)
  138357. +{
  138358. + if (alsa_stream->my_wq) {
  138359. + flush_workqueue(alsa_stream->my_wq);
  138360. + destroy_workqueue(alsa_stream->my_wq);
  138361. + alsa_stream->my_wq = NULL;
  138362. + }
  138363. + return;
  138364. +}
  138365. +
  138366. +static void audio_vchi_callback(void *param,
  138367. + const VCHI_CALLBACK_REASON_T reason,
  138368. + void *msg_handle)
  138369. +{
  138370. + AUDIO_INSTANCE_T *instance = (AUDIO_INSTANCE_T *) param;
  138371. + int32_t status;
  138372. + int32_t msg_len;
  138373. + VC_AUDIO_MSG_T m;
  138374. + LOG_DBG(" .. IN instance=%p, handle=%p, alsa=%p, reason=%d, handle=%p\n",
  138375. + instance, instance ? instance->vchi_handle[0] : NULL, instance ? instance->alsa_stream : NULL, reason, msg_handle);
  138376. +
  138377. + if (reason != VCHI_CALLBACK_MSG_AVAILABLE) {
  138378. + return;
  138379. + }
  138380. + if (!instance) {
  138381. + LOG_ERR(" .. instance is null\n");
  138382. + BUG();
  138383. + return;
  138384. + }
  138385. + if (!instance->vchi_handle[0]) {
  138386. + LOG_ERR(" .. instance->vchi_handle[0] is null\n");
  138387. + BUG();
  138388. + return;
  138389. + }
  138390. + status = vchi_msg_dequeue(instance->vchi_handle[0],
  138391. + &m, sizeof m, &msg_len, VCHI_FLAGS_NONE);
  138392. + if (m.type == VC_AUDIO_MSG_TYPE_RESULT) {
  138393. + LOG_DBG
  138394. + (" .. instance=%p, m.type=VC_AUDIO_MSG_TYPE_RESULT, success=%d\n",
  138395. + instance, m.u.result.success);
  138396. + instance->result = m.u.result.success;
  138397. + complete(&instance->msg_avail_comp);
  138398. + } else if (m.type == VC_AUDIO_MSG_TYPE_COMPLETE) {
  138399. + bcm2835_alsa_stream_t *alsa_stream = instance->alsa_stream;
  138400. + irq_handler_t callback = (irq_handler_t) m.u.complete.callback;
  138401. + LOG_DBG
  138402. + (" .. instance=%p, m.type=VC_AUDIO_MSG_TYPE_COMPLETE, complete=%d\n",
  138403. + instance, m.u.complete.count);
  138404. + if (alsa_stream && callback) {
  138405. + atomic_add(m.u.complete.count, &alsa_stream->retrieved);
  138406. + callback(0, alsa_stream);
  138407. + } else {
  138408. + LOG_ERR(" .. unexpected alsa_stream=%p, callback=%p\n",
  138409. + alsa_stream, callback);
  138410. + }
  138411. + } else {
  138412. + LOG_ERR(" .. unexpected m.type=%d\n", m.type);
  138413. + }
  138414. + LOG_DBG(" .. OUT\n");
  138415. +}
  138416. +
  138417. +static AUDIO_INSTANCE_T *vc_vchi_audio_init(VCHI_INSTANCE_T vchi_instance,
  138418. + VCHI_CONNECTION_T **
  138419. + vchi_connections,
  138420. + uint32_t num_connections)
  138421. +{
  138422. + uint32_t i;
  138423. + AUDIO_INSTANCE_T *instance;
  138424. + int status;
  138425. +
  138426. + LOG_DBG("%s: start", __func__);
  138427. +
  138428. + if (num_connections > VCHI_MAX_NUM_CONNECTIONS) {
  138429. + LOG_ERR("%s: unsupported number of connections %u (max=%u)\n",
  138430. + __func__, num_connections, VCHI_MAX_NUM_CONNECTIONS);
  138431. +
  138432. + return NULL;
  138433. + }
  138434. + /* Allocate memory for this instance */
  138435. + instance = kmalloc(sizeof(*instance), GFP_KERNEL);
  138436. + if (!instance)
  138437. + return NULL;
  138438. +
  138439. + memset(instance, 0, sizeof(*instance));
  138440. + instance->num_connections = num_connections;
  138441. +
  138442. + /* Create a lock for exclusive, serialized VCHI connection access */
  138443. + mutex_init(&instance->vchi_mutex);
  138444. + /* Open the VCHI service connections */
  138445. + for (i = 0; i < num_connections; i++) {
  138446. + SERVICE_CREATION_T params = {
  138447. + VCHI_VERSION_EX(VC_AUDIOSERV_VER, VC_AUDIOSERV_MIN_VER),
  138448. + VC_AUDIO_SERVER_NAME, // 4cc service code
  138449. + vchi_connections[i], // passed in fn pointers
  138450. + 0, // rx fifo size (unused)
  138451. + 0, // tx fifo size (unused)
  138452. + audio_vchi_callback, // service callback
  138453. + instance, // service callback parameter
  138454. + 1, //TODO: remove VCOS_FALSE, // unaligned bulk recieves
  138455. + 1, //TODO: remove VCOS_FALSE, // unaligned bulk transmits
  138456. + 0 // want crc check on bulk transfers
  138457. + };
  138458. +
  138459. + LOG_DBG("%s: about to open %i\n", __func__, i);
  138460. + status = vchi_service_open(vchi_instance, &params,
  138461. + &instance->vchi_handle[i]);
  138462. + LOG_DBG("%s: opened %i: %p=%d\n", __func__, i, instance->vchi_handle[i], status);
  138463. + if (status) {
  138464. + LOG_ERR
  138465. + ("%s: failed to open VCHI service connection (status=%d)\n",
  138466. + __func__, status);
  138467. +
  138468. + goto err_close_services;
  138469. + }
  138470. + /* Finished with the service for now */
  138471. + vchi_service_release(instance->vchi_handle[i]);
  138472. + }
  138473. +
  138474. + LOG_DBG("%s: okay\n", __func__);
  138475. + return instance;
  138476. +
  138477. +err_close_services:
  138478. + for (i = 0; i < instance->num_connections; i++) {
  138479. + LOG_ERR("%s: closing %i: %p\n", __func__, i, instance->vchi_handle[i]);
  138480. + if (instance->vchi_handle[i])
  138481. + vchi_service_close(instance->vchi_handle[i]);
  138482. + }
  138483. +
  138484. + kfree(instance);
  138485. + LOG_ERR("%s: error\n", __func__);
  138486. +
  138487. + return NULL;
  138488. +}
  138489. +
  138490. +static int32_t vc_vchi_audio_deinit(AUDIO_INSTANCE_T * instance)
  138491. +{
  138492. + uint32_t i;
  138493. +
  138494. + LOG_DBG(" .. IN\n");
  138495. +
  138496. + if (instance == NULL) {
  138497. + LOG_ERR("%s: invalid handle %p\n", __func__, instance);
  138498. +
  138499. + return -1;
  138500. + }
  138501. +
  138502. + LOG_DBG(" .. about to lock (%d)\n", instance->num_connections);
  138503. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138504. + {
  138505. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138506. + return -EINTR;
  138507. + }
  138508. +
  138509. + /* Close all VCHI service connections */
  138510. + for (i = 0; i < instance->num_connections; i++) {
  138511. + int32_t success;
  138512. + LOG_DBG(" .. %i:closing %p\n", i, instance->vchi_handle[i]);
  138513. + vchi_service_use(instance->vchi_handle[i]);
  138514. +
  138515. + success = vchi_service_close(instance->vchi_handle[i]);
  138516. + if (success != 0) {
  138517. + LOG_DBG
  138518. + ("%s: failed to close VCHI service connection (status=%d)\n",
  138519. + __func__, success);
  138520. + }
  138521. + }
  138522. +
  138523. + mutex_unlock(&instance->vchi_mutex);
  138524. +
  138525. + kfree(instance);
  138526. +
  138527. + LOG_DBG(" .. OUT\n");
  138528. +
  138529. + return 0;
  138530. +}
  138531. +
  138532. +static int bcm2835_audio_open_connection(bcm2835_alsa_stream_t * alsa_stream)
  138533. +{
  138534. + static VCHI_INSTANCE_T vchi_instance;
  138535. + static VCHI_CONNECTION_T *vchi_connection;
  138536. + static int initted;
  138537. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138538. + int ret;
  138539. + LOG_DBG(" .. IN\n");
  138540. +
  138541. + LOG_INFO("%s: start\n", __func__);
  138542. + BUG_ON(instance);
  138543. + if (instance) {
  138544. + LOG_ERR("%s: VCHI instance already open (%p)\n",
  138545. + __func__, instance);
  138546. + instance->alsa_stream = alsa_stream;
  138547. + alsa_stream->instance = instance;
  138548. + ret = 0; // xxx todo -1;
  138549. + goto err_free_mem;
  138550. + }
  138551. +
  138552. + /* Initialize and create a VCHI connection */
  138553. + if (!initted) {
  138554. + ret = vchi_initialise(&vchi_instance);
  138555. + if (ret != 0) {
  138556. + LOG_ERR("%s: failed to initialise VCHI instance (ret=%d)\n",
  138557. + __func__, ret);
  138558. +
  138559. + ret = -EIO;
  138560. + goto err_free_mem;
  138561. + }
  138562. + ret = vchi_connect(NULL, 0, vchi_instance);
  138563. + if (ret != 0) {
  138564. + LOG_ERR("%s: failed to connect VCHI instance (ret=%d)\n",
  138565. + __func__, ret);
  138566. +
  138567. + ret = -EIO;
  138568. + goto err_free_mem;
  138569. + }
  138570. + initted = 1;
  138571. + }
  138572. +
  138573. + /* Initialize an instance of the audio service */
  138574. + instance = vc_vchi_audio_init(vchi_instance, &vchi_connection, 1);
  138575. +
  138576. + if (instance == NULL) {
  138577. + LOG_ERR("%s: failed to initialize audio service\n", __func__);
  138578. +
  138579. + ret = -EPERM;
  138580. + goto err_free_mem;
  138581. + }
  138582. +
  138583. + instance->alsa_stream = alsa_stream;
  138584. + alsa_stream->instance = instance;
  138585. +
  138586. + LOG_DBG(" success !\n");
  138587. +err_free_mem:
  138588. + LOG_DBG(" .. OUT\n");
  138589. +
  138590. + return ret;
  138591. +}
  138592. +
  138593. +int bcm2835_audio_open(bcm2835_alsa_stream_t * alsa_stream)
  138594. +{
  138595. + AUDIO_INSTANCE_T *instance;
  138596. + VC_AUDIO_MSG_T m;
  138597. + int32_t success;
  138598. + int ret;
  138599. + LOG_DBG(" .. IN\n");
  138600. +
  138601. + my_workqueue_init(alsa_stream);
  138602. +
  138603. + ret = bcm2835_audio_open_connection(alsa_stream);
  138604. + if (ret != 0) {
  138605. + ret = -1;
  138606. + goto exit;
  138607. + }
  138608. + instance = alsa_stream->instance;
  138609. + LOG_DBG(" instance (%p)\n", instance);
  138610. +
  138611. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138612. + {
  138613. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138614. + return -EINTR;
  138615. + }
  138616. + vchi_service_use(instance->vchi_handle[0]);
  138617. +
  138618. + m.type = VC_AUDIO_MSG_TYPE_OPEN;
  138619. +
  138620. + /* Send the message to the videocore */
  138621. + success = vchi_msg_queue(instance->vchi_handle[0],
  138622. + &m, sizeof m,
  138623. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138624. +
  138625. + if (success != 0) {
  138626. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138627. + __func__, success);
  138628. +
  138629. + ret = -1;
  138630. + goto unlock;
  138631. + }
  138632. +
  138633. + ret = 0;
  138634. +
  138635. +unlock:
  138636. + vchi_service_release(instance->vchi_handle[0]);
  138637. + mutex_unlock(&instance->vchi_mutex);
  138638. +exit:
  138639. + LOG_DBG(" .. OUT\n");
  138640. + return ret;
  138641. +}
  138642. +
  138643. +static int bcm2835_audio_set_ctls_chan(bcm2835_alsa_stream_t * alsa_stream,
  138644. + bcm2835_chip_t * chip)
  138645. +{
  138646. + VC_AUDIO_MSG_T m;
  138647. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138648. + int32_t success;
  138649. + int ret;
  138650. + LOG_DBG(" .. IN\n");
  138651. +
  138652. + LOG_INFO
  138653. + (" Setting ALSA dest(%d), volume(%d)\n", chip->dest, chip->volume);
  138654. +
  138655. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138656. + {
  138657. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138658. + return -EINTR;
  138659. + }
  138660. + vchi_service_use(instance->vchi_handle[0]);
  138661. +
  138662. + instance->result = -1;
  138663. +
  138664. + m.type = VC_AUDIO_MSG_TYPE_CONTROL;
  138665. + m.u.control.dest = chip->dest;
  138666. + m.u.control.volume = chip->volume;
  138667. +
  138668. + /* Create the message available completion */
  138669. + init_completion(&instance->msg_avail_comp);
  138670. +
  138671. + /* Send the message to the videocore */
  138672. + success = vchi_msg_queue(instance->vchi_handle[0],
  138673. + &m, sizeof m,
  138674. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138675. +
  138676. + if (success != 0) {
  138677. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138678. + __func__, success);
  138679. +
  138680. + ret = -1;
  138681. + goto unlock;
  138682. + }
  138683. +
  138684. + /* We are expecting a reply from the videocore */
  138685. + ret = wait_for_completion_interruptible(&instance->msg_avail_comp);
  138686. + if (ret) {
  138687. + LOG_DBG("%s: failed on waiting for event (status=%d)\n",
  138688. + __func__, success);
  138689. + goto unlock;
  138690. + }
  138691. +
  138692. + if (instance->result != 0) {
  138693. + LOG_ERR("%s: result=%d\n", __func__, instance->result);
  138694. +
  138695. + ret = -1;
  138696. + goto unlock;
  138697. + }
  138698. +
  138699. + ret = 0;
  138700. +
  138701. +unlock:
  138702. + vchi_service_release(instance->vchi_handle[0]);
  138703. + mutex_unlock(&instance->vchi_mutex);
  138704. +
  138705. + LOG_DBG(" .. OUT\n");
  138706. + return ret;
  138707. +}
  138708. +
  138709. +int bcm2835_audio_set_ctls(bcm2835_chip_t * chip)
  138710. +{
  138711. + int i;
  138712. + int ret = 0;
  138713. + LOG_DBG(" .. IN\n");
  138714. + LOG_DBG(" Setting ALSA dest(%d), volume(%d)\n", chip->dest, chip->volume);
  138715. +
  138716. + /* change ctls for all substreams */
  138717. + for (i = 0; i < MAX_SUBSTREAMS; i++) {
  138718. + if (chip->avail_substreams & (1 << i)) {
  138719. + if (!chip->alsa_stream[i])
  138720. + {
  138721. + LOG_DBG(" No ALSA stream available?! %i:%p (%x)\n", i, chip->alsa_stream[i], chip->avail_substreams);
  138722. + ret = 0;
  138723. + }
  138724. + else if (bcm2835_audio_set_ctls_chan /* returns 0 on success */
  138725. + (chip->alsa_stream[i], chip) != 0)
  138726. + {
  138727. + LOG_ERR("Couldn't set the controls for stream %d\n", i);
  138728. + ret = -1;
  138729. + }
  138730. + else LOG_DBG(" Controls set for stream %d\n", i);
  138731. + }
  138732. + }
  138733. + LOG_DBG(" .. OUT ret=%d\n", ret);
  138734. + return ret;
  138735. +}
  138736. +
  138737. +int bcm2835_audio_set_params(bcm2835_alsa_stream_t * alsa_stream,
  138738. + uint32_t channels, uint32_t samplerate,
  138739. + uint32_t bps)
  138740. +{
  138741. + VC_AUDIO_MSG_T m;
  138742. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138743. + int32_t success;
  138744. + int ret;
  138745. + LOG_DBG(" .. IN\n");
  138746. +
  138747. + LOG_INFO
  138748. + (" Setting ALSA channels(%d), samplerate(%d), bits-per-sample(%d)\n",
  138749. + channels, samplerate, bps);
  138750. +
  138751. + /* resend ctls - alsa_stream may not have been open when first send */
  138752. + ret = bcm2835_audio_set_ctls_chan(alsa_stream, alsa_stream->chip);
  138753. + if (ret != 0) {
  138754. + LOG_ERR(" Alsa controls not supported\n");
  138755. + return -EINVAL;
  138756. + }
  138757. +
  138758. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138759. + {
  138760. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138761. + return -EINTR;
  138762. + }
  138763. + vchi_service_use(instance->vchi_handle[0]);
  138764. +
  138765. + instance->result = -1;
  138766. +
  138767. + m.type = VC_AUDIO_MSG_TYPE_CONFIG;
  138768. + m.u.config.channels = channels;
  138769. + m.u.config.samplerate = samplerate;
  138770. + m.u.config.bps = bps;
  138771. +
  138772. + /* Create the message available completion */
  138773. + init_completion(&instance->msg_avail_comp);
  138774. +
  138775. + /* Send the message to the videocore */
  138776. + success = vchi_msg_queue(instance->vchi_handle[0],
  138777. + &m, sizeof m,
  138778. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138779. +
  138780. + if (success != 0) {
  138781. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138782. + __func__, success);
  138783. +
  138784. + ret = -1;
  138785. + goto unlock;
  138786. + }
  138787. +
  138788. + /* We are expecting a reply from the videocore */
  138789. + ret = wait_for_completion_interruptible(&instance->msg_avail_comp);
  138790. + if (ret) {
  138791. + LOG_DBG("%s: failed on waiting for event (status=%d)\n",
  138792. + __func__, success);
  138793. + goto unlock;
  138794. + }
  138795. +
  138796. + if (instance->result != 0) {
  138797. + LOG_ERR("%s: result=%d", __func__, instance->result);
  138798. +
  138799. + ret = -1;
  138800. + goto unlock;
  138801. + }
  138802. +
  138803. + ret = 0;
  138804. +
  138805. +unlock:
  138806. + vchi_service_release(instance->vchi_handle[0]);
  138807. + mutex_unlock(&instance->vchi_mutex);
  138808. +
  138809. + LOG_DBG(" .. OUT\n");
  138810. + return ret;
  138811. +}
  138812. +
  138813. +int bcm2835_audio_setup(bcm2835_alsa_stream_t * alsa_stream)
  138814. +{
  138815. + LOG_DBG(" .. IN\n");
  138816. +
  138817. + LOG_DBG(" .. OUT\n");
  138818. +
  138819. + return 0;
  138820. +}
  138821. +
  138822. +static int bcm2835_audio_start_worker(bcm2835_alsa_stream_t * alsa_stream)
  138823. +{
  138824. + VC_AUDIO_MSG_T m;
  138825. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138826. + int32_t success;
  138827. + int ret;
  138828. + LOG_DBG(" .. IN\n");
  138829. +
  138830. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138831. + {
  138832. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138833. + return -EINTR;
  138834. + }
  138835. + vchi_service_use(instance->vchi_handle[0]);
  138836. +
  138837. + m.type = VC_AUDIO_MSG_TYPE_START;
  138838. +
  138839. + /* Send the message to the videocore */
  138840. + success = vchi_msg_queue(instance->vchi_handle[0],
  138841. + &m, sizeof m,
  138842. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138843. +
  138844. + if (success != 0) {
  138845. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138846. + __func__, success);
  138847. +
  138848. + ret = -1;
  138849. + goto unlock;
  138850. + }
  138851. +
  138852. + ret = 0;
  138853. +
  138854. +unlock:
  138855. + vchi_service_release(instance->vchi_handle[0]);
  138856. + mutex_unlock(&instance->vchi_mutex);
  138857. + LOG_DBG(" .. OUT\n");
  138858. + return ret;
  138859. +}
  138860. +
  138861. +static int bcm2835_audio_stop_worker(bcm2835_alsa_stream_t * alsa_stream)
  138862. +{
  138863. + VC_AUDIO_MSG_T m;
  138864. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138865. + int32_t success;
  138866. + int ret;
  138867. + LOG_DBG(" .. IN\n");
  138868. +
  138869. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138870. + {
  138871. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138872. + return -EINTR;
  138873. + }
  138874. + vchi_service_use(instance->vchi_handle[0]);
  138875. +
  138876. + m.type = VC_AUDIO_MSG_TYPE_STOP;
  138877. + m.u.stop.draining = alsa_stream->draining;
  138878. +
  138879. + /* Send the message to the videocore */
  138880. + success = vchi_msg_queue(instance->vchi_handle[0],
  138881. + &m, sizeof m,
  138882. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138883. +
  138884. + if (success != 0) {
  138885. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138886. + __func__, success);
  138887. +
  138888. + ret = -1;
  138889. + goto unlock;
  138890. + }
  138891. +
  138892. + ret = 0;
  138893. +
  138894. +unlock:
  138895. + vchi_service_release(instance->vchi_handle[0]);
  138896. + mutex_unlock(&instance->vchi_mutex);
  138897. + LOG_DBG(" .. OUT\n");
  138898. + return ret;
  138899. +}
  138900. +
  138901. +int bcm2835_audio_close(bcm2835_alsa_stream_t * alsa_stream)
  138902. +{
  138903. + VC_AUDIO_MSG_T m;
  138904. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138905. + int32_t success;
  138906. + int ret;
  138907. + LOG_DBG(" .. IN\n");
  138908. +
  138909. + my_workqueue_quit(alsa_stream);
  138910. +
  138911. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138912. + {
  138913. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138914. + return -EINTR;
  138915. + }
  138916. + vchi_service_use(instance->vchi_handle[0]);
  138917. +
  138918. + m.type = VC_AUDIO_MSG_TYPE_CLOSE;
  138919. +
  138920. + /* Create the message available completion */
  138921. + init_completion(&instance->msg_avail_comp);
  138922. +
  138923. + /* Send the message to the videocore */
  138924. + success = vchi_msg_queue(instance->vchi_handle[0],
  138925. + &m, sizeof m,
  138926. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138927. +
  138928. + if (success != 0) {
  138929. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  138930. + __func__, success);
  138931. + ret = -1;
  138932. + goto unlock;
  138933. + }
  138934. +
  138935. + ret = wait_for_completion_interruptible(&instance->msg_avail_comp);
  138936. + if (ret) {
  138937. + LOG_DBG("%s: failed on waiting for event (status=%d)\n",
  138938. + __func__, success);
  138939. + goto unlock;
  138940. + }
  138941. + if (instance->result != 0) {
  138942. + LOG_ERR("%s: failed result (status=%d)\n",
  138943. + __func__, instance->result);
  138944. +
  138945. + ret = -1;
  138946. + goto unlock;
  138947. + }
  138948. +
  138949. + ret = 0;
  138950. +
  138951. +unlock:
  138952. + vchi_service_release(instance->vchi_handle[0]);
  138953. + mutex_unlock(&instance->vchi_mutex);
  138954. +
  138955. + /* Stop the audio service */
  138956. + if (instance) {
  138957. + vc_vchi_audio_deinit(instance);
  138958. + alsa_stream->instance = NULL;
  138959. + }
  138960. + LOG_DBG(" .. OUT\n");
  138961. + return ret;
  138962. +}
  138963. +
  138964. +int bcm2835_audio_write_worker(bcm2835_alsa_stream_t *alsa_stream,
  138965. + uint32_t count, void *src)
  138966. +{
  138967. + VC_AUDIO_MSG_T m;
  138968. + AUDIO_INSTANCE_T *instance = alsa_stream->instance;
  138969. + int32_t success;
  138970. + int ret;
  138971. +
  138972. + LOG_DBG(" .. IN\n");
  138973. +
  138974. + LOG_INFO(" Writing %d bytes from %p\n", count, src);
  138975. +
  138976. + if(mutex_lock_interruptible(&instance->vchi_mutex))
  138977. + {
  138978. + LOG_DBG("Interrupted whilst waiting for lock on (%d)\n",instance->num_connections);
  138979. + return -EINTR;
  138980. + }
  138981. + vchi_service_use(instance->vchi_handle[0]);
  138982. +
  138983. + if ( instance->peer_version==0 && vchi_get_peer_version(instance->vchi_handle[0], &instance->peer_version) == 0 ) {
  138984. + LOG_DBG("%s: client version %d connected\n", __func__, instance->peer_version);
  138985. + }
  138986. + m.type = VC_AUDIO_MSG_TYPE_WRITE;
  138987. + m.u.write.count = count;
  138988. + // old version uses bulk, new version uses control
  138989. + m.u.write.max_packet = instance->peer_version < 2 || force_bulk ? 0:4000;
  138990. + m.u.write.callback = alsa_stream->fifo_irq_handler;
  138991. + m.u.write.cookie = alsa_stream;
  138992. + m.u.write.silence = src == NULL;
  138993. +
  138994. + /* Send the message to the videocore */
  138995. + success = vchi_msg_queue(instance->vchi_handle[0],
  138996. + &m, sizeof m,
  138997. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  138998. +
  138999. + if (success != 0) {
  139000. + LOG_ERR("%s: failed on vchi_msg_queue (status=%d)\n",
  139001. + __func__, success);
  139002. +
  139003. + ret = -1;
  139004. + goto unlock;
  139005. + }
  139006. + if (!m.u.write.silence) {
  139007. + if (m.u.write.max_packet == 0) {
  139008. + /* Send the message to the videocore */
  139009. + success = vchi_bulk_queue_transmit(instance->vchi_handle[0],
  139010. + src, count,
  139011. + 0 *
  139012. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED
  139013. + +
  139014. + 1 *
  139015. + VCHI_FLAGS_BLOCK_UNTIL_DATA_READ,
  139016. + NULL);
  139017. + } else {
  139018. + while (count > 0) {
  139019. + int bytes = min((int)m.u.write.max_packet, (int)count);
  139020. + success = vchi_msg_queue(instance->vchi_handle[0],
  139021. + src, bytes,
  139022. + VCHI_FLAGS_BLOCK_UNTIL_QUEUED, NULL);
  139023. + src = (char *)src + bytes;
  139024. + count -= bytes;
  139025. + }
  139026. + }
  139027. + if (success != 0) {
  139028. + LOG_ERR
  139029. + ("%s: failed on vchi_bulk_queue_transmit (status=%d)\n",
  139030. + __func__, success);
  139031. +
  139032. + ret = -1;
  139033. + goto unlock;
  139034. + }
  139035. + }
  139036. + ret = 0;
  139037. +
  139038. +unlock:
  139039. + vchi_service_release(instance->vchi_handle[0]);
  139040. + mutex_unlock(&instance->vchi_mutex);
  139041. + LOG_DBG(" .. OUT\n");
  139042. + return ret;
  139043. +}
  139044. +
  139045. +/**
  139046. + * Returns all buffers from arm->vc
  139047. + */
  139048. +void bcm2835_audio_flush_buffers(bcm2835_alsa_stream_t * alsa_stream)
  139049. +{
  139050. + LOG_DBG(" .. IN\n");
  139051. + LOG_DBG(" .. OUT\n");
  139052. + return;
  139053. +}
  139054. +
  139055. +/**
  139056. + * Forces VC to flush(drop) its filled playback buffers and
  139057. + * return them the us. (VC->ARM)
  139058. + */
  139059. +void bcm2835_audio_flush_playback_buffers(bcm2835_alsa_stream_t * alsa_stream)
  139060. +{
  139061. + LOG_DBG(" .. IN\n");
  139062. + LOG_DBG(" .. OUT\n");
  139063. +}
  139064. +
  139065. +uint32_t bcm2835_audio_retrieve_buffers(bcm2835_alsa_stream_t * alsa_stream)
  139066. +{
  139067. + uint32_t count = atomic_read(&alsa_stream->retrieved);
  139068. + atomic_sub(count, &alsa_stream->retrieved);
  139069. + return count;
  139070. +}
  139071. +
  139072. +module_param(force_bulk, bool, 0444);
  139073. +MODULE_PARM_DESC(force_bulk, "Force use of vchiq bulk for audio");
  139074. diff -Nur linux-4.1.13.orig/sound/arm/Kconfig linux-rpi/sound/arm/Kconfig
  139075. --- linux-4.1.13.orig/sound/arm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  139076. +++ linux-rpi/sound/arm/Kconfig 2015-11-29 09:42:41.446997173 +0100
  139077. @@ -40,5 +40,13 @@
  139078. Say Y or M if you want to support any AC97 codec attached to
  139079. the PXA2xx AC97 interface.
  139080. +config SND_BCM2835
  139081. + tristate "BCM2835 ALSA driver"
  139082. + depends on (ARCH_BCM2708 || ARCH_BCM2709 || ARCH_BCM2835) \
  139083. + && BCM2708_VCHIQ && SND
  139084. + select SND_PCM
  139085. + help
  139086. + Say Y or M if you want to support BCM2835 Alsa pcm card driver
  139087. +
  139088. endif # SND_ARM
  139089. diff -Nur linux-4.1.13.orig/sound/arm/Makefile linux-rpi/sound/arm/Makefile
  139090. --- linux-4.1.13.orig/sound/arm/Makefile 2015-11-09 23:34:10.000000000 +0100
  139091. +++ linux-rpi/sound/arm/Makefile 2015-11-29 09:42:41.446997173 +0100
  139092. @@ -14,3 +14,8 @@
  139093. obj-$(CONFIG_SND_PXA2XX_AC97) += snd-pxa2xx-ac97.o
  139094. snd-pxa2xx-ac97-objs := pxa2xx-ac97.o
  139095. +
  139096. +obj-$(CONFIG_SND_BCM2835) += snd-bcm2835.o
  139097. +snd-bcm2835-objs := bcm2835.o bcm2835-ctl.o bcm2835-pcm.o bcm2835-vchiq.o
  139098. +
  139099. +ccflags-y += -Idrivers/misc/vc04_services -Idrivers/misc/vc04_services/interface/vcos/linuxkernel -D__VCCOREVER__=0x04000000
  139100. diff -Nur linux-4.1.13.orig/sound/arm/vc_vchi_audioserv_defs.h linux-rpi/sound/arm/vc_vchi_audioserv_defs.h
  139101. --- linux-4.1.13.orig/sound/arm/vc_vchi_audioserv_defs.h 1970-01-01 01:00:00.000000000 +0100
  139102. +++ linux-rpi/sound/arm/vc_vchi_audioserv_defs.h 2015-11-29 09:42:41.446997173 +0100
  139103. @@ -0,0 +1,116 @@
  139104. +/*****************************************************************************
  139105. +* Copyright 2011 Broadcom Corporation. All rights reserved.
  139106. +*
  139107. +* Unless you and Broadcom execute a separate written software license
  139108. +* agreement governing use of this software, this software is licensed to you
  139109. +* under the terms of the GNU General Public License version 2, available at
  139110. +* http://www.broadcom.com/licenses/GPLv2.php (the "GPL").
  139111. +*
  139112. +* Notwithstanding the above, under no circumstances may you combine this
  139113. +* software in any way with any other Broadcom software provided under a
  139114. +* license other than the GPL, without Broadcom's express prior written
  139115. +* consent.
  139116. +*****************************************************************************/
  139117. +
  139118. +#ifndef _VC_AUDIO_DEFS_H_
  139119. +#define _VC_AUDIO_DEFS_H_
  139120. +
  139121. +#define VC_AUDIOSERV_MIN_VER 1
  139122. +#define VC_AUDIOSERV_VER 2
  139123. +
  139124. +// FourCC code used for VCHI connection
  139125. +#define VC_AUDIO_SERVER_NAME MAKE_FOURCC("AUDS")
  139126. +
  139127. +// Maximum message length
  139128. +#define VC_AUDIO_MAX_MSG_LEN (sizeof( VC_AUDIO_MSG_T ))
  139129. +
  139130. +// List of screens that are currently supported
  139131. +// All message types supported for HOST->VC direction
  139132. +typedef enum {
  139133. + VC_AUDIO_MSG_TYPE_RESULT, // Generic result
  139134. + VC_AUDIO_MSG_TYPE_COMPLETE, // Generic result
  139135. + VC_AUDIO_MSG_TYPE_CONFIG, // Configure audio
  139136. + VC_AUDIO_MSG_TYPE_CONTROL, // Configure audio
  139137. + VC_AUDIO_MSG_TYPE_OPEN, // Configure audio
  139138. + VC_AUDIO_MSG_TYPE_CLOSE, // Configure audio
  139139. + VC_AUDIO_MSG_TYPE_START, // Configure audio
  139140. + VC_AUDIO_MSG_TYPE_STOP, // Configure audio
  139141. + VC_AUDIO_MSG_TYPE_WRITE, // Configure audio
  139142. + VC_AUDIO_MSG_TYPE_MAX
  139143. +} VC_AUDIO_MSG_TYPE;
  139144. +
  139145. +// configure the audio
  139146. +typedef struct {
  139147. + uint32_t channels;
  139148. + uint32_t samplerate;
  139149. + uint32_t bps;
  139150. +
  139151. +} VC_AUDIO_CONFIG_T;
  139152. +
  139153. +typedef struct {
  139154. + uint32_t volume;
  139155. + uint32_t dest;
  139156. +
  139157. +} VC_AUDIO_CONTROL_T;
  139158. +
  139159. +// audio
  139160. +typedef struct {
  139161. + uint32_t dummy;
  139162. +
  139163. +} VC_AUDIO_OPEN_T;
  139164. +
  139165. +// audio
  139166. +typedef struct {
  139167. + uint32_t dummy;
  139168. +
  139169. +} VC_AUDIO_CLOSE_T;
  139170. +// audio
  139171. +typedef struct {
  139172. + uint32_t dummy;
  139173. +
  139174. +} VC_AUDIO_START_T;
  139175. +// audio
  139176. +typedef struct {
  139177. + uint32_t draining;
  139178. +
  139179. +} VC_AUDIO_STOP_T;
  139180. +
  139181. +// configure the write audio samples
  139182. +typedef struct {
  139183. + uint32_t count; // in bytes
  139184. + void *callback;
  139185. + void *cookie;
  139186. + uint16_t silence;
  139187. + uint16_t max_packet;
  139188. +} VC_AUDIO_WRITE_T;
  139189. +
  139190. +// Generic result for a request (VC->HOST)
  139191. +typedef struct {
  139192. + int32_t success; // Success value
  139193. +
  139194. +} VC_AUDIO_RESULT_T;
  139195. +
  139196. +// Generic result for a request (VC->HOST)
  139197. +typedef struct {
  139198. + int32_t count; // Success value
  139199. + void *callback;
  139200. + void *cookie;
  139201. +} VC_AUDIO_COMPLETE_T;
  139202. +
  139203. +// Message header for all messages in HOST->VC direction
  139204. +typedef struct {
  139205. + int32_t type; // Message type (VC_AUDIO_MSG_TYPE)
  139206. + union {
  139207. + VC_AUDIO_CONFIG_T config;
  139208. + VC_AUDIO_CONTROL_T control;
  139209. + VC_AUDIO_OPEN_T open;
  139210. + VC_AUDIO_CLOSE_T close;
  139211. + VC_AUDIO_START_T start;
  139212. + VC_AUDIO_STOP_T stop;
  139213. + VC_AUDIO_WRITE_T write;
  139214. + VC_AUDIO_RESULT_T result;
  139215. + VC_AUDIO_COMPLETE_T complete;
  139216. + } u;
  139217. +} VC_AUDIO_MSG_T;
  139218. +
  139219. +#endif // _VC_AUDIO_DEFS_H_
  139220. diff -Nur linux-4.1.13.orig/sound/soc/bcm/bcm2708-i2s.c linux-rpi/sound/soc/bcm/bcm2708-i2s.c
  139221. --- linux-4.1.13.orig/sound/soc/bcm/bcm2708-i2s.c 1970-01-01 01:00:00.000000000 +0100
  139222. +++ linux-rpi/sound/soc/bcm/bcm2708-i2s.c 2015-11-29 09:42:41.558989731 +0100
  139223. @@ -0,0 +1,1014 @@
  139224. +/*
  139225. + * ALSA SoC I2S Audio Layer for Broadcom BCM2708 SoC
  139226. + *
  139227. + * Author: Florian Meier <florian.meier@koalo.de>
  139228. + * Copyright 2013
  139229. + *
  139230. + * Based on
  139231. + * Raspberry Pi PCM I2S ALSA Driver
  139232. + * Copyright (c) by Phil Poole 2013
  139233. + *
  139234. + * ALSA SoC I2S (McBSP) Audio Layer for TI DAVINCI processor
  139235. + * Vladimir Barinov, <vbarinov@embeddedalley.com>
  139236. + * Copyright (C) 2007 MontaVista Software, Inc., <source@mvista.com>
  139237. + *
  139238. + * OMAP ALSA SoC DAI driver using McBSP port
  139239. + * Copyright (C) 2008 Nokia Corporation
  139240. + * Contact: Jarkko Nikula <jarkko.nikula@bitmer.com>
  139241. + * Peter Ujfalusi <peter.ujfalusi@ti.com>
  139242. + *
  139243. + * Freescale SSI ALSA SoC Digital Audio Interface (DAI) driver
  139244. + * Author: Timur Tabi <timur@freescale.com>
  139245. + * Copyright 2007-2010 Freescale Semiconductor, Inc.
  139246. + *
  139247. + * This program is free software; you can redistribute it and/or
  139248. + * modify it under the terms of the GNU General Public License
  139249. + * version 2 as published by the Free Software Foundation.
  139250. + *
  139251. + * This program is distributed in the hope that it will be useful, but
  139252. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  139253. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  139254. + * General Public License for more details.
  139255. + */
  139256. +
  139257. +#include "bcm2708-i2s.h"
  139258. +
  139259. +#include <linux/init.h>
  139260. +#include <linux/module.h>
  139261. +#include <linux/device.h>
  139262. +#include <linux/slab.h>
  139263. +#include <linux/delay.h>
  139264. +#include <linux/io.h>
  139265. +#include <linux/clk.h>
  139266. +#include <mach/gpio.h>
  139267. +
  139268. +#include <sound/core.h>
  139269. +#include <sound/pcm.h>
  139270. +#include <sound/pcm_params.h>
  139271. +#include <sound/initval.h>
  139272. +#include <sound/soc.h>
  139273. +#include <sound/dmaengine_pcm.h>
  139274. +
  139275. +#include <asm/system_info.h>
  139276. +
  139277. +/* Clock registers */
  139278. +#define BCM2708_CLK_PCMCTL_REG 0x00
  139279. +#define BCM2708_CLK_PCMDIV_REG 0x04
  139280. +
  139281. +/* Clock register settings */
  139282. +#define BCM2708_CLK_PASSWD (0x5a000000)
  139283. +#define BCM2708_CLK_PASSWD_MASK (0xff000000)
  139284. +#define BCM2708_CLK_MASH(v) ((v) << 9)
  139285. +#define BCM2708_CLK_FLIP BIT(8)
  139286. +#define BCM2708_CLK_BUSY BIT(7)
  139287. +#define BCM2708_CLK_KILL BIT(5)
  139288. +#define BCM2708_CLK_ENAB BIT(4)
  139289. +#define BCM2708_CLK_SRC(v) (v)
  139290. +
  139291. +#define BCM2708_CLK_SHIFT (12)
  139292. +#define BCM2708_CLK_DIVI(v) ((v) << BCM2708_CLK_SHIFT)
  139293. +#define BCM2708_CLK_DIVF(v) (v)
  139294. +#define BCM2708_CLK_DIVF_MASK (0xFFF)
  139295. +
  139296. +enum {
  139297. + BCM2708_CLK_MASH_0 = 0,
  139298. + BCM2708_CLK_MASH_1,
  139299. + BCM2708_CLK_MASH_2,
  139300. + BCM2708_CLK_MASH_3,
  139301. +};
  139302. +
  139303. +enum {
  139304. + BCM2708_CLK_SRC_GND = 0,
  139305. + BCM2708_CLK_SRC_OSC,
  139306. + BCM2708_CLK_SRC_DBG0,
  139307. + BCM2708_CLK_SRC_DBG1,
  139308. + BCM2708_CLK_SRC_PLLA,
  139309. + BCM2708_CLK_SRC_PLLC,
  139310. + BCM2708_CLK_SRC_PLLD,
  139311. + BCM2708_CLK_SRC_HDMI,
  139312. +};
  139313. +
  139314. +/* Most clocks are not useable (freq = 0) */
  139315. +static const unsigned int bcm2708_clk_freq[BCM2708_CLK_SRC_HDMI+1] = {
  139316. + [BCM2708_CLK_SRC_GND] = 0,
  139317. + [BCM2708_CLK_SRC_OSC] = 19200000,
  139318. + [BCM2708_CLK_SRC_DBG0] = 0,
  139319. + [BCM2708_CLK_SRC_DBG1] = 0,
  139320. + [BCM2708_CLK_SRC_PLLA] = 0,
  139321. + [BCM2708_CLK_SRC_PLLC] = 0,
  139322. + [BCM2708_CLK_SRC_PLLD] = 500000000,
  139323. + [BCM2708_CLK_SRC_HDMI] = 0,
  139324. +};
  139325. +
  139326. +/* I2S registers */
  139327. +#define BCM2708_I2S_CS_A_REG 0x00
  139328. +#define BCM2708_I2S_FIFO_A_REG 0x04
  139329. +#define BCM2708_I2S_MODE_A_REG 0x08
  139330. +#define BCM2708_I2S_RXC_A_REG 0x0c
  139331. +#define BCM2708_I2S_TXC_A_REG 0x10
  139332. +#define BCM2708_I2S_DREQ_A_REG 0x14
  139333. +#define BCM2708_I2S_INTEN_A_REG 0x18
  139334. +#define BCM2708_I2S_INTSTC_A_REG 0x1c
  139335. +#define BCM2708_I2S_GRAY_REG 0x20
  139336. +
  139337. +/* I2S register settings */
  139338. +#define BCM2708_I2S_STBY BIT(25)
  139339. +#define BCM2708_I2S_SYNC BIT(24)
  139340. +#define BCM2708_I2S_RXSEX BIT(23)
  139341. +#define BCM2708_I2S_RXF BIT(22)
  139342. +#define BCM2708_I2S_TXE BIT(21)
  139343. +#define BCM2708_I2S_RXD BIT(20)
  139344. +#define BCM2708_I2S_TXD BIT(19)
  139345. +#define BCM2708_I2S_RXR BIT(18)
  139346. +#define BCM2708_I2S_TXW BIT(17)
  139347. +#define BCM2708_I2S_CS_RXERR BIT(16)
  139348. +#define BCM2708_I2S_CS_TXERR BIT(15)
  139349. +#define BCM2708_I2S_RXSYNC BIT(14)
  139350. +#define BCM2708_I2S_TXSYNC BIT(13)
  139351. +#define BCM2708_I2S_DMAEN BIT(9)
  139352. +#define BCM2708_I2S_RXTHR(v) ((v) << 7)
  139353. +#define BCM2708_I2S_TXTHR(v) ((v) << 5)
  139354. +#define BCM2708_I2S_RXCLR BIT(4)
  139355. +#define BCM2708_I2S_TXCLR BIT(3)
  139356. +#define BCM2708_I2S_TXON BIT(2)
  139357. +#define BCM2708_I2S_RXON BIT(1)
  139358. +#define BCM2708_I2S_EN (1)
  139359. +
  139360. +#define BCM2708_I2S_CLKDIS BIT(28)
  139361. +#define BCM2708_I2S_PDMN BIT(27)
  139362. +#define BCM2708_I2S_PDME BIT(26)
  139363. +#define BCM2708_I2S_FRXP BIT(25)
  139364. +#define BCM2708_I2S_FTXP BIT(24)
  139365. +#define BCM2708_I2S_CLKM BIT(23)
  139366. +#define BCM2708_I2S_CLKI BIT(22)
  139367. +#define BCM2708_I2S_FSM BIT(21)
  139368. +#define BCM2708_I2S_FSI BIT(20)
  139369. +#define BCM2708_I2S_FLEN(v) ((v) << 10)
  139370. +#define BCM2708_I2S_FSLEN(v) (v)
  139371. +
  139372. +#define BCM2708_I2S_CHWEX BIT(15)
  139373. +#define BCM2708_I2S_CHEN BIT(14)
  139374. +#define BCM2708_I2S_CHPOS(v) ((v) << 4)
  139375. +#define BCM2708_I2S_CHWID(v) (v)
  139376. +#define BCM2708_I2S_CH1(v) ((v) << 16)
  139377. +#define BCM2708_I2S_CH2(v) (v)
  139378. +
  139379. +#define BCM2708_I2S_TX_PANIC(v) ((v) << 24)
  139380. +#define BCM2708_I2S_RX_PANIC(v) ((v) << 16)
  139381. +#define BCM2708_I2S_TX(v) ((v) << 8)
  139382. +#define BCM2708_I2S_RX(v) (v)
  139383. +
  139384. +#define BCM2708_I2S_INT_RXERR BIT(3)
  139385. +#define BCM2708_I2S_INT_TXERR BIT(2)
  139386. +#define BCM2708_I2S_INT_RXR BIT(1)
  139387. +#define BCM2708_I2S_INT_TXW BIT(0)
  139388. +
  139389. +/* I2S DMA interface */
  139390. +#define BCM2708_I2S_FIFO_PHYSICAL_ADDR 0x7E203004
  139391. +#define BCM2708_DMA_DREQ_PCM_TX 2
  139392. +#define BCM2708_DMA_DREQ_PCM_RX 3
  139393. +
  139394. +/* I2S pin configuration */
  139395. +static int bcm2708_i2s_gpio=BCM2708_I2S_GPIO_AUTO;
  139396. +
  139397. +/* General device struct */
  139398. +struct bcm2708_i2s_dev {
  139399. + struct device *dev;
  139400. + struct snd_dmaengine_dai_dma_data dma_data[2];
  139401. + unsigned int fmt;
  139402. + unsigned int bclk_ratio;
  139403. +
  139404. + struct regmap *i2s_regmap;
  139405. + struct regmap *clk_regmap;
  139406. +};
  139407. +
  139408. +void bcm2708_i2s_set_gpio(int gpio) {
  139409. + bcm2708_i2s_gpio=gpio;
  139410. +}
  139411. +EXPORT_SYMBOL(bcm2708_i2s_set_gpio);
  139412. +
  139413. +
  139414. +static void bcm2708_i2s_start_clock(struct bcm2708_i2s_dev *dev)
  139415. +{
  139416. + /* Start the clock if in master mode */
  139417. + unsigned int master = dev->fmt & SND_SOC_DAIFMT_MASTER_MASK;
  139418. +
  139419. + switch (master) {
  139420. + case SND_SOC_DAIFMT_CBS_CFS:
  139421. + case SND_SOC_DAIFMT_CBS_CFM:
  139422. + regmap_update_bits(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG,
  139423. + BCM2708_CLK_PASSWD_MASK | BCM2708_CLK_ENAB,
  139424. + BCM2708_CLK_PASSWD | BCM2708_CLK_ENAB);
  139425. + break;
  139426. + default:
  139427. + break;
  139428. + }
  139429. +}
  139430. +
  139431. +static void bcm2708_i2s_stop_clock(struct bcm2708_i2s_dev *dev)
  139432. +{
  139433. + uint32_t clkreg;
  139434. + int timeout = 1000;
  139435. +
  139436. + /* Stop clock */
  139437. + regmap_update_bits(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG,
  139438. + BCM2708_CLK_PASSWD_MASK | BCM2708_CLK_ENAB,
  139439. + BCM2708_CLK_PASSWD);
  139440. +
  139441. + /* Wait for the BUSY flag going down */
  139442. + while (--timeout) {
  139443. + regmap_read(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG, &clkreg);
  139444. + if (!(clkreg & BCM2708_CLK_BUSY))
  139445. + break;
  139446. + }
  139447. +
  139448. + if (!timeout) {
  139449. + /* KILL the clock */
  139450. + dev_err(dev->dev, "I2S clock didn't stop. Kill the clock!\n");
  139451. + regmap_update_bits(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG,
  139452. + BCM2708_CLK_KILL | BCM2708_CLK_PASSWD_MASK,
  139453. + BCM2708_CLK_KILL | BCM2708_CLK_PASSWD);
  139454. + }
  139455. +}
  139456. +
  139457. +static void bcm2708_i2s_clear_fifos(struct bcm2708_i2s_dev *dev,
  139458. + bool tx, bool rx)
  139459. +{
  139460. + int timeout = 1000;
  139461. + uint32_t syncval;
  139462. + uint32_t csreg;
  139463. + uint32_t i2s_active_state;
  139464. + uint32_t clkreg;
  139465. + uint32_t clk_active_state;
  139466. + uint32_t off;
  139467. + uint32_t clr;
  139468. +
  139469. + off = tx ? BCM2708_I2S_TXON : 0;
  139470. + off |= rx ? BCM2708_I2S_RXON : 0;
  139471. +
  139472. + clr = tx ? BCM2708_I2S_TXCLR : 0;
  139473. + clr |= rx ? BCM2708_I2S_RXCLR : 0;
  139474. +
  139475. + /* Backup the current state */
  139476. + regmap_read(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, &csreg);
  139477. + i2s_active_state = csreg & (BCM2708_I2S_RXON | BCM2708_I2S_TXON);
  139478. +
  139479. + regmap_read(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG, &clkreg);
  139480. + clk_active_state = clkreg & BCM2708_CLK_ENAB;
  139481. +
  139482. + /* Start clock if not running */
  139483. + if (!clk_active_state) {
  139484. + regmap_update_bits(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG,
  139485. + BCM2708_CLK_PASSWD_MASK | BCM2708_CLK_ENAB,
  139486. + BCM2708_CLK_PASSWD | BCM2708_CLK_ENAB);
  139487. + }
  139488. +
  139489. + /* Stop I2S module */
  139490. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, off, 0);
  139491. +
  139492. + /*
  139493. + * Clear the FIFOs
  139494. + * Requires at least 2 PCM clock cycles to take effect
  139495. + */
  139496. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, clr, clr);
  139497. +
  139498. + /* Wait for 2 PCM clock cycles */
  139499. +
  139500. + /*
  139501. + * Toggle the SYNC flag. After 2 PCM clock cycles it can be read back
  139502. + * FIXME: This does not seem to work for slave mode!
  139503. + */
  139504. + regmap_read(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, &syncval);
  139505. + syncval &= BCM2708_I2S_SYNC;
  139506. +
  139507. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139508. + BCM2708_I2S_SYNC, ~syncval);
  139509. +
  139510. + /* Wait for the SYNC flag changing it's state */
  139511. + while (--timeout) {
  139512. + regmap_read(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, &csreg);
  139513. + if ((csreg & BCM2708_I2S_SYNC) != syncval)
  139514. + break;
  139515. + }
  139516. +
  139517. + if (!timeout)
  139518. + dev_err(dev->dev, "I2S SYNC error!\n");
  139519. +
  139520. + /* Stop clock if it was not running before */
  139521. + if (!clk_active_state)
  139522. + bcm2708_i2s_stop_clock(dev);
  139523. +
  139524. + /* Restore I2S state */
  139525. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139526. + BCM2708_I2S_RXON | BCM2708_I2S_TXON, i2s_active_state);
  139527. +}
  139528. +
  139529. +static int bcm2708_i2s_set_dai_fmt(struct snd_soc_dai *dai,
  139530. + unsigned int fmt)
  139531. +{
  139532. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139533. + dev->fmt = fmt;
  139534. + return 0;
  139535. +}
  139536. +
  139537. +static int bcm2708_i2s_set_dai_bclk_ratio(struct snd_soc_dai *dai,
  139538. + unsigned int ratio)
  139539. +{
  139540. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139541. + dev->bclk_ratio = ratio;
  139542. + return 0;
  139543. +}
  139544. +
  139545. +
  139546. +static int bcm2708_i2s_set_function(unsigned offset, int function)
  139547. +{
  139548. + #define GPIOFSEL(x) (0x00+(x)*4)
  139549. + void __iomem *gpio = __io_address(GPIO_BASE);
  139550. + unsigned alt = function <= 3 ? function + 4: function == 4 ? 3 : 2;
  139551. + unsigned gpiodir;
  139552. + unsigned gpio_bank = offset / 10;
  139553. + unsigned gpio_field_offset = (offset - 10 * gpio_bank) * 3;
  139554. +
  139555. + if (offset >= BCM2708_NR_GPIOS)
  139556. + return -EINVAL;
  139557. +
  139558. + gpiodir = readl(gpio + GPIOFSEL(gpio_bank));
  139559. + gpiodir &= ~(7 << gpio_field_offset);
  139560. + gpiodir |= alt << gpio_field_offset;
  139561. + writel(gpiodir, gpio + GPIOFSEL(gpio_bank));
  139562. + return 0;
  139563. +}
  139564. +
  139565. +static void bcm2708_i2s_setup_gpio(void)
  139566. +{
  139567. + /*
  139568. + * This is the common way to handle the GPIO pins for
  139569. + * the Raspberry Pi.
  139570. + * TODO Better way would be to handle
  139571. + * this in the device tree!
  139572. + */
  139573. + int pin,pinconfig,startpin,alt;
  139574. +
  139575. + /* SPI is on different GPIOs on different boards */
  139576. + /* for Raspberry Pi B+, this is pin GPIO18-21, for original on 28-31 */
  139577. + if (bcm2708_i2s_gpio==BCM2708_I2S_GPIO_AUTO) {
  139578. + if ((system_rev & 0xffffff) >= 0x10) {
  139579. + /* Model B+ */
  139580. + pinconfig=BCM2708_I2S_GPIO_PIN18;
  139581. + } else {
  139582. + /* original */
  139583. + pinconfig=BCM2708_I2S_GPIO_PIN28;
  139584. + }
  139585. + } else {
  139586. + pinconfig=bcm2708_i2s_gpio;
  139587. + }
  139588. +
  139589. + if (pinconfig==BCM2708_I2S_GPIO_PIN18) {
  139590. + startpin=18;
  139591. + alt=BCM2708_I2S_GPIO_PIN18_ALT;
  139592. + } else if (pinconfig==BCM2708_I2S_GPIO_PIN28) {
  139593. + startpin=28;
  139594. + alt=BCM2708_I2S_GPIO_PIN28_ALT;
  139595. + } else {
  139596. + printk(KERN_INFO "Can't configure I2S GPIOs, unknown pin mode for I2S: %i\n",pinconfig);
  139597. + return;
  139598. + }
  139599. +
  139600. + /* configure I2S pins to correct ALT mode */
  139601. + for (pin = startpin; pin <= startpin+3; pin++) {
  139602. + bcm2708_i2s_set_function(pin, alt);
  139603. + }
  139604. +}
  139605. +
  139606. +static int bcm2708_i2s_hw_params(struct snd_pcm_substream *substream,
  139607. + struct snd_pcm_hw_params *params,
  139608. + struct snd_soc_dai *dai)
  139609. +{
  139610. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139611. +
  139612. + unsigned int sampling_rate = params_rate(params);
  139613. + unsigned int data_length, data_delay, bclk_ratio;
  139614. + unsigned int ch1pos, ch2pos, mode, format;
  139615. + unsigned int mash = BCM2708_CLK_MASH_1;
  139616. + unsigned int divi, divf, target_frequency;
  139617. + int clk_src = -1;
  139618. + unsigned int master = dev->fmt & SND_SOC_DAIFMT_MASTER_MASK;
  139619. + bool bit_master = (master == SND_SOC_DAIFMT_CBS_CFS
  139620. + || master == SND_SOC_DAIFMT_CBS_CFM);
  139621. +
  139622. + bool frame_master = (master == SND_SOC_DAIFMT_CBS_CFS
  139623. + || master == SND_SOC_DAIFMT_CBM_CFS);
  139624. + uint32_t csreg;
  139625. +
  139626. + /*
  139627. + * If a stream is already enabled,
  139628. + * the registers are already set properly.
  139629. + */
  139630. + regmap_read(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, &csreg);
  139631. +
  139632. + if (csreg & (BCM2708_I2S_TXON | BCM2708_I2S_RXON))
  139633. + return 0;
  139634. +
  139635. + if (!dev->dev->of_node)
  139636. + bcm2708_i2s_setup_gpio();
  139637. +
  139638. + /*
  139639. + * Adjust the data length according to the format.
  139640. + * We prefill the half frame length with an integer
  139641. + * divider of 2400 as explained at the clock settings.
  139642. + * Maybe it is overwritten there, if the Integer mode
  139643. + * does not apply.
  139644. + */
  139645. + switch (params_format(params)) {
  139646. + case SNDRV_PCM_FORMAT_S16_LE:
  139647. + data_length = 16;
  139648. + bclk_ratio = 50;
  139649. + break;
  139650. + case SNDRV_PCM_FORMAT_S24_LE:
  139651. + data_length = 24;
  139652. + bclk_ratio = 50;
  139653. + break;
  139654. + case SNDRV_PCM_FORMAT_S32_LE:
  139655. + data_length = 32;
  139656. + bclk_ratio = 100;
  139657. + break;
  139658. + default:
  139659. + return -EINVAL;
  139660. + }
  139661. +
  139662. + /* If bclk_ratio already set, use that one. */
  139663. + if (dev->bclk_ratio)
  139664. + bclk_ratio = dev->bclk_ratio;
  139665. +
  139666. + /*
  139667. + * Clock Settings
  139668. + *
  139669. + * The target frequency of the bit clock is
  139670. + * sampling rate * frame length
  139671. + *
  139672. + * Integer mode:
  139673. + * Sampling rates that are multiples of 8000 kHz
  139674. + * can be driven by the oscillator of 19.2 MHz
  139675. + * with an integer divider as long as the frame length
  139676. + * is an integer divider of 19200000/8000=2400 as set up above.
  139677. + * This is no longer possible if the sampling rate
  139678. + * is too high (e.g. 192 kHz), because the oscillator is too slow.
  139679. + *
  139680. + * MASH mode:
  139681. + * For all other sampling rates, it is not possible to
  139682. + * have an integer divider. Approximate the clock
  139683. + * with the MASH module that induces a slight frequency
  139684. + * variance. To minimize that it is best to have the fastest
  139685. + * clock here. That is PLLD with 500 MHz.
  139686. + */
  139687. + target_frequency = sampling_rate * bclk_ratio;
  139688. + clk_src = BCM2708_CLK_SRC_OSC;
  139689. + mash = BCM2708_CLK_MASH_0;
  139690. +
  139691. + if (bcm2708_clk_freq[clk_src] % target_frequency == 0
  139692. + && bit_master && frame_master) {
  139693. + divi = bcm2708_clk_freq[clk_src] / target_frequency;
  139694. + divf = 0;
  139695. + } else {
  139696. + uint64_t dividend;
  139697. +
  139698. + if (!dev->bclk_ratio) {
  139699. + /*
  139700. + * Overwrite bclk_ratio, because the
  139701. + * above trick is not needed or can
  139702. + * not be used.
  139703. + */
  139704. + bclk_ratio = 2 * data_length;
  139705. + }
  139706. +
  139707. + target_frequency = sampling_rate * bclk_ratio;
  139708. +
  139709. + clk_src = BCM2708_CLK_SRC_PLLD;
  139710. + mash = BCM2708_CLK_MASH_1;
  139711. +
  139712. + dividend = bcm2708_clk_freq[clk_src];
  139713. + dividend <<= BCM2708_CLK_SHIFT;
  139714. + do_div(dividend, target_frequency);
  139715. + divi = dividend >> BCM2708_CLK_SHIFT;
  139716. + divf = dividend & BCM2708_CLK_DIVF_MASK;
  139717. + }
  139718. +
  139719. + /* Clock should only be set up here if CPU is clock master */
  139720. + if (((dev->fmt & SND_SOC_DAIFMT_MASTER_MASK) == SND_SOC_DAIFMT_CBS_CFS) ||
  139721. + ((dev->fmt & SND_SOC_DAIFMT_MASTER_MASK) == SND_SOC_DAIFMT_CBS_CFM)) {
  139722. + /* Set clock divider */
  139723. + regmap_write(dev->clk_regmap, BCM2708_CLK_PCMDIV_REG, BCM2708_CLK_PASSWD
  139724. + | BCM2708_CLK_DIVI(divi)
  139725. + | BCM2708_CLK_DIVF(divf));
  139726. +
  139727. + /* Setup clock, but don't start it yet */
  139728. + regmap_write(dev->clk_regmap, BCM2708_CLK_PCMCTL_REG, BCM2708_CLK_PASSWD
  139729. + | BCM2708_CLK_MASH(mash)
  139730. + | BCM2708_CLK_SRC(clk_src));
  139731. + }
  139732. +
  139733. + /* Setup the frame format */
  139734. + format = BCM2708_I2S_CHEN;
  139735. +
  139736. + if (data_length >= 24)
  139737. + format |= BCM2708_I2S_CHWEX;
  139738. +
  139739. + format |= BCM2708_I2S_CHWID((data_length-8)&0xf);
  139740. +
  139741. + switch (dev->fmt & SND_SOC_DAIFMT_FORMAT_MASK) {
  139742. + case SND_SOC_DAIFMT_I2S:
  139743. + data_delay = 1;
  139744. + break;
  139745. + default:
  139746. + /*
  139747. + * TODO
  139748. + * Others are possible but are not implemented at the moment.
  139749. + */
  139750. + dev_err(dev->dev, "%s:bad format\n", __func__);
  139751. + return -EINVAL;
  139752. + }
  139753. +
  139754. + ch1pos = data_delay;
  139755. + ch2pos = bclk_ratio / 2 + data_delay;
  139756. +
  139757. + switch (params_channels(params)) {
  139758. + case 2:
  139759. + format = BCM2708_I2S_CH1(format) | BCM2708_I2S_CH2(format);
  139760. + format |= BCM2708_I2S_CH1(BCM2708_I2S_CHPOS(ch1pos));
  139761. + format |= BCM2708_I2S_CH2(BCM2708_I2S_CHPOS(ch2pos));
  139762. + break;
  139763. + default:
  139764. + return -EINVAL;
  139765. + }
  139766. +
  139767. + /*
  139768. + * Set format for both streams.
  139769. + * We cannot set another frame length
  139770. + * (and therefore word length) anyway,
  139771. + * so the format will be the same.
  139772. + */
  139773. + regmap_write(dev->i2s_regmap, BCM2708_I2S_RXC_A_REG, format);
  139774. + regmap_write(dev->i2s_regmap, BCM2708_I2S_TXC_A_REG, format);
  139775. +
  139776. + /* Setup the I2S mode */
  139777. + mode = 0;
  139778. +
  139779. + if (data_length <= 16) {
  139780. + /*
  139781. + * Use frame packed mode (2 channels per 32 bit word)
  139782. + * We cannot set another frame length in the second stream
  139783. + * (and therefore word length) anyway,
  139784. + * so the format will be the same.
  139785. + */
  139786. + mode |= BCM2708_I2S_FTXP | BCM2708_I2S_FRXP;
  139787. + }
  139788. +
  139789. + mode |= BCM2708_I2S_FLEN(bclk_ratio - 1);
  139790. + mode |= BCM2708_I2S_FSLEN(bclk_ratio / 2);
  139791. +
  139792. + /* Master or slave? */
  139793. + switch (dev->fmt & SND_SOC_DAIFMT_MASTER_MASK) {
  139794. + case SND_SOC_DAIFMT_CBS_CFS:
  139795. + /* CPU is master */
  139796. + break;
  139797. + case SND_SOC_DAIFMT_CBM_CFS:
  139798. + /*
  139799. + * CODEC is bit clock master
  139800. + * CPU is frame master
  139801. + */
  139802. + mode |= BCM2708_I2S_CLKM;
  139803. + break;
  139804. + case SND_SOC_DAIFMT_CBS_CFM:
  139805. + /*
  139806. + * CODEC is frame master
  139807. + * CPU is bit clock master
  139808. + */
  139809. + mode |= BCM2708_I2S_FSM;
  139810. + break;
  139811. + case SND_SOC_DAIFMT_CBM_CFM:
  139812. + /* CODEC is master */
  139813. + mode |= BCM2708_I2S_CLKM;
  139814. + mode |= BCM2708_I2S_FSM;
  139815. + break;
  139816. + default:
  139817. + dev_err(dev->dev, "%s:bad master\n", __func__);
  139818. + return -EINVAL;
  139819. + }
  139820. +
  139821. + /*
  139822. + * Invert clocks?
  139823. + *
  139824. + * The BCM approach seems to be inverted to the classical I2S approach.
  139825. + */
  139826. + switch (dev->fmt & SND_SOC_DAIFMT_INV_MASK) {
  139827. + case SND_SOC_DAIFMT_NB_NF:
  139828. + /* None. Therefore, both for BCM */
  139829. + mode |= BCM2708_I2S_CLKI;
  139830. + mode |= BCM2708_I2S_FSI;
  139831. + break;
  139832. + case SND_SOC_DAIFMT_IB_IF:
  139833. + /* Both. Therefore, none for BCM */
  139834. + break;
  139835. + case SND_SOC_DAIFMT_NB_IF:
  139836. + /*
  139837. + * Invert only frame sync. Therefore,
  139838. + * invert only bit clock for BCM
  139839. + */
  139840. + mode |= BCM2708_I2S_CLKI;
  139841. + break;
  139842. + case SND_SOC_DAIFMT_IB_NF:
  139843. + /*
  139844. + * Invert only bit clock. Therefore,
  139845. + * invert only frame sync for BCM
  139846. + */
  139847. + mode |= BCM2708_I2S_FSI;
  139848. + break;
  139849. + default:
  139850. + return -EINVAL;
  139851. + }
  139852. +
  139853. + regmap_write(dev->i2s_regmap, BCM2708_I2S_MODE_A_REG, mode);
  139854. +
  139855. + /* Setup the DMA parameters */
  139856. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139857. + BCM2708_I2S_RXTHR(1)
  139858. + | BCM2708_I2S_TXTHR(1)
  139859. + | BCM2708_I2S_DMAEN, 0xffffffff);
  139860. +
  139861. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_DREQ_A_REG,
  139862. + BCM2708_I2S_TX_PANIC(0x10)
  139863. + | BCM2708_I2S_RX_PANIC(0x30)
  139864. + | BCM2708_I2S_TX(0x30)
  139865. + | BCM2708_I2S_RX(0x20), 0xffffffff);
  139866. +
  139867. + /* Clear FIFOs */
  139868. + bcm2708_i2s_clear_fifos(dev, true, true);
  139869. +
  139870. + return 0;
  139871. +}
  139872. +
  139873. +static int bcm2708_i2s_prepare(struct snd_pcm_substream *substream,
  139874. + struct snd_soc_dai *dai)
  139875. +{
  139876. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139877. + uint32_t cs_reg;
  139878. +
  139879. + bcm2708_i2s_start_clock(dev);
  139880. +
  139881. + /*
  139882. + * Clear both FIFOs if the one that should be started
  139883. + * is not empty at the moment. This should only happen
  139884. + * after overrun. Otherwise, hw_params would have cleared
  139885. + * the FIFO.
  139886. + */
  139887. + regmap_read(dev->i2s_regmap, BCM2708_I2S_CS_A_REG, &cs_reg);
  139888. +
  139889. + if (substream->stream == SNDRV_PCM_STREAM_PLAYBACK
  139890. + && !(cs_reg & BCM2708_I2S_TXE))
  139891. + bcm2708_i2s_clear_fifos(dev, true, false);
  139892. + else if (substream->stream == SNDRV_PCM_STREAM_CAPTURE
  139893. + && (cs_reg & BCM2708_I2S_RXD))
  139894. + bcm2708_i2s_clear_fifos(dev, false, true);
  139895. +
  139896. + return 0;
  139897. +}
  139898. +
  139899. +static void bcm2708_i2s_stop(struct bcm2708_i2s_dev *dev,
  139900. + struct snd_pcm_substream *substream,
  139901. + struct snd_soc_dai *dai)
  139902. +{
  139903. + uint32_t mask;
  139904. +
  139905. + if (substream->stream == SNDRV_PCM_STREAM_CAPTURE)
  139906. + mask = BCM2708_I2S_RXON;
  139907. + else
  139908. + mask = BCM2708_I2S_TXON;
  139909. +
  139910. + regmap_update_bits(dev->i2s_regmap,
  139911. + BCM2708_I2S_CS_A_REG, mask, 0);
  139912. +
  139913. + /* Stop also the clock when not SND_SOC_DAIFMT_CONT */
  139914. + if (!dai->active && !(dev->fmt & SND_SOC_DAIFMT_CONT))
  139915. + bcm2708_i2s_stop_clock(dev);
  139916. +}
  139917. +
  139918. +static int bcm2708_i2s_trigger(struct snd_pcm_substream *substream, int cmd,
  139919. + struct snd_soc_dai *dai)
  139920. +{
  139921. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139922. + uint32_t mask;
  139923. +
  139924. + switch (cmd) {
  139925. + case SNDRV_PCM_TRIGGER_START:
  139926. + case SNDRV_PCM_TRIGGER_RESUME:
  139927. + case SNDRV_PCM_TRIGGER_PAUSE_RELEASE:
  139928. + bcm2708_i2s_start_clock(dev);
  139929. +
  139930. + if (substream->stream == SNDRV_PCM_STREAM_CAPTURE)
  139931. + mask = BCM2708_I2S_RXON;
  139932. + else
  139933. + mask = BCM2708_I2S_TXON;
  139934. +
  139935. + regmap_update_bits(dev->i2s_regmap,
  139936. + BCM2708_I2S_CS_A_REG, mask, mask);
  139937. + break;
  139938. +
  139939. + case SNDRV_PCM_TRIGGER_STOP:
  139940. + case SNDRV_PCM_TRIGGER_SUSPEND:
  139941. + case SNDRV_PCM_TRIGGER_PAUSE_PUSH:
  139942. + bcm2708_i2s_stop(dev, substream, dai);
  139943. + break;
  139944. + default:
  139945. + return -EINVAL;
  139946. + }
  139947. +
  139948. + return 0;
  139949. +}
  139950. +
  139951. +static int bcm2708_i2s_startup(struct snd_pcm_substream *substream,
  139952. + struct snd_soc_dai *dai)
  139953. +{
  139954. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139955. +
  139956. + if (dai->active)
  139957. + return 0;
  139958. +
  139959. + /* Should this still be running stop it */
  139960. + bcm2708_i2s_stop_clock(dev);
  139961. +
  139962. + /* Enable PCM block */
  139963. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139964. + BCM2708_I2S_EN, BCM2708_I2S_EN);
  139965. +
  139966. + /*
  139967. + * Disable STBY.
  139968. + * Requires at least 4 PCM clock cycles to take effect.
  139969. + */
  139970. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139971. + BCM2708_I2S_STBY, BCM2708_I2S_STBY);
  139972. +
  139973. + return 0;
  139974. +}
  139975. +
  139976. +static void bcm2708_i2s_shutdown(struct snd_pcm_substream *substream,
  139977. + struct snd_soc_dai *dai)
  139978. +{
  139979. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  139980. +
  139981. + bcm2708_i2s_stop(dev, substream, dai);
  139982. +
  139983. + /* If both streams are stopped, disable module and clock */
  139984. + if (dai->active)
  139985. + return;
  139986. +
  139987. + /* Disable the module */
  139988. + regmap_update_bits(dev->i2s_regmap, BCM2708_I2S_CS_A_REG,
  139989. + BCM2708_I2S_EN, 0);
  139990. +
  139991. + /*
  139992. + * Stopping clock is necessary, because stop does
  139993. + * not stop the clock when SND_SOC_DAIFMT_CONT
  139994. + */
  139995. + bcm2708_i2s_stop_clock(dev);
  139996. +}
  139997. +
  139998. +static const struct snd_soc_dai_ops bcm2708_i2s_dai_ops = {
  139999. + .startup = bcm2708_i2s_startup,
  140000. + .shutdown = bcm2708_i2s_shutdown,
  140001. + .prepare = bcm2708_i2s_prepare,
  140002. + .trigger = bcm2708_i2s_trigger,
  140003. + .hw_params = bcm2708_i2s_hw_params,
  140004. + .set_fmt = bcm2708_i2s_set_dai_fmt,
  140005. + .set_bclk_ratio = bcm2708_i2s_set_dai_bclk_ratio
  140006. +};
  140007. +
  140008. +static int bcm2708_i2s_dai_probe(struct snd_soc_dai *dai)
  140009. +{
  140010. + struct bcm2708_i2s_dev *dev = snd_soc_dai_get_drvdata(dai);
  140011. +
  140012. + dai->playback_dma_data = &dev->dma_data[SNDRV_PCM_STREAM_PLAYBACK];
  140013. + dai->capture_dma_data = &dev->dma_data[SNDRV_PCM_STREAM_CAPTURE];
  140014. +
  140015. + return 0;
  140016. +}
  140017. +
  140018. +static struct snd_soc_dai_driver bcm2708_i2s_dai = {
  140019. + .name = "bcm2708-i2s",
  140020. + .probe = bcm2708_i2s_dai_probe,
  140021. + .playback = {
  140022. + .channels_min = 2,
  140023. + .channels_max = 2,
  140024. + .rates = SNDRV_PCM_RATE_8000_192000,
  140025. + .formats = SNDRV_PCM_FMTBIT_S16_LE
  140026. + | SNDRV_PCM_FMTBIT_S24_LE
  140027. + | SNDRV_PCM_FMTBIT_S32_LE
  140028. + },
  140029. + .capture = {
  140030. + .channels_min = 2,
  140031. + .channels_max = 2,
  140032. + .rates = SNDRV_PCM_RATE_8000_192000,
  140033. + .formats = SNDRV_PCM_FMTBIT_S16_LE
  140034. + | SNDRV_PCM_FMTBIT_S24_LE
  140035. + | SNDRV_PCM_FMTBIT_S32_LE
  140036. + },
  140037. + .ops = &bcm2708_i2s_dai_ops,
  140038. + .symmetric_rates = 1
  140039. +};
  140040. +
  140041. +static bool bcm2708_i2s_volatile_reg(struct device *dev, unsigned int reg)
  140042. +{
  140043. + switch (reg) {
  140044. + case BCM2708_I2S_CS_A_REG:
  140045. + case BCM2708_I2S_FIFO_A_REG:
  140046. + case BCM2708_I2S_INTSTC_A_REG:
  140047. + case BCM2708_I2S_GRAY_REG:
  140048. + return true;
  140049. + default:
  140050. + return false;
  140051. + };
  140052. +}
  140053. +
  140054. +static bool bcm2708_i2s_precious_reg(struct device *dev, unsigned int reg)
  140055. +{
  140056. + switch (reg) {
  140057. + case BCM2708_I2S_FIFO_A_REG:
  140058. + return true;
  140059. + default:
  140060. + return false;
  140061. + };
  140062. +}
  140063. +
  140064. +static bool bcm2708_clk_volatile_reg(struct device *dev, unsigned int reg)
  140065. +{
  140066. + switch (reg) {
  140067. + case BCM2708_CLK_PCMCTL_REG:
  140068. + return true;
  140069. + default:
  140070. + return false;
  140071. + };
  140072. +}
  140073. +
  140074. +static const struct regmap_config bcm2708_regmap_config[] = {
  140075. + {
  140076. + .reg_bits = 32,
  140077. + .reg_stride = 4,
  140078. + .val_bits = 32,
  140079. + .max_register = BCM2708_I2S_GRAY_REG,
  140080. + .precious_reg = bcm2708_i2s_precious_reg,
  140081. + .volatile_reg = bcm2708_i2s_volatile_reg,
  140082. + .cache_type = REGCACHE_RBTREE,
  140083. + .name = "i2s",
  140084. + },
  140085. + {
  140086. + .reg_bits = 32,
  140087. + .reg_stride = 4,
  140088. + .val_bits = 32,
  140089. + .max_register = BCM2708_CLK_PCMDIV_REG,
  140090. + .volatile_reg = bcm2708_clk_volatile_reg,
  140091. + .cache_type = REGCACHE_RBTREE,
  140092. + .name = "clk",
  140093. + },
  140094. +};
  140095. +
  140096. +static const struct snd_soc_component_driver bcm2708_i2s_component = {
  140097. + .name = "bcm2708-i2s-comp",
  140098. +};
  140099. +
  140100. +static struct snd_pcm_hardware bcm2708_pcm_hardware = {
  140101. + .info = SNDRV_PCM_INFO_INTERLEAVED |
  140102. + SNDRV_PCM_INFO_JOINT_DUPLEX,
  140103. + .formats = SNDRV_PCM_FMTBIT_S16_LE |
  140104. + SNDRV_PCM_FMTBIT_S24_LE |
  140105. + SNDRV_PCM_FMTBIT_S32_LE,
  140106. + .period_bytes_min = 32,
  140107. + .period_bytes_max = 64 * PAGE_SIZE,
  140108. + .periods_min = 2,
  140109. + .periods_max = 255,
  140110. + .buffer_bytes_max = 128 * PAGE_SIZE,
  140111. +};
  140112. +
  140113. +static const struct snd_dmaengine_pcm_config bcm2708_dmaengine_pcm_config = {
  140114. + .prepare_slave_config = snd_dmaengine_pcm_prepare_slave_config,
  140115. + .pcm_hardware = &bcm2708_pcm_hardware,
  140116. + .prealloc_buffer_size = 256 * PAGE_SIZE,
  140117. +};
  140118. +
  140119. +
  140120. +static int bcm2708_i2s_probe(struct platform_device *pdev)
  140121. +{
  140122. + struct bcm2708_i2s_dev *dev;
  140123. + int i;
  140124. + int ret;
  140125. + struct regmap *regmap[2];
  140126. + struct resource *mem[2];
  140127. +
  140128. + if (of_property_read_bool(pdev->dev.of_node, "brcm,enable-mmap"))
  140129. + bcm2708_pcm_hardware.info |=
  140130. + SNDRV_PCM_INFO_MMAP |
  140131. + SNDRV_PCM_INFO_MMAP_VALID;
  140132. +
  140133. + /* Request both ioareas */
  140134. + for (i = 0; i <= 1; i++) {
  140135. + void __iomem *base;
  140136. +
  140137. + mem[i] = platform_get_resource(pdev, IORESOURCE_MEM, i);
  140138. + base = devm_ioremap_resource(&pdev->dev, mem[i]);
  140139. + if (IS_ERR(base))
  140140. + return PTR_ERR(base);
  140141. +
  140142. + regmap[i] = devm_regmap_init_mmio(&pdev->dev, base,
  140143. + &bcm2708_regmap_config[i]);
  140144. + if (IS_ERR(regmap[i])) {
  140145. + dev_err(&pdev->dev, "I2S probe: regmap init failed\n");
  140146. + return PTR_ERR(regmap[i]);
  140147. + }
  140148. + }
  140149. +
  140150. + dev = devm_kzalloc(&pdev->dev, sizeof(*dev),
  140151. + GFP_KERNEL);
  140152. + if (IS_ERR(dev))
  140153. + return PTR_ERR(dev);
  140154. +
  140155. + dev->i2s_regmap = regmap[0];
  140156. + dev->clk_regmap = regmap[1];
  140157. +
  140158. + /* Set the DMA address */
  140159. + dev->dma_data[SNDRV_PCM_STREAM_PLAYBACK].addr =
  140160. + (dma_addr_t)BCM2708_I2S_FIFO_PHYSICAL_ADDR;
  140161. +
  140162. + dev->dma_data[SNDRV_PCM_STREAM_CAPTURE].addr =
  140163. + (dma_addr_t)BCM2708_I2S_FIFO_PHYSICAL_ADDR;
  140164. +
  140165. + /* Set the DREQ */
  140166. + dev->dma_data[SNDRV_PCM_STREAM_PLAYBACK].slave_id =
  140167. + BCM2708_DMA_DREQ_PCM_TX;
  140168. + dev->dma_data[SNDRV_PCM_STREAM_CAPTURE].slave_id =
  140169. + BCM2708_DMA_DREQ_PCM_RX;
  140170. +
  140171. + /* Set the bus width */
  140172. + dev->dma_data[SNDRV_PCM_STREAM_PLAYBACK].addr_width =
  140173. + DMA_SLAVE_BUSWIDTH_4_BYTES;
  140174. + dev->dma_data[SNDRV_PCM_STREAM_CAPTURE].addr_width =
  140175. + DMA_SLAVE_BUSWIDTH_4_BYTES;
  140176. +
  140177. + /* Set burst */
  140178. + dev->dma_data[SNDRV_PCM_STREAM_PLAYBACK].maxburst = 2;
  140179. + dev->dma_data[SNDRV_PCM_STREAM_CAPTURE].maxburst = 2;
  140180. +
  140181. + /* BCLK ratio - use default */
  140182. + dev->bclk_ratio = 0;
  140183. +
  140184. + /* Store the pdev */
  140185. + dev->dev = &pdev->dev;
  140186. + dev_set_drvdata(&pdev->dev, dev);
  140187. +
  140188. + ret = snd_soc_register_component(&pdev->dev,
  140189. + &bcm2708_i2s_component, &bcm2708_i2s_dai, 1);
  140190. +
  140191. + if (ret) {
  140192. + dev_err(&pdev->dev, "Could not register DAI: %d\n", ret);
  140193. + ret = -ENOMEM;
  140194. + return ret;
  140195. + }
  140196. +
  140197. + ret = snd_dmaengine_pcm_register(&pdev->dev,
  140198. + &bcm2708_dmaengine_pcm_config,
  140199. + SND_DMAENGINE_PCM_FLAG_COMPAT);
  140200. + if (ret) {
  140201. + dev_err(&pdev->dev, "Could not register PCM: %d\n", ret);
  140202. + snd_soc_unregister_component(&pdev->dev);
  140203. + return ret;
  140204. + }
  140205. +
  140206. + return 0;
  140207. +}
  140208. +
  140209. +static int bcm2708_i2s_remove(struct platform_device *pdev)
  140210. +{
  140211. + snd_dmaengine_pcm_unregister(&pdev->dev);
  140212. + snd_soc_unregister_component(&pdev->dev);
  140213. + return 0;
  140214. +}
  140215. +
  140216. +static const struct of_device_id bcm2708_i2s_of_match[] = {
  140217. + { .compatible = "brcm,bcm2708-i2s", },
  140218. + {},
  140219. +};
  140220. +MODULE_DEVICE_TABLE(of, bcm2708_i2s_of_match);
  140221. +
  140222. +static struct platform_driver bcm2708_i2s_driver = {
  140223. + .probe = bcm2708_i2s_probe,
  140224. + .remove = bcm2708_i2s_remove,
  140225. + .driver = {
  140226. + .name = "bcm2708-i2s",
  140227. + .owner = THIS_MODULE,
  140228. + .of_match_table = bcm2708_i2s_of_match,
  140229. + },
  140230. +};
  140231. +
  140232. +module_platform_driver(bcm2708_i2s_driver);
  140233. +
  140234. +MODULE_ALIAS("platform:bcm2708-i2s");
  140235. +MODULE_DESCRIPTION("BCM2708 I2S interface");
  140236. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  140237. +MODULE_LICENSE("GPL v2");
  140238. diff -Nur linux-4.1.13.orig/sound/soc/bcm/bcm2708-i2s.h linux-rpi/sound/soc/bcm/bcm2708-i2s.h
  140239. --- linux-4.1.13.orig/sound/soc/bcm/bcm2708-i2s.h 1970-01-01 01:00:00.000000000 +0100
  140240. +++ linux-rpi/sound/soc/bcm/bcm2708-i2s.h 2015-11-29 09:42:41.558989731 +0100
  140241. @@ -0,0 +1,35 @@
  140242. +/*
  140243. + * I2S configuration for sound cards.
  140244. + *
  140245. + * Copyright (c) 2014 Daniel Matuschek <daniel@hifiberry.com>
  140246. + *
  140247. + * This program is free software; you can redistribute it and/or modify
  140248. + * it under the terms of the GNU General Public License as published by
  140249. + * the Free Software Foundation; either version 2 of the License, or
  140250. + * (at your option) any later version.
  140251. + *
  140252. + * This program is distributed in the hope that it will be useful,
  140253. + * but WITHOUT ANY WARRANTY; without even the implied warranty of
  140254. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  140255. + * GNU General Public License for more details.
  140256. + *
  140257. + * You should have received a copy of the GNU General Public License
  140258. + * along with this program; if not, write to the Free Software
  140259. + * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  140260. + */
  140261. +
  140262. +#ifndef BCM2708_I2S_H
  140263. +#define BCM2708_I2S_H
  140264. +
  140265. +/* I2S pin assignment */
  140266. +#define BCM2708_I2S_GPIO_AUTO 0
  140267. +#define BCM2708_I2S_GPIO_PIN18 1
  140268. +#define BCM2708_I2S_GPIO_PIN28 2
  140269. +
  140270. +/* Alt mode to enable I2S */
  140271. +#define BCM2708_I2S_GPIO_PIN18_ALT 0
  140272. +#define BCM2708_I2S_GPIO_PIN28_ALT 2
  140273. +
  140274. +extern void bcm2708_i2s_set_gpio(int gpio);
  140275. +
  140276. +#endif
  140277. diff -Nur linux-4.1.13.orig/sound/soc/bcm/bcm2835-i2s.c linux-rpi/sound/soc/bcm/bcm2835-i2s.c
  140278. --- linux-4.1.13.orig/sound/soc/bcm/bcm2835-i2s.c 2015-11-09 23:34:10.000000000 +0100
  140279. +++ linux-rpi/sound/soc/bcm/bcm2835-i2s.c 2015-11-29 09:42:41.558989731 +0100
  140280. @@ -861,6 +861,7 @@
  140281. { .compatible = "brcm,bcm2835-i2s", },
  140282. {},
  140283. };
  140284. +MODULE_DEVICE_TABLE(of, bcm2835_i2s_of_match);
  140285. static struct platform_driver bcm2835_i2s_driver = {
  140286. .probe = bcm2835_i2s_probe,
  140287. diff -Nur linux-4.1.13.orig/sound/soc/bcm/hifiberry_amp.c linux-rpi/sound/soc/bcm/hifiberry_amp.c
  140288. --- linux-4.1.13.orig/sound/soc/bcm/hifiberry_amp.c 1970-01-01 01:00:00.000000000 +0100
  140289. +++ linux-rpi/sound/soc/bcm/hifiberry_amp.c 2015-11-29 09:42:41.558989731 +0100
  140290. @@ -0,0 +1,127 @@
  140291. +/*
  140292. + * ASoC Driver for HifiBerry AMP
  140293. + *
  140294. + * Author: Sebastian Eickhoff <basti.eickhoff@googlemail.com>
  140295. + * Copyright 2014
  140296. + *
  140297. + * This program is free software; you can redistribute it and/or
  140298. + * modify it under the terms of the GNU General Public License
  140299. + * version 2 as published by the Free Software Foundation.
  140300. + *
  140301. + * This program is distributed in the hope that it will be useful, but
  140302. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  140303. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  140304. + * General Public License for more details.
  140305. + */
  140306. +
  140307. +#include <linux/module.h>
  140308. +#include <linux/platform_device.h>
  140309. +
  140310. +#include <sound/core.h>
  140311. +#include <sound/pcm.h>
  140312. +#include <sound/pcm_params.h>
  140313. +#include <sound/soc.h>
  140314. +#include <sound/jack.h>
  140315. +
  140316. +static int snd_rpi_hifiberry_amp_init(struct snd_soc_pcm_runtime *rtd)
  140317. +{
  140318. + // ToDo: init of the dsp-registers.
  140319. + return 0;
  140320. +}
  140321. +
  140322. +static int snd_rpi_hifiberry_amp_hw_params( struct snd_pcm_substream *substream,
  140323. + struct snd_pcm_hw_params *params )
  140324. +{
  140325. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140326. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  140327. +
  140328. + return snd_soc_dai_set_bclk_ratio(cpu_dai, 64);
  140329. +}
  140330. +
  140331. +static struct snd_soc_ops snd_rpi_hifiberry_amp_ops = {
  140332. + .hw_params = snd_rpi_hifiberry_amp_hw_params,
  140333. +};
  140334. +
  140335. +static struct snd_soc_dai_link snd_rpi_hifiberry_amp_dai[] = {
  140336. + {
  140337. + .name = "HifiBerry AMP",
  140338. + .stream_name = "HifiBerry AMP HiFi",
  140339. + .cpu_dai_name = "bcm2708-i2s.0",
  140340. + .codec_dai_name = "tas5713-hifi",
  140341. + .platform_name = "bcm2708-i2s.0",
  140342. + .codec_name = "tas5713.1-001b",
  140343. + .dai_fmt = SND_SOC_DAIFMT_I2S |
  140344. + SND_SOC_DAIFMT_NB_NF |
  140345. + SND_SOC_DAIFMT_CBS_CFS,
  140346. + .ops = &snd_rpi_hifiberry_amp_ops,
  140347. + .init = snd_rpi_hifiberry_amp_init,
  140348. + },
  140349. +};
  140350. +
  140351. +
  140352. +static struct snd_soc_card snd_rpi_hifiberry_amp = {
  140353. + .name = "snd_rpi_hifiberry_amp",
  140354. + .dai_link = snd_rpi_hifiberry_amp_dai,
  140355. + .num_links = ARRAY_SIZE(snd_rpi_hifiberry_amp_dai),
  140356. +};
  140357. +
  140358. +static const struct of_device_id snd_rpi_hifiberry_amp_of_match[] = {
  140359. + { .compatible = "hifiberry,hifiberry-amp", },
  140360. + {},
  140361. +};
  140362. +MODULE_DEVICE_TABLE(of, snd_rpi_hifiberry_amp_of_match);
  140363. +
  140364. +
  140365. +static int snd_rpi_hifiberry_amp_probe(struct platform_device *pdev)
  140366. +{
  140367. + int ret = 0;
  140368. +
  140369. + snd_rpi_hifiberry_amp.dev = &pdev->dev;
  140370. +
  140371. + if (pdev->dev.of_node) {
  140372. + struct device_node *i2s_node;
  140373. + struct snd_soc_dai_link *dai = &snd_rpi_hifiberry_amp_dai[0];
  140374. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  140375. + "i2s-controller", 0);
  140376. +
  140377. + if (i2s_node) {
  140378. + dai->cpu_dai_name = NULL;
  140379. + dai->cpu_of_node = i2s_node;
  140380. + dai->platform_name = NULL;
  140381. + dai->platform_of_node = i2s_node;
  140382. + }
  140383. + }
  140384. +
  140385. + ret = snd_soc_register_card(&snd_rpi_hifiberry_amp);
  140386. +
  140387. + if (ret != 0) {
  140388. + dev_err(&pdev->dev, "snd_soc_register_card() failed: %d\n", ret);
  140389. + }
  140390. +
  140391. + return ret;
  140392. +}
  140393. +
  140394. +
  140395. +static int snd_rpi_hifiberry_amp_remove(struct platform_device *pdev)
  140396. +{
  140397. + return snd_soc_unregister_card(&snd_rpi_hifiberry_amp);
  140398. +}
  140399. +
  140400. +
  140401. +static struct platform_driver snd_rpi_hifiberry_amp_driver = {
  140402. + .driver = {
  140403. + .name = "snd-hifiberry-amp",
  140404. + .owner = THIS_MODULE,
  140405. + .of_match_table = snd_rpi_hifiberry_amp_of_match,
  140406. + },
  140407. + .probe = snd_rpi_hifiberry_amp_probe,
  140408. + .remove = snd_rpi_hifiberry_amp_remove,
  140409. +};
  140410. +
  140411. +
  140412. +module_platform_driver(snd_rpi_hifiberry_amp_driver);
  140413. +
  140414. +
  140415. +MODULE_AUTHOR("Sebastian Eickhoff <basti.eickhoff@googlemail.com>");
  140416. +MODULE_DESCRIPTION("ASoC driver for HiFiBerry-AMP");
  140417. +MODULE_LICENSE("GPL v2");
  140418. diff -Nur linux-4.1.13.orig/sound/soc/bcm/hifiberry_dac.c linux-rpi/sound/soc/bcm/hifiberry_dac.c
  140419. --- linux-4.1.13.orig/sound/soc/bcm/hifiberry_dac.c 1970-01-01 01:00:00.000000000 +0100
  140420. +++ linux-rpi/sound/soc/bcm/hifiberry_dac.c 2015-11-29 09:42:41.558989731 +0100
  140421. @@ -0,0 +1,122 @@
  140422. +/*
  140423. + * ASoC Driver for HifiBerry DAC
  140424. + *
  140425. + * Author: Florian Meier <florian.meier@koalo.de>
  140426. + * Copyright 2013
  140427. + *
  140428. + * This program is free software; you can redistribute it and/or
  140429. + * modify it under the terms of the GNU General Public License
  140430. + * version 2 as published by the Free Software Foundation.
  140431. + *
  140432. + * This program is distributed in the hope that it will be useful, but
  140433. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  140434. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  140435. + * General Public License for more details.
  140436. + */
  140437. +
  140438. +#include <linux/module.h>
  140439. +#include <linux/platform_device.h>
  140440. +
  140441. +#include <sound/core.h>
  140442. +#include <sound/pcm.h>
  140443. +#include <sound/pcm_params.h>
  140444. +#include <sound/soc.h>
  140445. +#include <sound/jack.h>
  140446. +
  140447. +static int snd_rpi_hifiberry_dac_init(struct snd_soc_pcm_runtime *rtd)
  140448. +{
  140449. + return 0;
  140450. +}
  140451. +
  140452. +static int snd_rpi_hifiberry_dac_hw_params(struct snd_pcm_substream *substream,
  140453. + struct snd_pcm_hw_params *params)
  140454. +{
  140455. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140456. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  140457. +
  140458. + unsigned int sample_bits =
  140459. + snd_pcm_format_physical_width(params_format(params));
  140460. +
  140461. + return snd_soc_dai_set_bclk_ratio(cpu_dai, sample_bits * 2);
  140462. +}
  140463. +
  140464. +/* machine stream operations */
  140465. +static struct snd_soc_ops snd_rpi_hifiberry_dac_ops = {
  140466. + .hw_params = snd_rpi_hifiberry_dac_hw_params,
  140467. +};
  140468. +
  140469. +static struct snd_soc_dai_link snd_rpi_hifiberry_dac_dai[] = {
  140470. +{
  140471. + .name = "HifiBerry DAC",
  140472. + .stream_name = "HifiBerry DAC HiFi",
  140473. + .cpu_dai_name = "bcm2708-i2s.0",
  140474. + .codec_dai_name = "pcm5102a-hifi",
  140475. + .platform_name = "bcm2708-i2s.0",
  140476. + .codec_name = "pcm5102a-codec",
  140477. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  140478. + SND_SOC_DAIFMT_CBS_CFS,
  140479. + .ops = &snd_rpi_hifiberry_dac_ops,
  140480. + .init = snd_rpi_hifiberry_dac_init,
  140481. +},
  140482. +};
  140483. +
  140484. +/* audio machine driver */
  140485. +static struct snd_soc_card snd_rpi_hifiberry_dac = {
  140486. + .name = "snd_rpi_hifiberry_dac",
  140487. + .dai_link = snd_rpi_hifiberry_dac_dai,
  140488. + .num_links = ARRAY_SIZE(snd_rpi_hifiberry_dac_dai),
  140489. +};
  140490. +
  140491. +static int snd_rpi_hifiberry_dac_probe(struct platform_device *pdev)
  140492. +{
  140493. + int ret = 0;
  140494. +
  140495. + snd_rpi_hifiberry_dac.dev = &pdev->dev;
  140496. +
  140497. + if (pdev->dev.of_node) {
  140498. + struct device_node *i2s_node;
  140499. + struct snd_soc_dai_link *dai = &snd_rpi_hifiberry_dac_dai[0];
  140500. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  140501. + "i2s-controller", 0);
  140502. +
  140503. + if (i2s_node) {
  140504. + dai->cpu_dai_name = NULL;
  140505. + dai->cpu_of_node = i2s_node;
  140506. + dai->platform_name = NULL;
  140507. + dai->platform_of_node = i2s_node;
  140508. + }
  140509. + }
  140510. +
  140511. + ret = snd_soc_register_card(&snd_rpi_hifiberry_dac);
  140512. + if (ret)
  140513. + dev_err(&pdev->dev, "snd_soc_register_card() failed: %d\n", ret);
  140514. +
  140515. + return ret;
  140516. +}
  140517. +
  140518. +static int snd_rpi_hifiberry_dac_remove(struct platform_device *pdev)
  140519. +{
  140520. + return snd_soc_unregister_card(&snd_rpi_hifiberry_dac);
  140521. +}
  140522. +
  140523. +static const struct of_device_id snd_rpi_hifiberry_dac_of_match[] = {
  140524. + { .compatible = "hifiberry,hifiberry-dac", },
  140525. + {},
  140526. +};
  140527. +MODULE_DEVICE_TABLE(of, snd_rpi_hifiberry_dac_of_match);
  140528. +
  140529. +static struct platform_driver snd_rpi_hifiberry_dac_driver = {
  140530. + .driver = {
  140531. + .name = "snd-hifiberry-dac",
  140532. + .owner = THIS_MODULE,
  140533. + .of_match_table = snd_rpi_hifiberry_dac_of_match,
  140534. + },
  140535. + .probe = snd_rpi_hifiberry_dac_probe,
  140536. + .remove = snd_rpi_hifiberry_dac_remove,
  140537. +};
  140538. +
  140539. +module_platform_driver(snd_rpi_hifiberry_dac_driver);
  140540. +
  140541. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  140542. +MODULE_DESCRIPTION("ASoC Driver for HifiBerry DAC");
  140543. +MODULE_LICENSE("GPL v2");
  140544. diff -Nur linux-4.1.13.orig/sound/soc/bcm/hifiberry_dacplus.c linux-rpi/sound/soc/bcm/hifiberry_dacplus.c
  140545. --- linux-4.1.13.orig/sound/soc/bcm/hifiberry_dacplus.c 1970-01-01 01:00:00.000000000 +0100
  140546. +++ linux-rpi/sound/soc/bcm/hifiberry_dacplus.c 2015-11-29 09:42:41.558989731 +0100
  140547. @@ -0,0 +1,337 @@
  140548. +/*
  140549. + * ASoC Driver for HiFiBerry DAC+ / DAC Pro
  140550. + *
  140551. + * Author: Daniel Matuschek, Stuart MacLean <stuart@hifiberry.com>
  140552. + * Copyright 2014-2015
  140553. + * based on code by Florian Meier <florian.meier@koalo.de>
  140554. + *
  140555. + * This program is free software; you can redistribute it and/or
  140556. + * modify it under the terms of the GNU General Public License
  140557. + * version 2 as published by the Free Software Foundation.
  140558. + *
  140559. + * This program is distributed in the hope that it will be useful, but
  140560. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  140561. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  140562. + * General Public License for more details.
  140563. + */
  140564. +
  140565. +#include <linux/module.h>
  140566. +#include <linux/platform_device.h>
  140567. +#include <linux/kernel.h>
  140568. +#include <linux/clk.h>
  140569. +#include <linux/kernel.h>
  140570. +#include <linux/module.h>
  140571. +#include <linux/of.h>
  140572. +#include <linux/slab.h>
  140573. +#include <linux/delay.h>
  140574. +
  140575. +#include <sound/core.h>
  140576. +#include <sound/pcm.h>
  140577. +#include <sound/pcm_params.h>
  140578. +#include <sound/soc.h>
  140579. +#include <sound/jack.h>
  140580. +
  140581. +#include "../codecs/pcm512x.h"
  140582. +
  140583. +#define HIFIBERRY_DACPRO_NOCLOCK 0
  140584. +#define HIFIBERRY_DACPRO_CLK44EN 1
  140585. +#define HIFIBERRY_DACPRO_CLK48EN 2
  140586. +
  140587. +struct pcm512x_priv {
  140588. + struct regmap *regmap;
  140589. + struct clk *sclk;
  140590. +};
  140591. +
  140592. +/* Clock rate of CLK44EN attached to GPIO6 pin */
  140593. +#define CLK_44EN_RATE 22579200UL
  140594. +/* Clock rate of CLK48EN attached to GPIO3 pin */
  140595. +#define CLK_48EN_RATE 24576000UL
  140596. +
  140597. +static bool snd_rpi_hifiberry_is_dacpro;
  140598. +
  140599. +static void snd_rpi_hifiberry_dacplus_select_clk(struct snd_soc_codec *codec,
  140600. + int clk_id)
  140601. +{
  140602. + switch (clk_id) {
  140603. + case HIFIBERRY_DACPRO_NOCLOCK:
  140604. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x24, 0x00);
  140605. + break;
  140606. + case HIFIBERRY_DACPRO_CLK44EN:
  140607. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x24, 0x20);
  140608. + break;
  140609. + case HIFIBERRY_DACPRO_CLK48EN:
  140610. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x24, 0x04);
  140611. + break;
  140612. + }
  140613. +}
  140614. +
  140615. +static void snd_rpi_hifiberry_dacplus_clk_gpio(struct snd_soc_codec *codec)
  140616. +{
  140617. + snd_soc_update_bits(codec, PCM512x_GPIO_EN, 0x24, 0x24);
  140618. + snd_soc_update_bits(codec, PCM512x_GPIO_OUTPUT_3, 0x0f, 0x02);
  140619. + snd_soc_update_bits(codec, PCM512x_GPIO_OUTPUT_6, 0x0f, 0x02);
  140620. +}
  140621. +
  140622. +static bool snd_rpi_hifiberry_dacplus_is_sclk(struct snd_soc_codec *codec)
  140623. +{
  140624. + int sck;
  140625. +
  140626. + sck = snd_soc_read(codec, PCM512x_RATE_DET_4);
  140627. + return (!(sck & 0x40));
  140628. +}
  140629. +
  140630. +static bool snd_rpi_hifiberry_dacplus_is_sclk_sleep(
  140631. + struct snd_soc_codec *codec)
  140632. +{
  140633. + msleep(2);
  140634. + return snd_rpi_hifiberry_dacplus_is_sclk(codec);
  140635. +}
  140636. +
  140637. +static bool snd_rpi_hifiberry_dacplus_is_pro_card(struct snd_soc_codec *codec)
  140638. +{
  140639. + bool isClk44EN, isClk48En, isNoClk;
  140640. +
  140641. + snd_rpi_hifiberry_dacplus_clk_gpio(codec);
  140642. +
  140643. + snd_rpi_hifiberry_dacplus_select_clk(codec, HIFIBERRY_DACPRO_CLK44EN);
  140644. + isClk44EN = snd_rpi_hifiberry_dacplus_is_sclk_sleep(codec);
  140645. +
  140646. + snd_rpi_hifiberry_dacplus_select_clk(codec, HIFIBERRY_DACPRO_NOCLOCK);
  140647. + isNoClk = snd_rpi_hifiberry_dacplus_is_sclk_sleep(codec);
  140648. +
  140649. + snd_rpi_hifiberry_dacplus_select_clk(codec, HIFIBERRY_DACPRO_CLK48EN);
  140650. + isClk48En = snd_rpi_hifiberry_dacplus_is_sclk_sleep(codec);
  140651. +
  140652. + return (isClk44EN && isClk48En && !isNoClk);
  140653. +}
  140654. +
  140655. +static int snd_rpi_hifiberry_dacplus_clk_for_rate(int sample_rate)
  140656. +{
  140657. + int type;
  140658. +
  140659. + switch (sample_rate) {
  140660. + case 11025:
  140661. + case 22050:
  140662. + case 44100:
  140663. + case 88200:
  140664. + case 176400:
  140665. + type = HIFIBERRY_DACPRO_CLK44EN;
  140666. + break;
  140667. + default:
  140668. + type = HIFIBERRY_DACPRO_CLK48EN;
  140669. + break;
  140670. + }
  140671. + return type;
  140672. +}
  140673. +
  140674. +static void snd_rpi_hifiberry_dacplus_set_sclk(struct snd_soc_codec *codec,
  140675. + int sample_rate)
  140676. +{
  140677. + struct pcm512x_priv *pcm512x = snd_soc_codec_get_drvdata(codec);
  140678. +
  140679. + if (!IS_ERR(pcm512x->sclk)) {
  140680. + int ctype;
  140681. +
  140682. + ctype = snd_rpi_hifiberry_dacplus_clk_for_rate(sample_rate);
  140683. + clk_set_rate(pcm512x->sclk, (ctype == HIFIBERRY_DACPRO_CLK44EN)
  140684. + ? CLK_44EN_RATE : CLK_48EN_RATE);
  140685. + snd_rpi_hifiberry_dacplus_select_clk(codec, ctype);
  140686. + }
  140687. +}
  140688. +
  140689. +static int snd_rpi_hifiberry_dacplus_init(struct snd_soc_pcm_runtime *rtd)
  140690. +{
  140691. + struct snd_soc_codec *codec = rtd->codec;
  140692. + struct pcm512x_priv *priv;
  140693. +
  140694. + snd_rpi_hifiberry_is_dacpro
  140695. + = snd_rpi_hifiberry_dacplus_is_pro_card(codec);
  140696. +
  140697. + if (snd_rpi_hifiberry_is_dacpro) {
  140698. + struct snd_soc_dai_link *dai = rtd->dai_link;
  140699. +
  140700. + dai->name = "HiFiBerry DAC+ Pro";
  140701. + dai->stream_name = "HiFiBerry DAC+ Pro HiFi";
  140702. + dai->dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF
  140703. + | SND_SOC_DAIFMT_CBM_CFM;
  140704. +
  140705. + snd_soc_update_bits(codec, PCM512x_BCLK_LRCLK_CFG, 0x31, 0x11);
  140706. + snd_soc_update_bits(codec, PCM512x_MASTER_MODE, 0x03, 0x03);
  140707. + snd_soc_update_bits(codec, PCM512x_MASTER_CLKDIV_2, 0x7f, 63);
  140708. + } else {
  140709. + priv = snd_soc_codec_get_drvdata(codec);
  140710. + priv->sclk = ERR_PTR(-ENOENT);
  140711. + }
  140712. +
  140713. + snd_soc_update_bits(codec, PCM512x_GPIO_EN, 0x08, 0x08);
  140714. + snd_soc_update_bits(codec, PCM512x_GPIO_OUTPUT_4, 0x0f, 0x02);
  140715. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08, 0x08);
  140716. +
  140717. + return 0;
  140718. +}
  140719. +
  140720. +static int snd_rpi_hifiberry_dacplus_update_rate_den(
  140721. + struct snd_pcm_substream *substream, struct snd_pcm_hw_params *params)
  140722. +{
  140723. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140724. + struct snd_soc_codec *codec = rtd->codec;
  140725. + struct pcm512x_priv *pcm512x = snd_soc_codec_get_drvdata(codec);
  140726. + struct snd_ratnum *rats_no_pll;
  140727. + unsigned int num = 0, den = 0;
  140728. + int err;
  140729. +
  140730. + rats_no_pll = devm_kzalloc(rtd->dev, sizeof(*rats_no_pll), GFP_KERNEL);
  140731. + if (!rats_no_pll)
  140732. + return -ENOMEM;
  140733. +
  140734. + rats_no_pll->num = clk_get_rate(pcm512x->sclk) / 64;
  140735. + rats_no_pll->den_min = 1;
  140736. + rats_no_pll->den_max = 128;
  140737. + rats_no_pll->den_step = 1;
  140738. +
  140739. + err = snd_interval_ratnum(hw_param_interval(params,
  140740. + SNDRV_PCM_HW_PARAM_RATE), 1, rats_no_pll, &num, &den);
  140741. + if (err >= 0 && den) {
  140742. + params->rate_num = num;
  140743. + params->rate_den = den;
  140744. + }
  140745. +
  140746. + devm_kfree(rtd->dev, rats_no_pll);
  140747. + return 0;
  140748. +}
  140749. +
  140750. +static int snd_rpi_hifiberry_dacplus_set_bclk_ratio_pro(
  140751. + struct snd_soc_dai *cpu_dai, struct snd_pcm_hw_params *params)
  140752. +{
  140753. + int bratio = snd_pcm_format_physical_width(params_format(params))
  140754. + * params_channels(params);
  140755. + return snd_soc_dai_set_bclk_ratio(cpu_dai, bratio);
  140756. +}
  140757. +
  140758. +static int snd_rpi_hifiberry_dacplus_hw_params(
  140759. + struct snd_pcm_substream *substream, struct snd_pcm_hw_params *params)
  140760. +{
  140761. + int ret;
  140762. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140763. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  140764. +
  140765. + if (snd_rpi_hifiberry_is_dacpro) {
  140766. + struct snd_soc_codec *codec = rtd->codec;
  140767. +
  140768. + snd_rpi_hifiberry_dacplus_set_sclk(codec,
  140769. + params_rate(params));
  140770. +
  140771. + ret = snd_rpi_hifiberry_dacplus_set_bclk_ratio_pro(cpu_dai,
  140772. + params);
  140773. + if (!ret)
  140774. + ret = snd_rpi_hifiberry_dacplus_update_rate_den(
  140775. + substream, params);
  140776. + } else {
  140777. + ret = snd_soc_dai_set_bclk_ratio(cpu_dai, 64);
  140778. + }
  140779. + return ret;
  140780. +}
  140781. +
  140782. +static int snd_rpi_hifiberry_dacplus_startup(
  140783. + struct snd_pcm_substream *substream)
  140784. +{
  140785. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140786. + struct snd_soc_codec *codec = rtd->codec;
  140787. +
  140788. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08, 0x08);
  140789. + return 0;
  140790. +}
  140791. +
  140792. +static void snd_rpi_hifiberry_dacplus_shutdown(
  140793. + struct snd_pcm_substream *substream)
  140794. +{
  140795. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140796. + struct snd_soc_codec *codec = rtd->codec;
  140797. +
  140798. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08, 0x00);
  140799. +}
  140800. +
  140801. +/* machine stream operations */
  140802. +static struct snd_soc_ops snd_rpi_hifiberry_dacplus_ops = {
  140803. + .hw_params = snd_rpi_hifiberry_dacplus_hw_params,
  140804. + .startup = snd_rpi_hifiberry_dacplus_startup,
  140805. + .shutdown = snd_rpi_hifiberry_dacplus_shutdown,
  140806. +};
  140807. +
  140808. +static struct snd_soc_dai_link snd_rpi_hifiberry_dacplus_dai[] = {
  140809. +{
  140810. + .name = "HiFiBerry DAC+",
  140811. + .stream_name = "HiFiBerry DAC+ HiFi",
  140812. + .cpu_dai_name = "bcm2708-i2s.0",
  140813. + .codec_dai_name = "pcm512x-hifi",
  140814. + .platform_name = "bcm2708-i2s.0",
  140815. + .codec_name = "pcm512x.1-004d",
  140816. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  140817. + SND_SOC_DAIFMT_CBS_CFS,
  140818. + .ops = &snd_rpi_hifiberry_dacplus_ops,
  140819. + .init = snd_rpi_hifiberry_dacplus_init,
  140820. +},
  140821. +};
  140822. +
  140823. +/* audio machine driver */
  140824. +static struct snd_soc_card snd_rpi_hifiberry_dacplus = {
  140825. + .name = "snd_rpi_hifiberry_dacplus",
  140826. + .dai_link = snd_rpi_hifiberry_dacplus_dai,
  140827. + .num_links = ARRAY_SIZE(snd_rpi_hifiberry_dacplus_dai),
  140828. +};
  140829. +
  140830. +static int snd_rpi_hifiberry_dacplus_probe(struct platform_device *pdev)
  140831. +{
  140832. + int ret = 0;
  140833. +
  140834. + snd_rpi_hifiberry_dacplus.dev = &pdev->dev;
  140835. + if (pdev->dev.of_node) {
  140836. + struct device_node *i2s_node;
  140837. + struct snd_soc_dai_link *dai;
  140838. +
  140839. + dai = &snd_rpi_hifiberry_dacplus_dai[0];
  140840. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  140841. + "i2s-controller", 0);
  140842. +
  140843. + if (i2s_node) {
  140844. + dai->cpu_dai_name = NULL;
  140845. + dai->cpu_of_node = i2s_node;
  140846. + dai->platform_name = NULL;
  140847. + dai->platform_of_node = i2s_node;
  140848. + }
  140849. + }
  140850. +
  140851. + ret = snd_soc_register_card(&snd_rpi_hifiberry_dacplus);
  140852. + if (ret)
  140853. + dev_err(&pdev->dev,
  140854. + "snd_soc_register_card() failed: %d\n", ret);
  140855. +
  140856. + return ret;
  140857. +}
  140858. +
  140859. +static int snd_rpi_hifiberry_dacplus_remove(struct platform_device *pdev)
  140860. +{
  140861. + return snd_soc_unregister_card(&snd_rpi_hifiberry_dacplus);
  140862. +}
  140863. +
  140864. +static const struct of_device_id snd_rpi_hifiberry_dacplus_of_match[] = {
  140865. + { .compatible = "hifiberry,hifiberry-dacplus", },
  140866. + {},
  140867. +};
  140868. +MODULE_DEVICE_TABLE(of, snd_rpi_hifiberry_dacplus_of_match);
  140869. +
  140870. +static struct platform_driver snd_rpi_hifiberry_dacplus_driver = {
  140871. + .driver = {
  140872. + .name = "snd-rpi-hifiberry-dacplus",
  140873. + .owner = THIS_MODULE,
  140874. + .of_match_table = snd_rpi_hifiberry_dacplus_of_match,
  140875. + },
  140876. + .probe = snd_rpi_hifiberry_dacplus_probe,
  140877. + .remove = snd_rpi_hifiberry_dacplus_remove,
  140878. +};
  140879. +
  140880. +module_platform_driver(snd_rpi_hifiberry_dacplus_driver);
  140881. +
  140882. +MODULE_AUTHOR("Daniel Matuschek <daniel@hifiberry.com>");
  140883. +MODULE_DESCRIPTION("ASoC Driver for HiFiBerry DAC+");
  140884. +MODULE_LICENSE("GPL v2");
  140885. diff -Nur linux-4.1.13.orig/sound/soc/bcm/hifiberry_digi.c linux-rpi/sound/soc/bcm/hifiberry_digi.c
  140886. --- linux-4.1.13.orig/sound/soc/bcm/hifiberry_digi.c 1970-01-01 01:00:00.000000000 +0100
  140887. +++ linux-rpi/sound/soc/bcm/hifiberry_digi.c 2015-11-29 09:42:41.558989731 +0100
  140888. @@ -0,0 +1,223 @@
  140889. +/*
  140890. + * ASoC Driver for HifiBerry Digi
  140891. + *
  140892. + * Author: Daniel Matuschek <info@crazy-audio.com>
  140893. + * based on the HifiBerry DAC driver by Florian Meier <florian.meier@koalo.de>
  140894. + * Copyright 2013
  140895. + *
  140896. + * This program is free software; you can redistribute it and/or
  140897. + * modify it under the terms of the GNU General Public License
  140898. + * version 2 as published by the Free Software Foundation.
  140899. + *
  140900. + * This program is distributed in the hope that it will be useful, but
  140901. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  140902. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  140903. + * General Public License for more details.
  140904. + */
  140905. +
  140906. +#include <linux/module.h>
  140907. +#include <linux/platform_device.h>
  140908. +
  140909. +#include <sound/core.h>
  140910. +#include <sound/pcm.h>
  140911. +#include <sound/pcm_params.h>
  140912. +#include <sound/soc.h>
  140913. +#include <sound/jack.h>
  140914. +
  140915. +#include "../codecs/wm8804.h"
  140916. +
  140917. +static short int auto_shutdown_output = 0;
  140918. +module_param(auto_shutdown_output, short, S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP);
  140919. +MODULE_PARM_DESC(auto_shutdown_output, "Shutdown SP/DIF output if playback is stopped");
  140920. +
  140921. +
  140922. +static int samplerate=44100;
  140923. +
  140924. +static int snd_rpi_hifiberry_digi_init(struct snd_soc_pcm_runtime *rtd)
  140925. +{
  140926. + struct snd_soc_codec *codec = rtd->codec;
  140927. +
  140928. + /* enable TX output */
  140929. + snd_soc_update_bits(codec, WM8804_PWRDN, 0x4, 0x0);
  140930. +
  140931. + return 0;
  140932. +}
  140933. +
  140934. +static int snd_rpi_hifiberry_digi_startup(struct snd_pcm_substream *substream) {
  140935. + /* turn on digital output */
  140936. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140937. + struct snd_soc_codec *codec = rtd->codec;
  140938. + snd_soc_update_bits(codec, WM8804_PWRDN, 0x3c, 0x00);
  140939. + return 0;
  140940. +}
  140941. +
  140942. +static void snd_rpi_hifiberry_digi_shutdown(struct snd_pcm_substream *substream) {
  140943. + /* turn off output */
  140944. + if (auto_shutdown_output) {
  140945. + /* turn off output */
  140946. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140947. + struct snd_soc_codec *codec = rtd->codec;
  140948. + snd_soc_update_bits(codec, WM8804_PWRDN, 0x3c, 0x3c);
  140949. + }
  140950. +}
  140951. +
  140952. +
  140953. +static int snd_rpi_hifiberry_digi_hw_params(struct snd_pcm_substream *substream,
  140954. + struct snd_pcm_hw_params *params)
  140955. +{
  140956. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  140957. + struct snd_soc_dai *codec_dai = rtd->codec_dai;
  140958. + struct snd_soc_codec *codec = rtd->codec;
  140959. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  140960. +
  140961. + int sysclk = 27000000; /* This is fixed on this board */
  140962. +
  140963. + long mclk_freq=0;
  140964. + int mclk_div=1;
  140965. + int sampling_freq=1;
  140966. +
  140967. + int ret;
  140968. +
  140969. + samplerate = params_rate(params);
  140970. +
  140971. + if (samplerate<=96000) {
  140972. + mclk_freq=samplerate*256;
  140973. + mclk_div=WM8804_MCLKDIV_256FS;
  140974. + } else {
  140975. + mclk_freq=samplerate*128;
  140976. + mclk_div=WM8804_MCLKDIV_128FS;
  140977. + }
  140978. +
  140979. + switch (samplerate) {
  140980. + case 32000:
  140981. + sampling_freq=0x03;
  140982. + break;
  140983. + case 44100:
  140984. + sampling_freq=0x00;
  140985. + break;
  140986. + case 48000:
  140987. + sampling_freq=0x02;
  140988. + break;
  140989. + case 88200:
  140990. + sampling_freq=0x08;
  140991. + break;
  140992. + case 96000:
  140993. + sampling_freq=0x0a;
  140994. + break;
  140995. + case 176400:
  140996. + sampling_freq=0x0c;
  140997. + break;
  140998. + case 192000:
  140999. + sampling_freq=0x0e;
  141000. + break;
  141001. + default:
  141002. + dev_err(codec->dev,
  141003. + "Failed to set WM8804 SYSCLK, unsupported samplerate %d\n",
  141004. + samplerate);
  141005. + }
  141006. +
  141007. + snd_soc_dai_set_clkdiv(codec_dai, WM8804_MCLK_DIV, mclk_div);
  141008. + snd_soc_dai_set_pll(codec_dai, 0, 0, sysclk, mclk_freq);
  141009. +
  141010. + ret = snd_soc_dai_set_sysclk(codec_dai, WM8804_TX_CLKSRC_PLL,
  141011. + sysclk, SND_SOC_CLOCK_OUT);
  141012. + if (ret < 0) {
  141013. + dev_err(codec->dev,
  141014. + "Failed to set WM8804 SYSCLK: %d\n", ret);
  141015. + return ret;
  141016. + }
  141017. +
  141018. + /* Enable TX output */
  141019. + snd_soc_update_bits(codec, WM8804_PWRDN, 0x4, 0x0);
  141020. +
  141021. + /* Power on */
  141022. + snd_soc_update_bits(codec, WM8804_PWRDN, 0x9, 0);
  141023. +
  141024. + /* set sampling frequency status bits */
  141025. + snd_soc_update_bits(codec, WM8804_SPDTX4, 0x0f, sampling_freq);
  141026. +
  141027. + return snd_soc_dai_set_bclk_ratio(cpu_dai,64);
  141028. +}
  141029. +
  141030. +/* machine stream operations */
  141031. +static struct snd_soc_ops snd_rpi_hifiberry_digi_ops = {
  141032. + .hw_params = snd_rpi_hifiberry_digi_hw_params,
  141033. + .startup = snd_rpi_hifiberry_digi_startup,
  141034. + .shutdown = snd_rpi_hifiberry_digi_shutdown,
  141035. +};
  141036. +
  141037. +static struct snd_soc_dai_link snd_rpi_hifiberry_digi_dai[] = {
  141038. +{
  141039. + .name = "HifiBerry Digi",
  141040. + .stream_name = "HifiBerry Digi HiFi",
  141041. + .cpu_dai_name = "bcm2708-i2s.0",
  141042. + .codec_dai_name = "wm8804-spdif",
  141043. + .platform_name = "bcm2708-i2s.0",
  141044. + .codec_name = "wm8804.1-003b",
  141045. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  141046. + SND_SOC_DAIFMT_CBM_CFM,
  141047. + .ops = &snd_rpi_hifiberry_digi_ops,
  141048. + .init = snd_rpi_hifiberry_digi_init,
  141049. +},
  141050. +};
  141051. +
  141052. +/* audio machine driver */
  141053. +static struct snd_soc_card snd_rpi_hifiberry_digi = {
  141054. + .name = "snd_rpi_hifiberry_digi",
  141055. + .dai_link = snd_rpi_hifiberry_digi_dai,
  141056. + .num_links = ARRAY_SIZE(snd_rpi_hifiberry_digi_dai),
  141057. +};
  141058. +
  141059. +static int snd_rpi_hifiberry_digi_probe(struct platform_device *pdev)
  141060. +{
  141061. + int ret = 0;
  141062. +
  141063. + snd_rpi_hifiberry_digi.dev = &pdev->dev;
  141064. +
  141065. + if (pdev->dev.of_node) {
  141066. + struct device_node *i2s_node;
  141067. + struct snd_soc_dai_link *dai = &snd_rpi_hifiberry_digi_dai[0];
  141068. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  141069. + "i2s-controller", 0);
  141070. +
  141071. + if (i2s_node) {
  141072. + dai->cpu_dai_name = NULL;
  141073. + dai->cpu_of_node = i2s_node;
  141074. + dai->platform_name = NULL;
  141075. + dai->platform_of_node = i2s_node;
  141076. + }
  141077. + }
  141078. +
  141079. + ret = snd_soc_register_card(&snd_rpi_hifiberry_digi);
  141080. + if (ret)
  141081. + dev_err(&pdev->dev, "snd_soc_register_card() failed: %d\n", ret);
  141082. +
  141083. + return ret;
  141084. +}
  141085. +
  141086. +static int snd_rpi_hifiberry_digi_remove(struct platform_device *pdev)
  141087. +{
  141088. + return snd_soc_unregister_card(&snd_rpi_hifiberry_digi);
  141089. +}
  141090. +
  141091. +static const struct of_device_id snd_rpi_hifiberry_digi_of_match[] = {
  141092. + { .compatible = "hifiberry,hifiberry-digi", },
  141093. + {},
  141094. +};
  141095. +MODULE_DEVICE_TABLE(of, snd_rpi_hifiberry_digi_of_match);
  141096. +
  141097. +static struct platform_driver snd_rpi_hifiberry_digi_driver = {
  141098. + .driver = {
  141099. + .name = "snd-hifiberry-digi",
  141100. + .owner = THIS_MODULE,
  141101. + .of_match_table = snd_rpi_hifiberry_digi_of_match,
  141102. + },
  141103. + .probe = snd_rpi_hifiberry_digi_probe,
  141104. + .remove = snd_rpi_hifiberry_digi_remove,
  141105. +};
  141106. +
  141107. +module_platform_driver(snd_rpi_hifiberry_digi_driver);
  141108. +
  141109. +MODULE_AUTHOR("Daniel Matuschek <info@crazy-audio.com>");
  141110. +MODULE_DESCRIPTION("ASoC Driver for HifiBerry Digi");
  141111. +MODULE_LICENSE("GPL v2");
  141112. diff -Nur linux-4.1.13.orig/sound/soc/bcm/iqaudio-dac.c linux-rpi/sound/soc/bcm/iqaudio-dac.c
  141113. --- linux-4.1.13.orig/sound/soc/bcm/iqaudio-dac.c 1970-01-01 01:00:00.000000000 +0100
  141114. +++ linux-rpi/sound/soc/bcm/iqaudio-dac.c 2015-11-29 09:42:41.558989731 +0100
  141115. @@ -0,0 +1,133 @@
  141116. +/*
  141117. + * ASoC Driver for IQaudIO DAC
  141118. + *
  141119. + * Author: Florian Meier <florian.meier@koalo.de>
  141120. + * Copyright 2013
  141121. + *
  141122. + * This program is free software; you can redistribute it and/or
  141123. + * modify it under the terms of the GNU General Public License
  141124. + * version 2 as published by the Free Software Foundation.
  141125. + *
  141126. + * This program is distributed in the hope that it will be useful, but
  141127. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  141128. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  141129. + * General Public License for more details.
  141130. + */
  141131. +
  141132. +#include <linux/module.h>
  141133. +#include <linux/platform_device.h>
  141134. +
  141135. +#include <sound/core.h>
  141136. +#include <sound/pcm.h>
  141137. +#include <sound/pcm_params.h>
  141138. +#include <sound/soc.h>
  141139. +#include <sound/jack.h>
  141140. +
  141141. +static int snd_rpi_iqaudio_dac_init(struct snd_soc_pcm_runtime *rtd)
  141142. +{
  141143. + int ret;
  141144. + struct snd_soc_card *card = rtd->card;
  141145. + struct snd_soc_codec *codec = rtd->codec;
  141146. +
  141147. + ret = snd_soc_limit_volume(codec, "Digital Playback Volume", 207);
  141148. + if (ret < 0)
  141149. + dev_warn(card->dev, "Failed to set volume limit: %d\n", ret);
  141150. +
  141151. + return 0;
  141152. +}
  141153. +
  141154. +static int snd_rpi_iqaudio_dac_hw_params(struct snd_pcm_substream *substream,
  141155. + struct snd_pcm_hw_params *params)
  141156. +{
  141157. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141158. +// NOT USED struct snd_soc_dai *codec_dai = rtd->codec_dai;
  141159. +// NOT USED struct snd_soc_codec *codec = rtd->codec;
  141160. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  141161. +
  141162. + unsigned int sample_bits =
  141163. + snd_pcm_format_physical_width(params_format(params));
  141164. +
  141165. + return snd_soc_dai_set_bclk_ratio(cpu_dai, sample_bits * 2);
  141166. +}
  141167. +
  141168. +/* machine stream operations */
  141169. +static struct snd_soc_ops snd_rpi_iqaudio_dac_ops = {
  141170. + .hw_params = snd_rpi_iqaudio_dac_hw_params,
  141171. +};
  141172. +
  141173. +static struct snd_soc_dai_link snd_rpi_iqaudio_dac_dai[] = {
  141174. +{
  141175. + .name = "IQaudIO DAC",
  141176. + .stream_name = "IQaudIO DAC HiFi",
  141177. + .cpu_dai_name = "bcm2708-i2s.0",
  141178. + .codec_dai_name = "pcm512x-hifi",
  141179. + .platform_name = "bcm2708-i2s.0",
  141180. + .codec_name = "pcm512x.1-004c",
  141181. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  141182. + SND_SOC_DAIFMT_CBS_CFS,
  141183. + .ops = &snd_rpi_iqaudio_dac_ops,
  141184. + .init = snd_rpi_iqaudio_dac_init,
  141185. +},
  141186. +};
  141187. +
  141188. +/* audio machine driver */
  141189. +static struct snd_soc_card snd_rpi_iqaudio_dac = {
  141190. + .name = "IQaudIODAC",
  141191. + .dai_link = snd_rpi_iqaudio_dac_dai,
  141192. + .num_links = ARRAY_SIZE(snd_rpi_iqaudio_dac_dai),
  141193. +};
  141194. +
  141195. +static int snd_rpi_iqaudio_dac_probe(struct platform_device *pdev)
  141196. +{
  141197. + int ret = 0;
  141198. +
  141199. + snd_rpi_iqaudio_dac.dev = &pdev->dev;
  141200. +
  141201. + if (pdev->dev.of_node) {
  141202. + struct device_node *i2s_node;
  141203. + struct snd_soc_dai_link *dai = &snd_rpi_iqaudio_dac_dai[0];
  141204. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  141205. + "i2s-controller", 0);
  141206. +
  141207. + if (i2s_node) {
  141208. + dai->cpu_dai_name = NULL;
  141209. + dai->cpu_of_node = i2s_node;
  141210. + dai->platform_name = NULL;
  141211. + dai->platform_of_node = i2s_node;
  141212. + }
  141213. + }
  141214. +
  141215. + ret = snd_soc_register_card(&snd_rpi_iqaudio_dac);
  141216. + if (ret)
  141217. + dev_err(&pdev->dev,
  141218. + "snd_soc_register_card() failed: %d\n", ret);
  141219. +
  141220. + return ret;
  141221. +}
  141222. +
  141223. +static int snd_rpi_iqaudio_dac_remove(struct platform_device *pdev)
  141224. +{
  141225. + return snd_soc_unregister_card(&snd_rpi_iqaudio_dac);
  141226. +}
  141227. +
  141228. +static const struct of_device_id iqaudio_of_match[] = {
  141229. + { .compatible = "iqaudio,iqaudio-dac", },
  141230. + {},
  141231. +};
  141232. +MODULE_DEVICE_TABLE(of, iqaudio_of_match);
  141233. +
  141234. +static struct platform_driver snd_rpi_iqaudio_dac_driver = {
  141235. + .driver = {
  141236. + .name = "snd-rpi-iqaudio-dac",
  141237. + .owner = THIS_MODULE,
  141238. + .of_match_table = iqaudio_of_match,
  141239. + },
  141240. + .probe = snd_rpi_iqaudio_dac_probe,
  141241. + .remove = snd_rpi_iqaudio_dac_remove,
  141242. +};
  141243. +
  141244. +module_platform_driver(snd_rpi_iqaudio_dac_driver);
  141245. +
  141246. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  141247. +MODULE_DESCRIPTION("ASoC Driver for IQAudio DAC");
  141248. +MODULE_LICENSE("GPL v2");
  141249. diff -Nur linux-4.1.13.orig/sound/soc/bcm/Kconfig linux-rpi/sound/soc/bcm/Kconfig
  141250. --- linux-4.1.13.orig/sound/soc/bcm/Kconfig 2015-11-09 23:34:10.000000000 +0100
  141251. +++ linux-rpi/sound/soc/bcm/Kconfig 2015-11-29 09:42:41.558989731 +0100
  141252. @@ -7,3 +7,71 @@
  141253. Say Y or M if you want to add support for codecs attached to
  141254. the BCM2835 I2S interface. You will also need
  141255. to select the audio interfaces to support below.
  141256. +
  141257. +config SND_BCM2708_SOC_I2S
  141258. + tristate "SoC Audio support for the Broadcom BCM2708 I2S module"
  141259. + depends on MACH_BCM2708 || MACH_BCM2709
  141260. + select REGMAP_MMIO
  141261. + select SND_SOC_DMAENGINE_PCM
  141262. + select SND_SOC_GENERIC_DMAENGINE_PCM
  141263. + help
  141264. + Say Y or M if you want to add support for codecs attached to
  141265. + the BCM2708 I2S interface. You will also need
  141266. + to select the audio interfaces to support below.
  141267. +
  141268. +config SND_BCM2708_SOC_HIFIBERRY_DAC
  141269. + tristate "Support for HifiBerry DAC"
  141270. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141271. + select SND_SOC_PCM5102A
  141272. + help
  141273. + Say Y or M if you want to add support for HifiBerry DAC.
  141274. +
  141275. +config SND_BCM2708_SOC_HIFIBERRY_DACPLUS
  141276. + tristate "Support for HifiBerry DAC+"
  141277. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141278. + select SND_SOC_PCM512x
  141279. + help
  141280. + Say Y or M if you want to add support for HifiBerry DAC+.
  141281. +
  141282. +config SND_BCM2708_SOC_HIFIBERRY_DIGI
  141283. + tristate "Support for HifiBerry Digi"
  141284. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141285. + select SND_SOC_WM8804
  141286. + help
  141287. + Say Y or M if you want to add support for HifiBerry Digi S/PDIF output board.
  141288. +
  141289. +config SND_BCM2708_SOC_HIFIBERRY_AMP
  141290. + tristate "Support for the HifiBerry Amp"
  141291. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141292. + select SND_SOC_TAS5713
  141293. + help
  141294. + Say Y or M if you want to add support for the HifiBerry Amp amplifier board.
  141295. +
  141296. +config SND_BCM2708_SOC_RPI_DAC
  141297. + tristate "Support for RPi-DAC"
  141298. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141299. + select SND_SOC_PCM1794A
  141300. + help
  141301. + Say Y or M if you want to add support for RPi-DAC.
  141302. +
  141303. +config SND_BCM2708_SOC_RPI_PROTO
  141304. + tristate "Support for Rpi-PROTO"
  141305. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141306. + select SND_SOC_WM8731
  141307. + help
  141308. + Say Y or M if you want to add support for Audio Codec Board PROTO (WM8731).
  141309. +
  141310. +config SND_BCM2708_SOC_IQAUDIO_DAC
  141311. + tristate "Support for IQaudIO-DAC"
  141312. + depends on SND_BCM2708_SOC_I2S || SND_BCM2835_SOC_I2S
  141313. + select SND_SOC_PCM512x_I2C
  141314. + help
  141315. + Say Y or M if you want to add support for IQaudIO-DAC.
  141316. +
  141317. +config SND_BCM2708_SOC_RASPIDAC3
  141318. + tristate "Support for RaspiDAC Rev.3x"
  141319. + depends on SND_BCM2708_SOC_I2S
  141320. + select SND_SOC_PCM512x_I2C
  141321. + select SND_SOC_TPA6130A2
  141322. + help
  141323. + Say Y or M if you want to add support for RaspiDAC Rev.3x.
  141324. diff -Nur linux-4.1.13.orig/sound/soc/bcm/Makefile linux-rpi/sound/soc/bcm/Makefile
  141325. --- linux-4.1.13.orig/sound/soc/bcm/Makefile 2015-11-09 23:34:10.000000000 +0100
  141326. +++ linux-rpi/sound/soc/bcm/Makefile 2015-11-29 09:42:41.558989731 +0100
  141327. @@ -3,3 +3,26 @@
  141328. obj-$(CONFIG_SND_BCM2835_SOC_I2S) += snd-soc-bcm2835-i2s.o
  141329. +# BCM2708 Platform Support
  141330. +snd-soc-bcm2708-i2s-objs := bcm2708-i2s.o
  141331. +
  141332. +obj-$(CONFIG_SND_BCM2708_SOC_I2S) += snd-soc-bcm2708-i2s.o
  141333. +
  141334. +# BCM2708 Machine Support
  141335. +snd-soc-hifiberry-dac-objs := hifiberry_dac.o
  141336. +snd-soc-hifiberry-dacplus-objs := hifiberry_dacplus.o
  141337. +snd-soc-hifiberry-digi-objs := hifiberry_digi.o
  141338. +snd-soc-hifiberry-amp-objs := hifiberry_amp.o
  141339. +snd-soc-rpi-dac-objs := rpi-dac.o
  141340. +snd-soc-rpi-proto-objs := rpi-proto.o
  141341. +snd-soc-iqaudio-dac-objs := iqaudio-dac.o
  141342. +snd-soc-raspidac3-objs := raspidac3.o
  141343. +
  141344. +obj-$(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DAC) += snd-soc-hifiberry-dac.o
  141345. +obj-$(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DACPLUS) += snd-soc-hifiberry-dacplus.o
  141346. +obj-$(CONFIG_SND_BCM2708_SOC_HIFIBERRY_DIGI) += snd-soc-hifiberry-digi.o
  141347. +obj-$(CONFIG_SND_BCM2708_SOC_HIFIBERRY_AMP) += snd-soc-hifiberry-amp.o
  141348. +obj-$(CONFIG_SND_BCM2708_SOC_RPI_DAC) += snd-soc-rpi-dac.o
  141349. +obj-$(CONFIG_SND_BCM2708_SOC_RPI_PROTO) += snd-soc-rpi-proto.o
  141350. +obj-$(CONFIG_SND_BCM2708_SOC_IQAUDIO_DAC) += snd-soc-iqaudio-dac.o
  141351. +obj-$(CONFIG_SND_BCM2708_SOC_RASPIDAC3) += snd-soc-raspidac3.o
  141352. diff -Nur linux-4.1.13.orig/sound/soc/bcm/raspidac3.c linux-rpi/sound/soc/bcm/raspidac3.c
  141353. --- linux-4.1.13.orig/sound/soc/bcm/raspidac3.c 1970-01-01 01:00:00.000000000 +0100
  141354. +++ linux-rpi/sound/soc/bcm/raspidac3.c 2015-11-29 09:42:41.558989731 +0100
  141355. @@ -0,0 +1,191 @@
  141356. +/*
  141357. + * ASoC Driver for RaspiDAC v3
  141358. + *
  141359. + * Author: Jan Grulich <jan@grulich.eu>
  141360. + * Copyright 2015
  141361. + * based on code by Daniel Matuschek <daniel@hifiberry.com>
  141362. + * based on code by Florian Meier <florian.meier@koalo.de>
  141363. + *
  141364. + * This program is free software; you can redistribute it and/or
  141365. + * modify it under the terms of the GNU General Public License
  141366. + * version 2 as published by the Free Software Foundation.
  141367. + *
  141368. + * This program is distributed in the hope that it will be useful, but
  141369. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  141370. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  141371. + * General Public License for more details.
  141372. + */
  141373. +
  141374. +#include <linux/module.h>
  141375. +#include <linux/platform_device.h>
  141376. +
  141377. +#include <sound/core.h>
  141378. +#include <sound/pcm.h>
  141379. +#include <sound/pcm_params.h>
  141380. +#include <sound/soc.h>
  141381. +#include <sound/jack.h>
  141382. +#include <sound/soc-dapm.h>
  141383. +
  141384. +#include "../codecs/pcm512x.h"
  141385. +#include "../codecs/tpa6130a2.h"
  141386. +
  141387. +/* sound card init */
  141388. +static int snd_rpi_raspidac3_init(struct snd_soc_pcm_runtime *rtd)
  141389. +{
  141390. + int ret;
  141391. + struct snd_soc_card *card = rtd->card;
  141392. + struct snd_soc_codec *codec = rtd->codec;
  141393. + snd_soc_update_bits(codec, PCM512x_GPIO_EN, 0x08, 0x08);
  141394. + snd_soc_update_bits(codec, PCM512x_GPIO_OUTPUT_4, 0xf, 0x02);
  141395. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08,0x00);
  141396. +
  141397. + ret = snd_soc_limit_volume(codec, "Digital Playback Volume", 207);
  141398. + if (ret < 0)
  141399. + dev_warn(card->dev, "Failed to set volume limit: %d\n", ret);
  141400. + else {
  141401. + struct snd_kcontrol *kctl;
  141402. +
  141403. + ret = tpa6130a2_add_controls(codec);
  141404. + if (ret < 0)
  141405. + dev_warn(card->dev, "Failed to add TPA6130A2 controls: %d\n",
  141406. + ret);
  141407. + ret = snd_soc_limit_volume(codec,
  141408. + "TPA6130A2 Headphone Playback Volume",
  141409. + 54);
  141410. + if (ret < 0)
  141411. + dev_warn(card->dev, "Failed to set TPA6130A2 volume limit: %d\n",
  141412. + ret);
  141413. + kctl = snd_soc_card_get_kcontrol(card,
  141414. + "TPA6130A2 Headphone Playback Volume");
  141415. + if (kctl) {
  141416. + strcpy(kctl->id.name, "Headphones Playback Volume");
  141417. + /* disable the volume dB scale so alsamixer works */
  141418. + kctl->vd[0].access = SNDRV_CTL_ELEM_ACCESS_READWRITE;
  141419. + }
  141420. +
  141421. + kctl = snd_soc_card_get_kcontrol(card,
  141422. + "TPA6130A2 Headphone Playback Switch");
  141423. + if (kctl)
  141424. + strcpy(kctl->id.name, "Headphones Playback Switch");
  141425. + }
  141426. +
  141427. + return 0;
  141428. +}
  141429. +
  141430. +/* set hw parameters */
  141431. +static int snd_rpi_raspidac3_hw_params(struct snd_pcm_substream *substream,
  141432. + struct snd_pcm_hw_params *params)
  141433. +{
  141434. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141435. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  141436. +
  141437. + unsigned int sample_bits =
  141438. + snd_pcm_format_physical_width(params_format(params));
  141439. +
  141440. + return snd_soc_dai_set_bclk_ratio(cpu_dai, sample_bits * 2);
  141441. +}
  141442. +
  141443. +/* startup */
  141444. +static int snd_rpi_raspidac3_startup(struct snd_pcm_substream *substream) {
  141445. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141446. + struct snd_soc_codec *codec = rtd->codec;
  141447. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08,0x08);
  141448. + tpa6130a2_stereo_enable(codec, 1);
  141449. + return 0;
  141450. +}
  141451. +
  141452. +/* shutdown */
  141453. +static void snd_rpi_raspidac3_shutdown(struct snd_pcm_substream *substream) {
  141454. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141455. + struct snd_soc_codec *codec = rtd->codec;
  141456. + snd_soc_update_bits(codec, PCM512x_GPIO_CONTROL_1, 0x08,0x00);
  141457. + tpa6130a2_stereo_enable(codec, 0);
  141458. +}
  141459. +
  141460. +/* machine stream operations */
  141461. +static struct snd_soc_ops snd_rpi_raspidac3_ops = {
  141462. + .hw_params = snd_rpi_raspidac3_hw_params,
  141463. + .startup = snd_rpi_raspidac3_startup,
  141464. + .shutdown = snd_rpi_raspidac3_shutdown,
  141465. +};
  141466. +
  141467. +/* interface setup */
  141468. +static struct snd_soc_dai_link snd_rpi_raspidac3_dai[] = {
  141469. +{
  141470. + .name = "RaspiDAC Rev.3x",
  141471. + .stream_name = "RaspiDAC HiFi",
  141472. + .cpu_dai_name = "bcm2708-i2s.0",
  141473. + .codec_dai_name = "pcm512x-hifi",
  141474. + .platform_name = "bcm2708-i2s.0",
  141475. + .codec_name = "pcm512x.1-004c",
  141476. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  141477. + SND_SOC_DAIFMT_CBS_CFS,
  141478. + .ops = &snd_rpi_raspidac3_ops,
  141479. + .init = snd_rpi_raspidac3_init,
  141480. +},
  141481. +};
  141482. +
  141483. +/* audio machine driver */
  141484. +static struct snd_soc_card snd_rpi_raspidac3 = {
  141485. + .name = "RaspiDAC Rev.3x HiFi Audio Card",
  141486. + .dai_link = snd_rpi_raspidac3_dai,
  141487. + .num_links = ARRAY_SIZE(snd_rpi_raspidac3_dai),
  141488. +};
  141489. +
  141490. +/* sound card test */
  141491. +static int snd_rpi_raspidac3_probe(struct platform_device *pdev)
  141492. +{
  141493. + int ret = 0;
  141494. +
  141495. + snd_rpi_raspidac3.dev = &pdev->dev;
  141496. +
  141497. + if (pdev->dev.of_node) {
  141498. + struct device_node *i2s_node;
  141499. + struct snd_soc_dai_link *dai = &snd_rpi_raspidac3_dai[0];
  141500. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  141501. + "i2s-controller", 0);
  141502. +
  141503. + if (i2s_node) {
  141504. + dai->cpu_dai_name = NULL;
  141505. + dai->cpu_of_node = i2s_node;
  141506. + dai->platform_name = NULL;
  141507. + dai->platform_of_node = i2s_node;
  141508. + }
  141509. + }
  141510. +
  141511. + ret = snd_soc_register_card(&snd_rpi_raspidac3);
  141512. + if (ret)
  141513. + dev_err(&pdev->dev,
  141514. + "snd_soc_register_card() failed: %d\n", ret);
  141515. +
  141516. + return ret;
  141517. +}
  141518. +
  141519. +/* sound card disconnect */
  141520. +static int snd_rpi_raspidac3_remove(struct platform_device *pdev)
  141521. +{
  141522. + return snd_soc_unregister_card(&snd_rpi_raspidac3);
  141523. +}
  141524. +
  141525. +static const struct of_device_id raspidac3_of_match[] = {
  141526. + { .compatible = "jg,raspidacv3", },
  141527. + {},
  141528. +};
  141529. +MODULE_DEVICE_TABLE(of, raspidac3_of_match);
  141530. +
  141531. +/* sound card platform driver */
  141532. +static struct platform_driver snd_rpi_raspidac3_driver = {
  141533. + .driver = {
  141534. + .name = "snd-rpi-raspidac3",
  141535. + .owner = THIS_MODULE,
  141536. + .of_match_table = raspidac3_of_match,
  141537. + },
  141538. + .probe = snd_rpi_raspidac3_probe,
  141539. + .remove = snd_rpi_raspidac3_remove,
  141540. +};
  141541. +
  141542. +module_platform_driver(snd_rpi_raspidac3_driver);
  141543. +
  141544. +MODULE_AUTHOR("Jan Grulich <jan@grulich.eu>");
  141545. +MODULE_DESCRIPTION("ASoC Driver for RaspiDAC Rev.3x");
  141546. +MODULE_LICENSE("GPL v2");
  141547. diff -Nur linux-4.1.13.orig/sound/soc/bcm/rpi-dac.c linux-rpi/sound/soc/bcm/rpi-dac.c
  141548. --- linux-4.1.13.orig/sound/soc/bcm/rpi-dac.c 1970-01-01 01:00:00.000000000 +0100
  141549. +++ linux-rpi/sound/soc/bcm/rpi-dac.c 2015-11-29 09:42:41.558989731 +0100
  141550. @@ -0,0 +1,118 @@
  141551. +/*
  141552. + * ASoC Driver for RPi-DAC.
  141553. + *
  141554. + * Author: Florian Meier <florian.meier@koalo.de>
  141555. + * Copyright 2013
  141556. + *
  141557. + * This program is free software; you can redistribute it and/or
  141558. + * modify it under the terms of the GNU General Public License
  141559. + * version 2 as published by the Free Software Foundation.
  141560. + *
  141561. + * This program is distributed in the hope that it will be useful, but
  141562. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  141563. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  141564. + * General Public License for more details.
  141565. + */
  141566. +
  141567. +#include <linux/module.h>
  141568. +#include <linux/platform_device.h>
  141569. +
  141570. +#include <sound/core.h>
  141571. +#include <sound/pcm.h>
  141572. +#include <sound/pcm_params.h>
  141573. +#include <sound/soc.h>
  141574. +#include <sound/jack.h>
  141575. +
  141576. +static int snd_rpi_rpi_dac_init(struct snd_soc_pcm_runtime *rtd)
  141577. +{
  141578. + return 0;
  141579. +}
  141580. +
  141581. +static int snd_rpi_rpi_dac_hw_params(struct snd_pcm_substream *substream,
  141582. + struct snd_pcm_hw_params *params)
  141583. +{
  141584. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141585. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  141586. +
  141587. + return snd_soc_dai_set_bclk_ratio(cpu_dai, 32*2);
  141588. +}
  141589. +
  141590. +/* machine stream operations */
  141591. +static struct snd_soc_ops snd_rpi_rpi_dac_ops = {
  141592. + .hw_params = snd_rpi_rpi_dac_hw_params,
  141593. +};
  141594. +
  141595. +static struct snd_soc_dai_link snd_rpi_rpi_dac_dai[] = {
  141596. +{
  141597. + .name = "RPi-DAC",
  141598. + .stream_name = "RPi-DAC HiFi",
  141599. + .cpu_dai_name = "bcm2708-i2s.0",
  141600. + .codec_dai_name = "pcm1794a-hifi",
  141601. + .platform_name = "bcm2708-i2s.0",
  141602. + .codec_name = "pcm1794a-codec",
  141603. + .dai_fmt = SND_SOC_DAIFMT_I2S | SND_SOC_DAIFMT_NB_NF |
  141604. + SND_SOC_DAIFMT_CBS_CFS,
  141605. + .ops = &snd_rpi_rpi_dac_ops,
  141606. + .init = snd_rpi_rpi_dac_init,
  141607. +},
  141608. +};
  141609. +
  141610. +/* audio machine driver */
  141611. +static struct snd_soc_card snd_rpi_rpi_dac = {
  141612. + .name = "snd_rpi_rpi_dac",
  141613. + .dai_link = snd_rpi_rpi_dac_dai,
  141614. + .num_links = ARRAY_SIZE(snd_rpi_rpi_dac_dai),
  141615. +};
  141616. +
  141617. +static int snd_rpi_rpi_dac_probe(struct platform_device *pdev)
  141618. +{
  141619. + int ret = 0;
  141620. +
  141621. + snd_rpi_rpi_dac.dev = &pdev->dev;
  141622. +
  141623. + if (pdev->dev.of_node) {
  141624. + struct device_node *i2s_node;
  141625. + struct snd_soc_dai_link *dai = &snd_rpi_rpi_dac_dai[0];
  141626. + i2s_node = of_parse_phandle(pdev->dev.of_node, "i2s-controller", 0);
  141627. +
  141628. + if (i2s_node) {
  141629. + dai->cpu_dai_name = NULL;
  141630. + dai->cpu_of_node = i2s_node;
  141631. + dai->platform_name = NULL;
  141632. + dai->platform_of_node = i2s_node;
  141633. + }
  141634. + }
  141635. +
  141636. + ret = snd_soc_register_card(&snd_rpi_rpi_dac);
  141637. + if (ret)
  141638. + dev_err(&pdev->dev, "snd_soc_register_card() failed: %d\n", ret);
  141639. +
  141640. + return ret;
  141641. +}
  141642. +
  141643. +static int snd_rpi_rpi_dac_remove(struct platform_device *pdev)
  141644. +{
  141645. + return snd_soc_unregister_card(&snd_rpi_rpi_dac);
  141646. +}
  141647. +
  141648. +static const struct of_device_id snd_rpi_rpi_dac_of_match[] = {
  141649. + { .compatible = "rpi,rpi-dac", },
  141650. + {},
  141651. +};
  141652. +MODULE_DEVICE_TABLE(of, snd_rpi_rpi_dac_of_match);
  141653. +
  141654. +static struct platform_driver snd_rpi_rpi_dac_driver = {
  141655. + .driver = {
  141656. + .name = "snd-rpi-dac",
  141657. + .owner = THIS_MODULE,
  141658. + .of_match_table = snd_rpi_rpi_dac_of_match,
  141659. + },
  141660. + .probe = snd_rpi_rpi_dac_probe,
  141661. + .remove = snd_rpi_rpi_dac_remove,
  141662. +};
  141663. +
  141664. +module_platform_driver(snd_rpi_rpi_dac_driver);
  141665. +
  141666. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  141667. +MODULE_DESCRIPTION("ASoC Driver for RPi-DAC");
  141668. +MODULE_LICENSE("GPL v2");
  141669. diff -Nur linux-4.1.13.orig/sound/soc/bcm/rpi-proto.c linux-rpi/sound/soc/bcm/rpi-proto.c
  141670. --- linux-4.1.13.orig/sound/soc/bcm/rpi-proto.c 1970-01-01 01:00:00.000000000 +0100
  141671. +++ linux-rpi/sound/soc/bcm/rpi-proto.c 2015-11-29 09:42:41.558989731 +0100
  141672. @@ -0,0 +1,153 @@
  141673. +/*
  141674. + * ASoC driver for PROTO AudioCODEC (with a WM8731)
  141675. + * connected to a Raspberry Pi
  141676. + *
  141677. + * Author: Florian Meier, <koalo@koalo.de>
  141678. + * Copyright 2013
  141679. + *
  141680. + * This program is free software; you can redistribute it and/or modify
  141681. + * it under the terms of the GNU General Public License version 2 as
  141682. + * published by the Free Software Foundation.
  141683. + */
  141684. +
  141685. +#include <linux/module.h>
  141686. +#include <linux/platform_device.h>
  141687. +
  141688. +#include <sound/core.h>
  141689. +#include <sound/pcm.h>
  141690. +#include <sound/soc.h>
  141691. +#include <sound/jack.h>
  141692. +
  141693. +#include "../codecs/wm8731.h"
  141694. +
  141695. +static const unsigned int wm8731_rates_12288000[] = {
  141696. + 8000, 32000, 48000, 96000,
  141697. +};
  141698. +
  141699. +static struct snd_pcm_hw_constraint_list wm8731_constraints_12288000 = {
  141700. + .list = wm8731_rates_12288000,
  141701. + .count = ARRAY_SIZE(wm8731_rates_12288000),
  141702. +};
  141703. +
  141704. +static int snd_rpi_proto_startup(struct snd_pcm_substream *substream)
  141705. +{
  141706. + /* Setup constraints, because there is a 12.288 MHz XTAL on the board */
  141707. + snd_pcm_hw_constraint_list(substream->runtime, 0,
  141708. + SNDRV_PCM_HW_PARAM_RATE,
  141709. + &wm8731_constraints_12288000);
  141710. + return 0;
  141711. +}
  141712. +
  141713. +static int snd_rpi_proto_hw_params(struct snd_pcm_substream *substream,
  141714. + struct snd_pcm_hw_params *params)
  141715. +{
  141716. + struct snd_soc_pcm_runtime *rtd = substream->private_data;
  141717. + struct snd_soc_codec *codec = rtd->codec;
  141718. + struct snd_soc_dai *codec_dai = rtd->codec_dai;
  141719. + struct snd_soc_dai *cpu_dai = rtd->cpu_dai;
  141720. + int sysclk = 12288000; /* This is fixed on this board */
  141721. +
  141722. + /* Set proto bclk */
  141723. + int ret = snd_soc_dai_set_bclk_ratio(cpu_dai,32*2);
  141724. + if (ret < 0){
  141725. + dev_err(codec->dev,
  141726. + "Failed to set BCLK ratio %d\n", ret);
  141727. + return ret;
  141728. + }
  141729. +
  141730. + /* Set proto sysclk */
  141731. + ret = snd_soc_dai_set_sysclk(codec_dai, WM8731_SYSCLK_XTAL,
  141732. + sysclk, SND_SOC_CLOCK_IN);
  141733. + if (ret < 0) {
  141734. + dev_err(codec->dev,
  141735. + "Failed to set WM8731 SYSCLK: %d\n", ret);
  141736. + return ret;
  141737. + }
  141738. +
  141739. + return 0;
  141740. +}
  141741. +
  141742. +/* machine stream operations */
  141743. +static struct snd_soc_ops snd_rpi_proto_ops = {
  141744. + .startup = snd_rpi_proto_startup,
  141745. + .hw_params = snd_rpi_proto_hw_params,
  141746. +};
  141747. +
  141748. +static struct snd_soc_dai_link snd_rpi_proto_dai[] = {
  141749. +{
  141750. + .name = "WM8731",
  141751. + .stream_name = "WM8731 HiFi",
  141752. + .cpu_dai_name = "bcm2708-i2s.0",
  141753. + .codec_dai_name = "wm8731-hifi",
  141754. + .platform_name = "bcm2708-i2s.0",
  141755. + .codec_name = "wm8731.1-001a",
  141756. + .dai_fmt = SND_SOC_DAIFMT_I2S
  141757. + | SND_SOC_DAIFMT_NB_NF
  141758. + | SND_SOC_DAIFMT_CBM_CFM,
  141759. + .ops = &snd_rpi_proto_ops,
  141760. +},
  141761. +};
  141762. +
  141763. +/* audio machine driver */
  141764. +static struct snd_soc_card snd_rpi_proto = {
  141765. + .name = "snd_rpi_proto",
  141766. + .dai_link = snd_rpi_proto_dai,
  141767. + .num_links = ARRAY_SIZE(snd_rpi_proto_dai),
  141768. +};
  141769. +
  141770. +static int snd_rpi_proto_probe(struct platform_device *pdev)
  141771. +{
  141772. + int ret = 0;
  141773. +
  141774. + snd_rpi_proto.dev = &pdev->dev;
  141775. +
  141776. + if (pdev->dev.of_node) {
  141777. + struct device_node *i2s_node;
  141778. + struct snd_soc_dai_link *dai = &snd_rpi_proto_dai[0];
  141779. + i2s_node = of_parse_phandle(pdev->dev.of_node,
  141780. + "i2s-controller", 0);
  141781. +
  141782. + if (i2s_node) {
  141783. + dai->cpu_dai_name = NULL;
  141784. + dai->cpu_of_node = i2s_node;
  141785. + dai->platform_name = NULL;
  141786. + dai->platform_of_node = i2s_node;
  141787. + }
  141788. + }
  141789. +
  141790. + ret = snd_soc_register_card(&snd_rpi_proto);
  141791. + if (ret) {
  141792. + dev_err(&pdev->dev,
  141793. + "snd_soc_register_card() failed: %d\n", ret);
  141794. + }
  141795. +
  141796. + return ret;
  141797. +}
  141798. +
  141799. +
  141800. +static int snd_rpi_proto_remove(struct platform_device *pdev)
  141801. +{
  141802. + return snd_soc_unregister_card(&snd_rpi_proto);
  141803. +}
  141804. +
  141805. +static const struct of_device_id snd_rpi_proto_of_match[] = {
  141806. + { .compatible = "rpi,rpi-proto", },
  141807. + {},
  141808. +};
  141809. +MODULE_DEVICE_TABLE(of, snd_rpi_proto_of_match);
  141810. +
  141811. +static struct platform_driver snd_rpi_proto_driver = {
  141812. + .driver = {
  141813. + .name = "snd-rpi-proto",
  141814. + .owner = THIS_MODULE,
  141815. + .of_match_table = snd_rpi_proto_of_match,
  141816. + },
  141817. + .probe = snd_rpi_proto_probe,
  141818. + .remove = snd_rpi_proto_remove,
  141819. +};
  141820. +
  141821. +module_platform_driver(snd_rpi_proto_driver);
  141822. +
  141823. +MODULE_AUTHOR("Florian Meier");
  141824. +MODULE_DESCRIPTION("ASoC Driver for Raspberry Pi connected to PROTO board (WM8731)");
  141825. +MODULE_LICENSE("GPL");
  141826. diff -Nur linux-4.1.13.orig/sound/soc/codecs/Kconfig linux-rpi/sound/soc/codecs/Kconfig
  141827. --- linux-4.1.13.orig/sound/soc/codecs/Kconfig 2015-11-09 23:34:10.000000000 +0100
  141828. +++ linux-rpi/sound/soc/codecs/Kconfig 2015-11-29 09:42:41.562989466 +0100
  141829. @@ -83,6 +83,8 @@
  141830. select SND_SOC_PCM512x_I2C if I2C
  141831. select SND_SOC_PCM512x_SPI if SPI_MASTER
  141832. select SND_SOC_RT286 if I2C
  141833. + select SND_SOC_PCM5102A if I2C
  141834. + select SND_SOC_PCM1794A if I2C
  141835. select SND_SOC_RT5631 if I2C
  141836. select SND_SOC_RT5640 if I2C
  141837. select SND_SOC_RT5645 if I2C
  141838. @@ -107,6 +109,7 @@
  141839. select SND_SOC_TFA9879 if I2C
  141840. select SND_SOC_TLV320AIC23_I2C if I2C
  141841. select SND_SOC_TLV320AIC23_SPI if SPI_MASTER
  141842. + select SND_SOC_TAS5713 if I2C
  141843. select SND_SOC_TLV320AIC26 if SPI_MASTER
  141844. select SND_SOC_TLV320AIC31XX if I2C
  141845. select SND_SOC_TLV320AIC32X4 if I2C
  141846. @@ -511,6 +514,12 @@
  141847. tristate
  141848. depends on I2C
  141849. +config SND_SOC_PCM1794A
  141850. + tristate
  141851. +
  141852. +config SND_SOC_PCM5102A
  141853. + tristate
  141854. +
  141855. config SND_SOC_RT5631
  141856. tristate "Realtek ALC5631/RT5631 CODEC"
  141857. depends on I2C
  141858. @@ -615,6 +624,9 @@
  141859. tristate "NXP Semiconductors TFA9879 amplifier"
  141860. depends on I2C
  141861. +config SND_SOC_TAS5713
  141862. + tristate
  141863. +
  141864. config SND_SOC_TLV320AIC23
  141865. tristate
  141866. diff -Nur linux-4.1.13.orig/sound/soc/codecs/Makefile linux-rpi/sound/soc/codecs/Makefile
  141867. --- linux-4.1.13.orig/sound/soc/codecs/Makefile 2015-11-09 23:34:10.000000000 +0100
  141868. +++ linux-rpi/sound/soc/codecs/Makefile 2015-11-29 09:42:41.562989466 +0100
  141869. @@ -78,6 +78,8 @@
  141870. snd-soc-pcm512x-spi-objs := pcm512x-spi.o
  141871. snd-soc-rl6231-objs := rl6231.o
  141872. snd-soc-rt286-objs := rt286.o
  141873. +snd-soc-pcm1794a-objs := pcm1794a.o
  141874. +snd-soc-pcm5102a-objs := pcm5102a.o
  141875. snd-soc-rt5631-objs := rt5631.o
  141876. snd-soc-rt5640-objs := rt5640.o
  141877. snd-soc-rt5645-objs := rt5645.o
  141878. @@ -107,6 +109,7 @@
  141879. snd-soc-stac9766-objs := stac9766.o
  141880. snd-soc-tas5086-objs := tas5086.o
  141881. snd-soc-tfa9879-objs := tfa9879.o
  141882. +snd-soc-tas5713-objs := tas5713.o
  141883. snd-soc-tlv320aic23-objs := tlv320aic23.o
  141884. snd-soc-tlv320aic23-i2c-objs := tlv320aic23-i2c.o
  141885. snd-soc-tlv320aic23-spi-objs := tlv320aic23-spi.o
  141886. @@ -263,6 +266,8 @@
  141887. obj-$(CONFIG_SND_SOC_PCM512x_SPI) += snd-soc-pcm512x-spi.o
  141888. obj-$(CONFIG_SND_SOC_RL6231) += snd-soc-rl6231.o
  141889. obj-$(CONFIG_SND_SOC_RT286) += snd-soc-rt286.o
  141890. +obj-$(CONFIG_SND_SOC_PCM1794A) += snd-soc-pcm1794a.o
  141891. +obj-$(CONFIG_SND_SOC_PCM5102A) += snd-soc-pcm5102a.o
  141892. obj-$(CONFIG_SND_SOC_RT5631) += snd-soc-rt5631.o
  141893. obj-$(CONFIG_SND_SOC_RT5640) += snd-soc-rt5640.o
  141894. obj-$(CONFIG_SND_SOC_RT5645) += snd-soc-rt5645.o
  141895. @@ -289,6 +294,7 @@
  141896. obj-$(CONFIG_SND_SOC_TAS2552) += snd-soc-tas2552.o
  141897. obj-$(CONFIG_SND_SOC_TAS5086) += snd-soc-tas5086.o
  141898. obj-$(CONFIG_SND_SOC_TFA9879) += snd-soc-tfa9879.o
  141899. +obj-$(CONFIG_SND_SOC_TAS5713) += snd-soc-tas5713.o
  141900. obj-$(CONFIG_SND_SOC_TLV320AIC23) += snd-soc-tlv320aic23.o
  141901. obj-$(CONFIG_SND_SOC_TLV320AIC23_I2C) += snd-soc-tlv320aic23-i2c.o
  141902. obj-$(CONFIG_SND_SOC_TLV320AIC23_SPI) += snd-soc-tlv320aic23-spi.o
  141903. diff -Nur linux-4.1.13.orig/sound/soc/codecs/pcm1794a.c linux-rpi/sound/soc/codecs/pcm1794a.c
  141904. --- linux-4.1.13.orig/sound/soc/codecs/pcm1794a.c 1970-01-01 01:00:00.000000000 +0100
  141905. +++ linux-rpi/sound/soc/codecs/pcm1794a.c 2015-11-29 09:42:41.574988668 +0100
  141906. @@ -0,0 +1,69 @@
  141907. +/*
  141908. + * Driver for the PCM1794A codec
  141909. + *
  141910. + * Author: Florian Meier <florian.meier@koalo.de>
  141911. + * Copyright 2013
  141912. + *
  141913. + * This program is free software; you can redistribute it and/or
  141914. + * modify it under the terms of the GNU General Public License
  141915. + * version 2 as published by the Free Software Foundation.
  141916. + *
  141917. + * This program is distributed in the hope that it will be useful, but
  141918. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  141919. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  141920. + * General Public License for more details.
  141921. + */
  141922. +
  141923. +
  141924. +#include <linux/init.h>
  141925. +#include <linux/module.h>
  141926. +#include <linux/platform_device.h>
  141927. +
  141928. +#include <sound/soc.h>
  141929. +
  141930. +static struct snd_soc_dai_driver pcm1794a_dai = {
  141931. + .name = "pcm1794a-hifi",
  141932. + .playback = {
  141933. + .channels_min = 2,
  141934. + .channels_max = 2,
  141935. + .rates = SNDRV_PCM_RATE_8000_192000,
  141936. + .formats = SNDRV_PCM_FMTBIT_S16_LE |
  141937. + SNDRV_PCM_FMTBIT_S24_LE
  141938. + },
  141939. +};
  141940. +
  141941. +static struct snd_soc_codec_driver soc_codec_dev_pcm1794a;
  141942. +
  141943. +static int pcm1794a_probe(struct platform_device *pdev)
  141944. +{
  141945. + return snd_soc_register_codec(&pdev->dev, &soc_codec_dev_pcm1794a,
  141946. + &pcm1794a_dai, 1);
  141947. +}
  141948. +
  141949. +static int pcm1794a_remove(struct platform_device *pdev)
  141950. +{
  141951. + snd_soc_unregister_codec(&pdev->dev);
  141952. + return 0;
  141953. +}
  141954. +
  141955. +static const struct of_device_id pcm1794a_of_match[] = {
  141956. + { .compatible = "ti,pcm1794a", },
  141957. + { }
  141958. +};
  141959. +MODULE_DEVICE_TABLE(of, pcm1794a_of_match);
  141960. +
  141961. +static struct platform_driver pcm1794a_codec_driver = {
  141962. + .probe = pcm1794a_probe,
  141963. + .remove = pcm1794a_remove,
  141964. + .driver = {
  141965. + .name = "pcm1794a-codec",
  141966. + .owner = THIS_MODULE,
  141967. + .of_match_table = of_match_ptr(pcm1794a_of_match),
  141968. + },
  141969. +};
  141970. +
  141971. +module_platform_driver(pcm1794a_codec_driver);
  141972. +
  141973. +MODULE_DESCRIPTION("ASoC PCM1794A codec driver");
  141974. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  141975. +MODULE_LICENSE("GPL v2");
  141976. diff -Nur linux-4.1.13.orig/sound/soc/codecs/pcm5102a.c linux-rpi/sound/soc/codecs/pcm5102a.c
  141977. --- linux-4.1.13.orig/sound/soc/codecs/pcm5102a.c 1970-01-01 01:00:00.000000000 +0100
  141978. +++ linux-rpi/sound/soc/codecs/pcm5102a.c 2015-11-29 09:42:41.574988668 +0100
  141979. @@ -0,0 +1,70 @@
  141980. +/*
  141981. + * Driver for the PCM5102A codec
  141982. + *
  141983. + * Author: Florian Meier <florian.meier@koalo.de>
  141984. + * Copyright 2013
  141985. + *
  141986. + * This program is free software; you can redistribute it and/or
  141987. + * modify it under the terms of the GNU General Public License
  141988. + * version 2 as published by the Free Software Foundation.
  141989. + *
  141990. + * This program is distributed in the hope that it will be useful, but
  141991. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  141992. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  141993. + * General Public License for more details.
  141994. + */
  141995. +
  141996. +
  141997. +#include <linux/init.h>
  141998. +#include <linux/module.h>
  141999. +#include <linux/platform_device.h>
  142000. +
  142001. +#include <sound/soc.h>
  142002. +
  142003. +static struct snd_soc_dai_driver pcm5102a_dai = {
  142004. + .name = "pcm5102a-hifi",
  142005. + .playback = {
  142006. + .channels_min = 2,
  142007. + .channels_max = 2,
  142008. + .rates = SNDRV_PCM_RATE_8000_192000,
  142009. + .formats = SNDRV_PCM_FMTBIT_S16_LE |
  142010. + SNDRV_PCM_FMTBIT_S24_LE |
  142011. + SNDRV_PCM_FMTBIT_S32_LE
  142012. + },
  142013. +};
  142014. +
  142015. +static struct snd_soc_codec_driver soc_codec_dev_pcm5102a;
  142016. +
  142017. +static int pcm5102a_probe(struct platform_device *pdev)
  142018. +{
  142019. + return snd_soc_register_codec(&pdev->dev, &soc_codec_dev_pcm5102a,
  142020. + &pcm5102a_dai, 1);
  142021. +}
  142022. +
  142023. +static int pcm5102a_remove(struct platform_device *pdev)
  142024. +{
  142025. + snd_soc_unregister_codec(&pdev->dev);
  142026. + return 0;
  142027. +}
  142028. +
  142029. +static const struct of_device_id pcm5102a_of_match[] = {
  142030. + { .compatible = "ti,pcm5102a", },
  142031. + { }
  142032. +};
  142033. +MODULE_DEVICE_TABLE(of, pcm5102a_of_match);
  142034. +
  142035. +static struct platform_driver pcm5102a_codec_driver = {
  142036. + .probe = pcm5102a_probe,
  142037. + .remove = pcm5102a_remove,
  142038. + .driver = {
  142039. + .name = "pcm5102a-codec",
  142040. + .owner = THIS_MODULE,
  142041. + .of_match_table = pcm5102a_of_match,
  142042. + },
  142043. +};
  142044. +
  142045. +module_platform_driver(pcm5102a_codec_driver);
  142046. +
  142047. +MODULE_DESCRIPTION("ASoC PCM5102A codec driver");
  142048. +MODULE_AUTHOR("Florian Meier <florian.meier@koalo.de>");
  142049. +MODULE_LICENSE("GPL v2");
  142050. diff -Nur linux-4.1.13.orig/sound/soc/codecs/pcm512x.c linux-rpi/sound/soc/codecs/pcm512x.c
  142051. --- linux-4.1.13.orig/sound/soc/codecs/pcm512x.c 2015-11-09 23:34:10.000000000 +0100
  142052. +++ linux-rpi/sound/soc/codecs/pcm512x.c 2015-11-29 09:42:41.574988668 +0100
  142053. @@ -856,7 +856,8 @@
  142054. int fssp;
  142055. int gpio;
  142056. - lrclk_div = snd_soc_params_to_frame_size(params);
  142057. + lrclk_div = snd_pcm_format_physical_width(params_format(params))
  142058. + * params_channels(params);
  142059. if (lrclk_div == 0) {
  142060. dev_err(dev, "No LRCLK?\n");
  142061. return -EINVAL;
  142062. diff -Nur linux-4.1.13.orig/sound/soc/codecs/tas5713.c linux-rpi/sound/soc/codecs/tas5713.c
  142063. --- linux-4.1.13.orig/sound/soc/codecs/tas5713.c 1970-01-01 01:00:00.000000000 +0100
  142064. +++ linux-rpi/sound/soc/codecs/tas5713.c 2015-11-29 09:42:41.586987871 +0100
  142065. @@ -0,0 +1,369 @@
  142066. +/*
  142067. + * ASoC Driver for TAS5713
  142068. + *
  142069. + * Author: Sebastian Eickhoff <basti.eickhoff@googlemail.com>
  142070. + * Copyright 2014
  142071. + *
  142072. + * This program is free software; you can redistribute it and/or
  142073. + * modify it under the terms of the GNU General Public License
  142074. + * version 2 as published by the Free Software Foundation.
  142075. + *
  142076. + * This program is distributed in the hope that it will be useful, but
  142077. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  142078. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  142079. + * General Public License for more details.
  142080. + */
  142081. +
  142082. +#include <linux/module.h>
  142083. +#include <linux/moduleparam.h>
  142084. +#include <linux/init.h>
  142085. +#include <linux/delay.h>
  142086. +#include <linux/pm.h>
  142087. +#include <linux/i2c.h>
  142088. +#include <linux/of_device.h>
  142089. +#include <linux/spi/spi.h>
  142090. +#include <linux/regmap.h>
  142091. +#include <linux/regulator/consumer.h>
  142092. +#include <linux/slab.h>
  142093. +#include <sound/core.h>
  142094. +#include <sound/pcm.h>
  142095. +#include <sound/pcm_params.h>
  142096. +#include <sound/soc.h>
  142097. +#include <sound/initval.h>
  142098. +#include <sound/tlv.h>
  142099. +
  142100. +#include <linux/kernel.h>
  142101. +#include <linux/string.h>
  142102. +#include <linux/fs.h>
  142103. +#include <asm/uaccess.h>
  142104. +
  142105. +#include "tas5713.h"
  142106. +
  142107. +
  142108. +static struct i2c_client *i2c;
  142109. +
  142110. +struct tas5713_priv {
  142111. + struct regmap *regmap;
  142112. + int mclk_div;
  142113. + struct snd_soc_codec *codec;
  142114. +};
  142115. +
  142116. +static struct tas5713_priv *priv_data;
  142117. +
  142118. +
  142119. +
  142120. +
  142121. +/*
  142122. + * _ _ ___ _ ___ _ _
  142123. + * /_\ | | / __| /_\ / __|___ _ _| |_ _ _ ___| |___
  142124. + * / _ \| |__\__ \/ _ \ | (__/ _ \ ' \ _| '_/ _ \ (_-<
  142125. + * /_/ \_\____|___/_/ \_\ \___\___/_||_\__|_| \___/_/__/
  142126. + *
  142127. + */
  142128. +
  142129. +static const DECLARE_TLV_DB_SCALE(tas5713_vol_tlv, -10000, 50, 1);
  142130. +
  142131. +
  142132. +static const struct snd_kcontrol_new tas5713_snd_controls[] = {
  142133. + SOC_SINGLE_TLV ("Master" , TAS5713_VOL_MASTER, 0, 248, 1, tas5713_vol_tlv),
  142134. + SOC_DOUBLE_R_TLV("Channels" , TAS5713_VOL_CH1, TAS5713_VOL_CH2, 0, 248, 1, tas5713_vol_tlv)
  142135. +};
  142136. +
  142137. +
  142138. +
  142139. +
  142140. +/*
  142141. + * __ __ _ _ ___ _
  142142. + * | \/ |__ _ __| |_ (_)_ _ ___ | \ _ _(_)_ _____ _ _
  142143. + * | |\/| / _` / _| ' \| | ' \/ -_) | |) | '_| \ V / -_) '_|
  142144. + * |_| |_\__,_\__|_||_|_|_||_\___| |___/|_| |_|\_/\___|_|
  142145. + *
  142146. + */
  142147. +
  142148. +static int tas5713_hw_params(struct snd_pcm_substream *substream,
  142149. + struct snd_pcm_hw_params *params,
  142150. + struct snd_soc_dai *dai)
  142151. +{
  142152. + u16 blen = 0x00;
  142153. +
  142154. + struct snd_soc_codec *codec;
  142155. + codec = dai->codec;
  142156. + priv_data->codec = dai->codec;
  142157. +
  142158. + switch (params_format(params)) {
  142159. + case SNDRV_PCM_FORMAT_S16_LE:
  142160. + blen = 0x03;
  142161. + break;
  142162. + case SNDRV_PCM_FORMAT_S20_3LE:
  142163. + blen = 0x1;
  142164. + break;
  142165. + case SNDRV_PCM_FORMAT_S24_LE:
  142166. + blen = 0x04;
  142167. + break;
  142168. + case SNDRV_PCM_FORMAT_S32_LE:
  142169. + blen = 0x05;
  142170. + break;
  142171. + default:
  142172. + dev_err(dai->dev, "Unsupported word length: %u\n",
  142173. + params_format(params));
  142174. + return -EINVAL;
  142175. + }
  142176. +
  142177. + // set word length
  142178. + snd_soc_update_bits(codec, TAS5713_SERIAL_DATA_INTERFACE, 0x7, blen);
  142179. +
  142180. + return 0;
  142181. +}
  142182. +
  142183. +
  142184. +static int tas5713_mute_stream(struct snd_soc_dai *dai, int mute, int stream)
  142185. +{
  142186. + unsigned int val = 0;
  142187. +
  142188. + struct tas5713_priv *tas5713;
  142189. + struct snd_soc_codec *codec = dai->codec;
  142190. + tas5713 = snd_soc_codec_get_drvdata(codec);
  142191. +
  142192. + if (mute) {
  142193. + val = TAS5713_SOFT_MUTE_ALL;
  142194. + }
  142195. +
  142196. + return regmap_write(tas5713->regmap, TAS5713_SOFT_MUTE, val);
  142197. +}
  142198. +
  142199. +
  142200. +static const struct snd_soc_dai_ops tas5713_dai_ops = {
  142201. + .hw_params = tas5713_hw_params,
  142202. + .mute_stream = tas5713_mute_stream,
  142203. +};
  142204. +
  142205. +
  142206. +static struct snd_soc_dai_driver tas5713_dai = {
  142207. + .name = "tas5713-hifi",
  142208. + .playback = {
  142209. + .stream_name = "Playback",
  142210. + .channels_min = 2,
  142211. + .channels_max = 2,
  142212. + .rates = SNDRV_PCM_RATE_8000_48000,
  142213. + .formats = (SNDRV_PCM_FMTBIT_S16_LE | SNDRV_PCM_FMTBIT_S24_LE | SNDRV_PCM_FMTBIT_S32_LE ),
  142214. + },
  142215. + .ops = &tas5713_dai_ops,
  142216. +};
  142217. +
  142218. +
  142219. +
  142220. +
  142221. +/*
  142222. + * ___ _ ___ _
  142223. + * / __|___ __| |___ __ | \ _ _(_)_ _____ _ _
  142224. + * | (__/ _ \/ _` / -_) _| | |) | '_| \ V / -_) '_|
  142225. + * \___\___/\__,_\___\__| |___/|_| |_|\_/\___|_|
  142226. + *
  142227. + */
  142228. +
  142229. +static int tas5713_remove(struct snd_soc_codec *codec)
  142230. +{
  142231. + struct tas5713_priv *tas5713;
  142232. +
  142233. + tas5713 = snd_soc_codec_get_drvdata(codec);
  142234. +
  142235. + return 0;
  142236. +}
  142237. +
  142238. +
  142239. +static int tas5713_probe(struct snd_soc_codec *codec)
  142240. +{
  142241. + struct tas5713_priv *tas5713;
  142242. + int i, ret;
  142243. +
  142244. + i2c = container_of(codec->dev, struct i2c_client, dev);
  142245. +
  142246. + tas5713 = snd_soc_codec_get_drvdata(codec);
  142247. +
  142248. + // Reset error
  142249. + ret = snd_soc_write(codec, TAS5713_ERROR_STATUS, 0x00);
  142250. + if (ret < 0) return ret;
  142251. +
  142252. + // Trim oscillator
  142253. + ret = snd_soc_write(codec, TAS5713_OSC_TRIM, 0x00);
  142254. + if (ret < 0) return ret;
  142255. + msleep(1000);
  142256. +
  142257. + // Reset error
  142258. + ret = snd_soc_write(codec, TAS5713_ERROR_STATUS, 0x00);
  142259. + if (ret < 0) return ret;
  142260. +
  142261. + // Clock mode: 44/48kHz, MCLK=64xfs
  142262. + ret = snd_soc_write(codec, TAS5713_CLOCK_CTRL, 0x60);
  142263. + if (ret < 0) return ret;
  142264. +
  142265. + // I2S 24bit
  142266. + ret = snd_soc_write(codec, TAS5713_SERIAL_DATA_INTERFACE, 0x05);
  142267. + if (ret < 0) return ret;
  142268. +
  142269. + // Unmute
  142270. + ret = snd_soc_write(codec, TAS5713_SYSTEM_CTRL2, 0x00);
  142271. + if (ret < 0) return ret;
  142272. + ret = snd_soc_write(codec, TAS5713_SOFT_MUTE, 0x00);
  142273. + if (ret < 0) return ret;
  142274. +
  142275. + // Set volume to 0db
  142276. + ret = snd_soc_write(codec, TAS5713_VOL_MASTER, 0x00);
  142277. + if (ret < 0) return ret;
  142278. +
  142279. + // Now start programming the default initialization sequence
  142280. + for (i = 0; i < ARRAY_SIZE(tas5713_init_sequence); ++i) {
  142281. + ret = i2c_master_send(i2c,
  142282. + tas5713_init_sequence[i].data,
  142283. + tas5713_init_sequence[i].size);
  142284. + if (ret < 0) {
  142285. + printk(KERN_INFO "TAS5713 CODEC PROBE: InitSeq returns: %d\n", ret);
  142286. + }
  142287. + }
  142288. +
  142289. + // Unmute
  142290. + ret = snd_soc_write(codec, TAS5713_SYSTEM_CTRL2, 0x00);
  142291. + if (ret < 0) return ret;
  142292. +
  142293. + return 0;
  142294. +}
  142295. +
  142296. +
  142297. +static struct snd_soc_codec_driver soc_codec_dev_tas5713 = {
  142298. + .probe = tas5713_probe,
  142299. + .remove = tas5713_remove,
  142300. + .controls = tas5713_snd_controls,
  142301. + .num_controls = ARRAY_SIZE(tas5713_snd_controls),
  142302. +};
  142303. +
  142304. +
  142305. +
  142306. +
  142307. +/*
  142308. + * ___ ___ ___ ___ _
  142309. + * |_ _|_ ) __| | \ _ _(_)_ _____ _ _
  142310. + * | | / / (__ | |) | '_| \ V / -_) '_|
  142311. + * |___/___\___| |___/|_| |_|\_/\___|_|
  142312. + *
  142313. + */
  142314. +
  142315. +static const struct reg_default tas5713_reg_defaults[] = {
  142316. + { 0x07 ,0x80 }, // R7 - VOL_MASTER - -40dB
  142317. + { 0x08 , 30 }, // R8 - VOL_CH1 - 0dB
  142318. + { 0x09 , 30 }, // R9 - VOL_CH2 - 0dB
  142319. + { 0x0A ,0x80 }, // R10 - VOL_HEADPHONE - -40dB
  142320. +};
  142321. +
  142322. +
  142323. +static bool tas5713_reg_volatile(struct device *dev, unsigned int reg)
  142324. +{
  142325. + switch (reg) {
  142326. + case TAS5713_DEVICE_ID:
  142327. + case TAS5713_ERROR_STATUS:
  142328. + return true;
  142329. + default:
  142330. + return false;
  142331. + }
  142332. +}
  142333. +
  142334. +
  142335. +static const struct of_device_id tas5713_of_match[] = {
  142336. + { .compatible = "ti,tas5713", },
  142337. + { }
  142338. +};
  142339. +MODULE_DEVICE_TABLE(of, tas5713_of_match);
  142340. +
  142341. +
  142342. +static struct regmap_config tas5713_regmap_config = {
  142343. + .reg_bits = 8,
  142344. + .val_bits = 8,
  142345. +
  142346. + .max_register = TAS5713_MAX_REGISTER,
  142347. + .volatile_reg = tas5713_reg_volatile,
  142348. +
  142349. + .cache_type = REGCACHE_RBTREE,
  142350. + .reg_defaults = tas5713_reg_defaults,
  142351. + .num_reg_defaults = ARRAY_SIZE(tas5713_reg_defaults),
  142352. +};
  142353. +
  142354. +
  142355. +static int tas5713_i2c_probe(struct i2c_client *i2c,
  142356. + const struct i2c_device_id *id)
  142357. +{
  142358. + int ret;
  142359. +
  142360. + priv_data = devm_kzalloc(&i2c->dev, sizeof *priv_data, GFP_KERNEL);
  142361. + if (!priv_data)
  142362. + return -ENOMEM;
  142363. +
  142364. + priv_data->regmap = devm_regmap_init_i2c(i2c, &tas5713_regmap_config);
  142365. + if (IS_ERR(priv_data->regmap)) {
  142366. + ret = PTR_ERR(priv_data->regmap);
  142367. + return ret;
  142368. + }
  142369. +
  142370. + i2c_set_clientdata(i2c, priv_data);
  142371. +
  142372. + ret = snd_soc_register_codec(&i2c->dev,
  142373. + &soc_codec_dev_tas5713, &tas5713_dai, 1);
  142374. +
  142375. + return ret;
  142376. +}
  142377. +
  142378. +
  142379. +static int tas5713_i2c_remove(struct i2c_client *i2c)
  142380. +{
  142381. + snd_soc_unregister_codec(&i2c->dev);
  142382. + i2c_set_clientdata(i2c, NULL);
  142383. +
  142384. + kfree(priv_data);
  142385. +
  142386. + return 0;
  142387. +}
  142388. +
  142389. +
  142390. +static const struct i2c_device_id tas5713_i2c_id[] = {
  142391. + { "tas5713", 0 },
  142392. + { }
  142393. +};
  142394. +
  142395. +MODULE_DEVICE_TABLE(i2c, tas5713_i2c_id);
  142396. +
  142397. +
  142398. +static struct i2c_driver tas5713_i2c_driver = {
  142399. + .driver = {
  142400. + .name = "tas5713",
  142401. + .owner = THIS_MODULE,
  142402. + .of_match_table = tas5713_of_match,
  142403. + },
  142404. + .probe = tas5713_i2c_probe,
  142405. + .remove = tas5713_i2c_remove,
  142406. + .id_table = tas5713_i2c_id
  142407. +};
  142408. +
  142409. +
  142410. +static int __init tas5713_modinit(void)
  142411. +{
  142412. + int ret = 0;
  142413. +
  142414. + ret = i2c_add_driver(&tas5713_i2c_driver);
  142415. + if (ret) {
  142416. + printk(KERN_ERR "Failed to register tas5713 I2C driver: %d\n",
  142417. + ret);
  142418. + }
  142419. +
  142420. + return ret;
  142421. +}
  142422. +module_init(tas5713_modinit);
  142423. +
  142424. +
  142425. +static void __exit tas5713_exit(void)
  142426. +{
  142427. + i2c_del_driver(&tas5713_i2c_driver);
  142428. +}
  142429. +module_exit(tas5713_exit);
  142430. +
  142431. +
  142432. +MODULE_AUTHOR("Sebastian Eickhoff <basti.eickhoff@googlemail.com>");
  142433. +MODULE_DESCRIPTION("ASoC driver for TAS5713");
  142434. +MODULE_LICENSE("GPL v2");
  142435. diff -Nur linux-4.1.13.orig/sound/soc/codecs/tas5713.h linux-rpi/sound/soc/codecs/tas5713.h
  142436. --- linux-4.1.13.orig/sound/soc/codecs/tas5713.h 1970-01-01 01:00:00.000000000 +0100
  142437. +++ linux-rpi/sound/soc/codecs/tas5713.h 2015-11-29 09:42:41.586987871 +0100
  142438. @@ -0,0 +1,210 @@
  142439. +/*
  142440. + * ASoC Driver for TAS5713
  142441. + *
  142442. + * Author: Sebastian Eickhoff <basti.eickhoff@googlemail.com>
  142443. + * Copyright 2014
  142444. + *
  142445. + * This program is free software; you can redistribute it and/or
  142446. + * modify it under the terms of the GNU General Public License
  142447. + * version 2 as published by the Free Software Foundation.
  142448. + *
  142449. + * This program is distributed in the hope that it will be useful, but
  142450. + * WITHOUT ANY WARRANTY; without even the implied warranty of
  142451. + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  142452. + * General Public License for more details.
  142453. + */
  142454. +
  142455. +#ifndef _TAS5713_H
  142456. +#define _TAS5713_H
  142457. +
  142458. +
  142459. +// TAS5713 I2C-bus register addresses
  142460. +
  142461. +#define TAS5713_CLOCK_CTRL 0x00
  142462. +#define TAS5713_DEVICE_ID 0x01
  142463. +#define TAS5713_ERROR_STATUS 0x02
  142464. +#define TAS5713_SYSTEM_CTRL1 0x03
  142465. +#define TAS5713_SERIAL_DATA_INTERFACE 0x04
  142466. +#define TAS5713_SYSTEM_CTRL2 0x05
  142467. +#define TAS5713_SOFT_MUTE 0x06
  142468. +#define TAS5713_VOL_MASTER 0x07
  142469. +#define TAS5713_VOL_CH1 0x08
  142470. +#define TAS5713_VOL_CH2 0x09
  142471. +#define TAS5713_VOL_HEADPHONE 0x0A
  142472. +#define TAS5713_VOL_CONFIG 0x0E
  142473. +#define TAS5713_MODULATION_LIMIT 0x10
  142474. +#define TAS5713_IC_DLY_CH1 0x11
  142475. +#define TAS5713_IC_DLY_CH2 0x12
  142476. +#define TAS5713_IC_DLY_CH3 0x13
  142477. +#define TAS5713_IC_DLY_CH4 0x14
  142478. +
  142479. +#define TAS5713_START_STOP_PERIOD 0x1A
  142480. +#define TAS5713_OSC_TRIM 0x1B
  142481. +#define TAS5713_BKND_ERR 0x1C
  142482. +
  142483. +#define TAS5713_INPUT_MUX 0x20
  142484. +#define TAS5713_SRC_SELECT_CH4 0x21
  142485. +#define TAS5713_PWM_MUX 0x25
  142486. +
  142487. +#define TAS5713_CH1_BQ0 0x29
  142488. +#define TAS5713_CH1_BQ1 0x2A
  142489. +#define TAS5713_CH1_BQ2 0x2B
  142490. +#define TAS5713_CH1_BQ3 0x2C
  142491. +#define TAS5713_CH1_BQ4 0x2D
  142492. +#define TAS5713_CH1_BQ5 0x2E
  142493. +#define TAS5713_CH1_BQ6 0x2F
  142494. +#define TAS5713_CH1_BQ7 0x58
  142495. +#define TAS5713_CH1_BQ8 0x59
  142496. +
  142497. +#define TAS5713_CH2_BQ0 0x30
  142498. +#define TAS5713_CH2_BQ1 0x31
  142499. +#define TAS5713_CH2_BQ2 0x32
  142500. +#define TAS5713_CH2_BQ3 0x33
  142501. +#define TAS5713_CH2_BQ4 0x34
  142502. +#define TAS5713_CH2_BQ5 0x35
  142503. +#define TAS5713_CH2_BQ6 0x36
  142504. +#define TAS5713_CH2_BQ7 0x5C
  142505. +#define TAS5713_CH2_BQ8 0x5D
  142506. +
  142507. +#define TAS5713_CH4_BQ0 0x5A
  142508. +#define TAS5713_CH4_BQ1 0x5B
  142509. +#define TAS5713_CH3_BQ0 0x5E
  142510. +#define TAS5713_CH3_BQ1 0x5F
  142511. +
  142512. +#define TAS5713_DRC1_SOFTENING_FILTER_ALPHA_OMEGA 0x3B
  142513. +#define TAS5713_DRC1_ATTACK_RELEASE_RATE 0x3C
  142514. +#define TAS5713_DRC2_SOFTENING_FILTER_ALPHA_OMEGA 0x3E
  142515. +#define TAS5713_DRC2_ATTACK_RELEASE_RATE 0x3F
  142516. +#define TAS5713_DRC1_ATTACK_RELEASE_THRES 0x40
  142517. +#define TAS5713_DRC2_ATTACK_RELEASE_THRES 0x43
  142518. +#define TAS5713_DRC_CTRL 0x46
  142519. +
  142520. +#define TAS5713_BANK_SW_CTRL 0x50
  142521. +#define TAS5713_CH1_OUTPUT_MIXER 0x51
  142522. +#define TAS5713_CH2_OUTPUT_MIXER 0x52
  142523. +#define TAS5713_CH1_INPUT_MIXER 0x53
  142524. +#define TAS5713_CH2_INPUT_MIXER 0x54
  142525. +#define TAS5713_OUTPUT_POST_SCALE 0x56
  142526. +#define TAS5713_OUTPUT_PRESCALE 0x57
  142527. +
  142528. +#define TAS5713_IDF_POST_SCALE 0x62
  142529. +
  142530. +#define TAS5713_CH1_INLINE_MIXER 0x70
  142531. +#define TAS5713_CH1_INLINE_DRC_EN_MIXER 0x71
  142532. +#define TAS5713_CH1_R_CHANNEL_MIXER 0x72
  142533. +#define TAS5713_CH1_L_CHANNEL_MIXER 0x73
  142534. +#define TAS5713_CH2_INLINE_MIXER 0x74
  142535. +#define TAS5713_CH2_INLINE_DRC_EN_MIXER 0x75
  142536. +#define TAS5713_CH2_L_CHANNEL_MIXER 0x76
  142537. +#define TAS5713_CH2_R_CHANNEL_MIXER 0x77
  142538. +
  142539. +#define TAS5713_UPDATE_DEV_ADDR_KEY 0xF8
  142540. +#define TAS5713_UPDATE_DEV_ADDR_REG 0xF9
  142541. +
  142542. +#define TAS5713_REGISTER_COUNT 0x46
  142543. +#define TAS5713_MAX_REGISTER 0xF9
  142544. +
  142545. +
  142546. +// Bitmasks for registers
  142547. +#define TAS5713_SOFT_MUTE_ALL 0x07
  142548. +
  142549. +
  142550. +
  142551. +struct tas5713_init_command {
  142552. + const int size;
  142553. + const char *const data;
  142554. +};
  142555. +
  142556. +static const struct tas5713_init_command tas5713_init_sequence[] = {
  142557. +
  142558. + // Trim oscillator
  142559. + { .size = 2, .data = "\x1B\x00" },
  142560. + // System control register 1 (0x03): block DC
  142561. + { .size = 2, .data = "\x03\x80" },
  142562. + // Mute everything
  142563. + { .size = 2, .data = "\x05\x40" },
  142564. + // Modulation limit register (0x10): 97.7%
  142565. + { .size = 2, .data = "\x10\x02" },
  142566. + // Interchannel delay registers
  142567. + // (0x11, 0x12, 0x13, and 0x14): BD mode
  142568. + { .size = 2, .data = "\x11\xB8" },
  142569. + { .size = 2, .data = "\x12\x60" },
  142570. + { .size = 2, .data = "\x13\xA0" },
  142571. + { .size = 2, .data = "\x14\x48" },
  142572. + // PWM shutdown group register (0x19): no shutdown
  142573. + { .size = 2, .data = "\x19\x00" },
  142574. + // Input multiplexer register (0x20): BD mode
  142575. + { .size = 2, .data = "\x20\x00\x89\x77\x72" },
  142576. + // PWM output mux register (0x25)
  142577. + // Channel 1 --> OUTA, channel 1 neg --> OUTB
  142578. + // Channel 2 --> OUTC, channel 2 neg --> OUTD
  142579. + { .size = 5, .data = "\x25\x01\x02\x13\x45" },
  142580. + // DRC control (0x46): DRC off
  142581. + { .size = 5, .data = "\x46\x00\x00\x00\x00" },
  142582. + // BKND_ERR register (0x1C): 299ms reset period
  142583. + { .size = 2, .data = "\x1C\x07" },
  142584. + // Mute channel 3
  142585. + { .size = 2, .data = "\x0A\xFF" },
  142586. + // Volume configuration register (0x0E): volume slew 512 steps
  142587. + { .size = 2, .data = "\x0E\x90" },
  142588. + // Clock control register (0x00): 44/48kHz, MCLK=64xfs
  142589. + { .size = 2, .data = "\x00\x60" },
  142590. + // Bank switch and eq control (0x50): no bank switching
  142591. + { .size = 5, .data = "\x50\x00\x00\x00\x00" },
  142592. + // Volume registers (0x07, 0x08, 0x09, 0x0A)
  142593. + { .size = 2, .data = "\x07\x20" },
  142594. + { .size = 2, .data = "\x08\x30" },
  142595. + { .size = 2, .data = "\x09\x30" },
  142596. + { .size = 2, .data = "\x0A\xFF" },
  142597. + // 0x72, 0x73, 0x76, 0x77 input mixer:
  142598. + // no intermix between channels
  142599. + { .size = 5, .data = "\x72\x00\x00\x00\x00" },
  142600. + { .size = 5, .data = "\x73\x00\x80\x00\x00" },
  142601. + { .size = 5, .data = "\x76\x00\x00\x00\x00" },
  142602. + { .size = 5, .data = "\x77\x00\x80\x00\x00" },
  142603. + // 0x70, 0x71, 0x74, 0x75 inline DRC mixer:
  142604. + // no inline DRC inmix
  142605. + { .size = 5, .data = "\x70\x00\x80\x00\x00" },
  142606. + { .size = 5, .data = "\x71\x00\x00\x00\x00" },
  142607. + { .size = 5, .data = "\x74\x00\x80\x00\x00" },
  142608. + { .size = 5, .data = "\x75\x00\x00\x00\x00" },
  142609. + // 0x56, 0x57 Output scale
  142610. + { .size = 5, .data = "\x56\x00\x80\x00\x00" },
  142611. + { .size = 5, .data = "\x57\x00\x02\x00\x00" },
  142612. + // 0x3B, 0x3c
  142613. + { .size = 9, .data = "\x3B\x00\x08\x00\x00\x00\x78\x00\x00" },
  142614. + { .size = 9, .data = "\x3C\x00\x00\x01\x00\xFF\xFF\xFF\x00" },
  142615. + { .size = 9, .data = "\x3E\x00\x08\x00\x00\x00\x78\x00\x00" },
  142616. + { .size = 9, .data = "\x3F\x00\x00\x01\x00\xFF\xFF\xFF\x00" },
  142617. + { .size = 9, .data = "\x40\x00\x00\x01\x00\xFF\xFF\xFF\x00" },
  142618. + { .size = 9, .data = "\x43\x00\x00\x01\x00\xFF\xFF\xFF\x00" },
  142619. + // 0x51, 0x52: output mixer
  142620. + { .size = 9, .data = "\x51\x00\x80\x00\x00\x00\x00\x00\x00" },
  142621. + { .size = 9, .data = "\x52\x00\x80\x00\x00\x00\x00\x00\x00" },
  142622. + // PEQ defaults
  142623. + { .size = 21, .data = "\x29\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142624. + { .size = 21, .data = "\x2A\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142625. + { .size = 21, .data = "\x2B\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142626. + { .size = 21, .data = "\x2C\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142627. + { .size = 21, .data = "\x2D\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142628. + { .size = 21, .data = "\x2E\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142629. + { .size = 21, .data = "\x2F\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142630. + { .size = 21, .data = "\x30\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142631. + { .size = 21, .data = "\x31\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142632. + { .size = 21, .data = "\x32\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142633. + { .size = 21, .data = "\x33\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142634. + { .size = 21, .data = "\x34\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142635. + { .size = 21, .data = "\x35\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142636. + { .size = 21, .data = "\x36\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142637. + { .size = 21, .data = "\x58\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142638. + { .size = 21, .data = "\x59\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142639. + { .size = 21, .data = "\x5C\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142640. + { .size = 21, .data = "\x5D\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142641. + { .size = 21, .data = "\x5E\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142642. + { .size = 21, .data = "\x5F\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142643. + { .size = 21, .data = "\x5A\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142644. + { .size = 21, .data = "\x5B\x00\x80\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" },
  142645. +};
  142646. +
  142647. +
  142648. +#endif /* _TAS5713_H */
  142649. diff -Nur linux-4.1.13.orig/sound/soc/codecs/tpa6130a2.c linux-rpi/sound/soc/codecs/tpa6130a2.c
  142650. --- linux-4.1.13.orig/sound/soc/codecs/tpa6130a2.c 2015-11-09 23:34:10.000000000 +0100
  142651. +++ linux-rpi/sound/soc/codecs/tpa6130a2.c 2015-11-29 09:42:41.586987871 +0100
  142652. @@ -4,6 +4,7 @@
  142653. * Copyright (C) Nokia Corporation
  142654. *
  142655. * Author: Peter Ujfalusi <peter.ujfalusi@ti.com>
  142656. + * Modified: Jan Grulich <jan@grulich.eu>
  142657. *
  142658. * This program is free software; you can redistribute it and/or
  142659. * modify it under the terms of the GNU General Public License
  142660. @@ -52,6 +53,8 @@
  142661. enum tpa_model id;
  142662. };
  142663. +static void tpa6130a2_channel_enable(u8 channel, int enable);
  142664. +
  142665. static int tpa6130a2_i2c_read(int reg)
  142666. {
  142667. struct tpa6130a2_data *data;
  142668. @@ -189,7 +192,7 @@
  142669. }
  142670. static int tpa6130a2_get_volsw(struct snd_kcontrol *kcontrol,
  142671. - struct snd_ctl_elem_value *ucontrol)
  142672. + struct snd_ctl_elem_value *ucontrol)
  142673. {
  142674. struct soc_mixer_control *mc =
  142675. (struct soc_mixer_control *)kcontrol->private_value;
  142676. @@ -218,7 +221,7 @@
  142677. }
  142678. static int tpa6130a2_put_volsw(struct snd_kcontrol *kcontrol,
  142679. - struct snd_ctl_elem_value *ucontrol)
  142680. + struct snd_ctl_elem_value *ucontrol)
  142681. {
  142682. struct soc_mixer_control *mc =
  142683. (struct soc_mixer_control *)kcontrol->private_value;
  142684. @@ -255,8 +258,22 @@
  142685. return 1;
  142686. }
  142687. +static int tpa6130a2_put_hp_sw(struct snd_kcontrol *kcontrol,
  142688. + struct snd_ctl_elem_value *ucontrol)
  142689. +{
  142690. + int enable = ucontrol->value.integer.value[0];
  142691. + unsigned int state;
  142692. +
  142693. + state = (tpa6130a2_read(TPA6130A2_REG_VOL_MUTE) & 0x80) == 0;
  142694. + if (state == enable)
  142695. + return 0; /* No change */
  142696. +
  142697. + tpa6130a2_channel_enable(TPA6130A2_HP_EN_R | TPA6130A2_HP_EN_L, enable);
  142698. + return 1; /* Changed */
  142699. +}
  142700. +
  142701. /*
  142702. - * TPA6130 volume. From -59.5 to 4 dB with increasing step size when going
  142703. + * TPA6130 volume. From -59.5 to +4.0 dB with increasing step size when going
  142704. * down in gain.
  142705. */
  142706. static const unsigned int tpa6130_tlv[] = {
  142707. @@ -278,6 +295,9 @@
  142708. TPA6130A2_REG_VOL_MUTE, 0, 0x3f, 0,
  142709. tpa6130a2_get_volsw, tpa6130a2_put_volsw,
  142710. tpa6130_tlv),
  142711. + SOC_SINGLE_EXT("TPA6130A2 Headphone Playback Switch",
  142712. + TPA6130A2_REG_VOL_MUTE, 7, 1, 1,
  142713. + tpa6130a2_get_volsw, tpa6130a2_put_hp_sw),
  142714. };
  142715. static const unsigned int tpa6140_tlv[] = {
  142716. @@ -292,6 +312,9 @@
  142717. TPA6130A2_REG_VOL_MUTE, 1, 0x1f, 0,
  142718. tpa6130a2_get_volsw, tpa6130a2_put_volsw,
  142719. tpa6140_tlv),
  142720. + SOC_SINGLE_EXT("TPA6140A2 Headphone Playback Switch",
  142721. + TPA6130A2_REG_VOL_MUTE, 7, 1, 1,
  142722. + tpa6130a2_get_volsw, tpa6130a2_put_hp_sw),
  142723. };
  142724. /*
  142725. diff -Nur linux-4.1.13.orig/sound/soc/codecs/wm8804.c linux-rpi/sound/soc/codecs/wm8804.c
  142726. --- linux-4.1.13.orig/sound/soc/codecs/wm8804.c 2015-11-09 23:34:10.000000000 +0100
  142727. +++ linux-rpi/sound/soc/codecs/wm8804.c 2015-11-29 09:42:41.598987074 +0100
  142728. @@ -304,6 +304,7 @@
  142729. blen = 0x1;
  142730. break;
  142731. case 24:
  142732. + case 32:
  142733. blen = 0x2;
  142734. break;
  142735. default:
  142736. @@ -515,7 +516,7 @@
  142737. };
  142738. #define WM8804_FORMATS (SNDRV_PCM_FMTBIT_S16_LE | SNDRV_PCM_FMTBIT_S20_3LE | \
  142739. - SNDRV_PCM_FMTBIT_S24_LE)
  142740. + SNDRV_PCM_FMTBIT_S24_3LE | SNDRV_PCM_FMTBIT_S32_LE)
  142741. #define WM8804_RATES (SNDRV_PCM_RATE_32000 | SNDRV_PCM_RATE_44100 | \
  142742. SNDRV_PCM_RATE_48000 | SNDRV_PCM_RATE_64000 | \
  142743. @@ -543,7 +544,7 @@
  142744. };
  142745. static const struct snd_soc_codec_driver soc_codec_dev_wm8804 = {
  142746. - .idle_bias_off = true,
  142747. + .idle_bias_off = false,
  142748. .dapm_widgets = wm8804_dapm_widgets,
  142749. .num_dapm_widgets = ARRAY_SIZE(wm8804_dapm_widgets),