May 2011 - Posts
I'm working on a BI project these days. The customer gets thousands of complicated recursive XML file from the production floor. We need to analyze the files and insert the data to a DW.
We used SSIS 2008 for each XML file. Successive upload copied the file to an archive folder, failed files mover to the Failed folder.
Test for 1000 or 2000 files showed no problem. However, running on 5000 files in one directory caused the SSIS to hang between each file. It hanged more than 10 seconds between each file, causing painfully slow upload rate.
General explanation about SSIS For Each File + pictures can be found here.
Here I find a thread about similar problem.
Applying latest service pack and changing the file handler size as suggested in the thread didn't solve the problem.
Playing with the container configuration also didn't help.
We used a workaround solution - C# code to read 500 files at a time and implemented the upload instead of SSIS.
Any ideas what can solve the problem?
While running an Analysis Services Health Check (a methodology I've developed to analyze SSAS performance bottlenecks) I noticed unusual dimension design. All dimensions have many user hierarchies. Each attribute had a user hierarchy too. Imagine the DimProduct dimension with 15 one-level hierarchies: product name, color, size, brand, category manager, Days to manufacture….The question is , does it affect performance badly? I'm under the impression it is bad design yet does not affect processing time or aggregation design. I'll run some more tests on dimension size and processing time and hopefully come to conclusion.
לפני כחודש התקיים באנגליה האירוע SQLBITS 8. כפי שהשם מרמז, זו הפעם השמינית שמתקיים אירוע כזה בו נפגשים מומחי SQL ו BI ומרצים על הנושא. חלקם, חייבים להודות, הם שחזור של הרצאות שהועברו בטק אד העולמי האחרון.
בימים האחרונים התחילו להעלות לאתר סרטונים ומצגות. יש שם כמה סרטונים שכדאי להרחיב עליהם, כמו למשל - BI Semantic Model BISM שהוא אחד החידושים בגרסא הבאה. אני מתכנן לחזור ולכתוב בבלוג ביתר אינטנסיביות וזה בהחלט אחד הנושאים בראש הרשימה.
רשימת סרטוני ה SSAS נמצאת כאן
מומלץ לצפות ב "What's new in Denali for Analysis Services and PowerPivot"
שלום לכולם,
להזכירכם, היום מתקיים מפגש נוסף
פרטים בפייסבוק שלנו ובקישור הבא
https://msevents.microsoft.com/cui/EventDetail.aspx?EventID=1032487626&culture=he-IL
סדר יום:
18:00 - 17:30 התכנסות
19:00 - 18:00 רפליקציות BI למסדי נתונים (Part 1):
1. הסבר על משמעות Down-Time.
2. הסבר על מוצר Double-Take Availability עם מנגנון הגנה לשרתי SQL.
3. אינטגרציה ל Hyper-v.
4. אינטגרציה ל Cluster SQL.
19:15 - 19:00 הפסקה וכיבוד קל
20:15 - 19:15 רפליקציות BI למסדי נתונים (Part 2):
5. הסבר על Double-Take Share כמנגנון רפליקציה דו כיוונית בין מסדי נתונים מפלטפורמות שונות.
6. יתרונות Double-Take Share כמנגנון Active Active ל SQL.
7. שיטות מיגרציה ב Real Time מכול מערכת ל SQL עם Double-Take Share.
8. הסבר על B.I. Centralized reporting from multiple DB to SQL