קריאת קבצי XML בעזרת Python

יום שלישי, אוגוסט 15, 2017

קריאת קבצי XML זה נושא כאוב ב-SQL Server, אם תשים תחבושת לא יעזור לך שנתיים: הפקודה אינה נוחה, לא משנה כמה פעמים השתמשתי בה בעבר – בכל פעם מחדש אני יוצא מדעתי והדברים ארוכים. בנוסף לכך – יש להכיר את הסכימה של ה-XML כדי “לפרסר” אותו בעזרת TSQL.יתכן שבמקרים מסויימים נצליח להיעזר בפתרון שלהלן, בכפוף לכך שהגרסה שלנו תומכת בפייתון (2017 וצפונה), ושה-XML כתוב כך שהפייתון יכול לו: הוא אינו אוהב שבכותרת הקובץ יש שורת פרטים בסגנון של <?xml version="1.0" encoding="UTF-8"?> תווים מסויימים מוציאים אותו מדעתו, בעיקר ‘גרשיים’ בודדים אם הופכים את המידע ל-JSON, סגירת תגיות לא מפורשת- <foo>bla..bla..bla</>...
תגיות: , , , ,
אין תגובות

עיצוב אימיילים ב-SQL Server בעזרת Python

יום ראשון, אוגוסט 13, 2017

אצלנו מקובל לשלוח דוחות באימייל לרשימות תפוצה שונות: במקרה הטוב, כשיש תקלה, הנמענים מקבלים התרעה; ובמקרה הפחות טוב – הם מקבלים אימיילים גם כשהכל בסדר.. משל למה הדבר דומה? באמצע תוכנית טלוויזיה יש פתאום מבזק: מה קרה? פיגוע? לא: בסך הכל רוצים להודיע שלא קרה כלום ושאשר להירגע ולהמשיך לצפות בתוכנית..בכל מקרה: משלוח האימייל מתבצע בעזרת הפרוצדורה sp_send_dbmail, ויש שם שלל אפשרויות איך, מה, ולמי לשלוח. מקובל לשלוח אימיילים בעיצוב html שמאפשר להדגיש, לעמד, ולשלוח הודעה מעוצבת לתפארת. לשם כך יש לחזור למקורות ולהיזכר כיצד משתמשים בכל התגיות, יכולת בהחלט ראויה להערכה כשמדובר בילד ביסודי, אך לא כשמדובר ב-DBA.....
אין תגובות

Python: הורדת נתונים מהאינטרנט ל-SQL Server

יום חמישי, אוגוסט 10, 2017

יכולת בהחלט שווה של פייתון, ובפרט אם היא מתבצעת מתוך SQL Server: הורדת נתונים מהאינטרנט.למשל- טבלת מדינות לפי צפיפות האוכלוסיה: נתחיל בפייתון לבד: import pandas as pdcountries=pd.read_html("https://simple.wikipedia.org/wiki/List_of_countries_by_population_density")countries אינני מציג כאן צילום מסך, כי בממשקי הפיתוח של פייתון הפלט אינו מעוצב, ואין טעם להשקיע בזה יותר מדי כי הפייתון הוא רק כלי עזר לשליפה לאדימיניסטרטור, ולא ממשק למשתמש הקצה.יתכן שיופיעו הודעות שגיאה לגבי מודולים שחסרים, ואזי כדאי להתקין את המודולים הבאים (אם אינם): pandaslxmlhtml5libBeautifulSoup4 כיצד מתקינים? בעזרת פקודת ההתקנה pip, למשל (בחלונית שורת הפקודה cmd): pip install pandas אם המערכת אינה מוצאת את pip, יש להפעיל אותו עם הנתיב המלא שלו.כדי למצוא...
אין תגובות

קול התור נשמע בארצנו: השימוש ב-Queue של Azure (והוצאת קיטור)

יום שני, אוגוסט 7, 2017

מה בתוכניתנו? ל-Azure יש אובייקט בשם Queue שלכאורה יכול היה להיות תחליף ל-Service Broker שב-On Premise.Queue הוא אובייקט שסרוויס אחד מכניס לתוכו מידע, ואחר שולף על פי סדר ההכנסה (FIFO); כל זאת במסגרת עיבוד אסינכרוני. לו לא היו מספקים לנו Queues מן המוכן, היינו יכולים לאלתר בקלות פתרון עם טבלאות; אך אם מקבלים אובייקט עם הפונקציונליות המבוקשת בתוכו – נשתמש בו בשעת הצורך.גדולתו של Service Broker בעיני היא ביכולת לכלול בהגדרת ה-Queue פרוצדורה שקוראת ממנו, ואזי כלערך שמוכנס ל-Queue יוזם אוטומטית הפעלה של הפרוצדורה שתטפל בו. קצת דומה ל-Trigger על טבלה, אך עם היתרון בכך שההפעלה של הפרוצדורה היא...
תגיות: , , ,
אין תגובות

הרצת קוד SQL ב-Python

יום שבת, יולי 15, 2017

לפני מספר שבועות פרסמתי את הפוסט הרצת קוד Python ב-SQL Server oשעסק ביכולת החדשה בגרסת 2017 הבעל”ט לשלב Python בתוך TSQL,והפעם נעסוק בצד השני המתרס – כיצד פונים מ-Python ל-SQL Server לצורך שליפה או עדכון.נתחיל בשליפה: import pyodbccon = pyodbc.connect('DRIVER={ODBC Driver 13 for SQL Server};PORT=1433;SERVER=tcp:teddicq7nm.database.windows.net,1433;PORT=1443;DATABASE=GeriReshefDB;UID=Ana;PWD=p@$$w0rD_p@$$w0rD')cursor = con.cursor()cursor.execute("Select * From T_Log;")Cr = cursor.fetchall()cursor.close()con.close()print(Cr)#I=0#while (I<;len(Cr)-1):# print(str(Cr) + " " + str(Cr))# I+=1 בשל רגישותו של Python להזחה (אינדנטיזציה) – יש לוודא שהשורות מוזחות באופן תקין.הסט מועבר לתוך list בשם row.במקרה זה אני מדפיס את כל ה-list בלי להתעכב על ענייני עיצוב רק כדי להמחיש...
תגיות: , , ,
אין תגובות

mssql-scripter מחולל סקריפטים

יום חמישי, מאי 25, 2017

אני חושב שאת הגלגל הזה – כלים שיוצרים סקריפטים לדטבייסים על כל תכולתם, כבר המציאו מספר פעמים – מיקרוסופט וצד ג’, אז הנה עוד אחד לרשימה.. מדובר בכלי של מיקרוסופט ששוחרר זה עתה, ומתבסס על התקנה של Python (אפרופו הפוסט האחרון שלי), כך שמי שרוצה ואין לו – שיתקין. התקנה בחלון CMD: pip install mssql-scripter במחשב אחד זה רץ, נפל באמצע, הופעל שוב וגמר בהצלחה;ובמחשב אחר זה רץ בהצלחה ולא התעוררה כל בעייה. הפעלה לדוגמה בחלון CMD (פניה ל-Instance המקומי הראשי): mssql-scripter -S localhost -d MyDB > c:\tmp\MyScript1.sql אפשר גם כך (פנייה ל-Instance משני בשרת אחר ותיעוד הדטבייס כולל...
אין תגובות

הרצת קוד Python ב-SQL Server

יום שני, מאי 22, 2017

גרסת SQL Server 2017 שכעת עדיין זמינה רק בגרסת בטא (CTP 2.0 בשבילכם), כוללת תמיכה בפייתון (כעת עוד לא ב-Azure).בויקיפדיה מופיעה הפסקה הבאה (לקחת נשימה עמוקה): “פייתון היא שפה מרובת־פרדיגמות, המאפשרת תכנות מונחה-עצמים, תכנות פרוצדורלי, ובמידה מסוימת גם תכנות פונקציונלי. לשפה ספרייה סטנדרטית גדולה וענפה, והיא תומכת באופן מובנה בהרחבה שלה אל שפות אחרות (בתלות במפרש: C‏, ++C,‏ Java‏ ו־#C).” הבנתם? אז זהו שאני לא.. קצת שיחקתי עם פייתון לאחרונה, אני בוודאי לא המומחה שיתן הרצאת הקדמה עליה, אז אסתפק בתיאור החוויה האישית. שפת התכנות הראשונה שהיכרתי, אי שם בראשית שנות ה-1980, הייתה בייסיק (Basic). הימים ימי ה-DOS...
אין תגובות