*** empty log message ***
[Packages/TYPO3.CMS.git] / TODO.txt
1 ******************
2 TODO LIST
3 *****************
4
5 General:
6 - CHECK: What is the number of supported page levels? 20 or 100?
7 - CHECK: possible XSS problem with alt_mod_frameset.php taking parameters for scripts to display in frames.
8 - Option: Turn of "onBlur" in backend (Message-ID: <001801c2a28c$bb020c70$963afea9@bla8kdvxpl8glk>)
9 - Feature: "admin" can click a button which wipes out all record-lockings. (Message-Id: <200301281752.23246.mundaun@gmx.ch>)
10 - Feature: Controlling access to function menu modules as well (thus we could have a user-module inside ?Template? which could edit the constants field)
11 - Feature: Web >plugins -> to be a main module where people can place cmodules for their extension.
12
13
14 TCEmain:
15 - Commenting of the class.
16 - Charset:
17         - Currently the upper/lower case conversion converts danish/german letters as if they were iso-8859-1. This will be a problem if other charsets are used. What to do?
18         - Note: No charset conversion is done in TCEmain. It is expected that the content enters TCEmain in the charset of the backend in general.
19 - FEATURES:
20         - Support for submitting dates in non-UNIX-time format (eg. DD-MM-YYYY) (is there a PHP function to which you can directly pass something like "DD-MM-YYYY" and then it will clean it all up? Or convert?
21         - Recyclebin: If an item is deleted and is NOT in the recyclebin, then move it (all pages to the root of) the closest recyclebin (in a rootline pid AND with write permissions) in the pagetree. If that is not present, then delete normally. If you delete anything in a recycle bin, it's totally deleted.
22         - Implement field evaluation in TCEmain: Evaluate min/max? Checking references exists?
23         - Implement a feature, "max_number_of_records_in_pid" which means the TCEmain will check if a number of records of a kind has been exceeded for the page.
24         - "Pattern-control" for relation fields? (See "APPENDIX: PATTERN-control") Probably create an API by which you can do your own evaluating, return true/false, return an error message.
25         - pre and post processing by user functions of the data? (Message-ID: <C018FF617C61AB4588D15494126A5C0F23E431@Soulman.hanno-kirchhoff.de>) 
26         - "Tree-tables": Adding TCA-feature which can describe a field being a internal_pid for the table so tables can be listed as a tree in Web>List (and for TCEmain this means that copying an element). "parent" items. Rene needs this for "categories". See (Message-Id: <200212201257.24705.r.fritz@colorcube.de>)
27         - Support for "grouping": - eg. tt_content elements are grouped by "column" + "language". But copy/cut operations must understand this. And Web>List should reflect this as categorizing. 
28         - "child records" - records which MUST be related to another table - and will be moved along with the main record if moved.
29         - Implement *real* record locking?
30                 - Configure on a per-table basis
31                         - For instance, the TCEforms will render non-editable fields for ordinary users, while editable fields for "admin" users still
32                         - Should the check be done only in TCEforms - or also in TCEmain?
33         - If an input value in the data array is NOT a string/integer but an array then just serialize this array and store (thus allowing customly build forms from PHP scripts to submit hierarchical information)
34                 - Could be solved by PRE-processing of content in user functions!
35         - Implement "last_edited_by" field saving the BE-user UID just like tstamps are... (JH asked)
36         - Transformation API: Implement the possibility of custom to/from transformations for the "user" type (or any field?) 
37                 - Custom transformations for RTE fields/API?
38         - Selector box type: 
39                 - MM support for strings
40         - Support for MM-records which does NOT get deleted, but is kept... and then support for having data in those!!
41         - Support that the content of a single field can be stored in an external file instead.
42         - Support that a list of fields can be stored in an external XML file instead.
43 - VERSIONING:
44         - Swapping API: A page can be copied for making modifications. Afterwards swapped with the original (page/tt_content uids preserved if possible). The original page is stored in archive of some kind.
45 - LOGGING: 
46         - Finish the logging of TCEmain actions (delete/copy) + finally define the API to the "sys_log" table!
47 - CLEAN_UP: 
48         - Implement kill/restore of "deleted" records.
49         - Remove references to records when deleting totally (or also deleted-to-recycler records? Maybe "deleted-to-recycler" references are important to remove in order to make sure "recycler" records are not selected!) (refs to MM for both tables/files)
50 - PERMISSIONS: 
51         - Permission management on selector box/radio button values 
52                 - so certain "CType" / "Insert plugin" / "FlexForm datatypes" values could be blocked
53                 - Could it be considered to implement some "access pool" where elements on any level (like here selectorboxes or for FlexForms elements/types there) could add their element by an API and then it would A) automatically be listed for groups access lists and B) automatically enforced.
54         - Permission management for translations?
55         - Permissions on record-level
56         - CHECK: That permissions are properly evaluated (especially for moving content?)
57         - Security in tcemain: Uploaded/Attached files are allowed to be in ONLY a relative path OR in the "lockDir"!
58 - BUG: 
59         - if a file is uploaded (directly in the form) and there is an upper limit to the number of files which is then exceeded, the uploaded file is STILL copied to the upload folder and will thus be listed as "Files with no references at all (delete them!):"
60         - TCEmain: If there is a comma in the filename supplied as an uploaded file it will confuse the handling of files because the comma is also used to split the filename from each other. (29/04/2003). This is a problem with Inter-Photo Netprint where files uploaded by FTP with comma in the name will not be attached as they should. I think the solution should be found in TCEmain so any filename can be supplied as uploaded.
61         - CHECK: hideAtCopy - does it work??
62         - CHECK: copyAfterDuplFields - check it (tt_content).
63 - RELATED: DBint/admin, logging-display, TCEforms, Web>List
64 - IDEA: check for potential dangerous php-extension
65 - Multiple DBs:
66         - The ability to configure "any" table to be stored in another database. 
67         - Think DBAL into this and also notice that joins could ONLY be done if tables are in the same DB! (since other databases could also be from non-MySQL dbs when the DBAL comes)
68         - Affects: Basically anywhere records are selected -> requires a check of $TCA[ctrl] for the table first before the query is done!
69         - Maybe this feature should wait till DBAL is implemented anyways.
70
71
72 TCEmain/TCEforms for FlexForms:
73 - Affects: "lowlevel" ext/DBint , "impexp" extension. Must/Should be extended.
74 - Permissions handled per-field in FlexForms?
75 - What to do if data structure was not found? (Both TCEmain, TCEforms, templavoila_pi1, t3lib_transferdata) 
76 - block the creation of FlexForm in FlexForm inside TCEforms.
77 - ['pi_flexform']['config']['ds'] must be set to some default message making sense!
78 - TCEmain features:
79         - caching of references/files in meta data (for analysis tools)?
80         - mapping values to a plain-text search field(s)  
81         - Offering API functions for add/delete/move/copy
82         - Cleaning the original data in field since this may have an invalid structure if the data structure has changed in the meantime.
83         - Possibility to write the XML data values into a table instead (see Marc Schlingers idea, stored on paper in my red organizer).
84 - TCEforms: 
85         - Support for checkboxes which can expand/collapse sections/containers? fold-in, fold-out, passing a list of fields to show (with sub-levels for horizontal display).
86         - Visual interface for forms, DHTML for sheets etc, various sheet modes, language menu form.
87         - Fix the JavaScript in TCEform which keeps track of REG/CM images and required values etc. These things does not work for flex forms yet!
88         - Add many "types" of sections at a time when "add new"
89         - NiceToHave: Attaching an image to the Data Structure. This image is a preview of what the data structure can create. When rolling over the image you can have the form fields highlighted which affects the area. (by a red border or so...)
90                 - visual: Table with condition in top header, condition value column + block column. Not user supplied. -> OR just a selector box deciding what is shown below!? (possibly "ALL")
91         - Displaying partial branch of the data structure (and to a certain level)
92         - FlexForms cannot be possible if the record is not saved? No, should be ok, BUT a data source can of course not be referenced from another field since that fields value is NOT actually there! So only for fixed references to flex form definitions can this be done.
93                 
94 TCEforms:
95 - Support for other backend charsets / right-aligned charsets!?
96 - FEATURES:
97         - GENERAL:
98                 - Customized display of a field, possibly passing an array with code that should be displayed and then people can themselves put it together from PHP?
99                 - Ability to set up user functions for pre and post processing of the data?
100                 - API for adding JS-functions to the onchange-event.
101                 - Make STORAGE_FOLDERs a LIST of pages - not just one page (still the first page could be the default while other pages will be where stuff is selected from).
102         - SELECT type:
103                 - select a filepath as a source of the items you can add to the box (single/multiple) without copying the files of course.
104                 - Ability to see icon/image from record of selected value in the selector box.
105                 - IFRAME alternative for the selectorboxes where a HTML view can be shown. Possibly having an external script show the content which would be useful for display of tree-tables.
106                 - Reflect possible tree-structure for records in Select/Items list
107                 - a way to grant read for the selectors without displaying the storagefolder in the treeview?
108                 - move one up / one down buttons for the list (also for GROUP element)
109                 - Ability to move items when selecting/deselecting them. Or ability to gray out elements in the right list if selected.
110                 - CHECK: "multiple" feature, single, sorted and non-sorted selections.
111                 - Having elements ordered by the "list-order" of the selection selector must be done in JS (or tcemain)
112                 - making copies of select fields etc - check that remapped records are OK treated (with foreign/neg_foreign + free string values)
113                 - Letting one selectorbox set another hidden fields value apart from its own? [USE: When selecting a template, that also sets the DS value! (Thus a template is always selected!)]
114                 - Exclude field selection better, in a tree?
115                 - set the width of the selector field 
116         - GROUP type:
117                 - [file] allow the selection of files from the system to be added as REFERENCES, not copied! (Message-ID: <003f01c23503$8cdd69d0$55333bd4@comtech>, + notify "illuminatus")
118                 - In the thumbnail list add the Edit and view icons as in the good old days.
119                 - BUG: By the way, isn't there a bug in the listing of the thumbnails of records?
120                 - Nested records:
121                   - Group-fields of DB-type could be made to actually SHOW the records it contains in the very same form! Possibly with Add/Delete facilities.
122                   - See JH mail: Message-ID: <C018FF617C61AB4588D15494126A5C0F23E410@Soulman.hanno-kirchhoff.de>
123                 - IFRAME alternative for Element Browser.
124                 - Like in CB: Copy image/reference from a record to clipboard, then insert that file/reference in another record again (Element Browser change).
125                 - set the width of the selector field(s)
126         - INPUT type:
127                 - having a selectorbox from which a default value can be selected (which is just transferred to the input field). Of course the selectorbox can have its content added by a PHP script.
128         - ? type:
129                 - "Inverse relations"/"Foreign relations": A "Pseudo field", which lists records REFERING TO this record (foreign relations, eg. many small price-records belonging to ONE shop-article). Possibly this could also EDIT those references (attaching/adding new, removing old, no manual ordering though! - This is what RENE is doing (Message-Id: <E17LO4D-0002hj-00@cube.colorcube>) 
130         - TRANSLATION:
131                 - Concept for translation of other language versions simultaneously? (Showing the default/any language side-by-side?)
132                 - Would require UTF-8 display in backend.
133                 - Support for "original/translation" relationships: 
134                   - The idea is that a) one field from a record is configured in [ctrl] to hold the sys_language (0=default, x=translation of default) value AND b) another field is configured to keep a reference back to the original element (for the translated records)
135                     - If the record is "default" then ALL fields are shown.
136                     - If the record is "translated" then SOME fields are disabled for editing (as configured) BUT shown in the form for information (the value from the original).
137                         - When the record is selected for display or whatever an API call can fetch the original record and take the value of those configured fields and overlay in the translation (exactly like we do with page_overlay_records)
138                         - The core support basically is, that TCEforms automatically understands to disable the fields if needed and display the original content.
139                         - see Message-ID: <200205300155190552.08F5563C@smtp.worldonline.dk>, Message-ID: <mailman.1055945641.8348.typo3-english@lists.netfielders.de>
140         - DISPLAY_CONDITIONS:
141                 - "readonly" flag, or user group dependant. See "Message-Id: <200210241441.50295.r.fritz@colorcube.de>"
142 - BUGS:
143         - Ask to save record when you want to add a category with the "Plus" icon.
144         - CHECK: ###STORAGE_PID### incorrectly calculated?
145 - DONE?: Support for label for main palette: (Rene: Message-Id: <200210011646.10346.r.fritz@colorcube.de>)
146
147 Charset:
148 - checking (for XML) if there is "character data" in a string?
149
150 TCEforms/RTE API:
151 [Dominic Brander and Martin Schmidt has shown interest in the ekit Java RTE and may work on that.]
152 - API for RTE's (plus converting current RTE to using that!)
153   - review of class.t3lib_parsehtml_proc.php
154 - Make TYPO3 ready to accept alternative RTE made in Java. Needs data exchange to (config+data)/from (data) applet.
155 - Implement Ekit as Proof-of-concept: http://www.hexidec.com/ekit.php
156 - Implement another ActiveX editor as Proof-of-concept.
157
158 Element Browser:
159 - Support for DAM
160 - Support for browsing custom category-trees (passed by some PHP script)
161 - Support for deleting files in the listing there.
162 - Disable thumbnail option for faster display.
163 - Element Browser configurable a) without the page tree but hardcoded to specific PID, b) just default PID (possibly able to override from TSconfig)
164 - Selecting files from other resource-fields of records (which the user can actually read) - maybe with the Element Browser, browsing for record, clicking it, seeing a list of files inside the record?)
165 - Ability to insert images when their info page (larger thumbnail) is displayed. Maybe a small + (plus) icon would do. (Notify Patrick Roeder)
166 - Some quick-lookup feature (like we have on TER)
167
168 Wizards:
169 - Finish the colorpicker! Some other person can be in charge of this (See "APPENDIX: Colorpicker")
170 - Add wizard icon to TSconfig and Setup/Constants fields for immediate syntax highlighting (in popup window)
171 - Add wizard icon to see/clean up FlexForm data?
172 - wizard_add, _edit and _list can be used fantastic to lead the user through multiple 1:n relations but than he starts to be confused if the records he created apear somewhere else, tries to edit them directly there, relations get lost, phone rings. (Peter K?hn). 
173 - forms and table wizards should be configurable for making XML structures alternatively to the currently formatting (programming wise ok, needs implementation)
174
175 Interface:
176 - Showing in "frameset-modules" which submodule you are currently inside. And ability to change submodule in the rightmost frame anyways - maybe as a panel in top of the pages (must be cached so all submodules must not be loaded each time...)? (Message-ID: <3ADE655892793D499E2FBF623045AF4B54E9A4@dbwdfx2f.wdf.sap-ag.de>)
177 - Ability to create another Main/sub module structure in the backend (Daniel H: Message-ID: <BAB9A920.E95D%daniel@typo3.com>)
178         - Change order, level, title, icon.
179         - Use User TSconfig... and allow someone to create an extension to visually create a TSconfig output
180         - See DHs mail: Message-ID: <mailman.1060763871.6396.typo3-metadev@lists.netfielders.de>
181         - Links could be going directly to the function menus inside modules as well!
182
183 Context Sensitive Help (CSH):
184 - Add multimedia?
185
186 WEB main module/page tree:
187 - The "Page Stop" flag, clicking the red "+" simply makes that point the NEW root in the tree frame (temporarily of course...), see JHs mail: Message-ID: <C018FF617C61AB4588D15494126A5C0F1F660B@Soulman.hanno-kirchhoff.de>
188 - Option: For a frameset module, register the ID per sub-module, not just globally (see JH mail: Message-ID: <C018FF617C61AB4588D15494126A5C0F1F67AB@Soulman.hanno-kirchhoff.de>)
189
190 Web>List:
191 - Add "New" to the clickmenu of eg. "be_users" (non-sorted items) when you want to copy a user into the list.
192 - Add email function where you can 0) send email to single records email field, 1) all records on the clipboard, 2) all emails in a list of shown records, 3) all records in the PID. By emailing you can select to receive a copy yourself. Backend user must have name/email configured as from/reply-to/return-path information. Mails can be sent Bcc,CC or seperately. Can be used for lightweight newsletter feature! Maybe implement through some API to the Web>List module.
193 - Page-tree-stop: Click on red "+" brings forth some kind of browser (list of pages, browseable, Web>List module feature?)
194 - Add flag to TCA/[interface] which keeps a table from being listed in the list module. Probably an option which allows the display for admin-users.
195 - Check that permissions are respected for the buttons in the control-panel of the List module
196 - Why is web>list slow on new typo3.org?
197 - Page TSconfig option: Only to select the table-headers for display (with record count), and only the extended view will show the records inside.
198 - Support for "grouping": - eg. tt_content elements are grouped by "column" + "language". This should be reflected in the LISTING order (before ordered by the "sorting" column) OR maybe in a hierarchical display?
199 - Support for tree-tables (that can be browsed).
200 - Support for a "tree-group" -> a chain of tables which are displayed in a tree since each table has a config for a parent field in a former table. (Eg. DS: brand -> domain -> product).
201 - Support for display of relations: Files, 1-M, M-M
202 - FlexForm tree view / editing: 
203         - When a record contains a FlexForm the web>List module could display the fields inside in a nice tree structure which one could expand/collapse! Then by clicking "edit" for a brand you get an interface where you can edit *that branch* of the flexform! Brilliant way to manage large structures inside of flexforms!
204                 - Can you picture it? That would be like expanding an XML document by a node-tree and add/edit/delete/rearrange any of the internal informational pieces!
205
206 File>List:
207 - BUG: UNIX: "RW" flag looks only on the permissions for the USER - not the group. So even if PHP via the group of a file can delete it, it is reported that it cannot.
208
209 History/Undo:
210 - Must present a page/content element view, so a page with content elements can be restored as a whole 
211 - Undo must be able to restore attached files as well 
212 - Should be possible to disable for certain tables (can it be done already with TSconfig?)
213 - Delete saved states (and save whole record content).
214 - Need to implement the diff-feature for windows as well (that is; set configuration)
215
216 LDAP support:
217 - See "APPENDIX: LDAP"
218
219 DBAL:
220 - Next step: Create PHP-test scripts which performs 98% of the SQL operations we need in TYPO3 and then let people try to implement this; We will then know about all the obstacles first-hand before we do any efforts to implement it.
221 - See "APPENDIX: DBAL" for Kaspers internal notes on the subject + project description on TYPO3.org
222 - "TCEmain/Multiple DBs" as well
223 - MySQL practice: "Maybe it's a good idea to quote all table and column names in later versions of typo3 to avoid further problems like this one." (Message-ID: <mailman.1052907363.19535.typo3-english@lists.netfielders.de>) Also good for DBAL? + create API functions for making INSERT/UPDATE query strings.
224
225 EM:
226 - Code commenting
227 - Display: Adding "back" buttons a few places.
228 - Display: review-flag + link to review - cannot be overridden?
229 - Display: Link to Introduction + other sections (typo3.org-API-script), getting started manual in doc/index.html (See extension "tstemplate_styler" which has a prototype!), homepage link
230 - Display: After import, link to Install/Details.
231 - Display: Clean up the red errors: Major / Minor errors, and make sure it does not report non-errors.
232 - Display: Warning for extension of same classes?
233 - Display: Better filtering, quicker listing
234 - Feature: Specify preferred order of certain extensions.
235 - Feature: Change order of loaded extensions
236 - Feature: Dependencies includes minimum/max-version (Typo3, PHP, PHP-extensions, T3extensions)
237 - Feature: [suggested by robert] resolving of dependencies like in apt-get (Debian package manager). Necessary extensions can be downloaded and installed automatically (idea: create dummy extension which depends on several extensions and acts like a package of extensions)
238 - Feature: EM suggest clear-cache af scripts?
239 - Feature: New category, "templates"
240 - Feature: New review state: security-screened (light review, not quality oriented)
241 - Feature: em_conf: "depreciated flag: Beskrivelse af, hvorfor den er depreciated"
242 - Install: Select other repository URLS in selector box?
243 - Install: Extensions which can point the import/export to a directory with import-files.
244 - Install: Updates of plugin checks if there is a local manual.sxw file. If there is the manual is also downloaded. Maybe people can set a flag in the configuration that manuals should always be fetched. (Some of this is already implemented)
245 - Install: Upgrade multiple extensions at a time.
246 - Install: Upgrade single extension without getting full list from TER
247 - Install: Import from online rep: search freetext, enter extension key etc...
248 - Install: Getting from TER only already installed extensions.
249 - Install: Flag: "Import ext"; "Show non-secure extensions" (show ALL ext., not only reviewed ones)
250 - Install: Update button for an extension in the details view.
251 - Install: After upload of extension then we should return to the "Information" view, not "Upload"
252 - Install: At upgrade: That an extension can display the total changelog between the formerly installed version and the new one.
253 - Install: Configuration for EM: Request most recent translations by default?
254 - Upload: emconf.php should have the md5-part updated when upload to TER
255 - CHECK: flag in [EXT] about if local/global extensions can be updated. (does it work?)
256 - CHECK: Are single quotes accepted when writing the "conf.php" files?
257 - CHECK: Better failure-tolerance when "fatal errors" occur in ext_localconf/ext_tables.php files!?
258 - CHECK: Can Install Tool bypass including ext_localconf/ext_tables if there are errors in them?
259 - BUG: EM-extMgm: caching af localconf + extTables configuration in ARRAY? Plus ?ndringer til API specs. (problem when those files includes classes etc... probably not possible)
260 - BUG: Fix memory consumption problem.
261 - BUG: backend shortcut links to EM pages does not carry the edit-file information. They should.
262 - BUG: Clear cache files should remove ALL "temp_CACHED_*" files in typo3conf/ (not just the current two)
263 - BUG: detection of single quotes in XCLASS and CONF.PHP file cases (and wherever a regex searches for code snippets!). 
264 - BUG: MSIE4: Cannot make backup of extensions (and probably not export them either) because the header-mime-typen is not registered as it should be.
265 - BUG: Download of extensions (compressed...) will sometimes NOT get the same MD5 key after being saved (with any browser it seems) as shown at the download link. Origin of error not know. Please help if you encounter the problem.
266 - DOC: "Extension API" manual.sxw!
267 - Check mailbox for more... ?
268 - Related: The KickStarter Wizard, in particular a) cleaner code output, b) merging updates.
269
270 The REGEX-{} problem:
271 - BUG: Regexs; "Warning: Unmatched \{ in /home/sites/site14/typo3_src-3.5b3/typo3/mod/tools/em/index.php on line 1983" which is a ereg with { WITHOUT preceeding slash! (Message-ID: <003c01c275aa$c0c60c10$e3a1a33e@pentiumriv4v9a>, Message-ID: <20030729082437.79900.qmail@web11305.mail.yahoo.com>)
272
273 Install/Servers:
274 - FIX: Check safe_mode? Check open_base_dir? (Message-ID: <B9B8E356.1CE0%typo3@ilveneto.net>)
275 - FIX: To get PHP to handle PATH_INFO and PATH_TRANSLATED information correctly with this setup, the php parser should be compiled with the --enable-discard-path configure option. 
276 - FIX: The "php_sapi_name()=="cgi"||php_sapi_name()=="isapi"" problems (Message-ID: <ADEEJCHPNMOFKAAOJJKKCEKMCAAA.martin.kokes@sitewell.cz>, Message-ID: <200304071146520757.0097D495@smtp.worldonline.dk>, Message-ID: <BACDA028.F428%daniel@typo3.com>)
277 - CHECK: MD5 problem on Apache/Windows (Message-ID: <001901c26aeb$99db4c60$a9695651@NIGELJ>) - maybe OK now because of "rb" flag?
278 - CHECK: Security: Can HTTP_SERVER_VARS be overridden from URL if global vars are enabled???
279 - [Ask Michael Stucki for an overview of bugs...?]
280 - TYPO3_PORT bug (Message-ID: <005f01c2df3f$4006db00$0100a8c0@knoell>)
281 - BUG: open_base_dir problem with tempnam() (affects: tidy, diff, new resource textfiles created in Web>Template/Info, Indexer (using temp-name for input from pdftotext)
282         -> Renes t3lib_exec class useful here?
283
284 Filepermissions of source:
285 - Test that these permissions work OK:
286   - chmod 555 typo3_src/ -R
287   - cd typo3_src/typo3/
288   - chmod 755 ext/
289
290
291
292 **************************
293 DOCUMENTATION TODO list
294 **************************
295 Extensions:
296 - Document how to make "static_template_files" in an extension (Example: How to make a standard templates in extensions to TYPO3) => Rene Fritz doing that?
297
298
299
300
301
302
303 *****************
304 NOTES
305 *****************
306 - Undo/Redo behaviour strange?  => This bug report turned out to be about frontend caching: If you saved a value and quickly after (probably within a second) pressed "Undo" button, then the (browser)cached content would be shown. It was obvious because the sys_history table WAS updated, only the form wasnt.
307
308
309
310   
311 ******************************************
312 APPENDIX 1: CLEANING UP FOR TYPO3 3.6.0
313 ******************************************
314 Cleaning for 3.6 involves:
315 - XHTML transitional compliance
316 - " to '
317 - Commented functions
318
319 1: Add comments
320  * NOTICE: This will also detect JavaScript functions, but if you place a comment line like "// ..." in the end of the function definition line they will not have the JavaDoc style comment added. Eg. "       function blabla()       {       //    "
321 2: Write comments, organize them, add sections etc. (search [type])
322 2a: Set "@access private"
323 3: double to single quote (check for "\n")
324 4: XHTML
325 5: $Id$ CVS keyword expansion
326 6: @package tags
327 7: Function Index in scripts
328 8: Depreciated use of t3lib_BEfunc::titleAttrib
329 9: Generally, try to read all GPvars in init() functions and set them as internal variables - gives a nice, natural overview of what is used from the outsite
330
331
332 Status 27/10 (TYPO3 Core + extensions "cms" and "lang" in sysext/ (but without global extensions in ext/ !)):
333 - 2000 @param and @return tags in 800 functions still needs commenting (3800 tags in 1400 functions has already been done)
334 - 50 scripts still needs cleaning for XHTML, comments and single-quotes
335
336 Note on XHTML compliance:
337 - We strive for XHTML transitional / frames
338 - Certain incompatibilities has been allowed for practical reasons (for now). These include:
339         - align="absmiddle" for images
340         - width/height properties for input tags when images are used
341         - missing "cols" attribute for textarea tags.
342         - Some attributes for framesets.
343         [The reason for allowing this is probably that I do not know any workaround to achieve the same effect. The problem of non-allowed attributes/values also rate very low in my understanding of XHTML compliancy - it is far more important with nesting integrity, char case of tags/attributes, etc.]
344
345
346 ---------------------------------------------------------------
347 NOTES ABOUT WHICH SCRIPTS HAS BEEN CLEANED AND WHICH REMAINS:
348 ---------------------------------------------------------------
349 Finished (XHTML, quotes, comments, revised-note), XQCR:
350 (Indented scripts are still missing clean-up)
351
352 t3lib/________________________________________:
353 XQCR: t3lib/class.t3lib_admin.php
354 XQCR: t3lib/class.t3lib_arraybrowser.php
355 -QCR: t3lib/class.t3lib_basicfilefunc.php
356 XQCR: t3lib/class.t3lib_bedisplaylog.php
357 XQCR: t3lib/class.t3lib_befunc.php
358 XQCR: t3lib/class.t3lib_beuserauth.php
359 XQCR: t3lib/class.t3lib_browsetree.php
360 XQCR: t3lib/class.t3lib_clipboard.php
361 -QC-: t3lib/class.t3lib_cs.php
362 XQCR: t3lib/class.t3lib_diff.php
363 XQCR: t3lib/class.t3lib_div.php
364                 t3lib/class.t3lib_dmailer.php   [Pekue?]
365                 t3lib/class.t3lib_exec.php              [Rene]
366                 t3lib/class.t3lib_extfilefunc.php
367 -QCR: t3lib/class.t3lib_extmgm.php
368 -QCR: t3lib/class.t3lib_extobjbase.php
369 XQCR: t3lib/class.t3lib_foldertree.php
370 -QCR: t3lib/class.t3lib_formmail.php
371                 t3lib/class.t3lib_fullsearch.php
372                 t3lib/class.t3lib_htmlmail.php  [Pekue?]
373 XQCR: t3lib/class.t3lib_iconworks.php
374                 t3lib/class.t3lib_install.php
375 -QCR: t3lib/class.t3lib_loaddbgroup.php
376 -QCR: t3lib/class.t3lib_loadmodules.php
377 -QCR: t3lib/class.t3lib_matchcondition.php
378                 t3lib/class.t3lib_modsettings.php       [Rene]
379 XQCR: t3lib/class.t3lib_page.php
380 XQCR: t3lib/class.t3lib_pagetree.php
381 XQCR: t3lib/class.t3lib_parsehtml.php
382                 a.Q..: t3lib/class.t3lib_parsehtml_proc.php (45)
383 XQCR: t3lib/class.t3lib_positionmap.php
384                 t3lib/class.t3lib_querygenerator.php
385 -QCR: t3lib/class.t3lib_readmail.php
386 XQCR: t3lib/class.t3lib_recordlist.php
387 -QCR: t3lib/class.t3lib_scbase.php
388 -QCR: t3lib/class.t3lib_stdgraphic.php
389                 t3lib/class.t3lib_superadmin.php
390                 t3lib/class.t3lib_svbase.php            [Rene]
391 -QCR: t3lib/class.t3lib_tceforms.php
392                 t3lib/class.t3lib_tcemain.php
393 XQCR: t3lib/class.t3lib_timetrack.php
394 -QCR: t3lib/class.t3lib_transferdata.php
395 XQCR: t3lib/class.t3lib_treeview.php
396 XQCR: t3lib/class.t3lib_tsfebeuserauth.php
397 -QCR: t3lib/class.t3lib_tsparser.php
398                 t3lib/class.t3lib_tsparser_ext.php
399                 t3lib/class.t3lib_tsstyleconfig.php
400 -QCR: t3lib/class.t3lib_tstemplate.php
401 XQCR: t3lib/class.t3lib_userauth.php
402 XQCR: t3lib/class.t3lib_userauthgroup.php
403 -QCR: t3lib/class.t3lib_xml.php
404
405 -QCR: t3lib/config_default.php
406 -QCR: t3lib/thumbs.php
407 XQCR: template.php
408 -QCR: t3lib/stddb/load_ext_tables.php
409 -QCR: t3lib/stddb/tables.php
410 -QCR: t3lib/stddb/tbl_be.php
411
412
413 sysext/lang/___________________________________________:
414 XQCR: lang.php
415
416 sysext/cms/___________________________________________:
417 XQCR: tslib/class.tslib_content.php
418 XQCR: tslib/class.tslib_fe.php
419 -QCR: tslib/class.tslib_fetce.php
420 -QCR: tslib/class.tslib_feuserauth.php
421 -QCR: tslib/class.tslib_gifbuilder.php
422 XQCR: tslib/class.tslib_menu.php
423 XQCR: tslib/class.tslib_pagegen.php
424 XQCR: tslib/class.tslib_pibase.php
425 XQC-: tslib/class.tslib_search.php
426 XQCR: tslib/media/scripts/example_callfunction.php
427 XQCR: tslib/media/scripts/example_itemArrayProcFunc.php
428 XQCR: tslib/media/scripts/example_keepRollover.php
429 XQ-R: tslib/media/scripts/example_languageMenu.php
430 XQCR: tslib/media/scripts/example_typolinkpop.php
431 XQCR: tslib/media/scripts/fe_adminLib.inc
432 XQ-R: tslib/media/scripts/freesite_dummy_page_menu.php
433 XQCR: tslib/media/scripts/gmenu_foldout.php
434 XQCR: tslib/media/scripts/gmenu_layers.php
435 -QCR: tslib/media/scripts/makeMenu_datedirectory.inc
436 -QCR: tslib/media/scripts/makeMenu_keywords_updated.inc
437 XQCR: tslib/media/scripts/plaintextLib.inc
438 XQCR: tslib/media/scripts/postit.inc
439 ----: tslib/media/scripts/testscript.inc
440 ----: tslib/media/scripts/testscript_EXT.php
441 ----: tslib/media/scripts/testscript_INT.php
442 XQCR: tslib/media/scripts/tmenu_layers.php
443 XQCR: tslib/media/scripts/wapversionLib.inc
444 XQCR: tslib/media/scripts/xmlversionLib.inc
445 -Q-R: tslib/index_ts.php
446 -Q-R: tslib/pagegen.php
447 -Q-.: tslib/publish.php
448 .QCR: tslib/showpic.php
449 XQCR: web_info/class.tx_cms_webinfo.php
450 XQCR: layout/db_layout.php
451 XQCR: layout/class.tx_cms_layout.php
452 XQCR: layout/db_new_content_el.php
453
454 typo3/___________________________________________:
455 XQCR: alt_clickmenu.php
456 XQCR: alt_db_navframe.php
457 XQCR: alt_doc.php               TODO: Check "redirect" GPvar for XSS hole!?
458 XQCR: alt_doc_nodoc.php
459 XQCR: alt_file_navframe.php
460 XQCR: alt_intro.php
461 XQCR: alt_main.php
462 XQCR: alt_menu.php
463 XQCR: alt_menu_sel.php
464 XQCR: alt_mod_frameset.php
465 XQCR: alt_palette.php
466 XQCR: alt_shortcut.php
467 XQCR: alt_toplogo.php
468 XQCR: alt_topmenu_dummy.php
469 XQCR: browse_links.php
470 XQCR: browser.php
471 XQCR: class.alt_menu_functions.inc
472 XQCR: class.db_list.inc
473 XQCR: class.db_list_extra.inc
474 XQCR: class.file_list.inc
475 XQCR: class.show_rechis.inc
476 XQCR: db_list.php
477 XQCR: db_new.php
478 XQCR: db_new_content_el.php
479 default.htm
480 default.html
481 XQCR: dummy.php
482 XQCR: file_edit.php
483 XQCR: file_list.php
484 XQCR: file_newfolder.php
485 XQCR: file_rename.php
486 XQCR: file_upload.php
487 XQCR: index.php         TODO: Check "redirect" GPvar for XSS hole!?
488 -QC-: index_re.php
489 -Q-R: init.php
490 XQCR: listframe_loader.php
491 XQCR: login_frameset.php
492 -QC-: logout.php                TODO: Check "redirect" GPvar for XSS hole!?
493 XQCR: move_el.php
494                 show_item.php                           [Peter Kuehn]
495 XQCR: show_rechis.php
496 -QCR: tce_db.php
497 -QCR: tce_file.php
498 XQCR: template.php
499 XQCR: view_help.php
500 XQCR: wizard_add.php
501                 wizard_colorpicker.php          [Matthias]
502 XQCR: wizard_edit.php
503 XQCR: wizard_forms.php
504 XQCR: wizard_list.php
505 XQCR: wizard_rte.php
506 XQCR: wizard_table.php
507 XQCR: wizard_tsconfig.php
508
509 XQCR: mod/help/about/index.php:         TODO: Modernize content
510                 mod/tools/em/index.php
511 XQCR: mod/web/info/index.php
512 XQCR: mod/web/func/index.php
513 XQCR: mod/web/perm/index.php
514
515
516 typo3/ext/_____________________________________:
517 OK              aboutmodules/
518                 belog/          (2 / 500)
519                 beuser/         (1 / 1300)
520                 cms_plaintext_import/   (1/200)
521 OK              conf_userts/
522 OK              context_help/
523                 css_styled_content/             (1/200)         [H]
524                 direct_mail/            (3/2500)                [Peter Kuehn] + class.t3lib_htmlmail.php
525 OK              direct_mail_subscription/
526 XQCR:   extra_page_cm_options/
527 -QCR:   extrep/
528                 extrep_wizard/          (2/4500)                [H]
529                 feuser_admin/                                           [testsite...] - XHTML
530                 freesite/                       (2/1600)
531 XQCR:   func_wizards/
532                 imagelist/                      (1/250)
533                 impexp/                         (2/2000)                [H]
534                 indexed_search/         (4/3500)                [H] [testsite...]
535                 info_pagetsconfig/      (1/200)
536 OK              install/                                                        + class.t3lib_install.php / class.t3lib_superadmin.php
537                 lowlevel/                       (2/800)                 [H]
538 XQ-R:   metatags/
539                 phpmyadmin/                     (1/130)
540                 plugin_mgm/                     (1/300)         ->move? remove?
541                 quickhelp/                      (1/80)
542                 rte/                            (5/1900)                [H]
543 OK              rte_conf/
544 OK              setoldpluginlist/
545                 setup/                          (1/400)
546 OK              skin1/
547 OK              static_file_edit/
548                 sys_action/                     (1/400)
549                 sys_messages/           (1/450)
550 OK              sys_note/               
551                 sys_notepad/            (1/130)
552 OK              sys_stat/
553                 sys_todos/                      (1/1100)                
554 OK              sys_workflows/          
555                 taskcenter/                     (4/400)                 
556                 taskcenter_modules/             (1/100)
557                 taskcenter_recent/              (1/150)
558                 taskcenter_rootlist/    (1/50)
559                 tipafriend/                             (1/260)         [testsite...]
560 OK              tsconfig_help/
561 OK              ts_language_de/
562 OK              ts_language_dk/
563 OK              ts_language_fr/
564 OK              ts_language_nl/
565 OK              ts_language_no/
566                 tstemplate/                             (1/450)         + class.t3lib_tsparser_ext.php (1700)
567                 tstemplate_analyzer/    (1/250)
568                 tstemplate_ceditor/             (1/250)
569                 tstemplate_info/                (1/450)
570                 tstemplate_objbrowser/  (1/500)
571                 tstemplate_styler/              (1/1700)
572 OK              tt_address/     
573                 tt_board/                               (3/1200)
574                 tt_calender/                    (1/170)         [testsite...]
575                 tt_guest/                               (2/350)         [testsite...]
576                 tt_news/                                (1/750)         [testsite...]
577                 tt_poll/                                (2/400)         [testsite...], [Rene F]
578                 tt_products/                    (5/2000)        [testsite...], [? Peter Kuehn]
579                 tt_rating/                              (3/550)         [testsite...], [Rene F]
580                 viewpage/                               (2/200)
581 XQRC:   wizard_crpages/                 
582 XQRC:   wizard_sortpages/
583
584 32,5 K Codes lines....
585
586 For all extensions (even those approved):
587 - Remember to add package tags to all classes!
588 - Write documentation for each
589 - Check HTML source / CSS usage / XHTML compliancy / That icons are skinnable (add to "skin360")
590 - $LANG->getLL() are htmlspecialchars()'ed
591
592
593
594
595
596 *******************
597 APPENDIX 2: XHTML
598 *******************
599 Overview of implications before implementation:
600 - UTF-8 encoding is in fact expected by XML! So the real charset must be set
601 - Wellformedness: Nesting ok. All img tags must be ended with /> (frame,base,meta,link,img,br,hr,area,input)
602 - Lowercase for elements and attributes (and everything else...) + stylesheet element and attribute names.
603 - All attributes in quotes
604 - Minimized values not allowed: Must do this: selected="selected"
605 - Wrapping scripts and style element contents in CDATA - or alternatively they should have entitites converted.
606 - name/id attribute double
607 - Certain nesting of elements not allowed. Most interesting, <PRE> cannot contain img, big,small,sub,sup ...
608 - Setting charsets may put some special requirements on both XML declaration/ meta-http-equiv. (C.9)
609 - ampersands (and entities in general I think) MUST be converted to an entity reference! (&amps;). This may mean further conversion of non-tag content before output to page. May be related to the charset issue as a whole.
610
611 Related issues:
612 - Charset / encoding issues
613
614 ---------
615 Practical steps for creating XHTML compliance:
616
617 - lowercase: <(td|tr|p|div|table|b|i|u|a)
618 - attributes in lowercase and ""; TYP: bgColor, border=0 cellspacing=0 cellpadding=0, valign=top, onClick, onChange, onSubmit, method="POST", type="Submit"
619 - Ending tags: <br>, <hr>, <input>, <img> (Longer list: frame,base,meta,link,img,br,hr,area,input)
620 - shorthand: checked, selected, multiple, nowrap
621 - href="", action="", src="", onclick= tags: htmlspecialchars() of URLS
622 - <img -> ' alt="" />'    REGEX: <img[^>]*[^-]>
623 - FINDING attributes with no quotes:
624 ([[:space:]]+)(class|face|hspace|vspace|rowspan|bgcolor|src|colspan|align|color|valign|border|width|height|cellpadding|cellspacing)=([^[:space:]>"']+)
625 ... and replace with: \1\2="\3"
626
627
628
629
630
631 *****************
632 APPENDIX: Versioning thoughts:
633 Authors: Julle and Kasper.
634 *****************
635 - Versions can be done on page level or element level
636 - In any case a pure copy of the element is produced
637 - For pages only configured tables will be copied, eg:
638         - Page
639           - tt_content
640           - pages_lang_overlay
641
642 - Versioning (for single elements including single "pages" record) is based on 
643         - ONE element having an official position in the TYPO3 page tree, thus holding the official "uid" of the element! (If this element was deleted from the system, so are all versions of that element!)
644         - All versions of this one element being a) at pid "-1" and b) a field "real_id" pointing to the official UID
645         - Pages-versioninig: For all elements belonging to a version of a page; They are just copied and has no official new version or binding back to whatever element they came from. They just came along. And in fact, they could even have their own version history for them selves!
646         - Backend user access to elements is based on the access restrictions for the official element. THis must be implemented on core level.
647 - Tables supporting versioning will have these fields:
648   - real_id     - Pointing back to official in-tree version
649   - ver_id      - Incremental integer (version number)
650   - ver_label   - Version label, eg. "1.1.1" or "Christmas edition"
651   - editlock    - Flag (core support independant of versioning) which IF SET makes it impossible for anyone to edit the record. The flag must be unset before editing can occur. (Is a feature which can be used to write-protect a version)
652   - pid/uid should have "signed" attributes in MySQL (pid = -1, uid =-xxxx for swapping).
653
654 - Preview in fronend
655   - At page level, done with a simple selector in the AdminPanel. Just like date/user/hidden is done.
656   - For other element, time will show.
657
658 - Backend module for versioning:
659   - Diff-ing between versions.
660
661 - Version-swapping log?
662
663 - ID-swapping for versioned elements
664   - Version from archive (future/past) will get the uid of the "real_id", the official element with "real_id" will get the new versions old uid.
665   - For pages-records: We will have to swap the "pid" values of all (versioning-included) elements on the pages.
666   - Swapping three-step process:
667         uid             uid     real_id
668   PUB:  13      -->     -13     247
669         247     -->     13      -
670         -13     -->     247     13
671   - Pages-versioning and the impact of NOT swapping tt_content element uids:
672         - Loose anchor-points, manually made (could be hack-fixed by some intelligent copying tracking)
673         - TemplaVoila references to elements from other pages (will break, however bad practice to reference elements not in some sort of central library which will NEVER be page-versioned anyways)
674         - Insert-records could potentially do the same
675         - Impact assesment: Low.
676         - Clean-up module (in templavoila?) could also track such things
677         - Problems for non-templavoila sites would be low.
678         
679 - Backend:
680   - For single-editing of records we will show a version list from which to choose a version to edit (just like the delete button is also hidden at multi-edit)
681   - In list-module we might display a) an icon to a version selector (where diff-ing could be done, swapping performed etc.), b) show archive versions as children in the listing.
682   - In Page module + TemplaVoila page module: There will be a version selector implemented so users can switch around between versions.
683
684
685
686
687
688
689
690
691
692 ******************
693 APPENDIX: Charsets
694 ******************
695 In TYPO3s backend charsets used has traditionally been the the charset of the backend user language. This is of course a big problem since the encoding of content is thus depending on the charset of the user and not of the system
696 From TYPO3 3.6.0 you can define a global charset for the whole database. This can be any local charset like iso-8859-1 or windows-1250. But for multilingual sites it is recommended to use utf-8 since that can represent all languages.
697 You set the global charset in a localconf file like this: $TYPO3_CONF_VARS["BE"]["forceCharset"] = "utf-8";
698
699 Here are a few notes:
700 - JavaScript functions to convert cases to upper/lower seemed to work with all letters from any charset. In the old days this was not the case and thus functions in eg. "jsfunc.evalfield.js" compensated. This is now disabled since it is apparently not needed anymore.
701 - PHP Upper/Lowercase - not tested.
702 - When one enters eg. danish letters in a form when the russian charset is used, these letters are converted to HTML entities, eg. "&#248;" - this is NOT changed. The philosophy is that IF anyone needs to use characters outside the range of the used backend character set he should use UTF-8 instead. Theoretically we COULD allow the entities to be shown correctly but we dont for now. Better use the right charset.
703
704
705
706 ******************
707 APPENDIX: LDAP
708 ******************
709 - hash of base-dn skal v?re cleaned op. M?ske prefixe usernames med 10-char hash af base-dn.
710 - Moduler som "User Admin" og andre steder, hvor "usergroups" feltet benyttes skal sl? det op i LDAP uden authentication. -> Faktisk er det IKKE kun usergroups men ALLE felter, som kan mappes!!!
711 - Ved record creation: LDAP default group.
712
713 ? Getting info like usergroups, email, name?
714 ? Case-sensitivity of the DN in general?
715 ? DN entering..
716 ! MD5-hashed passwords
717
718 1) AUTO -DN : Array of DN's, searched in order.
719 2) Select dn: User selects the DN he is from.
720 --------------------------
721 So we are looking at two scenarios:
722 1) fe_/be_user records are automatically created when a LDAP authenticated user loggs in. Configurable is: Where it applies (fe/be) and if any additional LDAP info we can get should be mapped to MySQL records (like name, email, address or user-groups uid's)
723 2) fe_/be_user records basically is the same as before (they hold a reference to LDAP user) and authentication is the same, BUT in this case fe_/be_ users are created manually, maybe using a tool of some sort which can look up the whole list of users in LDAP and allow the T3 admin to check off which users to make references to (this would be "Batch create").
724 3) Mapping of ONE typo3 user to MANY LDAP users...
725
726 - Also have the possibility of local users: Thus 1) FIRST a lookup is done in LDAP, 2) THEN if this fails we look in the local mysql table. (Well, this solution is straight forward since a user must ALWAYS have a record in the local MySQL table...)
727
728 - Make API so that other authentication solutions than LDAP can be used (eg. another MySQL table!)  [See Rene Fritz's prototype work with services...] 
729
730
731 Also see:
732 - [Kasper] "LDAP" folder in Mailbox 
733
734
735 ********************
736 APPENDIX: DBAL
737 ********************
738 Issues:
739 - Install tool, analysing SQL files, comparing, dumping etc. How? (MetaDatabase, MetaTables)
740 - case-folding?
741 - reserved words (uid!!) Which R-words?
742 - LIMIT. selectLimit(x,x)
743 - mysql_fetch_assoc substitute (seems to be there)
744 - escaping chars with special function!!!
745 - datatypes? Integer not there? LOB's a problem?
746 - Internal functions: AVG, SUM, count
747 - mysql_num_rows() = recordCount()
748 - autoinc. of numbers with GenID()
749 - how about joining?
750 - ALTER TABLE syntax?
751
752 Analysis:
753 - SUPPORT: Core (+ 'cms') will support all DBs, extension MAY support a SUBSET of DBs only.
754 - EM: MySQL will be the main supported database. sql-files for install tool follows MySQL syntax. Comparison can be done if ADOdb allows us to read table/field info (will need mapping of datatypes), updates may only be done if we support it. Not important. People CAN update manually with other DBs.
755 - NAMING: Reserved words and case restrictions are a real problem. For now, lets call it unacceptable. Handling of this would include 1) conversion table in ADOdb for result set assoc. key mapping AND mapping of fields in the queries!
756 - ESCAPING: Escaping characters will be very annoying because we'll have to pass an array first to stripslashes, then to add DB-specific slashes, then make Query. But we can for MySQL (and similar) bypass this...
757 - LOBs: Working with LOBs seems to be extremely irritating, inserting them separately (In oracle)!! How are we knowing anyways that this is a LOB? Solution might be to bypass for MySQL and for problem DBs send the UPDATE/INSERT row (must be array then!!!) through a filter which returns new row plus a blob row for update afterwards.
758 - AUTO-ID: Auto-incrementing is also a BIG irritation! Currently all inserts DO NOT set the id column!!! All insert statements must include the new, correct field (at least for the problem DB's like Oracle)
759 - BTW: Escaping and BLOB handling seems to require the same for all INSERTs and UPDATEs: A field_array passed to function. Auto-id may relate to this (at least it will be required all places ...)
760 - SQL: Will have to split up LIMIT selects. New escaping in SELECT queries. INSERT/UPDATE from field_arrays + processing, mysql_fetch_assoc() function "pandan"
761
762 API:
763 SELECT: 
764 - Separate LIMIT from the rest. 
765 - JOINS ? Functions like AVG, SUM?
766 - Escaping of search strings
767
768 UPDATE/INSERT:
769 - Array passed to function if not MySQL
770   Function has: possible "autoincrement" field argument; If Oracle, auto-id is handled; If Oracle, BLOB-array is returned for separate insertion.
771
772
773 ORACLE does not allow us to CHANGE existing fields into something else - only create new fields, otherwise we must export/import database.
774
775 Other notes:
776 - Datatypes to use for integers and others? Date/Time not a problem because typo3 uses integers.
777 - AVG, SUM, COUNT - will they be there?
778 - I'll need access to Oracle, MSSQL, PostGres - basically the databases we are going to connect to!!!
779 - JOINS???
780 - Having some lookup table (not TCA, because this is very individual from site to site) telling us which database (name+brand+server) a table is coming from, if not the default database. This also means that we will have an array of databases set up (one being default)!
781
782 180303 / Oracle:
783 - all fields/tablenames must be quoted
784 - a quoted value cannot be inserted into an integerfield!!!
785
786
787 insert... "kasper"
788
789 Related issues: 
790 - LPE: DB/DB sync.
791
792 ORACLE / DB2:
793 - u: db2admin
794 - p: password
795
796 Also see:
797 - [Kasper] "DB Abstraction" folder in Mailbox 
798
799
800 **********************
801 APPENDIX: LPE
802 *********************
803 Syncronization:
804 DB -> DB (1):
805 - Production environment, which can dump configured set of tables to live server database and back. This is controlled from Production env.
806 - Live server has two databases: One which accepts content from P (and is never written to) (P->L). One which ARE written to and is READ back by P (L->P).
807 - The "P->L" database has a "backup" (db1, db2) where the "idle" database is the one being updated and after the update it's switched with the live db, which is now idle. The "L->P" database is not affected by this timing issue.
808 - uploads/* dirs (and any files at all) might be syncronized by general rsync/ftp syncronization. Both ways? Primarily from P->L. Basically this sync. might take the whole sourcecode with it... 
809
810 Req to T3:
811 - That EACH table can be found in its own database (configurable). This means the TYPO3_db constant might have to be wasted? And not just another MySQL database - at another Database server or type (like Oracle). This is related to DBAL.
812 - Q's: FTP-functions in php; How to syncronize? MySQL working across databases, connecting to more than one database? 
813
814 DB->HTML
815 - Basically this is an rsync/ftp sync question which requires a set of static files.
816 - Also a "mixed mode" concept where static files not found are server dynamically by TYPO3, but where the TYPO3 install does NOT allow backend access at all - only frontend delivery.
817
818 Two situation:
819 - Publish static for local server, using mod_rewrite to direct requests transparently (static/dynamic). So all *.html requests WILL be found, static or dynamically! (Static/Dynamic blend)
820 - Publish static for FTP server. All *.html requests MUST exist. (Purely static, limitations acceptable.)
821
822 A HTML-filename which contains parameters__________:
823  - Two solutions: using base64 or md5/db to encode/store parameters, adding md5/base64 to html-filename (either the real staticly written filename or the "fake" one)
824  - Examples:
825 &tt_board_uid=233&cHash=alkdfjlaskdf
826 &tx_mininews_pi1[pointer]=0&tx_mininews_pi1[sword]=asdf&tx_mininews_pi1[mode]=asdf
827 +1/3 length:
828 This_is_my_page.123.1.64WAoaFRW9BXWTlzZ0ow53Dx8PEgASxh9namzMWxYIBDMdGnDx8PEgASxh9namzMWxYIBDMdGn.html
829
830 This_is_my_page.123.1.m5abe83fd83e.html
831 &tt_board_uid=233&blablabla=342&cHash=alkdfjlaskdf
832
833 de dk
834 This_is_my_page.123.1.m5abe83fd83e.html
835 This_is_my_page.123.1.m5edf837afde.html
836
837 Management__________________:
838 - Clear-all-static-pages button; Staticly written filenames are retrieved from database table where those filenames are stored when ever they are written to disk (includes TTL time etc)
839 - Clear-page-cache might also clear-page-static files.
840
841 ---------------------------------------
842 General config:        
843     For each page-id:
844         &lang=   (dk|de)
845         &cur=     (Euro/DKK)
846         &type=     (1)
847             2x2 = 4  (here we have some limit applied!)
848
849 MAIN PAGE    &type=  (0|1|2|3)    4*4 = 16
850 - Page 1    
851 - Page 2    
852 - Page 3    (Adresselist):    &tx_address_list[pointer]=    (0|1|2|3|4)    4*5 = 20 pages
853
854 Various______________:
855 - SearchEngine friendly / cachable URLs in board, products, tt_news
856 - "Publish" funktionen brugte images_on_page. Genskab dette.
857
858 THOUGHTS from Dassault work:
859 # WriteToStatic function [Basically the static publishing system] (core feature: Kasper).
860   - writes static file IF simulateStaticDocument uses HTML *without* any parameters
861   - setting a "config.disableStaticCreation = 1" flag can disable it (for conditions situations)
862   - setting a value from PHP function (eg. if a search form needs to submit to the page) can disabled it
863   - registering the filename related to ID [and other parameters] so that "clear page cache" can also remove the file automatically.
864   - Also registeres: a) resources on the page (images/stylesheets), b) GET parameters from M5/B6 encryption.
865   - a browsing mechanism for creating static versions; could browse page, then show all links with checkboxes. Then checking of which links to follow and press button; browses the new pages. Then again checkboxes and so on. Which links were checked should be stored so that a process of publising could thus be followed automatically. This feature would include "clear files" function and also warn if a requested page was NOT written. (Problem; what if user-requests would generate the file? Possibly use a cookie or GET parameter or backend flag to request this.)
866   - includes an overview module showing all files and which pages they related to, possible "lost files" (those not registered in database) and "missing files" (in the database but not there).
867   - To create new versions doesn't have to REMOVE the existing! Just overwrite!
868
869 Also see:
870 - [Kasper] "LPE" folder in Mailbox 
871
872
873
874
875 ******************************
876 APPENDIX: Image Processing
877 *****************************
878 Generally we want:
879 - Full PNG main support
880 - Full IM5.x support
881 - Non-ImageMagick version which CAN scale images (with GD/JPG)
882
883 To get rid of ImageMagick totally we need a GD with...:
884 - blur/sharpening
885 - scaling
886 - masking
887 - reduce colors / dithering
888 - jpg quality control
889 - 96 dpi / 72 dpi 
890 - other effects?
891 - Support for many file formats.
892 This is currently implemented for GD2 by Kasper/Rene but the changes are not used. Just proof-of-concept. We are in contact with Pierre-Alain from the PHP-dev team about the issue and hope that his changes will make the future GDlib in PHP5 so powerful that ImageMagick is not needed anymore and most importantly: We can rely on a totally standard PHP installation available at any webhotel (in the future).
893
894 Notes:
895 - Consider imageprocessing issues like PNG / GDlib2 / Freetype2 / IM5.4.x  / T1lib
896 - Other options: PHPImLib? GIMP?
897 - Improve Install Tool
898
899 --------------------
900 imagecopymerge
901
902 jonny at sanriowasteland dot net
903 29-Sep-2002 06:36 
904  
905 If you need to merge 2 png's (or  presumably 2 gifs) with different color palettes, I have found this is the function to use.  Just set pct to 99, and you are rocking.  With pct set to 100, or imagecopy for that matter, the palette seems to go wonky.  (It probably just uses the palette of the source image. but don't quote me on that).
906  
907  
908 Also see:
909 - [Kasper] "ImageManipulation" folder in Mailbox 
910
911  
912 ******************************
913 APPENDIX: Idea about "Roles"
914 ******************************
915 This is a few ideas about adding roles to the permission concept of TYPO3:
916 - There could be, say, 4 default roles:  author, editor, administrator, developer
917 - Users can be assigned "membership" of a role (basically a "role" is like a hardcoded "user-group"?)
918 - Like you can configure database fields in TCA to be an "excludeField" you could also configure which ROLES can edit the field.
919 - Possibly each role could assign membership of some groups.
920
921
922 *************************************
923 APPENDIX: Various ideas for extensions
924 *************************************
925 EMAIL publication:
926 - People can publish stuff by sending email to certain adresse piping the content into database.
927 - This could also be upload of files, eg. a word document to a place in fileadmin/ (such a document could contain information inside which was displayed on the website).
928 - See mail from DH, subject; "Last day for feature requests" Message-ID: <200202181821120933.01CA5B9F@smtp.worldonline.dk>
929
930 IMPORT WEBSITE:
931 - Import external website! (Rene's extension). Includes some crawler feature (locally og external url)
932
933 SITE-CRAWLER:
934 - A crawler which crawls either local or external site, invoked from a) backend or b) cron-script.
935 - Used for 1) Indexed Search, 2) External website import, 3) Just walking through a site for indexing/caching all pages.
936 - Trying to define a sitemap/menu structure + find "content" on page
937   - maybe with some kind of "hint" facility to tell what html-elements wraps content or maybe for each page visually pick out the content area: OR this could be done by the TemplaVoila tool?
938
939 BACKEND TOOLS:
940 - Global search and replace of records (Rene F?)
941 - Export the complete typo3 site/database, in a big file like mycompletesite.t3d
942   
943
944 **************************************
945 APPENDIX: PATTERN-control
946 **************************************
947 - Specify a pattern of allowed/required values.
948 - Those values are on the basic level just "table:uids". On the next level it would also set requirements on one or more field values inside!
949 - How can this be done?
950 - Will be hard to manage that records being a part of the pattern are not changed after having been added to the pattern. But at least this could be a beginning...?
951
952
953
954 **************************************
955 Rapport of "deleted"-check in typoscripts (190500) 
956 **************************************
957 TYPO3: 
958 - "deleted"-field must be set manually in userauth for user-tables!
959 Hardcoding: 
960 - "pages" in load_tree.php 
961 - "sys_filemounts" in userauth_group 
962 - "user-group tables" in userauth_groups 
963 - "pages" in ti_inc.php 
964 - "pages" in transferdata.php 
965
966 TypoScript: 
967 - sys_domain is NOT checked for deleted in "page.php" 
968 - getForeignRecords() (page.php) does not check for deleted!!! (this is even not used any more!! 
969 Hardcoding: 
970 - "pages" in page.php 
971 - "pages" in t_search.php 
972 - "pages" in index_ts.php (caching) 
973 - "sys_template" in t_template.php 
974 - "fe_groups" in index_ts.php 
975
976
977 **************************************
978 Bugs, considerations, notes
979 **************************************
980 - mail() hangs in 90 second (approx) if computer is not on the net! (deliver to mail-server)
981 - REWRITE of files when they already exists? shortMD5 is guilty?
982 - "Fields not properly updated:" - error: Varchar(xx) cannot included spaces AFTER the last character and therefore TYPO3 interface reports an error. Solve this error by setting "eval" to "trim" in $TCA for inputfields of the type VARCHAR. 
983 - mysql_query() function should not be used I think as this queries the current database. mysql() should be used instead. 
984 - JavaScript: escape() doesn't rawurlencode the "+"-character. This can be a problem, eg. when trying to rename files with a plus in the name. I have made an alternative escape-function. 
985 - PDF-files over 600 k are not rendered by ImageMagick. Less than 270 is! How come and is this true. Number of pages? 
986 - When GDlib is disabled it can be very confusing that record icons does not change their look according to hidden/starttime/endtime etc...
987 - many files in typo3temp/ slows down processing. Eg. a image resize with 33.000 files in typo3temp/ took 3 seconds where it would take 40 ms when the folder is clean. (on linux)
988
989
990 **************************************
991 Innovation, brainstorming for future
992 **************************************
993 - TSconfig defined through FlexForms?
994 - Drop tt_content for content rendering and let extensions be the sole source of new content element types?
995 - Check sitecore ideas for adding new fields etc.
996 - Backend for PDAs/Lynx
997
998
999 ************************************
1000 Translation of Extensions
1001 ************************************
1002
1003 These [global] extensions has priority when translating extensions:
1004
1005 lang
1006 cms
1007 extra_page_cm_options
1008 rte
1009 imagelist
1010 aboutmodules
1011 lowlevel
1012 beuser
1013 setup
1014 taskcenter
1015 sys_action
1016 sys_messages
1017 sys_notepad
1018 taskcenter_recent
1019 taskcenter_rootlist
1020 sys_todos
1021 sys_workflows
1022 func_wizards
1023 wizard_crpages
1024 wizard_sortpages
1025 info_pagetsconfig
1026 indexed_search
1027 tt_guest
1028 mininews